机器视觉是一个已有很久历史了,但它是一个朝阳产业。 通过它与自动化相结合,可以为企业产生价值。
首先,介绍一下机器视觉的工作过程,如下:
1:首先通过工件检测器检测物体是否接近或运动到摄像机视野的中心,如果是,向图像采集卡发送触发脉冲信号;
2:图像采集卡按照设计人员预先设定的程序和延时,分别向摄像机或照明设备发出启动脉冲,但也有摄像机和照明设备在系统初始化话时,就开始启动。
3:摄像机停止目前的扫描,重新开始新的一帧扫描;有的时候需要摄像机在启动脉冲来到之前一直处于等待状态,启动脉冲到来后启动以帧扫描;
4:如果所采用的策略是曝光策略,那么在摄像机开始新的一帧扫描之前,要打开曝光结构,其曝光时间要根据你的实际需要通过程序或者硬件设定好;
5:如果采用曝光策略的话,要用另一个启动脉冲打开照明设备,特别要保持启动时间应该与摄像机曝光时间匹配;
6:摄像机曝光后,正式开始一帧图像的扫描和输出;
7:如果摄像机输出的是模拟信号,图像采集卡就把从摄像机接受过来的信号进行A/D转化将其数字化,如果输出的是数字信号,这样就省图像采集卡的事情拉;
8:图像采集卡将图像信号送到缓冲器、处理器或者计算机的内存中,以便图像的处理和显示;
9:处理器或者计算机对图像进行处理、分析、识别以得到测量结果或逻辑控制量,然后根据这些结果进行处理以控制别的装置(比如机械装置等)来完成相关动作,进行定位。纠正运动的误差等等,比如修正机器手臂的位置。
—— 机器视觉的认识 ——
一般地说,机器视觉就是用机器代替人眼来做测量和判断。首先采用CCD照相机将被摄取目标转换成图像信号,传送给专用的图像处理系统,根据像素分布和亮度、颜色等信息,转变成数字化信号;图像系统对这些信号进行各种运算来抽取目标的特征,如:面积、长度、数量、位置等;后,根据预设的容许度和其他条件输出结果,如:尺寸、角度、偏移量、个数、合格/不合格、有/无等。机器视觉的特点是自动化、客观、非接触和高精度,与一般意义上的图像处理系统相比,机器视觉强调的是精度和速度,以及工业现场环境下的可靠性。 机器视觉极适用于大批量生产过程中的测量、检查和辨识,如:零件装配完整性,装配尺寸精度,零件加工精度,位置/角度测量,零件识别,特性/字符识别等。其应用行业为:汽车,制药,电子与电气,制造,包装/食品/饮料,医学。如对汽车仪表盘加工精度的检查,高速贴片机上对电子元件的快速定位,对管脚数目的检查,对IC表面印字符的辨识,胶囊生产中对胶囊壁厚和外观缺陷的检查,轴承生产中对滚珠数量和破损情况的检查,食品包装上面对生产日期的辨识,对标签贴放位置的检查。工业专家们预言:在未来的20年到50年,机器视觉将成为横跨所有行业的通用性技术,几乎所有出产的产品都会由机器视觉系统来检测。
在现代工业自动化生产中,涉及到各种各样的检查、测量和零件识别应用,例如汽车零配件尺寸检查和自动装配的完整性检查,电子装配线的元件自动定位,饮料瓶盖的印刷质量检查,产品包装上的条码和字符识别等。这类应用的共同特点是连续大批量生产、对外观质量的要求非常高。通常这种带有高度重复性和智能性的工作只能由人工检测来完成,我们经常在一些工厂的现代化流水线后面看到数以百计甚至逾千的检测工人来执行这道工序,在给工厂增加巨大的人工成本和管理成本的同时,仍然不能保证100%的检验合格率(即“零缺陷”),而当今企业之间的竞争,已经不允许哪怕是0.1%的缺陷存在。有些时候,如微小尺寸的快速测量,形状匹配,颜色辨识等,用人眼根本无法连续稳定地进行,其它物理量传感器也难有用武之地。这时,人们开始考虑把计算机的快速性、可靠性、结果的可重复性,与人类视觉的高度智能化和抽象能力相结合,由此产生了机器视觉的概念。
“机器视觉”,即采用机器代替人眼来做测量和判断。
机器视觉系统是指通过机器视觉产品(即图像摄取装置,分CMOS和CCD两种)把图像抓取到,然后将该图像传送至处理单元,通过数字化处理,根据像素分布和亮度、颜色等信息,来进行尺寸、形状、颜色等的判别。进而根据判别的结果来控制现场的设备动作。
机器视觉伴随计算机技术、现场总线技术的发展,技术日臻成熟,已是现代加工制造业不可或缺的产品,广泛应用于食品和饮料、化妆品、制药、建材和化工、金属加工、电子制造、包装、汽车制造等行业。
机器视觉的引入,代替传统的人工检测方法,极大地提高了投放市场的产品质量,提高了生产效率。
在科技发达的今天,运输系统逐渐朝着智能化(ITS)发展,而检测的方法上亦渐渐趋向以高科技的检测方式替代传统人工调查的方式,可以避免漏记或调查员的投机取巧,并且精简调查成本,在执法方面,各个城市大量采用了电子警察,使得在许多装有电子警察的交*口和路段交通秩序要好于其它路段。所以,车辆检测器的发展在现代计算机化的交通管理中扮演着非常重要的角色,其准确度常受到检测方式、检测器布设形式、数量与位置的影响。
现有的各种交通参数检测方式中,只有图像检测器(Video Image Detector)是一种可以取得丰富的交通信息的面式检测器。视觉为基础的摄影系统在现今的发展已更加的成熟,而且,比那些点式的感应系统更为有用(例如:环形线圈与压力式检测器),因为图像检测器所提供的信息可以进行进一步的车辆跟踪与分类,这对于执法是至关重要的。而其它检测手段均有较大的限制,点式检测器仅用于车流上的量测与计数,或是解决特定的子问题(如等候检测或拥挤车流上的检测),缺乏一般性的应用。
以计算器进行图像处理,改善图像品质的有效应用开始于1964年美国喷射推进实验室(J.P.L)用计算机对宇宙飞船发回的大批月球照片进行处理,获得显著的效果。 1970至1980年代由于离散数学的创立和完善,使数字图像处理技术得到了迅速的发展,随着电脑的功能日益增强,价格日益低廉,使得图像处理在各行各业的应用已经成为相当普遍的工具之一,举凡在医学工程、工业应用、交通领域应用等。1980年代开始,有关交通量估测的研究渐渐有了成果。到1985年以后,各国对于交通图像侦测系统已有实际的成品发展出来。另外,近年来结合类神经网络加速图像处理速度形成一个研究趋势。
在进入图像处理之前,我们首先对图像做一个概略性的探讨。所谓“图像”泛指所有实际存在含有某种消息的信号,如含有人、事、物等的照片,而红外线摄影所获得的信号,则表示某些物体的温度分布。
我们常说“一幅图胜过千言万语”,即是指每张图像中含有许多的信息,根据我们的目的而进行处理,得出想要的结果。“数字图像”是将传统照片或录像带模拟讯号经取样(sample)及数字化后达成。数字化的原因在于方便计算机运算与储存。所储存的亮点成为图像的基本单位,称为象素(Pixel)。象素的亮度以灰度值(Gray-level)表示,灰度值被划分为256阶,暗为0,亮为255。一张图像被数值化成方块格子所组成的画像元素,每一格子中都标有一对坐标,一个代表其行值,另一则代表其列值。行值从这张图像的左边开始标帜自0一直到n,n表示行值中大值。相同的,列值从上方起定为0,往下移动至m值,m表示图像全部列数。
所谓图像处理就是为了某种目的对图像的强度(灰度值)分布视为一连串整数值的集合,经由不断的运算执行某些特定的加工和分析。
1、图像处理原理
图像处理涵盖的范围十分很广泛,但是,所采用的基本原理和方法是一致的。整体说来,图像处理这门科学所研究的主要内容包括了图像数的模数转化(A/D Image Transform)、图像的增强与复原(Image Enhancement and Restoration)、图像编码与压缩(Image Encoding and Compression)、图像切割(Image Segmentation)、图像的表示和描述(Image Representation and Description)、图像特征匹配(Image Feature Matching)等等。
所谓切割就是企图将图像中之标的物析出的处理过程。图像切割可说是图像的分析过程中重要之步骤之一,在一般所采用的方法主要为边缘的检测(Edge Detection)及临界值法(Thresholding)。
图像特征匹配,特征匹配法的”特征”,需先加以定义。举例而言,若要描述一个人,好先说明他的特征。在外表方面,例如身高、体重、胸围….等等;在心理方面,例如和善的、好胜的、沉默的….等等;在事业方面,例如职业、收入….等等。不同特征适用于不同描述目的,例如描述一个人的健康,需要上述的身高、体重特征;若要描述一个人的成就,所需特征就多得多,举凡上述特征之外,还可能需要这个人的生平事迹等等。据此了解,一个人的特征能够代表一个人,故特征具备了代表性。除外,若现需将每个人由高至矮排序,所需特征只身高一项,其它体重、性格等等数据无需获得,因此使用特征亦具备简化使用信息量之目的。
所谓匹配(Matching)或被翻译成“比对”,即将物体的特征与预存在计算机中之原型(Proto types)或样版(Template)的特征加以比较,若相似度(Similarity)或非相似度(Dissimilarity)小于或大于某预设的门槛值(Threshold),则称两者匹配成功。匹配较倾向属于图形辨认(Pattern Recognition)范围,因其中含有“分类” (Classification)或“辨认”(Repetition)意味之故。建立计算机中原型或样版特征之过程称”训练”(Training),做法为事先采取某些样品(Sample)或典型(Typical)之特征加以储存之。特征匹配的常用方法有许多种:近邻居法(Nearest Neighbor Method)、二元决策树法(The Binary Decision Tree Method)、属于动态规画法(Dynamic Programming)的DP匹配法等。
特征匹配目的在使具有相同或类似待征的物体产生关联,以便于辨认或分类。就交通方面而言,特征匹配法可用来区分不同的交通工具。举例而言,若图像中某物体长度4公尺,宽2公尺,形状呈矩形(以上皆为特征),该物体极可能被分类为小汽车;若为长10公尺,宽2.5公尺的矩形,则可被分类为大型车(巴士、大货车)。
2、图像处理应用于交通
早期图像处理技术的应用范围受到图像处理设备价格昂贵以及处理速度缓慢的影响,仅局限于某些领域;及至70年代后至今,随着理论的发展与集成电路革命造就计算机科技的进步,使得图像处理的应用范围渐广。
美国于1978年由联邦高速公路局委托E.E. Hilbert、C. Carl、W. Gross、G.R. Hanson、M.J. Olasaby及A.R. Johnson发展宽域检测系统(Wide Area Detection System , WADS),其它各国如日本、法国、英国、瑞典等也已陆续投注了相当的研究,并有不错的成绩。相对于国外,国内将图像处理技术应用于交通的发展,在近年已经有相当程度的进步,如国内目前相当热门的车牌识别,有多个厂家推出了相应的产品。下面将针对图像处理技术在交通上的应用分车辆检测、车种识别、车辆跟踪三个部分做简单介绍。
1)、车辆检测 车辆检测的方法可大致归类为样本点检测、检测线检测以及全画面式检测等途径,另外针对夜间车辆检测进行说明如下:
(1)、样本点检测 在车道的某一部分选取类似矩阵的样本点,如图1所示,当车辆通过时,样本点之灰阶值与原路面不同,若两者相减的统计值超过某一门槛值,即表示车辆的存在。
(2)、检测线检测 此法是于垂直或平行车流方向布设由象素组成之虚拟检测线,如图2所示。一般由亮点来组成,以方便区隔路面与检测线的象素深度。当车辆通过检测线时,线上的灰阶值与没有车辆通过路面时有差异;若灰阶值的差异大于某门槛值,则表示有车辆通过。由于样本点或检测线检测法仅撷取部分象素资料进行处理,处理的资料量明显减少,因此运算时间缩短许多;为了达到实时(Real-Time)检测的要求,目前已实际运用于交通检测的图像处理系统 AUTOSCOPE便是以检测线做处理。
在车辆运行单纯的路段,以样本点或检测线作为车辆检测的途径可获得不错的结果;但在复杂的路口内,如何布设样本点或检测线将是首先遭遇的难题,因为路口内车辆除直行外,尚有转向行为,任何位置均可能有车辆出现。
(3)、全画面式检测 以全画面作处理的车辆检测方法所能获得的信息较多,但相对地要处理的资料量也明显增加许多。属于此法的检测方式有背景相减法与二值化法两种:背景相减法系取一张无车辆存在的图像作为背景,当含有车辆的图像与背景图像逐点相减后,车辆的部分即被减出,如TRIP系统。二值化法将图像以某一门槛值进行切割,象素深度高于该值的成为255(白),低于该值者则变成0(黑),如此可将物体与背景分离。
背景相减法与二值化法均存在许多缺点,前者如背景需要经常更新,后者则过程繁复,而二者共同的缺点便是当物体颜色与背景相近时将面临切割失败的命运,此外,门槛值确立不易,故有多值切割方法的提出,但过程益显复杂。
(4)、夜间车辆检测 国外R. Taktak、Rita Cucchiara、Cucchiara等人认为由于夜间图像所具有的信息与白天图像相当的不同,因此在算法的使用上与检测流程上会有相当程度的不同。一般而言在夜间与较暗的照明度之下,醒目的视觉特征为车头灯与其光柱、街灯以及高度反射光线的型态(如斑马线)。他们认为夜间图像并不适合用移动检测算法。
2)、车辆识别
(1)、车辆识别
由于国内与国外交通组成的不同,国外的研究仅对大车与小车两种作辨认,而国内则较复杂,但一般研究均简化车种为大车、小车与机车,以此三类做识别。
以检测线或样本点作为识别车种的途径时,由于所取资料量少,较不利于车种识别,故以此法进行者较少。就日间图像的车辆识别来说通常以车辆的特征如:外型、尺寸为分类准则。相关文献整理如下。 近年发展迅速、应用到许多领域的“类神经网络(Neural Network)”也被应用到车种的识别上。此外,亦可藉由车辆牌照途径,将号码图像二值化,以特征匹配的方式识别并记录该车牌号码,透过数据库的比对,每个号码可对应于某一车种,可用于抓拍违章车辆、车辆计数、车种识别、起迄点调查与旅行时间分析等。
(2)、车牌识别
车牌识别的技术近年来在国内已经日趋成熟。有些学者认为车牌识别可分三阶段:前处理,将图像二值化后进行清除噪声。而后车牌定位,利用连接组件标示法,找出图像中之连接组件加以分析,进而判断车牌位置。字符识别,分割字符完毕后依文字大小设定结构组件之大小,利用型态学的方法找出文字特征加以比对。
还有一些学者采用其它方法,如搜寻车牌后以图素分割法切割字符住后利用类神经网络识别字符;或者利用灰阶转换数之计算找出可能之车牌位置,再分割字符,在利用笔划分析法识别字符;或者利用图像中灰阶值之变化特性寻找车牌位置,在利用垂直投影直方图分割字符,以灰阶值关连度进行识别。
(3)、车辆跟踪
连续图像中,车辆轨迹的记录即称为跟踪。Anthony P. Ciervo先提出以检测车辆并配合预测车辆位置的方式,连续跟踪车辆的轨迹。其中以样本点或检测线方式做跟踪者,由于选取的象素仅局限于某固定范围,处于被动状态,较不利跟踪之进行。N. Hoose便是以各临近方向均为双向二车道的 T 字型路口为例,在进入路口前及离开路口后之车道上布设横向检测线屏蔽(Mask),以记录车辆进入与离开之临近方向编号,同时对车辆在图像上的形状、大小与位置等资料作记录,以跟踪车辆,但误差颇大。总结而言,车辆跟踪的方法有下列四种:模式基础跟踪(Model based tracking)、区域基础跟踪(Region based tracking)、轮廓基础跟踪(Active contour based tracking)、
国外研究文献中仅针对各车道的单一车辆进行跟踪,要了解路口内车辆运作之机制,非得在同时间针对路口内所有方向的车辆做跟踪处理不可,否则取得的仅为残破的信息,对整体的助益有限。
3、光的特性
先不考虑车流行为所造成的问题,而单单就图像处理技术部分来说,利用图像处理技术搜集交通参数,在夜间的情况下到底会遇到什么样的问题呢?我们来对此做一个初步的了解。
我们以下面的图3、图4、图5为例,针对夜间拍摄图像所会遇到的问题逐一做说明。拍摄时气候皆为晴天,问题陈述如下。
路面反光因素
由于是晴天的因素,所以路灯照射路面所造成的反光并不严重。前车灯所造成的路面反光较严重。要如何定义前车灯或后煞车灯(雨天较严重)所造成的路面反光也是一个问题。
夜间光源因素
我们可以很明显的看到桥边有路灯照明,使得整个图像环境不至于太黑暗(见图3)。但经由仔细观察则可以发现,路灯是每隔一段距离设置于路边,因此照射于路面的灯光布置情况也是呈现亮暗间格分布,如果经由二值化处理可能会有问题待解决。
阴影因素
由于夜间仍有路灯的照明,因此当照射到车体本身或路旁物体的时候,也会形成路面的阴影。由于整个背景的亮度不同,因此夜间产生阴影的处理方式,势必与白天产生阴影的处理方式不同。
车灯照射摄影机造成泛光
当摄影机以较水平的角度拍摄面对摄影机开来的车辆的时候,较严重会使得拍摄出来的画面整个呈现泛白,画面中看不到我们所要拍摄的景物。