2011年1第6卷第1O期 O月 中国科技论文在线 SCIENCEPAPER ONLINE Vol 6No.10 0ct.2O1 1 桥梁拉素表面缺陷的机器视觉检测系统 高 潮 ,李新科 ,一,郭永彩 ,何卫华 (1.重庆大学光电技术及系统教育部重点实验室,重庆400030 2.重庆大学通信工程学院,重庆400030) 摘要:介绍了一种基于机器视觉的检测和识别桥梁拉索表面缺陷的方法。该方法基于以DM642为核心处理器的嵌 入式系统,可完成桥梁拉索表面图像的采集、处理、识别以及存储。对检测系统进行了硬件设计和调试,并用于桥梁 拉索表面缺陷检测中采集缺陷图像。实验结果表明,该系统具有工作稳定、采集图像清晰、处理速度快和数据传输快 等优点。 关键词:机器视觉;桥梁拉索;表面缺陷;嵌入式系统 中图分类号:TP391.41 文献标志码:A 文章编号:1673—7180(2011)1o一0775—6 Machine vision detecting system for bridge cable defect Gao Chao ,Li Xinke’ ,Guo Yongcai ,He Weihua (1.TheKeyLaboratoryofOpto-Electronic Technology&Systems ofMinistryofEducation,Chongqing University, Chongqing400030,China;2.College ofCommunicationEngineering,Chongqing Universiyt,Chongqing400030,China) Abstract:Defect detection for cable surface protection materiallayer on the maintenance of cable stayed bridge iS very important.A detecting and recognition technology for bridge cable surface defect was introduced.This detecting system which takes embedded digital sinalg processor(DSP)as core processor achieved bridge cable surface image acquisition, processing,recognition and storage.The hardware of he detecttion system is desined and realgized.Moreove ̄it is used in bridge cablesfor surfacedefectdetectiontocollectdefectimage.Experiments showthatthe system Cancaptureimageclearly, work stable,andhastheadvantagesofrapidprocessing speedanddatatransfer. Key words:machine vision;bridge cable;surface del ̄ct;embedded system 在采用拉索的大型结构物中,如桥梁、大型体育场 检测为主。考虑到人工检测需花费大量的人力和物力, 馆、剧院和展厅等,拉索系统均作为主要承重体系。拉 索一旦发生病害,其后果往往是不可设想的。由于斜拉 而且检测过程以目测为主,检测结果中人为主观因素较 多,不能满足预警、安全的需要。激光扫描法的基本过 桥的拉索布置在梁体外部,长期处在较高应力状态下, 又由于温度、湿度和侵蚀幽 介质作用,斜拉索钢丝很 容易受到腐蚀。拉索表面保护材料层的破损是拉索受腐 蚀和损伤的主要原因,所以对拉索表面进行缺陷检测在 拉索桥的维护中十分重要 。J。 目前,对拉索表面缺陷检测主要有人工检测法和激 光扫描法 J,长期以来,人们对大跨度桥梁拉索以人工 收稿日期:201l—O5—26 程是:4个激光传感器沿着拉索螺旋向上移动,每个激 光传感器中的激光源每隔10 ms发射600束激光束,共 产生2 400个激光点。激光传感器中的接收器获得反射 后的信号,通过AD转换,由电脑直接以三维空间进行 处理分析,检别诊断拉索外表PE+Pu非金属的缺陷, 并以数字定量化显示。但这种方法仍存在一些缺点,如 检测缺陷不直观,扫描线为螺旋线,存在盲区,系统构 基金项目 高等学校博士学科点专项科研基金资助项 ̄(2oo8o6110016) 作者简介:高潮(1959一),男,教授,主要研究方向:测控技术及仪器研究,ycguo@cqu.edu.cn 776 中国科技论文在线SCIENCEPAPER ONLINE 第6卷第1O期 成较大而且价格昂贵等【6J。因此,为克服拉索表面缺陷 检测方法的不完备,需要一种自动快速检测系统,提 出了一种基于DM642嵌入式系统的机器视觉检测方 法[7-9]。设计了4个摄像头等间隔对类圆柱体的桥梁拉 索表面进行图像采集,将采集到的图像通过SDRAM暂 存,并在DM642中处理,将有缺陷的图像存储在大容 量存储器CF卡中,对系统进行硬件设计和调试,实验 结果表明,该系统能很好地解决桥梁拉索表面检测中效 率、成本、安全等问题。 1表面缺陷视觉检测系统 系统通过爬行机器人装载分布式图像传感器、光 源、嵌入式DSP硬件平台和位置传感器,并沿拉索运 动,[1o- ̄q,由位置传感器发出采集信号,系统从当前采集 区域采集分布式图像传感器信号,在向下一个采集区域 运动过程中完成缺陷识别、缺陷图像及位置等信息的存 储,自动放弃无缺陷图像。当测量完成后,给出缺陷图 像及位置等信息,以确定维护方案。整个系统主要由4 大部分构成:桥梁拉索爬行机构、图像采集传感器阵列、 基于DSP的图像处理缺陷识别平台和硬盘存储部分。 其中由图像传感器阵歹0和DSP的图像处理平台是本视 觉检测系统的核心,它们完成图像的采集、处理和缺陷 识别等。本方案系统设计如图1所示。 = ] 鼻 番_槠l 一一兰 图1桥梁拉索表面缺陷检测系统 Fig.1 Block ofdetecting system to bridge cable surface defect 针对桥梁拉索的结构,系统采用并行图像采集传感 器阵列,该阵列由4个CCD摄像机组成,处于同一平 面且分别放置于拉索的4个方向上,每个采集端与拉索 竖直面平齐。每个CCD摄像机输出的是25帧/s,PAL 制式的模拟图像信号。在桥梁拉索检测中,整个阵列装 加在圆筒型的拉索爬行机构上,随着爬行机构的不断攀 升,摄像机阵列实时地将同一时刻拉索表面四周完整的 2011年10月 图像通过多路系统传送到处理板中。系统根据实时采集 到的4个方向的图像对拉索表面图像进行区域截取、灰 度转化、噪声平滑和插值矫正等图像处理工作,通过快 速缺陷目标检测算法对桥梁拉索表面损伤情况进行高 速的识别、定位和存储。 2系统硬件设计 系统由图像采集传感器CCD采集到拉索表面图 像,图像经过TVP5 1 50视频解码芯片后得到便于DSP 处理和识别的数字图像信号,检测和识别到缺陷图像 后,再储存相关信息,以完成桥梁拉索检测的目的。其 中图像处理的硬件平台是桥梁拉索表面缺陷识别的关 键,系统采用TI公司用于数字媒体应用的高性能 DSPTMS320DM642作为处理器,结合TVP5 1 50视频 解码芯片、SDRAM和FLASH ROM等外围资源的硬件 开发平台,实现系统的图像采集、处理和缺陷的判断。 2.1图像采集传感器 对于整个系统来讲,图像数据是整个系统处理分析 的依据,系统要求对表面缺陷实时检测,因此对图像质 量要求比较高。同时,系统的实时陛检测要求图像传感 器在其灵敏度和速度方面比较高,因此,系统设计采用 CCD作为图像采集的传感器。 本系统采用PINEER TIMES PNT-6l9 1/4"CCD摄 像机,视频输出为PAL制式,信噪比为46dB,自动光 圈控制,电子快门,12V直流供电。由于在实际应用中, 不同物体其表面形状可能不同(平面状、柱状以及不规 则表面形状等),而该系统设计是针对物体表面缺陷, 具有通用性,所以,为了达到通用的目的,选用4个彩 色面阵CCD,两两之间在同一平面上相差90。安装(可 以根据需要实时调整CCD的数目,保证缺陷图像的正 确采集);同时,为了便于物体定位,增加图像采集的 灵活性,采用3.5-81TUTI的变焦镜头。 2-2中央处理器(cpui) TMS320DM642的核是基于C64x的内核,作为一 款高性能的视频专用高端DSP,除了具有通用DSP的 特点外,还有其自身特点LI2。”J,具有很好的内部结构设 计以及丰富的外部接口设计,如图2所示。 TMS320DM642高处理能力是由其结构特点决定 的,两级缓存、两个数据通道、VLIW体系结构、多级 流水线结构、增强型的直接存储访r ̄q(EDMA)以及高主 频(最高为720 MI--Iz)等设计保证了其在大容量图像检 测系统中的高速处理性能。 第6卷第l0期 2011年10月 桥梁拉索表面缺陷的机器视觉检测系统 777 图2 TMS320DM642结构 Fig.2 Structure ofTMS320DM642 2.3实时图像转换电路 数据进行存储和处理,所以必须外扩存储器。 首先,为了实现图像数据的决速传输,保证处理器 能够实时陕速地数据处理,本系统采用同步动态随机存 储器(SDRAM),对图像数据进行临时存储和传输。 其次,由于系统最后程序是在处理器 320DI 2 系统设计中CCD图像传感器的输出为PAL制式的 模拟视频信号,图像信号只有转换为数字信号才能够被 系统处理器TMS320DM642进行处理、控制以及数据传 输,需要对图像信号进行转换。TI公司产品,视频解码 芯片选用TVP5150,延续了TI公司产品的一致性,保 证了两芯片间的无缝连接,在兼容『生和可靠性方面也得 到了保证。 在电路设计中,视频解码芯片的数据输出是系统处 理器TMS320DM642的视频数据来源,系统所有的操作 都是围绕其展开的,因此,保证视频数据的稳定、快速 和正确传输是这一部分电路设计的关键。对视频解码电 路的精心设计,既保证了TMS320DM642通过IIC总线 对四路TVP5150正确配置,也实现了主处理器对四路 视频解码电路的同步控制,从原理上初步实现了图像数 据的正常采集和传输。 2.4图像数据存储模块设计 TMS320DM642内部存在程序存储器和数据存储 器,其中部分存储区也可配置为高速缓存区(L2 Cache),其存储空间也就几百kB(包括L2 Cache的 256 kB)。本系统设计是一个桥梁拉索表面缺陷实时检 测系统,其缺陷数据采用图像传感器来采集,故需要大 容量的存储器来进行数据的存储;同时,由于处理器 TMS320DM642通过EMIFA接口外扩Flash来实现系统 的上电自举,保证DSP内部Cache用于DSP数据处理, 提高了处理器的处理能力。在系统设计中,由于系统处 理器TMS320DM642的内部存储器空间不足以对图像 上运行的,所以必须有一定的程序空间,虽然在其内部 存在两级Cache,且存储空间达到288 kB,能够实现系 统程序的存储,但是,当程序所占用的空间很大时,会 占用系统的Cache空间,从而影响处理器的处理速度。 因此,系统设计时把系统程序放在外部存储空间,当处 理器TMS320DM642上电复位后再把程序从外部程序 存储空间搬移到处理器内运行。这个外部存储器要求能 够把程序烧写进去,即可写;同时也要求能够被 TMS320DM642读,于是要求可读可写存储器。Flsah 具有传输速度陕、可重复多次擦写以及封装尺寸小等优 点,系统设计中采用Flash来实现。 最后,由于本系统的CCD图像传感器采集的是图 像数据,具有数据量大的特点。而外扩的SDRAM只是 作为数据的II缶时存储,不可能存储大量图像数据。因此, 为了实现图像数据的海量存储,必须有大的存储空间。 CF卡具有尺寸小、使用方便、电路接口简单、速度快 以及容量大价格便宜等优点【l 4J,可作为系统的图像数据 的海量存储。 3系统硬件调试 要使所设计的桥梁拉索表面缺陷检测硬件电路系 统实现符合要求的电路功能,首先要保证各个功能模块 778 中国科技论文在线SClENCEPAPER ONLINE 第6卷第10期 2011年10月 工作正常稳定。根据本系统电路结构,应对系统的电源、 时钟电路、TMS320DM642处理器、SDRAM以及CF 卡数据存储和传输等进行调试。 3.1系统电源调试 在本电路设计中,系统处理器TMS320DM642需 从图5可以看出,输入时钟波形的周期为示波器的 2格,即20ns,其频率为50MHz,因此输入时钟正确。 保证TMS320DM642时钟和电源的稳定工作后,可 以测试系统处理器是否可以正常工作,测试方法如下: 1)对处理器进行初始化,包括处理器内部寄存器 的配置、外部I/O空间和寄存器的配置等; 2)产生一个正弦信号; 要内核1.4V电源和外部I/O口3-3V电源2个电源, 其中,要求3-3 V的电源输入的纹波在士160mV以内, 峰值电流可达0.157A,内核电源为1.4 V的输入纹波控 制在士40 mV以内【J ,其输出电流最高达到0.778 A,对 3)对正弦信号进行快速傅里叶变换(FFT); 4)利用Code Composer Studio(CCS)内部集成函数 电源的纹波系数和功率要求都比较高。部分电源调试结 果如图3和图4。 图3 1.4V电源纹波图 Fig.3 Powerripplefor 1.4V 图4 3.3V电源纹波图 Fig.4 Powerripplefor3.3V 可以看出,3.3V和1.4V电源的输出电源纹波很小, 电源工作稳定,且满足系统的功率要求。 3.2 DsP调试 系统输入时钟为50]V1]-Iz,调节处理器内部的PLL 倍频因子为×12,使处理器工作频率达到600 MHz,因 此,输入时钟频率稍许变化就会导致系统工作频率的较 大波动。在保证电路焊接正确的情况下,其输入时钟波 形如图5所示。 图5 TMS320DM642输入时钟波形 Fig.5 InputtimerwaveformforTMS320DM642 TIMER_getCount()函数来记录处理器的处理时间; 利用TI DSP集成开发环境CCS运行程序【1 ,可以 得到如图6所示的信号图。 图6 TMS320DM642处理器测试图 Fig.6 Testing result for TMS320DM642 由图6可知,信号是由2个不同频率的正弦信号叠 加而成,而在信号的FFT图中可以看出,其包含2根定 值的频谱线,符合信号变换原理,因此,系统处理器工 作正常。 3-3 SDRAM测试 在电路设计中,SDRAM作为整/、系统图像数据和 处理器的临时数据存储空间,因此,在电路调试时,在 保证DSP处理器正常工作的情况下,测试SDRAM工 作情况,查看其数据传输隋况。在本电路调试时,采用 如下方法对SDRAM进行测试: 1)对处理器进行初始化,包括对处理器的内部寄 存器进行配置; 2)EMIFA的初始化,通过设置CECTL0和GBCTI 寄存器,将CE0设为SDRAM空间; 3)往SDRAM空间0x80000000开始写N(N=256 B) 个数据; 4)将刚写进SDRAM里的数据读出,并且与刚写 进去的数据进行比较,若两数据相同,则提示“SDRAM 第6卷2011年l第1O期 O月 桥梁拉索表面缺陷的机器视觉检测系统 779 workwelI!”;否则报错。 SDRAMBASE+i); 测试程序如下 break; ) for(i==0;i<---0x100;i++) ) ( ) ((Uint8 )(SDRAMBASE+i)) ̄-)xC5; p血tf【“SDRAM work well!\rr ) for(i=0;i<0x100;i++) 通过对SDRAM的起始地址0x80000000连续 ( 写256 B数据(本程序写0xC5),CCS编译后LOAD check= ((uint8 ){SDRAM_BASE+i)); PROGRAM至TMS320DM642运行,可以在其BUILD if(check!=0xC5) 状态窗口看到“the SDRAMworkwell 说明SDRAM ( 工作正常;同时可以通过CCS里的memory窗口,查 ;;) 看SDRAM内的数据情况。如图7所示,从0x80000000 ( 开始到0x80000100,每个存储空间里的数据都为0xC5, 这也从另一方面说明了SDRAM工作稳定。 0x80000000 0xC5C5C5C5 0xC5C5C5C5 OxC5C5C5C5 0xC5C5C5CS 0xC5C5C5C5 0XC5C5C5C5 0x800000 18 0xC5C5C5C5 0xC5C5C5C5 0xC5C5C5C5 OxC5C5C5C5 OxC5C5C5C5 0x05C5C5C5 0x8000D030 OxC5C5C5C5 OxC5C5C5C5 OxCSC5C5C5 OxC5C5C5CS OxC5C5C5C5 OxC5C5C5C5 0x80000048 OxC5C5CSC5 OxC5CSC5C5 0xC5C5C5C5 OxC5C5C5C5 OxCSC5C5C5 0xC5C5C5C5 0x80000060 0xC5C5C5C5 OxC5C5C5C5 0xC5C5C5C5 OxC5C5CSC5 OxC5C5C5C5 OxCSC5C5C5 0x800000 78 0xCSC5C5CS 0xC5C5C5C5 0xC5C5CSC5 0xC5C5C5CS 0xC5C5C5C5 0xC5CSC5C5 0x800D0090 0xC5C5C5C5 0xC5C5C5C5 OxCSC5C5C5 0xC5C5C5CS 0xC5C5C5C5 0xCSC5C5C5 0x800000A8 OxC5C5C5C5 OxC5C5C5C5 OxC5C5C5C5 0xC5CSC5C5 0xC5C5C5C5 0xC5C5C5C5 0x8O000DC0 OxC5C5C5C5 0xC5C5C5C5 OxC5C5C5C5 OxC5C5C5CS 0xC5C5C5C5 0XC5C5C5C5 0 800000D8 OxC5C5C5C5 OxC5C5C5C5 OxC5C5C5C5 OxC5C5C5C5 OxC5C5C5C5 OxC5C5C5C5 0xB00000F0 OxC5C5C5C5 OxC5C5C5C5 0xCSC5C5C5 OxC5C5C5C5 0xFFFFDFDF OxD77FFF8F 0x80000 108 OxFFFDFFBF 0xFEFFFFBE OxFFFFEF5F OxFFFDDBFF 0xFFFFEFBF Ox6FFFEFBF 图7 SDRAM内部数据图 Fig.7 Internal data of SDRAM 3.4系统总体调试 从图8可以看出,通过CCD图像传感器采集的图 对电路各个功能模块调试完后,可以对整个系统进 像经过系统处理器的控制处理后,可得到非常清晰的灰 行调试,查看电路的功能实现。物体表面缺陷数据由 度图像,因此,整个系统的硬件系统设计是成功的。 CCD图像传感器采集后,经过视频解码电路的模数转 通过对系统设计中各功能模块进行调试,实现了电 换和Y/C分离,数据转换为ITU-RBT.656视频流格式 路设计功能,对系统进行调试后,得到了比较理想的图 的数字信号,传输至处理器处理,然后通过CCS编译 像,实现了数据的高速传输,从而证明整个系统电路的 器将数据传输至PC机上查看。对桥梁拉索表面缺陷图 设计是成功的,为进一步处理桥梁拉索表面缺陷提供了 像进行图像采集得到如图8所示的图像。 可靠的硬件处理平台。 4结论 针对现有桥梁拉索检测方法的不足,设计了基于 DSP的拉索表面缺陷实时检测系统,以实现拉索表面 缺陷的快速自动检测。系统的硬件设计和实现在拉索 表面缺陷机器视觉检测中十分重要。选用TI公司的 TMS320DM642高性能高速DSP作为系统处理器,通 图8 系统采集到的桥梁拉索表面缺陷图 过IIC接口对系统的四路视频解码电路进行控制,从 Fig.8 Bridge cable surface defect image acquired by the 而实现CCD图像数据的采集、传输和处理,同时利用 system 外扩存储器SDRAM、Flash和CF卡来实现系统的上 780 中国科技论文在线SCIENCEPAPER ONLINE 第6卷第1O期 电自举、数据处理、临时存储和数据的大量存储。在 桥梁拉索表面缺陷检测项目中试用结果表明,整个系 统运行稳定,可采集并存储的桥梁拉索表面的缺陷图 像,具有工作稳定、采集图像清晰、处理速度快、数 据传输快等优点。 [参考文献](References) [1】 龙晓薇,阳春华,龙永红.pvc建材表面缺陷检测系统研究与设 计 .计算技术与自动化,201 0,29(2):46—50. Long Xiaowei,Yang Chunhua,Long Yonghong.Research and designon surfacedefectdetection systemforPVCbuildingmaterials ComputingTechnologyandAutomation,2010,29(2):46-50.(in Chinese) 【2]SihGC,TangX S,LiZX,et a1.Fatigue crackgrowth behaviorof cablesand steelwiresforthe cable-stayedportionofrimyangbridge: disproportionate loosening nad/or itghtening ofcables[J].Theoretical andAppliedFmctoreMechanics,2008,49:1-25. [3】 高潮,李新科,郭永彩,等.桥梁拉索表面缺陷图像的预处理方 法 .中国科技论文在线,2011,6(4):315—319. GaoChao,LiXinke,GuoYongcai,eta1.Prepmcessnigmethod of bridge cable surface defect image啊.Sciencepaper Onlnie,201 1, 4):315—319.(ni Ch_mese) [4] 杨少军.桥梁拉索体系损伤的检测和监测方法 .公路交通技术, 2005(3):130-134. Yang Shaojun.Testandmonitoringmethods ofcable satyed system traumas of bridges[J].Technology of Hihgway and Transport, 2005(3):130—134.(ni hCinese) [5】 Wu Enqi,Ke Yinglni,Du Baojmg.Noncontact laser nispection based on a PSD for the inner surface of minidiameter pipes .IEEE Transactions on Instntmentaiton and Measurement,2009,58(7): 2169—2173. [6】 杨红娟,周以齐,陈成军.激光扫描数据脉冲噪声自适应检测和 滤除阴.计算机辅助设计与图形学学抿2006,18(10):1531—1534. YangHon ̄uan,ZhouViqi,ChertChengiun.Adaptivedetectionand ifltering of impulse noise from laser scanned data叨.Journal of Computer-Aided Desing and Computer Graphics,2006,18(10): 1531—1534.(in Chinese) [71 郑科荣,朱双东.一种用于产品在线探伤的图像检测装置 .中 2011年10月 国科技论文在线,2008,3(1):74—78. Zheng Kerong,Zhu Shuangdong.An imaging-based detection deviec ofr on—lnie products inspection叽.Sciencepaper nOline,2008, 3(1):74-78.(in Chinese) [8]Lin Dawmng,Lin Minchueh,Huang Kaiyung.Real-time automatic recognition of omnidirectional mulitple barcodes and DSP implementation .Machine Vision and Appliactions,201 1,22(2): 409-419. 【9] 高潮,郭永彩,任可,等.基于嵌入式系统和图像识别的拉索表 面缺陷检测技术叭.光电工程,2008,3(2):40_44. Gao Chao,Guo Yongcai,Ren Ke,et a1.Detecting tcehnology of cable surface defect based on embedded system and image recogniiton【J].Opto—Elcetronic Engineering,2008,35(2):4O .(in Chinese) [10]Wang Xingsong,Xu Fengyu.Desing and experiments on cable nispection robot【C】//The 33rd Annual Conference ofthe IEEE nIduslrial Electronics Society(IECON2007).Taipei,Taiwan,2007: 2870-2875. [11】Jakal(,Franjo BostjallL.A surveyofmobile robotsfordislribution power line inspection叽.1EEE Transactions on Power Delivery, 2010,25(1):485-493. 【12]江思钒刘畅.TMS320C6000DSP应用开发教程[M].北京:机 械工业出版社,2005. Jiang Simin,Liu Chang.TMS320C6000 DSP Appliaction Development Tutorial[M].Beijing:Machinery Industry Press,2005. (inChinese) [13]Texas nIstruments.TMS320DM642 video/imaging xifed-point digiatl signal processor[Z】.2010. 【14]王三武,张红涛.CF卡在大容量数据采集中的应用[J].微型机与 应用,2004(7):24-27. Wang Sanwu,Zhang Hongtao.CF card in the application for hihg-capaciytdata acquisiiton .Microcomputer andApplications, 2004(7):24-27.(in Chinese) [15]周润景,袁伟亭,张鹏飞.Candence高速电路板设计与仿真[fvI】. 北京:电子工业出版社,2009. ZhouRtmjing,YuanWeitnig,ZhangPengfei.CandenceHi【hg—Speed Circuit Board Design and Simulation[M】.Beijing:Elcetronics nIduslry Press,2009.(in hCinese) 【16]Texas nIstruments.Code oCmposer Studio User’s Guide fZ].2002.