机器视觉技术检测论文

1研究现状及存在的问题水果实时分级系统主要功能是水果外部品质和内部品质的自动检测。水果的外部品质检测的项目有大小、形状、颜色、表面缺陷等，内部品质无损检测的项目为水果的硬度、糖含量、酸度、口味及某些内部缺陷等。1.1水果外部品质的自动检测水果的尺寸和颜色检测技术已比较成熟，且在国外已经实现自动化检测，在国内也有按重量或尺寸分级的系统。但果面的缺陷检测却一直成为水果实时分级的障碍。果面缺陷检测的技术比较复杂，目前存在以下几方面难题。1.1.1对水果整个表面进行实时视觉检测比较困难在水果分选生产线上，输送机构输送水果并把水果整个表面呈现给摄像机，这是水果实时分级系统比较关键的组成部分，因为当水果通过时，要求视觉系统能快速检查每个水果的全部果面，即使很小的缺陷面积，也会使得水果级别发生很大变化。同时，设计的视觉分级系统必须满足高生产率的要求。在这方面，国外学者（Growe,1996,Tao,1996)［1，2］采用滚子输送带使水果一边移动一边自身转动，从而使安装在输送带上方的摄像机能采集到水果的多个面的图像，达到全表面检测的目的。但由于水果大小和形状不规则，造成水果旋转速度不一致且难以保证按同一轴线旋转。此外，水果旋转两端的表面部分摄像机无法采集到，因此，分级误差较大。1.1.2快速而准确地测定水果表面的各种缺陷且与梗、萼凹陷区正确区分比较困难Miller等(1991)［3］对桃子的分选试验表明：因不能正确区分水果表面的缺陷和梗、萼凹陷区，由此产生的分级误差为25％左右。Rehkugler等（1986）［4］利用机械定向机构使苹果梗、萼处于垂直方向并绕梗萼轴旋转，CCD线扫描摄像机可扫描苹果的整个表面且形成一幅图像，该方法的特点是由机械定向机构定位水果梗、萼区，摄像机对此区不需要再检查。但因为受定向机构速度的限制，还达不到实时分级的速度，试验结果为每分钟选30个苹果。Yang(1996)［5］利用结构光图像与散射光图像相结合来区分梗、萼区和缺陷区，综合两方面图像处理的结果，共抽取16个特征参数，再利用BP神经网络区分苹果的梗、萼区和缺陷区，分辨精度为95％，但还需要进一步把试验结果应用于实际水果分选生产线中。Growe等（1996）［1］采取在780 nm附近带域内，用结构光由一黑白摄像机进行水果表面的凹陷度检测；在750 nm带域内的散射光照射下，由一黑白摄像机进行水果表面的可疑缺陷区检测。水果的输送旋转装置及摄像机布置如图1a所示，采用的双锥滚筒输送带可使水果一方面沿水平方向作平移运动，另一方面又绕自身水平轴作旋转运动。两个黑白CCD摄像机用来采集750 nm附近的散射光图像和780 nm附近的结构光图像，水果旋转一周摄取两次图像。两个黑白摄像机采集的图像经过设计的接口电路后，被合成为一幅黑白图像，合成过程如图1b所示。图像的处理由流水线图像处理系统完成。试验结果表明：每个水果采集两幅图像时，缺陷检测的速度可达5个/s，但误差较大，如对于苹果，碰伤检测的准确率仅为51％。试验表明，要想得到较高的检测精度，每个水果应采集5幅以上的图像，结构光至少6条以上。此外，由于水果尺寸不同所造成各个水果旋转速度的不一致，也是产生测量误差的原因。徐娟（1997）［6］及Nakano(1997)［7］利用人工神经网络法对缺陷区和梗萼区进行区分，试验表明神经网络的区分准确率较低。在果面各种缺陷的快速检测方面，Throop(1997)［8］等人研究了多光谱测量技术，对10个品种的苹果的22种缺陷，在460～1 030 nm光谱范围内，每隔10 nm试验测定了它们的反射光谱特性，其中对3种苹果同一种缺陷测量的结果如图2所示。图中纵坐标的马氏距离反映了水果缺陷区与正常区反射强度的差别程度，距离越大，两者差别越大。由图中曲线可看出：在中心为540 nm、740 nm、1 030 nm三波段附近，3种苹果同一缺陷与正常区的反射强度的差别表现为最大或最小值，最后通过对3个波段的图像进行简单的减法和阈值处理，即可得到检测的缺陷，下一步应考虑实际应用的实现。(a)(b)图1图像采集布置图与图像合成示意图(a)输送装置及摄像机布置(b) 图像合成示意图图23种苹果同一缺陷在460～1 030 nm范围内与正常区反射强度的差别情况1.1.3球形水果表面引起光照强度在投影面内呈曲面分布，以及二维图像上的透视区域与水果实际表面存在的畸变，给图像的缺陷检测带来困难和造成误差Tao(1996)［2］提出的球形变换法很好地解决了第一个问题。基本思想如图3所示：带缺陷的原始物体图像（OOI）与该物体反表面无缺陷的图像(IOI)相加得到变换后的物体图像（TOI），此图像具有平面物体图像的性质，而缺陷区低于该平面，然后经过简单阈值处理即可得缺陷区。何东健（1997）［9］提出了缺陷透视图像面积发生畸变的校正方法，但对复杂形状的缺陷区进行校正，还存在一定的困难。Nakano(1997)［7］利用一旋转平台使水果旋转，每旋转18°CCD摄像机采集一幅图像，苹果旋转一周可得20幅图像，为消除苹果球面面积的畸变，每幅图像只保留中间13 cm宽度的幅面，再全部合成一幅苹果整个表面的展开图像，此法非常有效，但在分选生产线上实现比较困难。图3球形变换方法1.1.4传统的图像处理及模式识别算法的速度不适合实时分选线的要求国外一般采用高速图像处理硬件与简单有效的图像处理软件相结合的途径，来实现水果的实时分级。如Yang(1996)［5］利用的是Transputer系统、结构光法和洪水算法；Growe等(1996)［1］研制的系统，图像的大部分工作由流水线图像处理硬件系统完成；Tao(1996)［2］采用的是专用Merlin图像处理系统和简单有效的球形变换法，研制的苹果分选系统已应用到水果分选生产线上，其分选速度可达3 165个/min。国内研究者（刘禾，1998，徐娟，1997，杨秀坤，1997，何东健，1997）［6，9～11］大多利用一般的微机和图像采集卡，开发了一些图像处理和模式识别的新算法，如把人工神经网络、模糊理论、遗传算法、图像形态学、分形理论、小波理论及人工智能理论用于图像特征的抽取和识别。但由于图像处理的硬件速度太低，故只能限于静态水果图像分选的算法研究。此外，水果分级的算法应具备人工分级的一些优良性能，如学习与记忆功能，因为目前的一些分级算法的训练样本都比较少，而要分级的水果品种多变且量大。1.2水果内部品质无损检测反映水果内部品质的主要指标有硬度、糖含量、酸度、口味及内部缺陷等。目前国内外研究的主要方法和存在的问题如下。1.2.1水果的硬度检测水果的硬度可间接反映水果的成熟度、运输中的抗损坏性、储藏期等。目前用于水果硬度检测的方法主要有变形法和声学法。变形法就是在一定时间内给水果施加一定的动态力或冲击力，然后根据测得的变形量确定水果的硬度。如Schmilovitch等（1995）［12］研制成功了枣子硬度自动检测系统，其原理是把枣子放在两平板之间，在上面板施加5～8 N的动态力，根据所测变形量的大小把枣子分成4个硬度等级。Delwiche(1991)［13］利用冲击法研制了苹果硬度自动检测系统，发现冲击力会造成苹果表面的轻微损伤。变形法只能测量水果表面的局部硬度，实际上，水果表面硬度变化较大，故限制了变形法的应用。声学法包括声波脉冲响应法和超声波法，声波脉冲响应法（20～1 500 Hz）就是利用一麦克风测量受轻微敲击水果的声波强度，由此确定水果的硬度。Armstrong等（1993）［14］试验研究了所测声波强度与水果硬度的关系，发现二者有很好的相关关系。此法的优点是简单、无损，且能反映水果的整体硬度，缺点是必须注意周围噪声的绝缘及机械振动的消除，此外水果形状也影响测量精度。超声波(＞20 000 Hz)法是根据超声波在水果等介质中传播时，能量衰减系数的大小来确定水果硬度。但由于水果内部含有较多气隙且各向异性，故超声波很难穿透整个水果。1.2.2糖含量、酸度、口味的自动检测糖含量、酸度比较有潜力的检测方法是近红外法（NIR）和磁共振法（MR）。近红外法又分穿透法、反射法和部分穿透法，部分穿透法原理如图4所示。穿透法对水果不适应，反射法一般用于水果表面特征的检测，因此常用的方法是部分穿透法。由图4可看出，在部分穿透法中，光线经过的路径比穿透法短，且入射光线与接收器有一夹角，此夹角的确定对测量起关键作用，此外二者之间必须加一隔板。884 nm和834 nm测得量的比值已用于桃子、苹果（Slaughter ，1995）［15］糖含量的自动测定。Slaughter等（1996）［16］对西红柿，在400～1 100 nm的光谱范围内进行部分穿透性测量试验，结果表明：800～1 000 nm范围的信息对糖含量的确定最有用，测得的相关系数r＝0.92, 但酸度测量比较困难。Mizrach(1997)［17］利用超声波法试验研究了超声波衰减系数和芒果硬度、糖含量、酸度的关系，但其超声波测量探头必须与果面接触，故限制了在线的应用。因此，利用近红外多光谱技术测定水果内部糖含量及其他成分是很有前途的，为达到实时应用的目的，应进一步确定最合适的一两个波段并与计算机视觉技术结合。磁共振及磁共振成像（MRI）技术也是测定水果内部成分的有效方法，其依据是物质内部的某些原子核（H、C、P等）在外部磁场作用下，可与射频区域的电磁波辐射相互作用。Chen等(1996)［18］利用此法对鳄梨的成熟度和鲜杏梅的糖含量进行了一些研究，得到了较好的结果。此法的主要缺点是设备昂贵。图4部分穿透法与水果的口味相关的化学成分主要是可挥发性芳香化合物，当水果成熟时，就会在周围空气中散发这种挥发性芳香气体。Benady等（1995）［19］研制的电子传感器可以测量这种气体的浓度。1.2.3水果内部缺陷的检测西瓜的内部空心用超声波检测已比较成熟。其他缺陷的检测，目前国外正研究利用X射线法、磁共振和磁共振成像技术等方法测量，因成本高及安全性等问题，故很难在农业中推广应用。2研究的途径及方向探讨水果实时分级系统的进一步研究应从两方面入手，一方面要加快水果外部品质的计算机视觉实时分选技术的研究；另一方面也要进行水果内部品质的无损检测技术的研究。因为水果分级的主要目的是选出高质量的水果，故水果内外品质的检测技术都十分重要。在水果的外部品质检测方面，应进行多种技术集成的应用研究。（1） 对于水果整个表面机器视觉快速检测的问题，可采用机械与光学技术相结合，设计合理的传送机构，既保证水果在传送带上比较平稳地移动，又可由视觉系统快速检测到水果的全部表面。尽量减小因水果不规则运动造成的分级误差、损伤及图像的模糊。（2） 对于果梗、萼区与缺陷的检测与视觉区分方面，应采用多光谱技术与机器视觉技术相结合，研究水果图像上可疑缺陷区的关键特征参数的抽取方法，得到简单、有效、快速的图像处理和识别方法。（3） 在球形果面造成的光反射强度呈曲面分布及曲面成像面积的畸变问题，可从光照设计、图像合成及软件补偿3方面综合考虑。光照的充分设计可解决第一个问题；多幅图像的有效合成，可解决畸变问题。我们通过试验表明：一个水果至少应采集5幅图像，然后再合成为一幅，可基本保证水果整个表面上缺陷的有效检测，以避免畸变误差。软件补偿的方法必须简单而有效，以适合高速的要求。（4） 在实时系统的图像处理器硬件设计方面，首先应采取先进的并行CPU芯片，如TMS320C80等；其次处理板的设计应与视觉系统结合起来考虑，如采集多路视觉信号的合成问题，机械机构与视觉系统的同步电路设计等。当然，也可引进国外比较成熟的高速图像处理主板，而其他技术可由国内自行开发，这样可以加快国内水果实时分级系统实现自动化的步伐。（5） 在图像处理和识别的软件设计方面，应把传统方法与现代新方法（神经网络，并行算法，遗传算法，模糊技术，人工智能，图像形态学，分形学，小波变换等）结合起来，改变传统图像信息的超数据量表达方式，寻求图像表达与解释的新方法，力求图像处理和识别算法的快速性、有效性及鲁棒性。在水果内部品质检测方面，声学振动法是实现硬度自动检测的有效方法，但应设法消除影响测量精度的因素，并进行在生产线上的应用开发；近红外局部投射法和磁共振法是水果糖含量、酸度等内部成分自动检测的有效方法。在国内，近红外局部投射法更有应用前景，应进一步研究其通用性、稳定性和实用性；内部缺陷的无损检测应进一步研究新原理和新方法，应采取自己开发和从国外引进相结合的方式。此外，应进行多种传感器测量信息集成技术的研究，这是水果内外品质实现实时自动检测与分级的有效途径。3结语利用各种现代技术的高度集成，在水果分选生产线上同时完成水果内外品质的检测与分级是将来进一步研究的方向和目的。随着科学技术的飞速发展，在我国近期有望实现农产品品质的自动化检测与分级。