基于机器视觉的室内农药自动精确喷雾系统

作者：葛玉峰　周宏平　郑加强　张慧春

　　 论文 关键词:精确林业 农药喷雾技术 机器视觉

　　论文摘要： 建立了基于机器视觉的室内农药自动精确喷雾系统,对信号采集、图像处理、施药决策、数据交换等主要问题作了较深入的研究,提出了基于相对色彩因子的树木图像分割算法,和传统方法相比,在不影响分割效果的同时大大提高了图像分割的实时性。测试表明该系统运行良好,有很好的户外应用前景。

　　引言

　　当前我国森林病虫害严重制约了造林绿化和生态环境建设,但病虫害防治效率却是相当低下:施药技术落后,不管有无施药目标都采用均匀恒速的施药方法,而没有考虑到林木的栽植密度、株距及树冠形态等个体差别;施药器械落后,无论是施药器械的药液混合装置、动力装置还是喷雾装置,其机械化、自动化、精确化程度都相当低。

　　落后的防治手段使农药的利用率低,花费大;农药残留、农药雾滴飘移加重了环境和生态问题;直接和频繁接触农药危及到操作者的人身安全。www.lw881.com

　　精确林业技术提供了解决办法,即在林业生产过程中运用视觉传感器、卫星定位等高新技术,在作业过程中实时测知工作对象所需工作的质、量和时机等时空数据,以求获得最好的施药效果和最小的环境代价,从而节约资源,保护环境。从 文献 [1~5]可以看出,虽然目前已经有一些学者开展了机器视觉的精确施药方法研究,但其研究对象主要为田间作物如棉花、杂草等,还很少有人研究用于林木病虫害防治的精确施药系统,因此开展针对林木病虫害防治的精确施药系统的研究很有必要。

　　1 室内农药自动精确喷雾系统设计

　　1.1 设计要求

　　根据研究目标要求,本系统需要完成以下功能:模拟施药过程中施药器械和施药目标之间的相对运动;利用机器视觉技术采集实时树木图像,通过图像处理完成目标树木的分割和识别;以图像处理结果为依据进行施药决策;上位机pc和下位机单片机进行数据交换,将决策结果转化为喷雾指令,并控制喷雾执行系统实现自动精确喷雾。

　　1.2 系统硬件组成

　　室内农药自动精确喷雾系统的硬件主要包括:运动模拟试验台、彩色ccd摄像头、真彩色图像采集卡、pc机(上位机)、单片机芯片组(下位机)、智能喷雾台(包括若干智能喷头和安装喷头的喷雾台架、压力喷雾系统)及若干接口电路(如rs232/ttl电平转换、功率放大和光电耦合电路等),共分为运动模拟装置、图像采集(机器视觉)装置、自动精确施药装置等3部分。

　　1.2.1 运动模拟装置

　　设计的传输带式模拟运动试验台用于模拟施药过程中施药器械和施药目标之间的相对运动,同时便于机器视觉系统采集到连续目标的运动图像。根据树木自相似原理,在传输带上安装了树叶以模拟实际树木。工作台的启动、调速由西门子矢量型变频调速器6se3214控制电动机来完成。图1中电动机1通过联轴器2带动主动轴3转动,从而带动传输带7运动,这样目标8就跟着传输带7连续地运动起来。通过调节张紧装置4可以调整传输带7的张紧状态,以使其运行平稳。

　　
　　根据实际施药工作情况,以及实时图像采集处理要求,传输带的速度以2~3 m/s为佳。选用的电动机的转速为1 440 r/min,由带轮直径d=0.12 m得到传输带的速度达到10 m/s。

　　1.2.2 图像采集(机器视觉)装置图像采集装置由ccd摄像头、图像采集卡、pc机组成。ccd摄像头为panasonic wv-cp450 colorcctv camera,配套镜头为panasonic auto irislens la9c3ae。摄像头连同三脚架放置在距传输带1.12 m处,镜头与树叶同高,其基线与传输带运动方向垂直。图像采集卡型号为miro video dc30plus,支持彩色图像采集,最大分辨率为712×534像素。采集卡插在pc的pci插槽上,卡上的视频复合端子接收ccd摄像头采集到的模拟视频信号,并将信号数字化,供系统后续使用。当传输带带动树叶转动时,配合开发的软件,机器视觉装置便可采集到连续的树叶运动图像。

　　1.2.3 自动精确施药装置

　　自动精确施药装置由单片机、喷雾台架、喷头系统等组成。将若干个喷头布置在喷雾架横梁上,以此来测试图像处理和喷雾决策结果的正误。每个喷头由一个二位二通电磁阀来控制其开闭。电磁阀的控制信号由单片机的i/o端口提供。电磁阀工作电压为220v,单片机发出的控制指令为5 v,因此在电磁阀和下位机之间接中间继电器,喷头连同电磁阀和继电器一同安装在盒子上。图2为喷头控制原理图。

　　1.3 系统软件组成

　　开发了两套软件系统:一套用vc开发,是基于windows平台的应用程序,用于控制硬件实现目标图像采集、图像分割、智能决策、信息发送等功能;另一套由汇编语言编写,运行于单片机上,实现信息接收、喷雾指令发送功能。

　　1.3.1 图像采集

　　利用microsoft公司提供的vfw(video forwindows)开发了capture类,实现模拟运动树木图像的连续采集。视频流中帧图像的格式由图像采集卡和pc机显示卡决定,本系统中为dib(设备无关位图)格式。利用capture类的关键帧提取功能,从视频流中提取出特定的关键帧进行分析处理,从而减轻cpu负担。

　　1.3.2 图像分割

　　采集到的图像要进行图像分割,将目标树木从背景中分割出来。典型的基于颜色的分割算法将获取的图像从rgb模型转化为hsi模型,以此来削弱光照强度的影响。但色彩模型的转换非常耗时,对于实时性要求高的场合,这些图像分割算法根本不适用。文献[6]指出,彩色图像像素的rgb灰度级在很大程度上依赖于光照强度。在不同的光照条件下,直接用rgb值来进行识别会导致错误的结果。而利用简单的算术操作来组合rgb分量形成相对色彩因子(relative color indices)进行彩色图像分割可以大大降低光照强度的影响。

　　在实验室可控光条件及室外 自然 光条件下拍摄大量绿色树木的图像进行rgb各分量的分析发现,绿色树木图像的g分量值都相对较大,而r、b分量值都相对较小。图像中的背景则鲜有这种现象。据此设计了2g/(r+b)和(r+b+g)/3这一组相对色彩因子来实现树木图像与其背景的分割,其中加入(r+b+g)/3是为了保证图像有足够的光照强度,避免图像中的暗区引起错误分割。为了排除随机噪声的干扰,对分割后的图像进行中值滤波,得到最后的分割结果。由图3可见,当阈值取得合理时,能获得良好的分割效果。

　　以图像分割结果为依据,进行施药决策运算,结果中包含施药命令,是实现自动精确喷雾的关键。为简化算法,提高决策实时性,用控制微型喷头来实现自动精确施药。在实验室实现的方法是:将ccd摄像头的可见视野无重叠地均匀分为若干个小的控制区域,每一个喷头对应一个小控制区域,以分割后的树木图像为基础,检测每一个控制区域,当某个控制区域中有目标(目标的有无通过阈值来设定),则形成对应喷头打开信息,否则形成喷头关闭信息。试验时,将视野平铺地分成4块,对应4个喷头,进行每个喷头的开关量决策,效果良好。如图4,由于2号区域存在目标,因此控制2号区域的微型喷头打开,而其他喷头关闭,从而实现自动精确喷雾。

　　1.3.4 信息发送

　　利用pc机主板上的com口将施药决策的结果发送至单片机。用mscomm控件来进行串口编程。由于pc是rs232电平,而单片机是ttl电平,因此必须在它们之间用一个电平转换电路。

　　
　　1.3.5 单片机程序

　　该程序对单片机串口工作方式、波特率、校验位进行设置(这些设置必须与pc机的串口设置严格保持一致)。同时将接收到的喷雾决策结果转化为高、低电平送至i/o口,控制施药装置。

　　由单片机的i/o口输出信号来进行继电器的控制存在以下问题:继电器的工作电压较高,因此从单片机输出的信号需要经过驱动电路进行转换,使输出的驱动电压能够适应继电器线圈的要求;继电器动作时,对电源有一定的干扰。为了提高系统的可靠性,在单片机和继电器之间用光电耦合器隔离。

　　2 系统运行测试

　　在实验室内,将变频器工作频率设定在2~20 hz范围内可变,即目标和摄像头相对运动速度为1.3~13 km/h。采集到的视频流帧速率为10 f/s,关键帧采样间隔为0.3 s,即在视频流中每3帧抽取一帧进行图像分割。为了更加清楚地在不同运行速度上观察系统施药决策和精确施药的效果,在测试时仅控制一个喷头的开闭。

　　运行测试表明,当系统运行于低速状态(1.3~5 km/h)时,系统各环节协同较好。采集到的图像较清晰,图像分割结果和静止状态下分割结果基本一致,电磁阀工作稳定可靠,喷头的开闭和预期的完全一致。不考虑雾滴飘移等因素,有80%左右的液体击中目标,自动精确施药实现的效果较好。但当系统运行速度增大时,出现了以下问题:①由于运动速度较大,采集到的图像开始出现模糊和拖尾,当速度大于7.8 km/h时,这种现象相当明显,图像噪声也有所增加,图像分割正确性下降。②在0.3 s的采样间隔下,由于相对运动速度过大,ccd系统来不及采样,造成无目标的错误决策。③由于电磁阀的机械响应特性,电磁阀需要足够长时间的高电平(或低电平)来开启(或闭合)阀门,系统运动速度过大,使得目标在控制区中的时间缩短,决策程序不能在此期间生成足够长的高电平来开启阀门时,会发生错误。

　　为解决以上问题,提高视频流的帧速率,同时缩短关键帧的采样间隔。在5.2~7.8 km/h的运行速度上,将系统帧速率提高到15 f/s,关键帧采样间隔为0.133 s(即每两帧抽取一帧进行图像分割)。经过以上调整,系统的可靠性有较大改善。但关键帧的采样间隔不能无限制缩短,关键帧的采样间隔必须比分割一帧图像所需的时间长,否则系统不能正常工作,因此当系统的运行速度更大时,由于受到图像处理速度的限制,不能再通过缩短关键帧采样间隔的方法来提高系统性能,从而可看出,图像处理算法的效率直接影响系统精确施药性能和效率。

　　在本系统中,传输带的运动速度(相当于施药目标和施药器械之间的相对运动速度)是至关重要参数,因为它直接决定了本系统是否有 经济 实用价值。在实际林木病虫害防治过程中,一般要求施药速度达到8~10 km/h。从系统实验室测试结果来看,在低速状态下系统运行是可靠的,在中速状态下,也可以用调整状态参数的方法(主要是缩短关键帧采样间隔)使之可靠运行,由于实验室内所用的模拟目标远比实际树木小,模拟目标间的间隔也要比行道树间的实际株距小,因此,通过相似原理可以推断出进行户外工作时,系统运行速度可以进一步提高,达到10 km/h以上,但仍需进行户外测试加以证实。

　　3 结束语

　　研究的室内农药实时精确喷雾系统以实验室环境中的试验模型为研究对象,模拟林木病虫害防治农药喷雾的真实情况,分析和探索了在 自然 环境中基于实时视觉传感技术的农药精确喷雾的可行性和效果。建立了一套图像处理算法,并以此为依据做出决策来控制喷头实现农药的精确喷雾。对施药过程中的运动模拟、树木图像采集、图像分割、施药决策、喷雾执行等方面作了深入的探讨和研究。

　　 参考 文献

　　1 steward b l, tian l f. machine-vision weed density estimation for real time, outdoor lighting ction of asae, 1999, 42(6): 1897~1909

　　2 steward b l, tian l f, tang l. distance-based control system for machine vision-based selective ctions of the asae,2002,45(5): 1255~1262

　　3 li zhigang, fu zetian, shi yan, et al. prototype system of automatic idenfication cotton insect pests and intelligentdecision based on machine vision. 2003 asae meeting, paper 031107.

　　4 kevin gillis p, giles d ken, slaughter david c, et al. injection and fluid handling system for machine-visioncontrolled spraying. 2001 asae meeting, paper 011114.

　　5 chi y t, chien c f, lin t t. leaf shape modeling and analysis using geometric descriptors derived from beziercurves. transactions of asae, 2003, 46(1);175~185

　　6 ei-faki m s, zhang n, peterson d e. factors affecting color-based weed detection. transaction of the asae,2000, 43(4):1001~1009

　　7 向海涛.基于 计算 机视觉技术的树木图像实时采集与识别系统:[硕士学位 论文 ].南京:南京林业大学,2002.

　　8 郑加强,周宏平,越茂程等. 21世纪精确农药使用方法展望.见:倪汉祥,成卓敏主编.面向21世纪植物保护 发展 战略研讨会论文集.北京: