基于双目立体视觉技术的桥梁裂缝测量的设计开

　0引言
　　桥梁工程在我国的飞速发展中占据重要的地位，而桥梁工程的安全与否也直接关系到人民群众的生命安危。要保障桥梁的质量，就要加大对桥梁裂缝检测的频率与力度。我国桥梁裂缝检测的现状是以人工为主，依靠桥梁检测车等大型机械将桥梁检测专家送到桥底进行人工检测与测量。人工检测方法耗时耗力，人力安全保障不高，且主观因素对测量结果影响比较大。近几年许薛军等[1-3]很多国内外学者一直尝试着使用传统的数字图像处理的方法对桥梁裂缝进行测量，即用单目拍摄系统拍摄大量桥底以及桥周边的图片，对图片进行灰度化，平滑去噪等简单的图像处理后提取裂缝轮廓，根据裂缝占用的像素数和相机的像素率（单位像素尺寸计算出裂缝的真实尺寸。这种方法相比较人工测量方法有所进步，方便快捷，安全可靠。不足之处是，单目图像处理的方法仅仅是基于二维平面的一种计算方法，而摄像机拍摄平面很难严格地平行于桥面，即图像上显示的裂缝仅仅是真实的裂缝在摄像机平面的投影，这样用图像处理的方法计算出的裂缝尺寸会产生很大的误差。针对这种情况，本文提出了一种基于双目立体视觉技术的桥梁裂缝测量系统，将双目拍摄系统拍摄的照片用基本图像处理方法进行预处理后，再用双目视觉技术进行计算。双目视觉技术可以还原物体的空间真实尺寸，从而弥补了单目测量系统在测量精度方面的缺陷。
　　1桥梁裂缝测量系统组成
　　桥梁裂缝测量系统由图像采集模块、图像处理模块、双目立体计算模块组成。系统组成结构见图1。
　　1.1以无人机为载体的图像采集模块
　　无人机质量轻，体积小，灵活轻便，拍摄角度全面，可操作性强。方案采用stm32单片机操控的自制四旋翼无人机，将双目摄像头固定在无人机上，实现多方位拍摄桥梁底部及周边照片。
　　1.2图像处理模块
　　首先，后续的对于桥梁裂缝图片的操作是基于灰度图像进行的，而拍摄到的原始图片为真彩图像，所以需要将真彩图像转化为灰度图。其次，原始的桥梁裂缝图像中会有一些雨水冲刷的痕迹或者人为的印迹，即噪声，使真正的裂缝受到干扰，因此必须对图片进行进一步的处理，包括去噪、平滑等，使得后面的计算结果更精确。参照文献[4]并通过多个实验对比，选用效果比较好的自定义3×3平滑滤波模板进行去噪处理。对处理后的图像进行线性灰度转换，可以实现图像增强。最后，选用文献[5]介绍的拉普拉斯高斯（LaplacianGauss， LoG算子进行边缘检测，得到最终的桥梁裂缝二值图，使裂缝的轮廓与背景区域分割开来。
　　1.3双目立体计算模块
　　计算模块是桥梁裂缝测量系统的核心部分。对预处理后的图片进行相关点匹配与空间坐标计算，进而计算出桥梁裂缝的长度与宽度值。具体计算过程见第3章。
　　2双目立体视觉计算
　　2.1双目立体视觉模型
　　人之所以能看到一个三维的立体世界，是因为两只眼睛从不同角度分别成像，大脑根据左右双眼的相对位置计算出物体的大小距离等信息。双目视觉顾名思义，就是根据人的双眼去模拟的一种计算机视觉，所以它的模型也如人的双眼一般。双目视觉的模型见图2（为了实际应用方便，本方案所用的模型参考文献[6]，为双目横向平行对准模式。其中，P是空间一点，设P在世界坐标系下的齐次坐标为（X，Y，Z，1，pl（x1，y1，1和pr（x2，y2，1分别是P点在左、右摄像机成像平面上的像素齐次坐标。采用横向平行对准模式（即两个摄像机成像平面处于同一平面并与光轴垂直，光心处于同一水平线，且位于成像平面中心，焦距相等的双目视觉模型。
　　图片
　　图2横向平行模式的双目视觉模型
　　假设焦距为f，两个摄像机的基线为B，取左相机坐标系为世界坐标系OXYZ，左边像素坐标系为Olx1y1，右边像素坐标系为Orx2y2，根据透视变化三角几何关系，参照文献[7-8]可以得到以下公式：
　　y1=y2=fYZ（1   []
　　x1=fXZ（2
　　x2=fX-BZ（3
　　由式（1、（2、（3可以计算出点P的三维坐标：
　　X=Bx1x1-x2Y=By1x1-x2Z=Bfx1-x2（4
　　2.2双目相机的标定
　　根据冯焕飞等[9]的研究可以总结出：双目相机的标定指确定三维空间点到二维平面点的映射矩阵的过程。投影矩阵是由相机经过标定后获得的内外参数决定，内参指相机的畸变系数等参数，外参指相机坐标系相对于世界坐标系的旋转系数和平移系数。本方案选择了经典的Zhang[10]标定法，采用实心圆阵列标定板（图3（a。三维空间点到二维平面点的映射关系为：
　　xy1=sNWXYZ1=s·fx0cx0fycy001·[Rt]·XYZ1（5
　　图片
　　图3标定板以及特征识别结果
　　其中：s为比例因子；N为相机内参矩阵，表示相机在x和y方向上的畸变系数以及单位像素尺寸；W表示相机坐标系相对于世界坐标系的映射矩阵，即外参矩阵；其中R为3×3旋转矩阵；t为3×1的平移向量。Zhang[10]标定法选择的是平面标定，即标定板处于Z=0的平面上，整理得：
　[xy1]T=sN[r1r2t][XYZ1]T=
　　[h1h2h3][XYZ1]T=H[XYZ1]T（6
　　其中：H为所求三维空间坐标到二维像素坐标的映射矩阵。
　　标定板中黑色特征点的二维像素坐标可以通过图像识别和计算得到，识别结果见图3（b。特征点的三维坐标可以由棋盘格直接得知。根据上述理论，张正友标定法需要得到的参数共有5个，而旋转矩阵R还具有以下两个性质：rT1r2=0，‖r1‖=‖r2‖=1，所以至少拍摄3幅图片就可以得到相机的映射矩阵H，并且可以计算出具体的摄像机内参和外参。本方案用9组图片来进行双目摄像机标定，使标定精度更高。
　　2.3图像匹配
　　一个空间点的三维坐标是由该点在左右图中的像素坐标共同计算出来的，因此将同一点在左右图中的成像精确匹配出来很重要。根据桥梁裂缝的特征和之前的图像预处理结果（见图4，研究了一种适用于桥梁裂缝二值图的匹配方法。方法同时利用外极线约束与灰度值约束缩小搜索范围。再选用Takashi Goda等[11-12]文献[11-12]的基于灰度值匹配的图像互相关算法——归一化互相关（Normalized Cross Correlation， NCC进行唯一性约束。主要匹配流程如图5。
　　2.3.1对极约束
　　立体视觉成像系统的基本几何模型被称为对极几何。本质上 ，这个几何模型包括两个针孔模型和一些相交的点，称作极点。从文献[13]中，得知对极几何有以下几个特点（可参考图2：
　　1每个空间中的点都在一个极面上，该极面与两个图像相交于极线。给定一张图像中的点，它在另一图像中的匹配点必定在对应的极线上，这一约束被称作对极约束。对于本文用到的平行对准模式的双目系统，极线即为左右两个成像点的连线。
　　2对极约束意味着本来应该在二维平面上寻找的匹配点被简化为在极限上寻找。这不仅仅降低了计算量，也可以作为约束来降低错误匹配的可能性。
　　2.3.2 归一化互相关（NCC算法
　　NCC算法的主要思想是基于某一点的灰度值以及周边像素的灰度值，在对应的图像中寻求与之相关系数最大的点。以参考点为中心建立一个u*v的窗口T，则对应图像中某一点与该点的相关系数为
　　ncc（r，c=1n·（∑u′≤u.v′≤vu′，v′=0（t（u′，v′-mt/s2t·
　　（（f（r+u′，c+v′-mf（r，c/s2f（r，c（7
　　其中：（r，c为搜索子图的左上角顶点在搜索图像中的坐标。mt=1n∑u′≤u，v′≤vu′，v′=0t（u′，v′是模板T的平均灰度值，S2t=1n∑u′≤u，v′≤vu′，v′=0[t（u′，v′-mt]2是模板T的灰度值方差，当前搜索窗口平均灰度值为mf=1n∑u′≤u，v′≤vu′，v′=0t（r+u′，c+v′，灰度值方差为
　　S2f=1n∑u′≤u，v′≤vu′，v′=0[t（r+u′，c+v′-mf]2。
　　从式（7中可以看出：ncc（r，c≤1，一般情况下，相关系数的绝对值越大，则表明待匹配点与当前对应点匹配度越高。
　　2.3.3裂缝匹配过程
　　由对极约束和NCC算法原理，可以获得一种适用于通过图像处理得到的桥梁裂缝二值图的匹配方法。首先，在左边的二值图上选取一点为参考点，通过对极约束，可以迅速地将匹配目标锁定到右边二值图的对应极线上。其次，由于二值图已经描述了裂缝边缘，因此通过灰度值检测可以排除黑色区域，留下灰度值为255（即白色的点。最后用NCC算法计算出所剩的少量候选点分别与参考点的归一化互相关系数，从中找出绝对值最大并且不大于1的点，即可作为最终获得的匹配点。
　　3裂缝尺寸计算
　　根据2.1节中提到的双目立体视觉空间点坐标计算原理，可以由式（4得知，每得出一组匹配像素点pl（x1，y1和pr（x2，y2，由相机标定得到相机的焦距f和双目相机的基线B，就可以求出pl和pr在空间中对应的真实点P（X，Y，Z。在之前的图像处理中，参照文献[14]提出的一些研究方法，已经将图片转化为灰度图并且将裂缝的轮廓提取出来。因此，根据文献[15]中的一些三维重建理论，只要分别对一条裂缝的宽边（或长边左右（或上下的像素点进行匹配，就可以计算出这两点的三维坐标（X，Y，Z和（U，V，W。进一步，根据三维欧氏距离公式：
　　d=（X-U2+（Y-V2+（Z-W2（8
　　计算出该处的宽度值（或长度值。根据计算流程见图6。
　　4实验方案与结果分析
　　实验的主要目的有两个：一是验证方案中提出的桥梁裂缝测量系统的可行性；二是对比双目立体视觉技术和传统图像处理技术在裂缝尺寸测量方面的优劣。在Qt平台上用C++语言进行编程。用双目拍摄系统实拍了两组混凝土桥梁裂缝图片（以下分别称为A组和B组，对于每一组图片中的裂缝，采用三种不同角度去拍摄（拍摄示例见图7，角度分别用序号1，2，3表示，之后用双目立体视觉技术计算出该裂缝的长度和宽度。在此说明，根据相关桥梁规范，本文所指裂缝宽度为每段裂缝最宽处的值，裂缝长度指裂缝长边两端点的直线距离。为了保证单双目摄像机的对比处于同一标定条件和拍摄角度下，实验直接对每组图片的左边图片和右边图片用二维图像处理技术进行裂缝尺寸计算作为单目的计算结果，并用裂缝观测仪测量出的结果作为标准参考值。计算结果与对比见表1。
　　5结语
　　通过深入研究基于双目立体视觉理论的桥梁裂缝测量系统，和设置严格的对比实验，得出了以下结论：
　　1通过无人机搭载双目拍摄系统和在Qt平台上用C++语言编程，实现了桥梁裂缝测量系统。在不同的拍摄角度下，双目测量结果相差不大，并且对于裂缝宽度和长度，双目测量结果与真实值的相对误差分别保持在10%和1%以内，符合《公路钢筋混凝土及预应力混凝土桥涵设计规范》中的规定。而同条件下单目测量结果随着拍摄角度变化相差很大，证明了基于双目立体视觉技术的桥梁裂缝测量系统能较好地在实际中应用，并相对传统的基于图像处理技术的单目视觉测量方法具有更高的精确度。
　2由表1知，当裂缝宽度分别为0.33mm和0.25mm时，双目测量系统测量结果的相对误差分别约为3%和10%，表明裂缝的宽度越小相对误差越大。桥梁裂缝宽度测量也是桥梁裂缝检测领域一直以来的一个难点。
　　3该系统的测量误差除了有仪器造成的系统误差以外，还包括图像预处理环节、相机标定环节和图像匹配环节产生的随机误差。所以，要使桥梁裂缝检测工程达到更高的精度，在这几个方面也要进行深入的研究，获得更高精度的计算方法。
　　参考文献
　　[1]
　　XU X， ZHANG X. Crack detection of concrete bridges based digital image [J]. Journal of Hunan University
　　Natural Science， 2013，40（7
　　34-40.（许薛军，张肖宁.基于数字图像的混凝土桥梁裂缝检测技术[J]. 湖南大学学报
　　自然科学版， 2013，40（7
　　34-40.
　　[2]   []
　　XIA J， CHEN P， CHEN Z， et al. Bridge crack detection technology based on digital image processing [J]. Electronic Instrumentation Customer， 2011，18（1
　　72-74.（夏巨武，陈普春，陈卓，等.基于数字图像处理的桥梁裂缝测量技术[J]. 仪器仪表用户， 2011，18（1
　　72-74.
　　[3]
　　YIN G， ZHAO Z， XU B. Bridge crack detection based on image processing technology [J]. Sichuan Construction Science Research， 2013，39（2
　　125-128.（尹冠生，赵振宇，徐兵. 基于图像处理的桥梁裂缝检测技术[J]. 四川建筑科学研究， 2013，39（2
　　125-128.