图像边沿检测的论文

HED 论文： Holistically-Nested Edge Detection HED（Holistically-Nested Edge Detection）是一个端到端的边缘检测网络，特点是提取不同尺度的特征，和多输出的多监督及融合。 HED 在产业上应用比较广泛。 Holistic：指该方法的预测和训练都是端到端的；Neted：指通过多层级的输出，渐进地优化最终结果。作者的命名逻辑... 看这篇边缘检测的论文主要是想知道边缘检测的损失函数应该怎么设计。我本来的想法是直接像语义分割一样，用 IoU ，后来想想不对，如果一个边缘检测结果是 GT 平移了几个像素，那它仍可称得上好，但它的 IoU 却会骤降至和随机结果差不了多少。如果对边缘检测问题用 IoU 做优化对象，恐怕在优化时根本找不到可以下降的梯度方向。边缘检测的任务是提取图像内每个对象的边界，而排除对象的纹理。HED 被设计以解决两个问题：（1）对图像整体的训练和预测，End-to-end；（2）多尺度的特征提取。端到端很容易实现，因为边缘检测任务的输入和输出都是一张图片，只是通道数不同，很明显可以应用一个全卷积的网络来实现。HED 的骨干网络采用 VGG，并将 VGG 后面的全连接层结构全部移除，只保留卷积层。一些曾被应用过或正在被应用的多尺度特征提取方法。 (a) 多通路并行网络，通过不同的网络深度得到不同的感受野，输出聚合在一起； (b) 跳线连接，将来自不同卷积层的输出通过跳线连接在一起，作为特征提取结果（实际上跳线连接也可以在各个卷积层之间连接，而不仅限于到输出层，比如 U-Net 结构）； (c) 同一个网络，采用不同尺寸的输入； (d) 不同深度的网络完全分立（这个方法感觉最拉跨，各个尺度上的特征没有相关性，也没听说过有人这么搞）； (e) HED 提出的结构，在卷积网络的不同深度引出“侧输出”，将这些侧输出聚合成最终输出（和 (b) 的不同在于每个侧输出都能被监督并进行反向传播，这里应用了中继监督的思想，也是一个很泛用的做法）。这篇文章也用了中继监督，之前看的 Stacked Hourglass 也是。不过 Stacked Hourglass 的侧输出是还要被输入到下个特征提取网络里继续 refine 的，旨在迭代地优化输出结果。 HED 的侧输出和 GoogLnet 等一些常见的侧输出比较像，前面也说了，浅层的特征保留了更多的信息，但是相对而言感受野更小，那么 HED 就取多个不同深度的特征，分别在这些位点设置输出层。具体地，HED 在每个 VGG 内尺寸的特征图上引出一个卷积层作为侧输出层。HED 将边缘检测任务归纳为对每个像素点的二分类任务——“边缘”和“非边缘”。对于 HED 的单个输出而言，其损失函数为所有像素点的二分类损失函数的和，另外，由于边缘占的像素总数一般都会少于非边缘，所以实际是边缘的像素提供的二分类损失函数会乘以一个更大的权重，以进行正负样本平衡。HED 整体的损失函数就是它所有输出的损失函数的加权和。 转化成数学语言就是：其中 指特征提取网络（VGG）的权重， 指 HED 第 层输出的输出层权重， 为平衡每层输出为最终损失贡献的系数， 为平衡正负样本的系数， 和 分别指代边缘像素和非边缘像素， 为像素 输出的置信度。 上面的损失函数是针对每个侧输出进行优化，HED 的最终输出是每个侧输出按照一定的权重加总得到的融合输出，这些权重是通过训练学习到的，而非人为设定的。 融合输出的损失函数如下：其中融合输出 ， 是每个侧输出在融合时的权重， 计算输出和 GT 之间的距离，这里采用交叉熵函数。 整个模型在训练时的优化目标权重为：可以看到，最终的损失函数中存在一定的冗余，由于融合输出是由侧输出得到的，侧输出似乎被不止一次地惩罚了。不过，先不论这种冗余是不是必要的，据作者言，只对融合输出进行惩罚得到的效果是不够好的，因为模型总会区域学习更大尺度上的特征。 HED 的损失函数是一种很直接的思路，不过任然有这样的问题：当一个被预测为“边缘”的像素点实际上是“非边缘”时，不管它和 GT 离得有多近，体现在损失函数上，都和一个差 GT 十万八千里的像素点没有区别。这种设计——就我个人的理解——会让损失函数的梯度出现大面积的平坦区域，梯度下降难以工作。但目前的工作似乎都是在用交叉熵作为损失函数，虽然今年也提出了 G-IoU、D-IoU 等将 IoU 调整后作为损失函数的方法，但是限于数学表达上的困难，目前只能应用于矩形边界框，而不能应用于像素集分割。

本教程将教你如何： （ 1 ）实施图像边缘检测算法。 导言 边的特点，因此，边界问题，根本的重要性在图像处理中。在图像的边缘地区，强度强的反差？猛增强度从一个像素的下一个。边缘检测的图像大大减少了大量的数据，并过滤掉无用的信息，同时保持重要的结构性能的形象。这也是我在索贝尔和拉普拉斯边缘检测教程，但我只是想再次强调这一点的，为什么您要检测的边缘。 图像边缘检测算法是众所周知的许多人视为最佳边缘检测。精明的意图是要加强许多边缘探测器已经在的时候，他开始了他的工作。他很成功地实现他的目标和他的思想和方法中可以找到他的论文“计算方法的边缘检测” 。在他的文件中，他遵循的标准清单，以改善目前的边缘检测方法。第一个也是最明显的错误率低。重要的是，发生在图像边缘不应错过的，没有任何反应，非边缘。第二个标准是，边缘点很好地本地化。换言之，之间的距离边缘像素作为探测器发现和实际边缘要在最低限度。第三个标准是，只有一个回应单一优势。这是第一次实施，因为并没有实质性的2足以完全消除的可能性，多反应的优势。 根据这些标准， 图像边缘检测器的第一个平滑的图像，以消除和噪音。然后认定的形象，以突出地区梯度高空间衍生物。该算法然后轨道沿着这些地区和抑制任何像素这不是在最高（ 非最大限度制止） 。梯度阵列现在进一步减少滞后。磁滞用来追踪沿其余像素，但没有压制。磁滞使用两个阈值，如果规模低于第一道门槛，这是设置为零（发了nonedge ） 。如果是规模以上的高门槛，这是一个优势。如果震级之间的2阈值，那么它设置为零，除非有一条从这个像素一个像素的梯度上述时刻。 第1步 为了落实图 像边缘检测算法，一系列步骤必须遵循。第一步是筛选出任何噪音的原始图像在寻找和发现任何边缘。而且因为高斯滤波器可以用一个简单的计算面具，它是专门用于在Canny算法。一旦合适的面罩已计算，高斯平滑可以用标准的卷积方法。阿卷积掩模通常远远小于实际的形象。因此，该面具是下跌的形象，操纵一个正方形像素的时间。较大的宽度高斯面具，较低的是探测器的敏感性噪音。定位误差检测边缘也略有增加的高斯宽度增加。高斯遮罩使用我在执行下面显示。 第2步 经过平滑的形象，消除噪音，下一步就是要找到优势兵力，采取梯度的形象。的Sobel算子进行二维空间梯度测量的形象。然后，大约绝对梯度幅度（边缘强度）各点可以找到。 Sobel算子的使用对3x3卷积口罩，一个梯度估计在X方向（栏）和其他的梯度估计的Y方向（行） 。它们如下所示： 的规模，或EDGE强度，梯度近似然后使用公式： | G | = | GX的| + |戈瑞| 第3步 寻找边缘方向是小事，一旦梯度在X和Y方向是众所周知的。然而，你会产生错误时sumX等于零。因此，在代码中必须有一个限制规定只要发生。每当梯度在x方向等于零，边缘的方向，必须等于90度或0度，取决于什么的价值梯度的Y方向等于。如果青的值为零，边缘方向将等于0度。否则边缘方向将等于90度。公式为寻找边缘方向是： 论旨= invtan （戈瑞/ GX的） 第4步 一旦边缘方向众所周知，下一步是与边缘方向为方向，可以追溯到在一个图像。因此，如果一个5x5像素图像对齐如下： x x x x x x x x x x x x 1 x x x x x x x x x x x x 然后，可以看到看像素的“ A ” ，只有4个可能的方向时，描述了周围的像素- 0度（水平方向） ， 45度（沿积极对角线） ， 90度（垂直方向） ，或135度（沿负对角线） 。所以，现在的边缘方向已经得到解决纳入其中四个方向取决于哪个方向，它是最接近于（如角被发现有3度，使零摄氏度） 。认为这是采取了半圆形和分裂成5个地区。 因此，任何先进的方向范围内的黄色范围（ 0至5月22日＆ 157.5至180度）设置为0度。任何先进的方向下滑的绿色范围（ 22.5至67.5度）设置为45度。任何先进的方向下滑的蓝色范围（ 67.5至112.5度）设置为90度。最后，任何先进的方向范围内的红色范围（ 112.5到157.5度）设置为135度。 第5步 在被称为边缘方向， 非最大限度制止目前适用。 非最大限度抑制是用来追踪沿边缘方向和制止任何像素值（套等于0 ）这是不被认为是优势。这将让细线在输出图像。 第6步 最后，滞后是用来作为一种手段，消除条纹。裸奔是打破的边缘轮廓线的经营者造成的产量波动上面和下面的门槛。如果一个门槛， T1讯号适用于图像，并具有优势的平均强度相等的T1 ，然后由于噪声，将先进的情况下，逢低低于阈值。同样它也将延长超过阈值决策的优势看起来像一个虚线。为了避免这种情况，滞后使用2的门槛，高和低。任何像素的图像，其值大于表＃ t1推定为边缘像素，并标示为这种立即。然后，任何像素连接到这个边缘像素，并有一个值大于时刻还选定为边缘像素。如果您认为以下的优势，您需要一个梯度的时刻开始，但你不停止直到触及梯度低于表＃ t1 。