unet论文发表在哪里的

Automatic Pixel-Level Crack Detection on Dam Surface Using Deep Convolutional Network 论文笔记 论文：Automatic Pixel-Level Crack Detection on Dam Surface Using Deep Convolutional Network Received: 2020.01.17 大多数坝面裂缝检测只能实现裂缝分类及粗略的定位。像素级语义分割检测可以提供更加精确直观的检测结果。作者提出一种基于深度卷积网络的坝面裂缝检测算法。首先使用无人机进行数据采集，然后对采集到的图像进行预处理（包括裁剪、手动标注），最后对设计好的CDDS 网络结构进行训练、验证和测试。 与ResNet152-based SegNet U-Net FCN 进行了比较。  大坝是水电站的重要水利建筑物。大坝的安全运行对于水电站有着重要的意义。由于结构变形、地震、水流引起的裂缝对大坝坝体产生严重的影响并威胁到水电站的安全运行。因此，对大坝结构的定期健康评估，特别是对大坝裂缝的检测任务变得尤为重要。 根据大坝裂缝的结构特征以及裂缝强度，人们可以对大坝的结构健康进行评估和监测。传统的大坝裂缝的巡检任务通常基于人工进行检测，但是效率低下、耗时费力，浪费了大量的人工成本，因此对裂缝的自动高效检测是非常必要的。 基于计算机视觉的裂缝检测算法得到了广泛的研究。这些方法大多采用传统的图像处理技术和机器学习方法，以识别出一些简单的结构损伤。这些方法利用手工提取的特征从图像中提取特征，然后评估提取的特征是否表示缺陷。然而，上述方法的结果不可避免地受到主观因素的影响 卷积神经网络（CNN）在图像分类和识别领域取得很大的进步，基于CNN的裂缝检测算法也展示出更优异的表现。大坝裂缝的特点： 修补痕迹、噪声大、背景纹理复杂、非结构化的、分布不均匀、裂缝位置随机、背景模糊等缺点 提出了一种像素级的大坝表面裂缝检测方法，利用深卷积网络进行特征提取。利用浅卷积层的定位特征和深卷积层的抽象特征，进行 多尺度卷积级联融合和多维损失值计算 ，实现裂纹缺陷像素级分割，并以高精度、高效率等优点解决了坝面明显裂缝检测问题，消除了可能存在的安全隐患，确保了坝面安全。实验结果表明，该方法对大坝表面像素级裂缝的检测是最优的。 语义分割 PSPNet [42],ICNet [43], Deeplabv3[44],UNet [45] and SegNet [46] 语义分割网络通常分为编码网络和解码网络。 编码网络： 卷积层：用于提取输入图像的特征 池化层：减小feature map的规模，减轻计算负担。 解码网络： 反卷积层（反褶积层）：上采样还原feature map大小与输入图像相同，并输出预测结果。 编解码网络结构高度对称：同时利用稀疏feature map和稠密feature map。 为了融合sparse 和 dense feature ，采用跳跃模块以连接编解码网络。编码网络：     15 卷积层：3*3  步长1     4 池化层： 2*2 步长2 解码网络：     15 反卷积层 1*1     4池化层     采用dropout和BN防止过拟合。     Skip branch     4个，1*1卷积和反卷积     每个branch计算 branch loss，4个branch loss级联为总损失的一部分。     Skip branch 的输入输出图像大小不变。卷积核的通道数必须等于输入张量的通道数。降采样 取矩阵最大值 卷积核大小 2*2 步长为2。反褶积也叫做转置卷积 通过上采样还原feature map与输入图像大小相同。 上采样方法：反褶积法、 插值法 反褶积法：对张量进行zero-padding填充最外层，再用反褶积核进行反褶积，修剪第一行和最后一行。1000副5472*3648图像使用LEAR软件手动标记。 得到504张数据集，404用于训练，50用于验证，50用于测试。 在Linux系统上使用TensorFlow构建的 在配置了8 GB GPU的HP工作站上执行培训、验证和测试 利用Anaconda建立了CDDS网络的虚拟python环境评价指标： Precision精度表示在所有预测破裂的样本中，样本的基本真实性也被破解的概率。 Recall召回表明在所有标记为开裂的样本中，样本被预测为开裂的概率。当正负样本数量存在较大差距时，仅使用精确性或召回率来评估性能是不合理的。TPR表示所有标记为裂纹的样本中被正确预测为裂纹的概率。TNR代表以标签为背景的所有样本中被正确预测为背景的概率.F-measure考虑到查全率和查准率的综合影响，F-测度是一个综合指标。IoU是目标检测领域中常用的评价定位精度的方法。IoU表示预测结果与地面真实值的交集与联合的交集的比率。大坝表面裂缝图像分为背景和裂缝两类。背景像素的数目远大于裂纹像素的数目。通常情况下，我们会同时计算背景arrears和裂缝arrears，然后以两张arrears的平均数作为最终arrears。IoU值是由背景像素决定的，不能准确表达裂纹的定位精度。使用三种学习速率10^4,10^5,10^6 使用softmax函数计算概率 使用Dice loss计算网络损失。 裂缝骨架提取：快速细化算法 调用OpenCV库，进行计算。 计算裂缝面积及长度宽度。使用其他裂缝数据集进行补充验证 ，在测试数据集上，提出的CDDS网络的裂纹IOU和F测度分别达到67.41%和80.14% 略。

SDNET: MULTI-BRANCH FOR SINGLE IMAGE DERAINING USING SWIN 最近，流行的transformer具有全局计算特性，可以进一步促进图像去雨任务的发展。本文首次将Swim-transformer引入图像去雨领域，研究了Swim-transformer在图像去雨领域的性能和潜力。具体来说，我们对Swim-transformer的基本模块进行了改进，设计了一个三分支模型来实现单幅图像的去雨。前者实现了基本的雨型特征提取，而后者融合不同的特征进一步提取和处理图像特征。此外，我们还采用jump connection来融合深层特征和浅层特征。实验表明，现有的公共数据集存在图像重复和背景相对均匀的问题。因此，我们提出了一个新的数据集Rain3000来验证我们的模型。 Transformer[28]最初是自然语言处理（NLP）领域的一个模型，用于并行处理单词向量，以加速模型推理。它的全局计算特性适用于远距离传递特征。这正是计算机视觉领域中卷积运算所不擅长的。Dosovitskiy等人[29]将图像分割成16x16个图像块，将不同的图像块作为不同的词输入到transformer中，提高了图像分类的精度。近年来，人们从深度[30]、多尺度[31]等角度应用transformer来完成相关任务。然而，Transformer也有不可忽视的缺点，例如计算量与图像大小之间存在二次关系，这限制了它的应用环境。Liu等人[32]提出的Swin-transformer使用滑动窗口使模型具有线性计算复杂度，通过跨窗口连接改善了窗口间的信息交换，最终提高了模型在图像分类、目标检测和实例分割等方面的性能。 本文提出了一种新的图像去雨网络SDNet，它是利用Swim-transformer强大的特征表示能力构建的端到端去雨网络。具体地说，我们改进了Swim-transformer的基本模块，重新设计了一个双分支模型，实现了单图像去雨。前者实现了基本的雨型特征提取，后者融合了不同分支的特征。此外，我们采用jump connection来融合深度特征和浅层特征，以提高网络模型的性能。 本文贡献如下： 最近有大量的研究工作将transformer引入CV域，并取得了良好的效果。具体来说，Dosovitskiy等人[29]将图像分成16X16个图像块，然后将其拉伸成一维向量，然后送入网络中完成图像分类任务。Chen等人[38]提出了一种基于卷积运算的transformer与Unet相结合的TransUnet方法，实现医学图像的分割。蒋等[39]设计了与对抗生成网络结构相同的图像生成transformer。transformer中的self-attention导致模型计算直线增长，导致transformer不能在低计算能力的硬件上运行。Liu[32]提出了一种利用滑动窗口方法使网络计算线性增长并加速网络推理的方法。我们的方法是基于这种方法来实现一个单一的图像去雨任务的融合特征。 本文的方法是基于这种方法[32]来实现一个单一的图像去雨任务，融合不同分支的特征、深度特征和浅层特征。 Transformer是一个功能强大的网络模块，可以取代CNN操作。但其中的Muti-Head Attention导致模型的计算量迅速增加，导致transformer模型无法在许多底层硬件中测试和使用，注意力的数学表达式如下：本文使用一个简单而强大的前馈网络作为主干，如图2所示。SDnet网络基本上由三个多分支融合模块组成，称为MSwt，一个多分支模块MSwt-m和两个基本block模块。此外，还增加了跳转连接，目的是融合深特征和浅特征，以提高网络去雨的性能。为了更灵活地构建网络，提出了Basic-block的概念，并设计了两个三分支特征融合块。如图4和图5所示，与后者相比，前者有一个用于融合特征的附加基本块。数学表达式如下： 其中F（·）表示基本块的操作。x表示模块Mswt的输入。这种设计的思想来源于自我注意中的多头注意机制。通过学习F1、F2、F3，可以自适应地学习不同的特征。将输入映射到不同的子空间，分别提取不同的特征。与自我注意不同的是，我们对提取的特征求和，而不是级联操作。通过F4融合增加的特征，实现进一步的特征提取。由于设计思想来源于多头注意机制，多分支具有与该机制相同的特点，即在一定范围内，分支越多，模型性能越好。为了平衡模型的规模和模型的性能，我们选择了三个分支进行特征提取。 虽然transformer可以保持特征在长距离传播，但是仍然需要在网络中结合深特征和浅特征，为此我们设计了一个没有特征融合的Mswt模块，我们称之为Mswt-m，如图5所示，其数学表达式如下： F1、F2、F3将输入映射到三个不同的空间进行特征提取，对提取的特征求和，然后与第二个Mswt模块的输出求和，再经过一个基本块，实现深度特征和浅层特征的融合，如图2中的小跳跃连接所示，而图2中相对较长的跳跃连接则考虑了主要特征中包含的丰富的空间和纹理信息，有助于完成深度特征中缺失的纹理信息。 其中，O为雨图像，B为对应标签。是绝对差（SAD）之和，用于计算相似预测图像和标签之间的像素损失，如等式6所示。SSIM（结构相似性）是结构相似性，最初用作评估两个图像内容的结构相似性的度量。Ren等人[41]证明了SSIM作为损失函数在图像降额任务中的有效性的负面作用，其数学表达式如等式7所示。尽管使用该损失函数可以获得高SSIM度量，但图像仍然存在失真和低峰值信噪比（PSNR）。identity loss（等式8）由CycleGAN[42]导出，CycleGAN[42]用于约束生成图像的颜色丢失，这里我们使用它来约束图像去雨后的图像样式，这减少了图像失真，提高了网络性能。α , β , λ 是SAD损失、SSIM损失和identity loss的系数。在本文中，分别设置为0.2、4和1。 实验使用Tesla V100 16G GPU进行训练，使用Pytorch框架1.7.0和（Adam）[43]，初始学习率为5× 10−4，减少到5× 10−5和5× 10−6当训练迭代次数分别为总迭代次数的3/5和4/5时。输入模型的图像大小设置为231×231. batch size为5。 我们提出了一个全新的数据集用于网络训练和消融实验。该数据集是从ImageNet中随机抽取的10万幅图像，保证了图像的多样性。从Efficientderain[12]降雨模式数据集中随机选择一到四种降雨模式，并添加到选定的图像中。我们最终选择了3000张合成图像作为训练集，400张作为测试集。我们把这个数据集命名为Rain3000。此外，我们还使用公开的数据集Rain100L和Rain100H[44]来验证SDnet模型。两个公开的数据集都包含1800个训练图像和200个测试图像。 使用SSIM和PSNR作为评价指标，这两种指标已被广泛用于评价预测图像的质量。PSNR是根据两幅图像之间的像素误差来计算的，误差越小，值越大，图像越相似，除雨效果越好。相反，图像去雨的效果越差 首先，本文提出了一种基于Swin-transformer的三分支端到端除雨网络，它充分利用了Swin-transformer强大的学习能力，用一种改进的Swin-transformer代替卷积运算，并设计了一个多分支模块来融合不同空间域的信息，使用跳转连接来融合深特征和浅特征。此外，我们提出了一个新的数据集，由3000个训练对和400个测试对组成。该数据集是基于ImageNet生成的，具有丰富的背景和雨型组合，便于模型的推广。我们提出的模型在数据集Rain3000和公共数据集Rain100L、Rain100H上都达到了最佳性能。我们的工作还有些不足。例如，在参数数目相同的情况下，哪种方法更适合于并行或串行的图像去噪任务还没有详细探讨。以及是否可以使用多个不同大小的滑动窗口来实现窗口间的进一步信息交换，以提高网络降容的性能。此外，我们正在使用更简单的前馈网络，更复杂的网络仍然值得研究

孝是什么？孝是童心未泯的孩子嘴下溜出给父母的半粒糖；孝是孩子放学归来，在门口甜甜的一声“妈妈”；孝是饭前抢着给父母盛饭的那一举动……孝，他每时每刻都在你身旁，不经意中，轻轻一举手，一投足全融进孝的成分。 孝是什么？孝是成人后“常回家看看”的那份心意；孝是功成名就之后的丰厚报答；孝是父母卧病后的悉心照料。稚嫩天真的孝，是眼里闪烁的星光；年轻时的孝，是无暇的翡翠；成人之后的孝，是钝真的铂金。 孝是什么？孝是一杯回报父母的美酒，温馨，甜美。孝是心灵里盛开的鲜花。它比自然界的花朵更为永恒，持久地散发着清香。孝更是一种博大。这种博大足以包容世界万物；世界有多大，孝就有多大。 孝是什么？晋代王祥“卧冰求鲤”，明代朱冲秋“割股为羹”。孝心之真，孝心之诚，打动人心。古人云：“谁言寸草心，报得三春晖”。 孝是什么？著名作家毕淑敏告诉我们：孝是稍纵即逝的眷恋，孝是无法重现的幸福；孝是一失足成千古恨的往事；孝是生命与生命交接处的链条，一旦断裂，永无连接。孝——做人的责任和根基。