Automatic Pixel-Level Crack Detection on Dam Surface Using Deep Convolutional Network 论文笔记 论文：Automatic Pixel-Level Crack Detection on Dam Surface Using Deep Convolutional Network Received: 大多数坝面裂缝检测只能实现裂缝分类及粗略的定位。像素级语义分割检测可以提供更加精确直观的检测结果。作者提出一种基于深度卷积网络的坝面裂缝检测算法。首先使用无人机进行数据采集，然后对采集到的图像进行预处理（包括裁剪、手动标注），最后对设计好的CDDS 网络结构进行训练、验证和测试。 与ResNet152-based SegNet U-Net FCN 进行了比较。 大坝是水电站的重要水利建筑物。大坝的安全运行对于水电站有着重要的意义。由于结构变形、地震、水流引起的裂缝对大坝坝体产生严重的影响并威胁到水电站的安全运行。因此，对大坝结构的定期健康评估，特别是对大坝裂缝的检测任务变得尤为重要。 根据大坝裂缝的结构特征以及裂缝强度，人们可以对大坝的结构健康进行评估和监测。传统的大坝裂缝的巡检任务通常基于人工进行检测，但是效率低下、耗时费力，浪费了大量的人工成本，因此对裂缝的自动高效检测是非常必要的。 基于计算机视觉的裂缝检测算法得到了广泛的研究。这些方法大多采用传统的图像处理技术和机器学习方法，以识别出一些简单的结构损伤。这些方法利用手工提取的特征从图像中提取特征，然后评估提取的特征是否表示缺陷。然而，上述方法的结果不可避免地受到主观因素的影响 卷积神经网络（CNN）在图像分类和识别领域取得很大的进步，基于CNN的裂缝检测算法也展示出更优异的表现。大坝裂缝的特点： 修补痕迹、噪声大、背景纹理复杂、非结构化的、分布不均匀、裂缝位置随机、背景模糊等缺点 提出了一种像素级的大坝表面裂缝检测方法，利用深卷积网络进行特征提取。利用浅卷积层的定位特征和深卷积层的抽象特征，进行 多尺度卷积级联融合和多维损失值计算 ，实现裂纹缺陷像素级分割，并以高精度、高效率等优点解决了坝面明显裂缝检测问题，消除了可能存在的安全隐患，确保了坝面安全。实验结果表明，该方法对大坝表面像素级裂缝的检测是最优的。 语义分割 PSPNet [42],ICNet [43], Deeplabv3[44],UNet [45] and SegNet [46] 语义分割网络通常分为编码网络和解码网络。 编码网络： 卷积层：用于提取输入图像的特征 池化层：减小feature map的规模，减轻计算负担。 解码网络： 反卷积层（反褶积层）：上采样还原feature map大小与输入图像相同，并输出预测结果。 编解码网络结构高度对称：同时利用稀疏feature map和稠密feature map。 为了融合sparse 和 dense feature ，采用跳跃模块以连接编解码网络。编码网络： 15 卷积层：3*3 步长1 4 池化层： 2*2 步长2 解码网络： 15 反卷积层 1*1 4池化层 采用dropout和BN防止过拟合。 Skip branch 4个，1*1卷积和反卷积 每个branch计算 branch loss，4个branch loss级联为总损失的一部分。 Skip branch 的输入输出图像大小不变。卷积核的通道数必须等于输入张量的通道数。降采样 取矩阵最大值 卷积核大小 2*2 步长为2。反褶积也叫做转置卷积 通过上采样还原feature map与输入图像大小相同。 上采样方法：反褶积法、 插值法 反褶积法：对张量进行zero-padding填充最外层，再用反褶积核进行反褶积，修剪第一行和最后一行。1000副5472*3648图像使用LEAR软件手动标记。 得到504张数据集，404用于训练，50用于验证，50用于测试。 在Linux系统上使用TensorFlow构建的 在配置了8 GB GPU的HP工作站上执行培训、验证和测试 利用Anaconda建立了CDDS网络的虚拟python环境评价指标： Precision精度表示在所有预测破裂的样本中，样本的基本真实性也被破解的概率。 Recall召回表明在所有标记为开裂的样本中，样本被预测为开裂的概率。当正负样本数量存在较大差距时，仅使用精确性或召回率来评估性能是不合理的。TPR表示所有标记为裂纹的样本中被正确预测为裂纹的概率。TNR代表以标签为背景的所有样本中被正确预测为背景的概率.F-measure考虑到查全率和查准率的综合影响，F-测度是一个综合指标。IoU是目标检测领域中常用的评价定位精度的方法。IoU表示预测结果与地面真实值的交集与联合的交集的比率。大坝表面裂缝图像分为背景和裂缝两类。背景像素的数目远大于裂纹像素的数目。通常情况下，我们会同时计算背景arrears和裂缝arrears，然后以两张arrears的平均数作为最终arrears。IoU值是由背景像素决定的，不能准确表达裂纹的定位精度。使用三种学习速率10^4,10^5,10^6 使用softmax函数计算概率 使用Dice loss计算网络损失。 裂缝骨架提取：快速细化算法 调用OpenCV库，进行计算。 计算裂缝面积及长度宽度。使用其他裂缝数据集进行补充验证 ，在测试数据集上，提出的CDDS网络的裂纹IOU和F测度分别达到和 略。
雷锋网 AI 科技评论按： 百度研究院、华中科技大学、悉尼科技大学联合新作——关于无监督领域自适应语义分割的论文《 Taking A Closer Look at Domain Shift: Category-level Adversaries for Semantics Consistent Domain Adaptation》被 CCF A 类学术会议 CVPR2019 收录为 Oral 论文 。该论文提出了一种从「虚拟域」泛化到「现实域」的无监督语义分割算法，旨在利用易获取的虚拟场景标注数据来完成对标注成本高昂的现实场景数据的语义分割，大大减少了人工标注成本。 本文是论文作者之一罗亚威为雷锋网 AI 科技评论提供的论文解读。 论文地址： 1.问题背景 基于深度学习的语义分割方法效果出众，但需要大量的人工标注进行监督训练。不同于图像分类等任务，语义分割需要像素级别的人工标注，费时费力，无法大规模实施。借助于计算机虚拟图像技术，如3D游戏，用户可以几乎无成本地获得无限量自动标注数据。然而虚拟图像和现实图像间存在严重的视觉差异（域偏移），如纹理、光照、视角差异等等，这些差异导致在虚拟图像上训练出的深度模型往往在真实图像数据集上的分割精度很低。 2. 传统方法 针对上述域偏移问题，一种广泛采用的方法是在网络中加入一个域判别器Discriminator (D），利用对抗训练的机制，减少源域Source (S）和目标域Target（T）之间不同分布的差异，以加强原始网络（G）在域间的泛化能力。方法具体包括两方面： （1）利用源域的有标签数据进行有监督学习，提取领域知识： 其中Xs，Ys为源域数据及其对应标签。 （2）通过对抗学习，降低域判别器（D）的精度，以对齐源域与目标域的特征分布： 其中XT为目标域数据，无标签。 3.我们针对传统方法的改进 以上基于对抗学习的传统域适应方法只能对齐全局特征分布（Marginal Distribution），而忽略了不同域之间，相同语义特征的语义一致性（Joint Distribution），在训练过程中容易造成负迁移，如图2（a）所示。举例来说，目标域中的车辆这一类，可能与源域中的车辆在视觉上是接近的。因此，在没有经过域适应算法之前，目标域车辆也能够被正确分割。然而，为了迎合传统方法的全局对齐，目标域中的车辆特征反而有可能会被映射到源域中的其他类别，如火车等，造成语义不一致。 针对这一问题，我们在今年CVPR的论文中，向对抗学习框架里加入了联合训练的思想，解决了传统域适应方法中的语义不一致性和负迁移等键问题。具体做法见图2（b），我们采用了两个互斥分类器对目标域特征进行分类。当两个分类器给出的预测很一致时，我们认为该特征已经能被很好的分类，语义一致性较高，所以应减少全局对齐策略对这些特征产生的负面影响。反之，当两个分类器给出的预测不一致，说明该目标域特征还未被很好地分类，依然需要用对抗损失进行与源域特征的对齐。所以应加大对齐力度，使其尽快和源域特征对应。 4.网络结构 为了实现上述语义级对抗目标，我们提出了Category-Level Adversarial Network (CLAN)。 遵循联合训练的思想，我们在生成网络中采用了互斥分类器的结构，以判断目标域的隐层特征是否已达到了局部语义对齐。在后续对抗训练时， 网络依据互斥分类器产生的两个预测向量之差（Discrepancy）来对判别网络所反馈的对抗损失进行加权。网络结构如下图3所示。 图3中，橙色的线条表示源域流，蓝色的线条表示目标域流，绿色的双箭头表示我们在训练中强迫两个分类器的参数正交，以达到互斥分类器的目的。源域流和传统的方法并无很大不同，唯一的区别是我们集成了互斥分类器产生的预测作为源域的集成预测。该预测一方面被标签监督，产生分割损失（Segmentation Loss），如式（3）所示： 另一方面，该预测进入判别器D，作为源域样本。 绿色的双箭头处，我们使用余弦距离作为损失，训练两个分类器产生不同的模型参数： 目标域流中，集成预测同样进入判别器D。不同的是，我们维持两个分类器预测的差值，作为局部对齐程度的依据 (local alignment score map）。该差值与D所反馈的损失相乘，生成语义级别的对抗损失： 该策略加大了语义不一致特征的对齐力度，而减弱了语义一致的特征受全局对齐的影响，从而加强了特征间的语义对齐，防止了负迁移的产生。 最后，根据以上三个损失，我们可以得出最终的总体损失函数： 基于以上损失函数，算法整体的优化目标为： 在训练中，我们交替优化G和D，直至损失收敛。 5. 特征空间分析 我们重点关注不常见类，如图4（a）中黄框内的柱子，交通标志。这些类经过传统方法的分布对齐，反而在分割结果中消失了。结合特征的t-SNE图，我们可以得出结论，有些类的特征在没有进行域迁移之前，就已经是对齐的。传统的全局域适应方法反而会破坏这种语义一致性，造成负迁移。而我们提出的语义级别对抗降低了全局对齐对这些已对齐类的影响，很好的解决了这一问题。 6. 实验结果 我们在两个域适应语义分割任务，即GTA5 -> Cityscapes 和 SYNTHIA -> Cityscapes 上进行了实验验证。我们采用最常见的Insertion over Union作为分割精度的衡量指标，实验结果如下。从表1和表2中可以看出，在不同网络结构（VGG16，ResNet101）中，我们的方法（CLAN）域适应效果都达到了 state-of-the-art的精度。特别的，在一些不常见类上（用蓝色表示），传统方法容易造成负迁移，而CLAN明显要优于其他方法。 表 1. 由虚拟数据集GTA5 迁移至真实数据集 Cityscapes 的域适应分割精度对比。 表 2. 由虚拟数据集SYNTHIA 迁移至真实数据集 Cityscapes 的域适应分割精度对比。 第二个实验中，我们了展示隐空间层面，源域和目标域间同语义特征簇的中心距离。该距离越小，说明两个域间的语义对齐越好。结果见图 5。 最后，我们给出分割结果的可视化效果。我们的算法大大提高了分割精度。 7. 总结 《Taking A Closer Look at Domain Shift: Category-level Adversaries for Semantics Consistent Domain Adaptation》引入了联合训练结合对抗学习的设计，在无监督域适应语义分割任务中取得了较好的实验结果。该算法能应用前景广泛，比如能够很好地应用到自动驾驶中，让车辆在不同的驾驶环境中也能保持鲁棒的街景识别率。 最后 CVPR 2019 Oral 论文精选汇总，值得一看的 CV 论文都在这里（持续更新中）CVPR 2019 即将于 6 月在美国长滩召开。今年有超过 5165 篇的大会论文投稿，最终录取 1299 篇，其中 Oral 论文近 300 篇。为了方便社区开发者和学术青年查找和阅读高价值论文，AI 研习社从入选的 Oral 论文中，按应用方向挑选了部分精华论文，贴在本文，打开链接即可查看~
在深度学习广泛应用于计算机视觉之前，人们一般使用TextonForest和Random Forest based Classifiers的方法进行语义分割。 深度学习方法中常见的一种语义分割方法是图像块分类（patch classification），即利用像素周围的图像块对每一个像素进行分类。原因是网络模型通常包含全连接层（fully connect layer），而且要求固定大小的图像输入。 2014年，加州大学伯克利分校的Long等人提出全卷积网络（FCN），使得卷积神经网络不需要全连接层就可以实现密集的像素级分类，从而成为当前非常流行的像素级分类CNN架构。由于不需要全连接层，所以可以对任意大小的图像进行语义分割，而且比传统方法要快上很多。之后，语义分割领域几乎所有的先进方法都是基于该模型进行扩展的。 为了保留像素的空间位置信息，有两种方法可以解决这个问题： （1）编码器-解码器结构，编码器与解码器之间通常存在跨越连接（shortcut connections）。U-Net是这类架构中最常用的模型之一（源于： Convolutional Networks for Biomedical Image Segmentation ）。 （2）使用带孔卷积（dilated/atrous convolutions），从而除去池化层。 条件随机场（CRF）通常用于后处理来进一步改善分割效果。CRF是一种基于底层图像的像素强度进行的平滑分割的图模型，原理是相似强度的像素更可能标记为同一类别。 主要贡献： 1. 为语义分割引入了端到端的全卷积网络。 2. 利用ImageNet的预训练网络做语义分割。 3. 使用反卷积层（取代线性插值）进行上采样。 4. 引入少量跳跃连接改善上采样粗糙的像素定位。 主要贡献： 使用编码-解码架构。并且将池化结果应用到译码的过程，使用的是Pooling indices（记录位置信息）而不是简单地复制特征。其实没有跳跃连接，更节省内存。 U-Net的结构更规整，是FCN的延伸，通过将编码器的每层结果拼接到译码器中得到更好的结果。 移去了VGG网络的最后两层池化层，并且后续的卷积层都采用带孔卷积。还训练了一个模块，输入卷积结果，级联了不同孔大小的带孔卷积层。 主要贡献： 1. 通过带孔卷积提取和聚合多尺度的信息。 2. 提出context module来聚合多尺度的信息。 主要贡献： 1. 采用了带孔卷积。 2. 提出了金字塔形的空洞池化（Atrous Spatial Pyramid Pooling, ASPP）。 3. 采用了全连接的CRF。 由于带孔卷积需要大量的高分辨率特征图，对计算和内存的消耗很大，因此无法利用高分辨率的精细预测。 该文章采用编码解码结构。编码器是ResNet-101，解码器是RefineNet模块，用于连接编码器中高分辨率特征和先前RefineNet中低分辨率的特征。 每一个RefineNet都有两个组件，一个组件通过对低分辨率特征的上采样操作融合不同的分辨率特征，另一个组件利用窗口为5*5且步长为1的池化层来获取背景信息。这些组件都遵循恒等映射（identity mapping）思想，采用残差连接设计。 主要贡献： 1. 精心设计了译码模块。 2. 所有模块遵循残差连接设计。 金字塔池化模块通过使用大窗口的池化层来提高感受野。使用带孔卷积来修改ResNet网络，并增加了金字塔池化模块。金字塔池化模块对ResNet输出的特征进行不同规模的池化操作，并作上采样后，拼接起来，最后得到结果。 金字塔池化模块简单来说是将DeepLab（不完全一样）ASPP之前的feature map池化了四种尺度之后，将五种feature map拼接到一起，经过卷积，最后进行预测的过程。 在ResNet的第四个阶段之后（即输入到金字塔池化模块的阶段），在主分支损失之外增加辅助损失（其他论文称为中间监督）。 主要贡献： 1. 提出了金字塔池化模块来聚合图片上下文信息。 2. 使用附加的辅助损失函数。 理论上更深的ResNet能有很大的感受野，但研究表明实际上网络更适合收集较小区域（有效感受野）内的信息，因此使用大核来扩大感受野。但是核越大，计算量越大，因此将 k x k 的卷积近似转换为 1 x k + k x 1 和 k x 1 + 1 x k 卷积的和。本文称为GCN。 编码器使用ResNet（无带孔卷积），解码器由GCNs和反卷积构成。此外还用到了边界精调（Boundary Refinement, BR）的简单残差块。 主要贡献：提出具有大卷积核的编码-解码架构。 主要贡献： 1. 改进ASPP。将不同孔率的带孔卷积的结果拼接起来（DeepLab v2使用的是求和），并使用了BN。 2. 串行部署ASPP的模块。直接对中间的特征图进行带孔卷积（Dilated Convolutions(2015) 是在最后做）。
深度学习是人工智能的热点发展方向之一，将推动我们步入控制设计和工业物联网的新台阶。机器视觉在工业控制领域极其重要，借助这些技术，使用数据驱动部署复杂的机器和设备。为了比竞争对手更好地服务其目标客户，当今的嵌入式设计团队正在寻求机器学习（ML）和深度学习（DL）等新技术，以便在有限的资源下按时向市场开发和部署复杂的机器和设备。借助这些技术，团队可以使用数据驱动的方法构建复杂的单系统或多系统模型。 ML和DL算法不是使用基于物理学的模型来描述系统的行为，而是透过数据推断出系统的模型。 传统ML算法适用于处理数据量相对较小且问题的复杂度较低的情况。 但如果是像自动驾驶汽车这样的大数据问题呢？ 解决这个挑战需要采用DL技术。 本文介绍了这种新兴技术将如何推动我们进入控制设计和工业物联网（IIoT）应用的下一个时代。
根据我在广东粤为工业机器人学院学习的知识所知：在中国，视觉技术的应用开始于90年代，因为行业本身就属于新兴的领域，再加之机器视觉产品技术的普及不够，导致以上各行业的应用几乎空白。目前国内机器视觉大多为国外品牌。国内大多机器视觉公司基本上是靠代理国外各种机器视觉品牌起家，随着机器视觉的不断应用，公司规模慢慢做大，技术上已经逐渐成熟。随着经济水平的提高，3D机器视觉也开始进入人们的视野。3D机器视觉大多用于水果和蔬菜、木材、化妆品、烘焙食品、电子组件和医药产品的评级。它可以提高合格产品的生产能力，在生产过程的早期就报废劣质产品，从而减少了浪费节约成本。这种功能非常适合用于高度、形状、数量甚至色彩等产品属性的成像。在行业应用方面，主要有制药、包装、电子、汽车制造、半导体、纺织、烟草、交通、物流等行业，用机器视觉技术取代人工，可以提供生产效率和产品质量。例如在物流行业，可以使用机器视觉技术进行快递的分拣分类，不会出现大多快递公司人工进行分拣，减少物品的损坏率，可以提高分拣效率，减少人工劳动。
在国外，机器视觉的应用普及主要体现在半导体及电子行业，其中大概40%-50%都集中在半导体行业。具体如PCB印刷电路：各类生产印刷电路板组装技术、设备；单、双面、多层线路板，覆铜板及所需的材料及辅料；辅助设施以及耗材、油墨、药水药剂、配件；电子封装技术与设备；丝网印刷设备及丝网周边材料等。SMT表面贴装：SMT工艺与设备、焊接设备、测试仪器、返修设备及各种辅助工具及配件、SMT材料、贴片剂、胶粘剂、焊剂、焊料及防氧化油、焊膏、清洗剂等；再流焊机、波峰焊机及自动化生产线设备。电子生产加工设备：电子元件制造设备、半导体及集成电路制造设备、元器件成型设备、电子工模具。
1、触摸屏
随着技术的发展，人们对电子产品交互体验的要求越来越高，触摸屏作为新一代电子产品输入设备正逐步成为平板电脑、手机、电子书、GPS、游戏机等设备的新宠。触摸屏生产工艺复杂，从上游的ITO 玻璃镀膜、光刻、IC 组件加工，到中游的触摸屏模组贴合、丝网印刷、切割，再到下游的触摸屏模组贴合、盖板玻璃(Coverlens) 检测，都对工艺提出更高要求，使机器视觉技术成为相关环节生产和质量检测的必要技术。
2、FPD
FPD（Flat Panel Display）行业包括LCD、LED、OLED 等多种显示设备，各种技术工艺流程都非常复杂，其中LCD 是当前最主要的显示技术。FPD 行业对生产效率和产品品质有极高的要求，机器视觉技术作为非接触、高精度、高速度的生产、检测能力成为不可或缺的技术手段，从前道的ITO 玻璃检测、背光模组检测，到Cell 贴合、LCD 模组的COG 设备、对位贴合、切割机、飞针探测设备等、机器视觉技术的应用提高了设备厂商的核心竞争力。
3、激光加工
激光加工是一种应用广泛的工业加工技术，利用对激光器的运动控制，实现高精度的打标、切割、雕刻、焊接等功能。随着激光加工的工艺升级，传统技术已经不能满足工业加工对高精度高速度的要求，这使机器视觉技术与激光加工技术开始融合，通过视觉的定位和引导实现高精度加工，降低了对高成本精密卡具的需求，提升设备精度，降低加工成本。
4、太阳能
太阳能作为最有价值的未来绿色能源之一，是国家重点发展的行业领域，短期相对的产能过剩对太阳能电池生产设备提出更高的要求，从硅锭、硅片纯度、到加工镀膜过程的质量控制，都会影响最后太阳能电池片的光电转换效率，高质量产线能够降低废品率、从而降低生产能耗与太阳能电池片产出比，使太阳能成为真正的清洁能源，在太阳能电池片生产过程中，通过运用机器视觉定位、测量、检测等技术，可大大提高成品率，降低生产成本。
5、半导体
半导体技术是现代信息产业的根基，也是机器视觉技术最早的发源地。上世纪90年代，欧美半导体企业在半导体行业中应用图像技术，使其后来逐步发展成为今天的机器视觉技术，并成为半导体工艺不可或缺的关键技术。同时半导体产业规模庞大，行业摩尔效应对行业工艺不断提出挑战，也对其生产设备中的机器视觉技术的要求不断提升。
Automatic Pixel-Level Crack Detection on Dam Surface Using Deep Convolutional Network 论文笔记 论文：Automatic Pixel-Level Crack Detection on Dam Surface Using Deep Convolutional Network Received: 大多数坝面裂缝检测只能实现裂缝分类及粗略的定位。像素级语义分割检测可以提供更加精确直观的检测结果。作者提出一种基于深度卷积网络的坝面裂缝检测算法。首先使用无人机进行数据采集，然后对采集到的图像进行预处理（包括裁剪、手动标注），最后对设计好的CDDS 网络结构进行训练、验证和测试。 与ResNet152-based SegNet U-Net FCN 进行了比较。 大坝是水电站的重要水利建筑物。大坝的安全运行对于水电站有着重要的意义。由于结构变形、地震、水流引起的裂缝对大坝坝体产生严重的影响并威胁到水电站的安全运行。因此，对大坝结构的定期健康评估，特别是对大坝裂缝的检测任务变得尤为重要。 根据大坝裂缝的结构特征以及裂缝强度，人们可以对大坝的结构健康进行评估和监测。传统的大坝裂缝的巡检任务通常基于人工进行检测，但是效率低下、耗时费力，浪费了大量的人工成本，因此对裂缝的自动高效检测是非常必要的。 基于计算机视觉的裂缝检测算法得到了广泛的研究。这些方法大多采用传统的图像处理技术和机器学习方法，以识别出一些简单的结构损伤。这些方法利用手工提取的特征从图像中提取特征，然后评估提取的特征是否表示缺陷。然而，上述方法的结果不可避免地受到主观因素的影响 卷积神经网络（CNN）在图像分类和识别领域取得很大的进步，基于CNN的裂缝检测算法也展示出更优异的表现。大坝裂缝的特点： 修补痕迹、噪声大、背景纹理复杂、非结构化的、分布不均匀、裂缝位置随机、背景模糊等缺点 提出了一种像素级的大坝表面裂缝检测方法，利用深卷积网络进行特征提取。利用浅卷积层的定位特征和深卷积层的抽象特征，进行 多尺度卷积级联融合和多维损失值计算 ，实现裂纹缺陷像素级分割，并以高精度、高效率等优点解决了坝面明显裂缝检测问题，消除了可能存在的安全隐患，确保了坝面安全。实验结果表明，该方法对大坝表面像素级裂缝的检测是最优的。 语义分割 PSPNet [42],ICNet [43], Deeplabv3[44],UNet [45] and SegNet [46] 语义分割网络通常分为编码网络和解码网络。 编码网络： 卷积层：用于提取输入图像的特征 池化层：减小feature map的规模，减轻计算负担。 解码网络： 反卷积层（反褶积层）：上采样还原feature map大小与输入图像相同，并输出预测结果。 编解码网络结构高度对称：同时利用稀疏feature map和稠密feature map。 为了融合sparse 和 dense feature ，采用跳跃模块以连接编解码网络。编码网络： 15 卷积层：3*3 步长1 4 池化层： 2*2 步长2 解码网络： 15 反卷积层 1*1 4池化层 采用dropout和BN防止过拟合。 Skip branch 4个，1*1卷积和反卷积 每个branch计算 branch loss，4个branch loss级联为总损失的一部分。 Skip branch 的输入输出图像大小不变。卷积核的通道数必须等于输入张量的通道数。降采样 取矩阵最大值 卷积核大小 2*2 步长为2。反褶积也叫做转置卷积 通过上采样还原feature map与输入图像大小相同。 上采样方法：反褶积法、 插值法 反褶积法：对张量进行zero-padding填充最外层，再用反褶积核进行反褶积，修剪第一行和最后一行。1000副5472*3648图像使用LEAR软件手动标记。 得到504张数据集，404用于训练，50用于验证，50用于测试。 在Linux系统上使用TensorFlow构建的 在配置了8 GB GPU的HP工作站上执行培训、验证和测试 利用Anaconda建立了CDDS网络的虚拟python环境评价指标： Precision精度表示在所有预测破裂的样本中，样本的基本真实性也被破解的概率。 Recall召回表明在所有标记为开裂的样本中，样本被预测为开裂的概率。当正负样本数量存在较大差距时，仅使用精确性或召回率来评估性能是不合理的。TPR表示所有标记为裂纹的样本中被正确预测为裂纹的概率。TNR代表以标签为背景的所有样本中被正确预测为背景的概率.F-measure考虑到查全率和查准率的综合影响，F-测度是一个综合指标。IoU是目标检测领域中常用的评价定位精度的方法。IoU表示预测结果与地面真实值的交集与联合的交集的比率。大坝表面裂缝图像分为背景和裂缝两类。背景像素的数目远大于裂纹像素的数目。通常情况下，我们会同时计算背景arrears和裂缝arrears，然后以两张arrears的平均数作为最终arrears。IoU值是由背景像素决定的，不能准确表达裂纹的定位精度。使用三种学习速率10^4,10^5,10^6 使用softmax函数计算概率 使用Dice loss计算网络损失。 裂缝骨架提取：快速细化算法 调用OpenCV库，进行计算。 计算裂缝面积及长度宽度。使用其他裂缝数据集进行补充验证 ，在测试数据集上，提出的CDDS网络的裂纹IOU和F测度分别达到和 略。
推荐下计算机视觉这个领域，依据学术范标准评价体系得出的近年来最重要的9篇论文吧： （对于英语阅读有困难的同学，访问后可以使用翻译功能） 一、Deep Residual Learning for Image Recognition 摘要：Deeper neural networks are more difficult to train. We present a residual learning framework to ease the training of networks that are substantially deeper than those used previously. We explicitly reformulate the layers as learning residual functions with reference to the layer inputs, instead of learning unreferenced functions. We provide comprehensive empirical evidence showing that these residual networks are easier to optimize, and can gain accuracy from considerably increased depth. On the ImageNet dataset we evaluate residual nets with a depth of up to 152 layers—8× deeper than VGG nets [40] but still having lower complexity. An ensemble of these residual nets achieves error on the ImageNet test set. This result won the 1st place on the ILSVRC 2015 classification task. We also present analysis on CIFAR-10 with 100 and 1000 layers. The depth of representations is of central importance for many visual recognition tasks. Solely due to our extremely deep representations, we obtain a 28% relative improvement on the COCO object detection dataset. Deep residual nets are foundations of our submissions to ILSVRC & COCO 2015 competitions1, where we also won the 1st places on the tasks of ImageNet detection, ImageNet localization, COCO detection, and COCO segmentation. 全文链接： 文献全文 - 学术范 () 二、Very Deep Convolutional Networks for Large-Scale Image Recognition 摘要：In this work we investigate the effect of the convolutional network depth on its accuracy in the large-scale image recognition setting. Our main contribution is a thorough evaluation of networks of increasing depth using an architecture with very small (3x3) convolution filters, which shows that a significant improvement on the prior-art configurations can be achieved by pushing the depth to 16-19 weight layers. These findings were the basis of our ImageNet Challenge 2014 submission, where our team secured the first and the second places in the localisation and classification tracks respectively. We also show that our representations generalise well to other datasets, where they achieve state-of-the-art results. We have made our two best-performing ConvNet models publicly available to facilitate further research on the use of deep visual representations in computer vision. 全文链接： 文献全文 - 学术范 () 三、U-Net: Convolutional Networks for Biomedical Image Segmentation 摘要：There is large consent that successful training of deep networks requires many thousand annotated training samples. In this paper, we present a network and training strategy that relies on the strong use of data augmentation to use the available annotated samples more efficiently. The architecture consists of a contracting path to capture context and a symmetric expanding path that enables precise localization. We show that such a network can be trained end-to-end from very few images and outperforms the prior best method (a sliding-window convolutional network) on the ISBI challenge for segmentation of neuronal structures in electron microscopic stacks. Using the same network trained on transmitted light microscopy images (phase contrast and DIC) we won the ISBI cell tracking challenge 2015 in these categories by a large margin. Moreover, the network is fast. Segmentation of a 512x512 image takes less than a second on a recent GPU. The full implementation (based on Caffe) and the trained networks are available at . 全文链接： 文献全文 - 学术范 () 四、Microsoft COCO: Common Objects in Context 摘要：We present a new dataset with the goal of advancing the state-of-the-art in object recognition by placing the question of object recognition in the context of the broader question of scene understanding. This is achieved by gathering images of complex everyday scenes containing common objects in their natural context. Objects are labeled using per-instance segmentations to aid in precise object localization. Our dataset contains photos of 91 objects types that would be easily recognizable by a 4 year old. With a total of million labeled instances in 328k images, the creation of our dataset drew upon extensive crowd worker involvement via novel user interfaces for category detection, instance spotting and instance segmentation. We present a detailed statistical analysis of the dataset in comparison to PASCAL, ImageNet, and SUN. Finally, we provide baseline performance analysis for bounding box and segmentation detection results using a Deformable Parts Model. 全文链接： 文献全文 - 学术范 () 五、Rethinking the Inception Architecture for Computer Vision 摘要：Convolutional networks are at the core of most state of-the-art computer vision solutions for a wide variety of tasks. Since 2014 very deep convolutional networks started to become mainstream, yielding substantial gains in various benchmarks. Although increased model size and computational cost tend to translate to immediate quality gains for most tasks (as long as enough labeled data is provided for training), computational efficiency and low parameter count are still enabling factors for various use cases such as mobile vision and big-data scenarios. Here we are exploring ways to scale up networks in ways that aim at utilizing the added computation as efficiently as possible by suitably factorized convolutions and aggressive regularization. We benchmark our methods on the ILSVRC 2012 classification challenge validation set demonstrate substantial gains over the state of the art: 21:2% top-1 and 5:6% top-5 error for single frame evaluation using a network with a computational cost of 5 billion multiply-adds per inference and with using less than 25 million parameters. With an ensemble of 4 models and multi-crop evaluation, we report 3:5% top-5 error and 17:3% top-1 error on the validation set and 3:6% top-5 error on the official test set. 全文链接： 文献全文 - 学术范 () 六、Mask R-CNN 摘要：We present a conceptually simple, flexible, and general framework for object instance segmentation. Our approach efficiently detects objects in an image while simultaneously generating a high-quality segmentation mask for each instance. The method, called Mask R-CNN, extends Faster R-CNN by adding a branch for predicting an object mask in parallel with the existing branch for bounding box recognition. Mask R-CNN is simple to train and adds only a small overhead to Faster R-CNN, running at 5 fps. Moreover, Mask R-CNN is easy to generalize to other tasks, ., allowing us to estimate human poses in the same framework. We show top results in all three tracks of the COCO suite of challenges, including instance segmentation, bounding-box object detection, and person keypoint detection. Without tricks, Mask R-CNN outperforms all existing, single-model entries on every task, including the COCO 2016 challenge winners. We hope our simple and effective approach will serve as a solid baseline and help ease future research in instance-level recognition. Code will be made available. 全文链接： 文献全文 - 学术范 () 七、Feature Pyramid Networks for Object Detection 摘要：Feature pyramids are a basic component in recognition systems for detecting objects at different scales. But pyramid representations have been avoided in recent object detectors that are based on deep convolutional networks, partially because they are slow to compute and memory intensive. In this paper, we exploit the inherent multi-scale, pyramidal hierarchy of deep convolutional networks to construct feature pyramids with marginal extra cost. A top-down architecture with lateral connections is developed for building high-level semantic feature maps at all scales. This architecture, called a Feature Pyramid Network (FPN), shows significant improvement as a generic feature extractor in several applications. Using a basic Faster R-CNN system, our method achieves state-of-the-art single-model results on the COCO detection benchmark without bells and whistles, surpassing all existing single-model entries including those from the COCO 2016 challenge winners. In addition, our method can run at 5 FPS on a GPU and thus is a practical and accurate solution to multi-scale object detection. Code will be made publicly available. 全文链接： 文献全文 - 学术范 () 八、ORB: An efficient alternative to SIFT or SURF 摘要：Feature matching is at the base of many computer vision problems, such as object recognition or structure from motion. Current methods rely on costly descriptors for detection and matching. In this paper, we propose a very fast binary descriptor based on BRIEF, called ORB, which is rotation invariant and resistant to noise. We demonstrate through experiments how ORB is at two orders of magnitude faster than SIFT, while performing as well in many situations. The efficiency is tested on several real-world applications, including object detection and patch-tracking on a smart phone. 全文链接： 文献全文 - 学术范 () 九、DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs 摘要：In this work we address the task of semantic image segmentation with Deep Learning and make three main contributions that are experimentally shown to have substantial practical merit. First , we highlight convolution with upsampled filters, or ‘atrous convolution’, as a powerful tool in dense prediction tasks. Atrous convolution allows us to explicitly control the resolution at which feature responses are computed within Deep Convolutional Neural Networks. It also allows us to effectively enlarge the field of view of filters to incorporate larger context without increasing the number of parameters or the amount of computation. Second , we propose atrous spatial pyramid pooling (ASPP) to robustly segment objects at multiple scales. ASPP probes an incoming convolutional feature layer with filters at multiple sampling rates and effective fields-of-views, thus capturing objects as well as image context at multiple scales. Third , we improve the localization of object boundaries by combining methods from DCNNs and probabilistic graphical models. The commonly deployed combination of max-pooling and downsampling in DCNNs achieves invariance but has a toll on localization accuracy. We overcome this by combining the responses at the final DCNN layer with a fully connected Conditional Random Field (CRF), which is shown both qualitatively and quantitatively to improve localization performance. Our proposed “DeepLab” system sets the new state-of-art at the PASCAL VOC-2012 semantic image segmentation task, reaching percent mIOU in the test set, and advances the results on three other datasets: PASCAL-Context, PASCAL-Person-Part, and Cityscapes. All of our code is made publicly available online. 全文链接： 文献全文 - 学术范 () 希望对你有帮助！
计算机视觉技术自20世纪70年代产生以来就得到了全世界的广泛关注。下面是我整理了计算机视觉技术论文，有兴趣的亲可以来阅读一下!
计算机视觉技术的应用研究
摘 要 文章在介绍计算机视觉技术相关内容的基础上，对该技术在工业、农业、林业和农产品检测这四个领域的具体应用进行简要分析。
关键词 计算机;视觉技术;应用研究
中图分类号：TP212 文献标识码：A 文章编号：1671-7597(2013)16-0114-01
计算机视觉技术自20世纪70年代产生以来就得到了全世界的广泛关注。作为一种多学科综合应用下的新技术，随着专家对其研究会的不断深入，其应用领域也越来越广，给人们的生产生活带来了极大方便。
1 计算机视觉技术
计算机视觉技术是在计算机技术应用下发展起来的一种新技术，主要用来研究计算机模拟生物的宏观或外显功能。该技术在应用过程中会涉及到计算机科学、神经生物学、人工智能、模式识别以及图像处理等多个学科，多学科技术的综合运用使得计算机具有了“感知”周围世界的能力，这也正是该技术发挥作用的核心所在。计算机视觉技术的特点就在于，首先，它能在不接触被测者的前提下完成对被测者的检测;其次，该技术应用的领域和检测的对象非常广，能在敏感器件的应用下，完成对人类难以观察到的超声波、微波和红外线等的检测;最后，该技术还突破了人在视觉观察上长时间工作的限制，能对检测对象进行长时间观察。
2 计算机视觉技术在各领域的应用分析
随着计算机视觉技术研究的不断加深，该技术的应用领域也越来越广，下面，本文就选取工业、农业、林业、农产品检测、电力系统自动化及图书馆工作这6个方面对计算机视觉技术的应用进行简要分析。
在工业领域中的应用
工业生产对产品的质量要求极高，计算机视觉技术在工业上的应用主要集中在以下3方面：1)产品形状和尺寸的检测上。对制造业而言，产品的形状和尺寸是否合格直接影响到产品在实际应用过程中作用的发挥。计算机视觉技术的应用能对产品进行二维和三维等几何特征的检测，如产品的圆度、位置及形状等。2)产品零部件缺失情况的检测。在生产线运行过程中，计算机视觉技术能准确检测出产品在生产过程中是否存在铆钉、螺丝钉等零部件的缺失以及产品内部是否在生产过程中掺进杂质等。3)产品表面质量的检测。为了从各个方面保证产品的合格性，对其进行表面质量的检测也是一个极其重要的环节。计算机视觉技术实现了对产品表面的纹理、粗糙度、划痕、裂纹等各方面的有效检测。
在农业生产领域中的应用
该技术在农业领域的应用主要集中在以下两方面：1)对病虫害的预测预报。预测预报作用发挥的关键环节是建立起计算机视觉技术对所有昆虫的识别体系。对昆虫图像识别系统进行数字化建模所使用的方法主要以下2种，一种是运用数学形态学的方法对害虫的边缘进行检测，进而提取害虫的特征;第二种是从昆虫的二值化图像中提取出昆虫的周长、面积和复杂度等基本信息，并对这些信息建立害虫的模板库以实现对昆虫的模糊决策分析。2)对农作物生长的监测。常用的方法就是运用计算机视觉技术下的非接触式监测系统对农作物生长环境下的光照、温度、湿度、风速、营养液浓度等相关因素进行连续地监测，进而判断出农作物长势。
在林业生产中的应用
该技术在林业生产中的应用主要集中在农药喷洒和林木球果采集这两方面。就林业的农药喷洒而言，常规的农药喷洒方式易造成农药的大量流失，不仅达不到防止林业有害生物的目的，还浪费了大量的人力、物力和财力。计算机视觉技术的应用能通过对施药目标图像进行实时分析，得出具体的施药量和准确的施药位置，该技术指导下的施药工作极大发挥了农药的效果。就林木球果采集而言，该采集工作的操作难度一直都很大，我国当前使用的方法主要是人工使用专业工具下的采集以及机械设备运用下的高空作业车采集和摇振采种机采集，这两种方式都存在一定的安全性和效率问题。计算机视觉技术的应用能通过对需要进行采集的林木球果进行图像采集来得出球果所处的具体位置，再结合专业机械手的使用完成球果采集。该技术不仅节省了大量劳动力，还极大提高了采摘效率。
在农产品检测中的应用
农产品在生产过程中受自然环境的影响比较大，所以农产品不仅会产生质量上的差异，还会造成颜色、大小、形状等外观上的极大不同。由于农产品在出售时大多要进行产品等级的划分，所以将计算机视觉技术运用到对其颜色和外形尺寸的检测上，有效达到了对农产品进行检测的目的。通过对外观大小尺寸的检测，不仅提高了对农产品进行分门别类地等级划分的效率，还在很大程度上减少了对产品的损坏;通过对西瓜等农产品进行颜色上的检测，能准确判断其是否成熟，有效避免了人工操作下的失误。
在电力系统自动化中的应用
计算机视觉技术在电力系统自动化应用的表现当前主要表现在以下2个方面：1)在人机界面中的应用。人机界面在运行过程中更加强调人的主体地位，实现了用户对各种效应通道和感觉通道的运用。具体来讲，计算机视觉技术在用户向计算机的输入方面，效应通道实现了手动为主向手、足、口、身体等的转变;在计算机向用户的输出方面，感觉通道实现了视觉为主向触觉、嗅觉、听觉等的转变。2)在电厂煤粉锅炉火焰检测中的应用。对煤粉锅炉火焰的检测既能有效判断锅炉的运行状况，又能在很大程度上实现电厂的安全性运营。由于煤的负荷变化和种类变化会在使着火位置发生移动，所以为了保证炉膛火焰检测的准确性，必须弥补之前单纯应用火焰检测器只能判断有无火焰开关量信号的弊端。计算机视觉技术的应用，就在弥补火焰检测器应用弊端的基础上，实现了对火焰形状的进一步检测。
在图书馆工作中的应用
随着当前数字图书馆和自动化管理系统的建立，计算机技术在图书馆方面的应用越来越广泛。当前计算机视觉技术在图书馆方面的应用主要集中在古籍修补和书刊剔旧这两方面。就古籍修补而言，古籍图书等在收藏的过程中，受温度、湿度、光照等的影响，极易导致纸张变黄、变脆以及虫洞等现象的出现。在进行修补时，依靠计算机视觉技术开展具体的修补工作，能在很大程度上提高修补工作的效率。就书刊剔旧而言，由于图书馆藏书众多，对那些使用率低且较为陈旧的文献资料进行及时地剔除，能实现图书资源的及时更新。计算机视觉技术在该方面的应用，极大地保证了工作的准确性和效率性。
3 结束语
通过以上对计算机视觉技术在工业、农业、林业、农产品检测、电力系统自动化及图书馆工作这6个方面的研究可以看出，随着计算机技术的进一步发展以及计算机与各专业学科的不断渗透，该技术的发展前景和应用领域都将更加广阔。
参考文献
[1]郑加强.基于计算机视觉的雾滴尺寸检测技术[J].南京林业大学学报，2009(09).
[2]沈明彼.计算机视觉技术在社会各领域应用的发展与展望[J].农业机械学报，2012(03).
点击下页还有更多>>>计算机视觉技术论文
CVPR是计算机视觉领域最高级别的会议（CCFA类会议），收录的论文代表了计算机视觉领域的最新发展方向和最高研究水平。cvpr录用标准相当严格，通常会议整体的录取率不超过25%，而口头报告的论文比例更只占5%不到。其会议的组织方是一个循环的志愿群体，其成员遴选一般会在某次会议召开的三年前进行。cvpr的审稿过程中会议的审稿方与投稿方均不知道对方的信息。而且一篇论文经常需要由三位审稿者进行审读。最后再由会议的领域主席(areachair)决定是否接收。所以在各类学术会议统计中，cvpr也被认为有着很强的影响力和很高的排名。自然，cvpr论文的级别就可想而知了，cvpr论文什么级别，可以说其级别相当于顶级SCI期刊论文级别同等甚至更高。cvpr录用标准相当严格，通常会议整体的录取率不超过25%，而口头报告的论文比例更只占5%不到。其会议的组织方是一个循环的志愿群体，其成员遴选一般会在某次会议召开的三年前进行。cvpr的审稿过程中会议的审稿方与投稿方均不知道对方的信息。而且一篇论文经常需要由三位审稿者进行审读。最后再由会议的领域主席(areachair)决定是否接收。所以在各类学术会议统计中，cvpr也被认为有着很强的影响力和很高的排名。自然，cvpr论文的级别就可想而知了，cvpr论文什么级别，可以说其级别相当于顶级SCI期刊论文级别同等甚至更高。
ijcv期刊的水平是比较高的。IJCV是International Journal of Computer Vision(计算机视觉国际期刊)的英文缩写。国际期刊计算机视觉，详细描绘了信息科学与工程这一领域的快速发展。一般性发表的文章提出广泛普遍关心的重大技术进步。短文章提供了一个新的研究成果快速发布通道。综述性文章给与了重要的评论，以及当今发展现状的概括。
主要内容包括：数学，物理，计算机视觉计算方面：图像的形成，处理，分析和解释;机器学习方法，统计方法，传感器。
应用：基于图像的绘制，计算机图形学，机器人，照片判读，图像检索，视频分析和注释，多媒体等。
这两天在公司做PM实习，主要是自学一些CV的知识，以了解产品在解决一些在图像识别、图像搜索方面的问题，学习的主要方式是在知网检索了篇国内近3年计算机视觉和物体识别的硕博士论文。由于时间关系，后面还会继续更新图片相似度计算（以图搜图）等方面的学习成果 将这两天的学习成果在这里总结一下。你将会看到计算机视觉在解决特定物体识别问题（主要是卷积神经网络CNNs）的基础过程和原理，但这里不会深入到技术的实现层面。
计算机视觉（Computer vision）是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和计算机代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图像处理，用计算机处理成为更适合人眼观察或传送给仪器检测的图像。 ————维基百科 通常而言，计算机视觉的研究包括三个层次： （1）底层特征的研究： 这一层次的研究主要聚焦如何高效提取出图像对象具有判别性能的特征，具体的研究内容通常包括：物体识别、字符识别等 （2）中层语义特征的研究： 该层次的研究在于在识别出对象的基础上，对其位置、边缘等信息能够准确区分。现在比较热门的：图像分割；语义分割；场景标注等，都属于该领域的范畴 （3）高层语义理解： 这一层次建立在前两层的基础上，其核心在于“理解”一词。 目标在于对复杂图像中的各个对象完成语义级别的理解。这一层次的研究常常应用于：场景识别、图像摘要生成及图像语义回答等。 而我研究的问题主要隶属于底层特征和中层语义特征研究中的物体识别和场景标注问题。
人类的视觉工作模式是这样的： 首先，我们大脑中的神经元接收到大量的信息微粒，但我们的大脑还并不能处理它们。 于是接着神经元与神经元之间交互将大量的微粒信息整合成一条又一条的线。 接着，无数条线又整合成一个个轮廓。 最后多个轮廓累加终于聚合我们现在眼前看到的样子。 计算机科学受到神经科学的启发，也采用了类似的工作方式。具体而言，图像识别问题一般都遵循下面几个流程
（1）获取底层信息。获取充分且清洁的高质量数据往往是图像识别工作能否成功的关键所在 （2）数据预处理工作，在图像识别领域主要包括四个方面的技术：去噪处理（提升信噪比）、图像增强和图像修复（主要针对不够清晰或有破损缺失的图像）；归一化处理（一方面是为了减少开销、提高算法的性能，另一方面则是为了能成功使用深度学习等算法，这类算法必须使用归一化数据）。 （3）特征提取，这一点是该领域的核心，也是本文的核心。图像识别的基础是能够提取出足够高质量，能体现图像独特性和区分度的特征。 过去在10年代之前我们主要还是更多的使用传统的人工特征提取方法，如PCA\LCA等来提取一些人工设计的特征，主要的方法有（HOG、LBP以及十分著名的SIFT算法）。但是这些方法普遍存在（a）一般基于图像的一些提层特征信息（如色彩、纹理等）难以表达复杂的图像高层语义，故泛化能力普遍比较弱。（b）这些方法一般都针对特定领域的特定应用设计，泛化能力和迁移的能力大多比较弱。 另外一种思路是使用BP方法，但是毕竟BP方法是一个全连接的神经网络。这以为这我们非常容易发生过拟合问题（每个元素都要负责底层的所有参数），另外也不能根据样本对训练过程进行优化，实在是费时又费力。 因此，一些研究者开始尝试把诸如神经网络、深度学习等方法运用到特征提取的过程中，以十几年前深度学习方法在业界最重要的比赛ImageNet中第一次战胜了SIFT算法为分界线，由于其使用权重共享和特征降采样，充分利用了数据的特征。几乎每次比赛的冠军和主流都被深度学习算法及其各自改进型所占领。其中，目前使用较多又最为主流的是CNN算法，在第四部分主要也研究CNN方法的机理。
上图是一个简易的神经网络，只有一层隐含层，而且是全连接的（如图，上一层的每个节点都要对下一层的每个节点负责。）具体神经元与神经元的作用过程可见下图。
在诸多传统的神经网络中，BP算法可能是性能最好、应用最广泛的算法之一了。其核心思想是：导入训练样本、计算期望值和实际值之间的差值，不断地调整权重，使得误差减少的规定值的范围内。其具体过程如下图：
一般来说，机器学习又分成浅层学习和深度学习。传统的机器学习算法，如SVM、贝叶斯、神经网络等都属于浅层模型，其特点是只有一个隐含层。逻辑简单易懂、但是其存在理论上缺乏深度、训练时间较长、参数很大程度上依赖经验和运气等问题。 如果是有多个隐含层的多层神经网络（一般定义为大于5层），那么我们将把这个模型称为深度学习，其往往也和分层训练配套使用。这也是目前AI最火的领域之一了。如果是浅层模型的问题在于对一个复杂函数的表示能力不够，特别是在复杂问题分类情况上容易出现分类不足的弊端，深度网络的优势则在于其多层的架构可以分层表示逻辑，这样就可以用简单的方法表示出复杂的问题，一个简单的例子是： 如果我们想计算sin(cos(log(exp(x))))， 那么深度学习则可分层表示为exp(x)—>log(x)—>cos(x)—>sin(x)
图像识别问题是物体识别的一个子问题，其鲁棒性往往是解决该类问题一个非常重要的指标，该指标是指分类结果对于传入数据中的一些转化和扭曲具有保持不变的特性。这些转化和扭曲具体主要包括了： （1）噪音（2）尺度变化（3）旋转（4）光线变化（5）位移
该部分具体的内容，想要快速理解原理的话推荐看[知乎相关文章] ( )， 特别是其中有些高赞回答中都有很多动图和动画，非常有助于理解。 但核心而言，CNN的核心优势在于 共享权重 以及 感受野 ，减少了网络的参数，实现了更快的训练速度和同样预测结果下更少的训练样本，而且相对于人工方法，一般使用深度学习实现的CNN算法使用无监督学习，其也不需要手工提取特征。
CNN算法的过程给我的感觉，个人很像一个“擦玻璃”的过程。其技术主要包括了三个特性：局部感知、权重共享和池化。
CNN中的神经元主要分成了两种： （a）用于特征提取的S元，它们一起组成了卷积层，用于对于图片中的每一个特征首先局部感知。其又包含很关键的阈值参数（控制输出对输入的反映敏感度）和感受野参数（决定了从输入层中提取多大的空间进行输入，可以简单理解为擦玻璃的抹布有多大） （b）抗形变的C元，它们一起组成了池化层，也被称为欠采样或下采样。主要用于特征降维，压缩数据和参数的数量，减小过拟合，同时提高模型的容错性。 （c*）激活函数，及卷积层输出的结果要经过一次激励函数才会映射到池化层中，主要的激活函数有Sigmoid函数、Tanh函数、ReLU、Leaky ReLU、ELU、Maxout等。
也许你会抱有疑问，CNN算法和传统的BP算法等究竟有什么区别呢。这就会引出区域感受野的概念。在前面我们提到，一个全连接中，较高一层的每个神经元要对低层的每一个神经元负责，从而导致了过拟合和维度灾难的问题。但是有了区域感受野和，每个神经元只需要记录一个小区域，而高层会把这些信息综合起来，从而解决了全连接的问题。
了解区域感受野后，你也许会想，区域感受野的底层神经元具体是怎么聚合信息映射到上一层的神经元呢，这就要提到重要的卷积核的概念。这个过程非常像上面曾提到的“神经元与神经元的联系”一图，下面给大家一个很直观的理解。
上面的这个过程就被称为一个卷积核。在实际应用中，单特征不足以被系统学习分类，因此我们往往会使用多个滤波器，每个滤波器对应1个卷积核，也对应了一个不同的特征。比如：我们现在有一个人脸识别应用，我们使用一个卷积核提取出眼睛的特征，然后使用另一个卷积核提取出鼻子的特征，再用一个卷积核提取出嘴巴的特征，最后高层把这些信息聚合起来，就形成了分辨一个人与另一个人不同的判断特征。
现在我们已经有了区域感受野，也已经了解了卷积核的概念。但你会发现在实际应用中还是有问题： 给一个100 100的参数空间，假设我们的感受野大小是10 10，那么一共有squar（1000-10+1）个，即10的六次方个感受野。每个感受野中就有100个参数特征，及时每个感受野只对应一个卷积核，那么空间内也会有10的八次方个次数，，更何况我们常常使用很多个卷积核。巨大的参数要求我们还需要进一步减少权重参数，这就引出了权重共享的概念。 用一句话概括就是，对同一个特征图，每个感受野的卷积核是一样的，如这样操作后上例只需要100个参数。
池化是CNN技术的最后一个特性，其基本思想是： 一块区域有用的图像特征，在另一块相似的区域中很可能仍然有用。即我们通过卷积得到了大量的边缘EDGE数据，但往往相邻的边缘具有相似的特性，就好像我们已经得到了一个强边缘，再拥有大量相似的次边缘特征其实是没有太大增量价值的，因为这样会使得系统里充斥大量冗余信息消耗计算资源。 具体而言，池化层把语义上相似的特征合并起来，通过池化操作减少卷积层输出的特征向量，减少了参数，缓解了过拟合问题。常见的池化操作主要包括3种： 分别是最大值池化（保留了图像的纹理特征）、均值池化（保留了图像的整体特征）和随机值池化。该技术的弊端是容易过快减小数据尺寸，目前趋势是用其他方法代替池化的作用,比如胶囊网络推荐采用动态路由来代替传统池化方法，原因是池化会带来一定程度上表征的位移不变性，传统观点认为这是一个优势，但是胶囊网络的作者Hinton et al.认为图像中位置信息是应该保留的有价值信息，利用特别的聚类评分算法和动态路由的方式可以学习到更高级且灵活的表征，有望冲破目前卷积网络构架的瓶颈。
CNN总体来说是一种结构，其包含了多种网络模型结构，数目繁多的的网络模型结构决定了数据拟合能力和泛化能力的差异。其中的复杂性对用户的技术能力有较高的要求。此外，CNN仍然没有很好的解决过拟合问题和计算速度较慢的问题。
该部分的核心参考文献： 《深度学习在图像识别中的应用研究综述》郑远攀,李广阳,李晔.[J].计算机工程与应用,2019,55(12):20-36. 深度学习技术在计算机图像识别方面的领域应用研究是目前以及可预见的未来的主流趋势，在这里首先对深度学习的基本概念作一简介，其次对深度学习常用的结构模型进行概述说明，主要简述了深度信念网络（DBN）、卷积神经网络（CNN）、循环神经网络（RNN）、生成式对抗网络（GAN）、胶囊网络（CapsNet）以及对各个深度模型的改进模型做一对比分析。
深度学习按照学习架构可分为生成架构、判别架构及混合架构。 其生成架构模型主要包括： 受限波尔兹曼机、自编码器、深层信念网络等。判别架构模型主要包括：深层前馈网络、卷积神经网络等。混合架构模型则是这两种架构的集合。深度学习按数据是否具有标签可分为非监督学习与监督学习。非监督学习方法主要包括：受限玻尔兹曼机、自动编码器、深层信念网络、深层玻尔兹曼机等。 监督学习方法主要包括：深层感知器、深层前馈网络、卷积神经网络、深层堆叠网络、循环神经网络等。大量实验研究表明，监督学习与非监督学习之间无明确的界限，如：深度信念网络在训练过程中既用到监督学习方法又涉及非监督学习方法。
[1]周彬. 多视图视觉检测关键技术及其应用研究[D].浙江大学,2019. [2]郑远攀,李广阳,李晔.深度学习在图像识别中的应用研究综述[J].计算机工程与应用,2019,55(12):20-36. [3]逄淑超. 深度学习在计算机视觉领域的若干关键技术研究[D].吉林大学,2017. [4]段萌. 基于卷积神经网络的图像识别方法研究[D].郑州大学,2017. [5]李彦冬. 基于卷积神经网络的计算机视觉关键技术研究[D].电子科技大学,2017. [6]李卫. 深度学习在图像识别中的研究及应用[D].武汉理工大学,2014. [7]许可. 卷积神经网络在图像识别上的应用的研究[D].浙江大学,2012. [8]CSDN、知乎、机器之心、维基百科
沈雨娇写的论文有撵炉胶，春夜喜雨等论文。沈雨娇的很多偏关于社会学的论文，发表在人才杂志上，引起很大反向。
1.《基于深度学习的自然语言处理技术研究》2.《基于深度学习的计算机视觉技术研究》3.《基于深度学习的语音识别技术研究》4.《基于深度学习的机器翻译技术研究》5.《基于深度学习的自动驾驶技术研究》6.《基于深度学习的智能家居技术研究》7.《基于深度学习的智能机器人技术研究》8.《基于深度学习的智能推荐系统技术研究》9.《基于深度学习的自然语言理解技术研究》10.《基于深度学习的智能安全技术研究》
沈雨娇为我院2012级英语专业本科学生，2017年考上上海外国语大学英语语言文学专业研究生，研究方向为跨文化交际，师从上外跨文化中心主任顾力行教授（Steve J. Kulich）和复旦大学人类社会学博士张晓佳老师。2021年1月获得日本早稻田大学的博士录取通知书，6月获得国家留学基金委员会公派奖学金，将于2022年4月赴日进行为期三年的博士学习，专业为国际文化与交流，研究方向为视觉文化，师从早稻田大学国际文化与交流学院主任吉本光弘教授。