【嵌牛导读】目标检测在现实中的应用很广泛，我们需要检测数字图像中的物体位置以及类别，它需要我们构建一个模型，模型的输入一张图片，模型的输出需要圈出图片中所有物体的位置以及物体所属的类别。在深度学习浪潮到来之前，目标检测精度的进步十分缓慢，靠传统依靠手工特征的方法来提高精度已是相当困难的事。而ImageNet分类大赛出现的卷积神经网络（CNN）——AlexNet所展现的强大性能，吸引着学者们将CNN迁移到了其他的任务，这也包括着目标检测任务，近年来，出现了很多目标检测算法。 【嵌牛鼻子】计算机视觉 【嵌牛提问】如何理解目标检测算法——OverFeat 【嵌牛正文】 一、深度学习的典型目标检测算法 深度学习目标检测算法主要分为 双阶段检测算法 和 单阶段检测算法 ，如图1所示。双阶段目标检测算法先对图像提取候选框，然后基于候选区域做二次修正得到检测结果，检测精度较高，但检测速度较慢;单阶段目标验测算法直接对图像进行计算生成检测结果，检测速度快,但检测精度低。 1、双阶段目标检测算法 双阶段目标检测方法主要通过选择性搜索（Selective Search）或者Edge Boxes等算法对输入图像选取可能包含检测目标的候选区域（Region Proposal），再对候选区域进行分类和位置回归以得到检测结果。 OverFeat 算法 《OverFeat: Integrated Recognition, Localization and Detection using Convolutional Networks》 Sermanet 等改进AlexNet 提出 OverFeat 算法。该算法结合AlexNet通过多尺度滑动窗口实现特征提取功能，并且共享特征提取层，应用于图像分类、定位和目标检测等任务。 关键技术： 1、FCN（ 全卷积神经网络 ） 对于一个各层参数结构都设计好的网络模型，要求输入图片的尺寸是固定的（例如，Alexnet要求输入图片的尺寸为227px*227px）。如果输入一张500*500的图片，希望模型仍然可以一直前向传导，即一个已经设计完毕的网络，可以输入任意大小的图片，这就是FCN。 FCN的思想在于： 1、从卷积层到全连接层，看成是对一整张图片的卷积层运算。 2、从全连接层到全连接层，看成是采用1*1大小的卷积核，进行卷积层运算。如上图所示，绿色部分代表卷积核大小。假设一个CNN模型，其输入图片大小是14*14，通过第一层卷积后得到10*10大小的图片，然后接着通过池化得到了5*5大小的图片。像但是对于像素值为5*5的图片到像素值为1*1的图片的过程中： （1）传统的CNN：如果从以前的角度进行理解的话，那么这个过程就是全连接层，我们会把这个5*5大小的图片，展平成为一维向量进行计算。 （2）FCN：FCN并不是把5*5的图片展平成一维向量再进行计算，而是直接采用5*5的卷积核，对一整张图片进行卷积运算。 二者本质上是相同的，只是角度不同，FCN把这个过程当成了对一整张特征图进行卷积，同样，后面的全连接层也是把它当做是以1*1大小的卷积核进行卷积运算。 当输入一张任意大小的图片，就需要利用以上所述的网络，例如输入一张像素为16*16的图片：根据上图，该网络最后的输出是一张2*2的图片。可见采用FCN网络可以输入任意大小的图片。同时需要注意的是网络最后输出的图片大小不在是一个1*1大小的图片，而是一个与输入图片大小息息相关的一张图片。 Overfeat就是把采用FCN的思想把全连接层看成了卷积层，在网络测试阶段可以输入任意大小的图片。 2、offset max-pooling 简单起见，不用二维的图像作为例子，而是采用一维作为示例： 如上图所示，在X轴上有20个神经元，并且选择池化size=3的非重叠池化，那么根据之前所学的方法应该是：对上面的20个神经元，从1位置开始进行分组，每3个连续的神经元为一组，然后计算每组的最大值(最大池化)，19、20号神经元将被丢弃，如下图所示： 或者可以在20号神经元后面，添加一个数值为0的神经元编号21，与19、20成为一组，这样可以分成7组:[1,2,3]，[4,5,6]……, [16,17,18],[19,20,21]，最后计算每组的最大值。 如果只分6组，除了以1作为初始位置进行连续组合之外，也可以从位置2或者3开始进行组合。也就是说其实有3种池化组合方法： A、△=0分组:[1,2,3]，[4,5,6]……,[16,17,18]； B、△=1分组:[2,3,4]，[5,6,7]……,[17,18,19]； C、△=2分组:[3,4,5]，[6,7,8]……,[18,19,20]； 对应图片如下： 以往的CNN中，一般只用△=0的情况，得到池化结果后，就送入了下一层。但是该文献的方法是，把上面的△=0、△=1、△=2的三种组合方式的池化结果，分别送入网络的下一层。这样的话，网络在最后输出的时候，就会出现3种预测结果了。 前面所述是一维的情况，如果是2维图片的话，那么(△x,△y)就会有9种取值情况(3*3)；如果我们在做图片分类的时候，在网络的某一个池化层加入了这种offset 池化方法，然后把这9种池化结果，分别送入后面的网络层，最后的图片分类输出结果就可以得到9个预测结果(每个类别都可以得到9种概率值，然后我们对每个类别的9种概率，取其最大值，做为此类别的预测概率值)。 算法原理： 文献中的算法，就是把这两种思想结合起来，形成了文献最后测试阶段的算法。 1、论文的网络架构与训练阶段 (1)网络架构 对于网络的结构，文献给出了两个版本——快速版、精确版，一个精度比较高但速度慢；另外一个精度虽然低但是速度快。下面是高精度版本的网络结构表相关参数： 表格参数说明： 网络输入：图片大小为221px*221px； 网络结构方面基本上和AlexNet相同，使用了ReLU激活，最大池化。不同之处在于：(a)作者没有使用局部响应归一化层；(b)然后也没有采用重叠池化的方法；(c)在第一层卷积层，stride作者是选择了2，这个与AlexNet不同（AlexNet选择的跨步是4，在网络中，如果stride选择比较大得话，虽然可以减少网络层数，提高速度，但是却会降低精度）。 需要注意的是把f7这一层，看成是卷积核大小为5*5的卷积层，总之就是需要把网络看成前面所述的FCN模型，去除了全连接层的概念，因为在测试阶段可不是仅仅输入221*221这样大小的图片，在测试阶段要输入各种大小的图片，具体请看后面测试阶段的讲解。 (2)网络训练 训练输入：对于每张原图片为256*256，然后进行随机裁剪为221*221的大小作为CNN输入，进行训练。 优化求解参数设置：训练的min-batchs选择128，权重初始化选择高斯分布的随机初始化： 然后采用随机梯度下降法，进行优化更新，动量项参数大小选择，L2权重衰减系数大小选择10-5次方。学习率初始化值为，根据迭代次数的增加，每隔几十次的迭代后，就把学习率的大小减小一半。 然后就是DropOut，这个只有在最后的两个全连接层，才采用dropout，dropout比率选择。 2、网络测试阶段 在Alexnet的文献中，预测方法是输入一张图片256*256，然后进行multi-view裁剪，也就是从图片的四个角进行裁剪，还有就是一图片的中心进行裁剪，这样可以裁剪到5张224*224的图片。然后把原图片水平翻转一下，再用同样的方式进行裁剪，又可以裁剪到5张图片。把这10张图片作为输入，分别进行预测分类，在后在softmax的最后一层，求取个各类的总概率，求取平均值。 然而Alexnet这种预测方法存在两个问题： 一方面这样的裁剪方式，把图片的很多区域都给忽略了，这样的裁剪方式，刚好把图片物体的一部分给裁剪掉了； 另一方面，裁剪窗口重叠存在很多冗余的计算，像上面要分别把10张图片送入网络，可见测试阶段的计算量还是较大的。 Overfeat算法： 训练完上面所说的网络之后，在测试阶段不再是用一张221*221大小的图片了作为网络的输入，而是用了6张大小都不相同的图片，也就是所谓的多尺度输入预测，如下表格所示： 当网络前向传导到layer 5的时候，就利用了前面所述的FCN、offset pooling这两种思想的相结合。现以输入一张图片为例(6张图片的计算方法都相同)，讲解layer 5后面的整体过程，具体流程示意图如下： 步骤一： 对于某个尺度的图片，经过前五层的卷积后得到特征图。上图中特征图的分辨率是20x23，256个通道。 步骤二： 对于该特征图，重复多次使用非重叠的池化，每次池化的偏置不同，有行偏置和列偏置。上图中偏置池化3次，偏置分别为为(0,1,2)。这就是offset pooling，也被称为fine stride。offset pooling得到的特征图的维度为6x7x3x3xD，其中6x7是特征图的分辨率，3x3是偏置池化的次数，D是通道数。上图中是以1维显示的。 步骤三： 池化后得到的特征图将被送入分类器。 步骤四： 分类器的输入是的5x5xD，输出是C(类别数)维向量。但是offset pooling后得到的特征图并不是5x5xD，比如上图中的特征图大小为6x7xD，因此分类器以滑动窗口的方式应用在特征图上，每个滑动窗口经过分类器输出一个C维向量。比如上图中输入的6x7xD的特征图最终得到2x3xC的输出，其中2x3是滑动窗口的个数。 步骤五： 而2x3xC只是一组偏置池化的输出，总的输出为2x3x3x3xC，将输出的张量reshape，得到6x9xC输出张量。最终输出分类张量为3d张量，即两个分辨率维度 x C维。 然后需要在后面把它们拉成一维向量，这样在一个尺度上，可以得到一个C*N个预测值矩阵，每一列就表示图片属于某一类别的概率值，并且求取每一列的最大值，作为本尺度的每个类别的概率值。 最后一共用了6种不同尺度(文献使用了12张，另外6张是水平翻转的图片)进行做预测，然后把这六种尺度结果再做一个平均，作为最最后的结果。 从上面过程可以看到整个网络分成两部分：layer 1~5这五层称之为特征提取层；layer 6~output称之为分类层。 六、定位任务 用于定位任务的时候，就把分类层(上面的layer 6~output)给重新设计一下，把分类改成回归问题，然后在各种不同尺度上训练预测物体的bounding box。
论文名称：Rich feature hierarchies for accurate object detection and semantic segmentation 提出时间：2014年 论文地址： 针对问题： 从Alexnet提出后，作者等人思考如何利用卷积网络来完成检测任务，即输入一张图，实现图上目标的定位（目标在哪）和分类（目标是什么）两个目标，并最终完成了RCNN网络模型。 创新点： RCNN提出时，检测网络的执行思路还是脱胎于分类网络。也就是深度学习部分仅完成输入图像块的分类工作。那么对检测任务来说如何完成目标的定位呢，作者采用的是Selective Search候选区域提取算法，来获得当前输入图上可能包含目标的不同图像块，再将图像块裁剪到固定的尺寸输入CNN网络来进行当前图像块类别的判断。 参考博客： 。 论文题目：OverFeat: Integrated Recognition, Localization and Detection using Convolutional Networks 提出时间：2014年 论文地址： 针对问题： 该论文讨论了，CNN提取到的特征能够同时用于定位和分类两个任务。也就是在CNN提取到特征以后，在网络后端组织两组卷积或全连接层，一组用于实现定位，输出当前图像上目标的最小外接矩形框坐标，一组用于分类，输出当前图像上目标的类别信息。也是以此为起点，检测网络出现基础主干网络(backbone)+分类头或回归头（定位头）的网络设计模式雏形。 创新点： 在这篇论文中还有两个比较有意思的点，一是作者认为全连接层其实质实现的操作和1x1的卷积是类似的，而且用1x1的卷积核还可以避免FC对输入特征尺寸的限制，那用1x1卷积来替换FC层，是否可行呢？作者在测试时通过将全连接层替换为1x1卷积核证明是可行的；二是提出了offset max-pooling，也就是对池化层输入特征不能整除的情况，通过进行滑动池化并将不同的池化层传递给后续网络层来提高效果。另外作者在论文里提到他的用法是先基于主干网络+分类头训练，然后切换分类头为回归头，再训练回归头的参数，最终完成整个网络的训练。图像的输入作者采用的是直接在输入图上利用卷积核划窗。然后在指定的每个网络层上回归目标的尺度和空间位置。 参考博客： 论文题目：Scalable Object Detection using Deep Neural Networks 提出时间：2014年 论文地址： 针对问题： 既然CNN网络提取的特征可以直接用于检测任务（定位+分类），作者就尝试将目标框（可能包含目标的最小外包矩形框）提取任务放到CNN中进行。也就是直接通过网络完成输入图像上目标的定位工作。 创新点： 本文作者通过将物体检测问题定义为输出多个bounding box的回归问题. 同时每个bounding box会输出关于是否包含目标物体的置信度, 使得模型更加紧凑和高效。先通过聚类获得图像中可能有目标的位置聚类中心，（800个anchor box）然后学习预测不考虑目标类别的二分类网络，背景or前景。用到了多尺度下的检测。 参考博客： 论文题目：DeepBox: Learning Objectness with Convolutional Networks 提出时间：2015年ICCV 论文地址： 主要针对的问题： 本文完成的工作与第三篇类似，都是对目标框提取算法的优化方案，区别是本文首先采用自底而上的方案来提取图像上的疑似目标框，然后再利用CNN网络提取特征对目标框进行是否为前景区域的排序；而第三篇为直接利用CNN网络来回归图像上可能的目标位置。创新点： 本文作者想通过CNN学习输入图像的特征，从而实现对输入网络目标框是否为真实目标的情况进行计算，量化每个输入框的包含目标的可能性值。 参考博客： 论文题目：AttentionNet: AggregatingWeak Directions for Accurate Object Detection 提出时间：2015年ICCV 论文地址： 主要针对的问题： 对检测网络的实现方案进行思考，之前的执行策略是，先确定输入图像中可能包含目标位置的矩形框，再对每个矩形框进行分类和回归从而确定目标的准确位置，参考RCNN。那么能否直接利用回归的思路从图像的四个角点，逐渐得到目标的最小外接矩形框和类别呢？ 创新点： 通过从图像的四个角点，逐步迭代的方式，每次计算一个缩小的方向，并缩小指定的距离来使得逐渐逼近目标。作者还提出了针对多目标情况的处理方式。 参考博客： 论文题目：Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition 提出时间：2014年 论文地址： 针对问题： 如RCNN会将输入的目标图像块处理到同一尺寸再输入进CNN网络，在处理过程中就造成了图像块信息的损失。在实际的场景中，输入网络的目标尺寸很难统一，而网络最后的全连接层又要求输入的特征信息为统一维度的向量。作者就尝试进行不同尺寸CNN网络提取到的特征维度进行统一。创新点： 作者提出的SPPnet中，通过使用特征金字塔池化来使得最后的卷积层输出结果可以统一到全连接层需要的尺寸，在训练的时候，池化的操作还是通过滑动窗口完成的，池化的核宽高及步长通过当前层的特征图的宽高计算得到。原论文中的特征金字塔池化操作图示如下。 参考博客 ： 论文题目：Object detection via a multi-region & semantic segmentation-aware CNN model 提出时间：2015年 论文地址： 针对问题： 既然第三篇论文multibox算法提出了可以用CNN来实现输入图像中待检测目标的定位，本文作者就尝试增加一些训练时的方法技巧来提高CNN网络最终的定位精度。创新点： 作者通过对输入网络的region进行一定的处理（通过数据增强，使得网络利用目标周围的上下文信息得到更精准的目标框）来增加网络对目标回归框的精度。具体的处理方式包括：扩大输入目标的标签包围框、取输入目标的标签中包围框的一部分等并对不同区域分别回归位置，使得网络对目标的边界更加敏感。这种操作丰富了输入目标的多样性，从而提高了回归框的精度。 参考博客 ： 论文题目：Fast-RCNN 提出时间：2015年 论文地址： 针对问题： RCNN中的CNN每输入一个图像块就要执行一次前向计算，这显然是非常耗时的，那么如何优化这部分呢？ 创新点： 作者参考了SPPNet（第六篇论文），在网络中实现了ROIpooling来使得输入的图像块不用裁剪到统一尺寸，从而避免了输入的信息丢失。其次是将整张图输入网络得到特征图，再将原图上用Selective Search算法得到的目标框映射到特征图上，避免了特征的重复提取。 参考博客 ： 论文题目：DeepProposal: Hunting Objects by Cascading Deep Convolutional Layers 提出时间：2015年 论文地址： 主要针对的问题： 本文的作者观察到CNN可以提取到很棒的对输入图像进行表征的论文，作者尝试通过实验来对CNN网络不同层所产生的特征的作用和情况进行讨论和解析。 创新点： 作者在不同的激活层上以滑动窗口的方式生成了假设，并表明最终的卷积层可以以较高的查全率找到感兴趣的对象，但是由于特征图的粗糙性，定位性很差。相反，网络的第一层可以更好地定位感兴趣的对象，但召回率降低。 论文题目：Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks 提出时间：2015年NIPS 论文地址： 主要针对的问题： 由multibox（第三篇）和DeepBox（第四篇）等论文，我们知道，用CNN可以生成目标待检测框，并判定当前框为目标的概率，那能否将该模型整合到目标检测的模型中，从而实现真正输入端为图像，输出为最终检测结果的，全部依赖CNN完成的检测系统呢？ 创新点： 将当前输入图目标框提取整合到了检测网络中，依赖一个小的目标框提取网络RPN来替代Selective Search算法，从而实现真正的端到端检测算法。 参考博客 ：
每一个检测任务都有其特有的检测难点，比如背景复杂，目标尺度变化大，颜色对比度低等挑战，这就导致某个检测算法在检测任务A上可能表现SOTA，但在检测任务B上表现得可能不尽如人意。因此，分析研究每一个检测任务存在的难点与挑战至关重要，这有利于我们针对不同的检测难点设计出不同的技术以解决该项问题，从而使得我们提出的算法能够在特定的任务上表现SOTA。 目标检测任务可能存在的检测难点与挑战: （1）待检测目标尺寸很小，导致占比小，检测难度大 （2）待检测目标尺度变化大，网络难以提取出高效特征 （3）待检测目标所在背景复杂，噪音干扰严重，检测难度大 （4）待检测目标与背景颜色对比度低，网络难以提取出具有判别性的特征 （5）各待检测目标之间数量极度不均衡，导致样本不均衡 （6）检测算法的速度与精度难以取得良好平衡 不同尺度，不同形状物体的检测是目标检测面临的主要挑战之一，而多尺度检测技术是解决多尺度问题的主要技术手段。目标检测发展的几十年来，多尺度检测技术的演变经历了以下过程： （1）Feature pyramids and sliding windows(2014年前) （2）Detection with object proposals(2010-2015年) （3）Deep regression(2013-2016年) （4）Multi-reference detection(2015年后) （5）Multi-resolution detection(2016年后) 如下图5展示了多尺度检测技术的演变历程： 边框回归(The Bounding Box regression，BB)是目标检测非常重要的技术。它的目的是根据初始设定的anchor box来进一步改进修正预测框的位置。目标检测发展的几十年来，边框回归技术的演变经历了以下过程： （1）Without BB regression(2008年之前) （2）From BB to BB(2008-2013年) （3）From feature to BB(2013年后) 如下图展示了边框回归技术的演变历程 目标检测领域中每一个目标都被周围背景所包围，而我们对于一个目标的认知会根据其周围的环境作出判断，于是我们将目标周围的环境信息称作上下文信息。上下文可以作为网络判断目标类别和定位的重要辅助信息，可大大提高网络检测的精度。为网络提取上下文信息有以下三种常用的方法： （1）提取局部上下文信息用于目标检测 （2）提取全局上下文信息用于目标检测 （3）上下文信息交互提取高效上下文信息用于目标检测 如下图展示了上下文信息提取技术的演变历程： 目标检测的过程中在同一目标的位置上会产生大量的候选框，这些候选框相互之间可能会有重叠，此时我们需要利用非极大值抑制找到最佳的目标边界框，消除冗余的边界框。非极大值抑制算法的流程如下： （1）根据置信度得分进行排序； （2）选择置信度最高的比边界框添加到最终输出列表中，将其从边界框列表中删除； （3）计算所有边界框的面积； （4）计算置信度最高的边界框与其它候选框的IoU； （5）删除IoU大于阈值的边界框； （6）重复上述过程，直至边界框列表为空。 近年来非极大值抑制算法逐渐发展成为以下三条路线： （1）Greedy selection （2）Bounding box aggregation （3）Learning to NMS 如下图展示了非极大值抑制算法的技术演变历程： 目标检测的训练过程本质上还是一个样本数据不平衡的学习过程，因为检测算法中需要用到很多检测框，而真正包含目标的检测框占比却极少。在网络训练过程中，大量简单的负样本(背景)会主导学习方向而不利于网络往正确的方向加以优化，因此这需要采取一定的策略来解决这一问题。难分负样本挖掘(Hard Negative Mining, HNM)技术正是解决训练过程中的数据不平衡问题的一项关键技术。 难分负样本挖掘技术的演变主要经历了以下过程： （1）Bootstrap （2）HNM in deep learning based detectors 如下图展示了难分负样本挖掘技术的演变历程：
原文： Scalable Object Detection using Deep Neural Networks——学术范 最近，深度卷积神经网络在许多图像识别基准上取得了最先进的性能，包括ImageNet大规模视觉识别挑战(ILSVRC-2012)。在定位子任务中获胜的模型是一个网络，它预测了图像中每个对象类别的单个边界框和置信度得分。这样的模型捕获了围绕对象的整幅图像上下文，但如果不天真地复制每个实例的输出数量，就无法处理图像中同一对象的多个实例。在这篇论文中提出了一个显著性启发的神经网络检测模型，它预测了一组与类无关的边界框，每个框有一个分数，对应于它包含任何感兴趣的对象的可能性。该模型自然地为每个类处理数量可变的实例，并允许在网络的最高级别上进行跨类泛化。 目标检测是计算机视觉的基本任务之一。一个解决这个问题的通用范例是训练在子图像上操作的对象检测器，并在所有的场所和尺度上以详尽的方式应用这些检测器。这一范例被成功地应用于经过区别训练的可变形零件模型(DPM)中，以实现检测任务的最新结果。对所有可能位置和尺度的穷举搜索带来了计算上的挑战。随着类数量的增加，这个挑战变得更加困难，因为大多数方法都训练每个类单独的检测器。为了解决这个问题，人们提出了多种方法，从检测器级联到使用分割提出少量的对象假设。 关于对象检测的文献非常多，在本节中，我们将重点讨论利用类不可知思想和解决可伸缩性的方法。 许多提出的检测方法都是基于基于部件的模型，最近由于有区别学习和精心设计的特征，已经取得了令人印象深刻的性能。然而,这些方法依赖于在多个尺度上详尽地应用零件模板，这是非常昂贵的。此外，它们在类的数量上是可伸缩的，这对像ImageNet这样的现代数据集来说是一个挑战。 为了解决前一个问题，Lampert等人使用分支绑定策略来避免计算所有可能的对象位置。为了解决后一个问题，Song et al.使用了一个低维部件基，在所有对象类中共享。基于哈希算法的零件检测也取得了良好的结果。 另一种不同的工作，与我们的工作更接近，是基于对象可以本地化的想法，而不必知道它们的类。其中一些方法建立在自底向上无阶级分割[9]的基础上。通过这种方式得到的片段可以使用自上而下的反馈进行评分。基于同样的动机，Alexe等人使用一种廉价的分类器对对象假设是否为对象进行评分，并以这种方式减少了后续检测步骤的位置数量。这些方法可以被认为是多层模型，分割作为第一层，分割分类作为后续层。尽管它们编码了已证明的感知原理，但我们将表明，有更深入的模型，充分学习可以导致更好的结果。 最后，我们利用了DeepLearning的最新进展，最引人注目的是Krizhevsky等人的工作。我们将他们的边界盒回归检测方法扩展到以可扩展的方式处理多个对象的情况。然而，基于dnn的回归已经被Szegedy等人应用到对象掩模中。最后一种方法实现了最先进的检测性能，但由于单个掩模回归的成本，不能扩展到多个类。 我们的目标是通过预测一组表示潜在对象的边界盒来实现一种与类无关的可扩展对象检测。更准确地说，我们使用了深度神经网络(DNN)，它输出固定数量的包围盒。此外，它为每个盒子输出一个分数，表示这个盒子包含一个对象的网络信任度。 为了形式化上述思想，我们将i-thobject框及其相关的置信度编码为最后一网层的节点值: Bounding box: 我们将每个框的左上角和右下角坐标编码为四个节点值，可以写成vectorli∈R4。这些坐标是归一化的w. r. t.图像尺寸，以实现图像绝对尺寸的不变性。每个归一化坐标是由最后一层的线性变换产生的。 Confidence: 置信度:包含一个对象的盒子的置信度得分被编码为单个节点valueci∈[0,1]。这个值是通过最后一个隐藏层的线性变换产生的，后面跟着一个sigmoid。 我们可以组合边界盒位置sli,i∈{1，…K}为一个线性层。同样，我们可以将所有置信区间ci,i∈{1，…K}作为一个s型层的输出。这两个输出层都连接到最后一个隐藏层 在推理时，我们的算法生成kbound盒。在我们的实验中，我们使用ek = 100和K= 200。如果需要，我们可以使用置信分数和非最大抑制在推理时获得较少数量的高置信框。这些盒子应该代表对象。因此，它们可以通过后续的分类器进行分类，实现目标检测。由于盒子的数量非常少，我们可以提供强大的分类器。在我们的实验中，我们使用另一个dnn进行分类。 我们训练一个DNN来预测每个训练图像的边界框及其置信度得分，以便得分最高的框与图像的groundtruth对象框很好地匹配。假设对于一个特定的训练例子，对象被标记为boundingboxesgj,j∈{1，…，M}。在实践中，pre- dictionary的数量远远大于groundtruthboxm的数量。因此，我们试图只优化与地面真实最匹配的预测框子集。我们优化他们的位置，以提高他们的匹配度，最大化他们的信心。与此同时，我们将剩余预测的置信度最小化，这被认为不能很好地定位真实对象。为了达到上述目的，我们为每个训练实例制定一个分配问题。Wexij∈{0,1}表示赋值:xij= 1，如果第i个预测被赋值给第j个真对象。这项任务的目标可以表示为 其中，我们使用标准化边界框坐标之间的el2距离来量化边界框之间的不同。此外，我们希望根据分配x优化盒子的可信度。最大化指定预测的置信度可以表示为 最终的损失目标结合了匹配损失和信心损失 受式1的约束。α平衡了不同损失条款的贡献。 对于每个训练例子，我们通过解决一个最佳的赋值x*的预测到真实的盒子 约束执行赋值解决方案。这是二部匹配的一种变体，是一种多项式复杂度匹配。在我们的应用程序中，匹配是非常便宜的——每幅图像中标记的对象的数量少于一打，而且在大多数情况下只有很少的对象被标记。然后，通过反向传播优化网络参数。例如，反向传播算法的一阶导数计算w、r、t、l和c 尽管上述定义的损失在原则上是足够的，但三次修改使其有可能更快地达到更好的准确性。第一个修改是对地面真实位置进行聚类，并找到这样的聚类/质心，我们可以使用这些聚类/质心作为每个预测位置的先验。因此，鼓励学习算法为每个预测位置学习一个残差到一个先验。 第二个修改涉及到在匹配过程中使用这些先验:不是将N个groundtruth位置与K个预测进行匹配，而是在K个先验和groundtruth之间找到最佳匹配。一旦匹配完成，就会像之前一样计算目标的置信度。此外，位置预测损失也不变:对于任何一对匹配的(目标，预测)位置，其损失定义为groundtruth和对应于匹配先验的坐标之间的差值。我们把使用先验匹配称为先验匹配，并假设它促进了预测的多样化。 需要注意的是，尽管我们以一种与类无关的方式定义了我们的方法，但我们可以将它应用于预测特定类的对象盒。要做到这一点，我们只需要在类的边框上训练我们的模型。此外，我们可以预测每个类的kbox。不幸的是，这个模型的参数数量会随着类的数量线性增长。此外，在一个典型的设置中，给定类的对象数量相对较少，这些参数中的大多数会看到很少有相应梯度贡献的训练示例。因此，我们认为我们的两步过程——首先本地化，然后识别——是一个更好的选择，因为它允许使用少量参数利用同一图像中多个对象类型的数据 我们使用的本地化和分类模型的网络架构与[10]使用的网络架构相同。我们使用Adagrad来控制学习速率衰减，128的小批量，以及使用多个相同的网络副本进行并行分布式训练，从而实现更快的收敛。如前所述，我们在定位损失中使用先验——这些是使用训练集上的均值来计算的。我们还使用α = 来平衡局部化和置信度损失。定位器可以输出用于推断的种植区以外的坐标。坐标被映射和截断到最后的图像区域。另外，使用非最大抑制对盒进行修剪，Jaccard相似度阈值为。然后，我们的第二个模型将每个边界框分类为感兴趣的对象或“背景”。为了训练我们的定位器网络，我们从训练集中生成了大约3000万幅图像，并对训练集中的每幅图像应用以下步骤。最后，样品被打乱。为了训练我们的本地化网络，我们通过对训练集中的每一幅图像应用以下步骤，从训练集中生成了大约3000万幅图像。对于每幅图像，我们生成相同数量的平方样本，使样本总数大约为1000万。对于每幅图像，样本被桶状填充，这样，对于0 - 5%、5 - 15%、15 - 50%、50 - 100%范围内的每个比例，都有相同数量的样本，其中被包围框覆盖的比例在给定范围内。训练集和我们大多数超参数的选择是基于过去使用非公开数据集的经验。在下面的实验中，我们没有探索任何非标准数据生成或正则化选项。在所有的实验中，所有的超参数都是通过对训练集。 Pascal Visual Object Classes (VOC)挑战是最常用的对象检测算法基准。它主要由复杂的场景图像组成，其中包含了20种不同的对象类别的边界框。在我们的评估中，我们关注的是2007版VOC，为此发布了一个测试集。我们通过培训VOC 2012展示了结果，其中包含了大约。11000张图片。我们训练了一个100框的定位器和一个基于深度网络的分类器。 我们在一个由1000万作物组成的数据集上训练分类器，该数据集重叠的对象至少为 jaccard重叠相似度。这些作物被标记为20个VOC对象类中的一个。•2000万负作物与任何物体盒最多有个Jaccard相似度。这些作物被贴上特殊的“背景”类标签。体系结构和超参数的选择遵循。 在第一轮中，定位器模型应用于图像中最大-最小中心方形作物。作物的大小调整到网络输入大小is220×220。单次通过这个网络，我们就可以得到上百个候选日期框。在对重叠阈值为的非最大抑制后，保留评分最高的前10个检测项，并通过21路分类器模型分别通过网络进行分类。最终的检测分数是给定盒子的定位分数乘以分类器在作物周围的最大方形区域上评估的分数的乘积。这些分数通过评估，并用于计算精确查全曲线。 首先，我们分析了本地化器在隔离状态下的性能。我们给出了被检测对象的数量，正如Pascal检测标准所定义的那样，与生成的包围框的数量相对比。在图1中，我们展示了使用VOC2012进行训练所获得的结果。此外，我们通过使用图像的最大中心面积(max-center square crop)作为输入以及使用两个尺度(second scale)来给出结果:最大中心面积(max-center crop)的第二个尺度(select3×3windows的大小为图像大小的60%)正如我们所看到的，当使用10个边界框的预算时，我们可以用第一个模型本地化的对象，用第二个模型本地化48%的对象。这显示出比其他报告的结果更好的性能，例如对象度算法达到42%[1]。此外，这个图表显示了在不同分辨率下观察图像的重要性。虽然我们的算法通过使用最大中心作物获得了大量的对象，但当使用更高分辨率的图像作物时，我们获得了额外的提升。进一步，我们用21-way分类器对生成的包围盒进行分类，如上所述。表1列出了VOC 2007的平均精度(APs)。达到的平均AP是，与先进水平相当。注意，我们的运行时间复杂度非常低——我们只使用top10框。示例检测和全精度召回曲线分别如图2和图3所示。值得注意的是，可视化检测是通过仅使用最大中心方形图像裁剪，即使用全图像获得的。然而，我们设法获得了相对较小的对象，例如第二行和第二列的船，以及第三行和第三列的羊。 在本工作中，我们提出了一种新的方法来定位图像中的对象，该方法可以预测多个边界框的时间。该方法使用深度卷积神经网络作为基本特征提取和学习模型。它制定了一个能够利用可变数量的groundtruth位置的多箱定位成本。在“一个类一个箱”方法的情况下，对1000个盒子进行非max-suppression，使用与给定图像中感兴趣的DeepMulti-Box方法相同的准则，并学习在未见图像中预测这些位置。 我们在VOC2007和ILSVRC-2012这两个具有挑战性的基准上给出了结果，在这两个基准上，所提出的方法具有竞争力。此外，该方法能够很好地预测后续分类器将探测到的位置。我们的结果表明，deepmultibox的方法是可扩展的，甚至可以在两个数据集之间泛化，就能够预测感兴趣的定位，甚至对于它没有训练的类别。此外，它能够捕获同一类物体的多种情况，这是旨在更好地理解图像的算法的一个重要特征。 在未来，我们希望能够将定位和识别路径折叠到一个单一的网络中，这样我们就能够在一个通过网络的一次性前馈中提取位置和类标签信息。即使在其当前状态下，双通道过程(本地化网络之后是分类网络)也会产生5-10个网络评估，每个评估的速度大约为1个CPU-sec(现代机器)。重要的是，这个数字并不与要识别的类的数量成线性关系，这使得所提出的方法与类似dpm的方法非常有竞争力。
论文名称：Rich feature hierarchies for accurate object detection and semantic segmentation 提出时间：2014年 论文地址： 针对问题： 从Alexnet提出后，作者等人思考如何利用卷积网络来完成检测任务，即输入一张图，实现图上目标的定位（目标在哪）和分类（目标是什么）两个目标，并最终完成了RCNN网络模型。 创新点： RCNN提出时，检测网络的执行思路还是脱胎于分类网络。也就是深度学习部分仅完成输入图像块的分类工作。那么对检测任务来说如何完成目标的定位呢，作者采用的是Selective Search候选区域提取算法，来获得当前输入图上可能包含目标的不同图像块，再将图像块裁剪到固定的尺寸输入CNN网络来进行当前图像块类别的判断。 参考博客： 。 论文题目：OverFeat: Integrated Recognition, Localization and Detection using Convolutional Networks 提出时间：2014年 论文地址： 针对问题： 该论文讨论了，CNN提取到的特征能够同时用于定位和分类两个任务。也就是在CNN提取到特征以后，在网络后端组织两组卷积或全连接层，一组用于实现定位，输出当前图像上目标的最小外接矩形框坐标，一组用于分类，输出当前图像上目标的类别信息。也是以此为起点，检测网络出现基础主干网络(backbone)+分类头或回归头（定位头）的网络设计模式雏形。 创新点： 在这篇论文中还有两个比较有意思的点，一是作者认为全连接层其实质实现的操作和1x1的卷积是类似的，而且用1x1的卷积核还可以避免FC对输入特征尺寸的限制，那用1x1卷积来替换FC层，是否可行呢？作者在测试时通过将全连接层替换为1x1卷积核证明是可行的；二是提出了offset max-pooling，也就是对池化层输入特征不能整除的情况，通过进行滑动池化并将不同的池化层传递给后续网络层来提高效果。另外作者在论文里提到他的用法是先基于主干网络+分类头训练，然后切换分类头为回归头，再训练回归头的参数，最终完成整个网络的训练。图像的输入作者采用的是直接在输入图上利用卷积核划窗。然后在指定的每个网络层上回归目标的尺度和空间位置。 参考博客： 论文题目：Scalable Object Detection using Deep Neural Networks 提出时间：2014年 论文地址： 针对问题： 既然CNN网络提取的特征可以直接用于检测任务（定位+分类），作者就尝试将目标框（可能包含目标的最小外包矩形框）提取任务放到CNN中进行。也就是直接通过网络完成输入图像上目标的定位工作。 创新点： 本文作者通过将物体检测问题定义为输出多个bounding box的回归问题. 同时每个bounding box会输出关于是否包含目标物体的置信度, 使得模型更加紧凑和高效。先通过聚类获得图像中可能有目标的位置聚类中心，（800个anchor box）然后学习预测不考虑目标类别的二分类网络，背景or前景。用到了多尺度下的检测。 参考博客： 论文题目：DeepBox: Learning Objectness with Convolutional Networks 提出时间：2015年ICCV 论文地址： 主要针对的问题： 本文完成的工作与第三篇类似，都是对目标框提取算法的优化方案，区别是本文首先采用自底而上的方案来提取图像上的疑似目标框，然后再利用CNN网络提取特征对目标框进行是否为前景区域的排序；而第三篇为直接利用CNN网络来回归图像上可能的目标位置。创新点： 本文作者想通过CNN学习输入图像的特征，从而实现对输入网络目标框是否为真实目标的情况进行计算，量化每个输入框的包含目标的可能性值。 参考博客： 论文题目：AttentionNet: AggregatingWeak Directions for Accurate Object Detection 提出时间：2015年ICCV 论文地址： 主要针对的问题： 对检测网络的实现方案进行思考，之前的执行策略是，先确定输入图像中可能包含目标位置的矩形框，再对每个矩形框进行分类和回归从而确定目标的准确位置，参考RCNN。那么能否直接利用回归的思路从图像的四个角点，逐渐得到目标的最小外接矩形框和类别呢？ 创新点： 通过从图像的四个角点，逐步迭代的方式，每次计算一个缩小的方向，并缩小指定的距离来使得逐渐逼近目标。作者还提出了针对多目标情况的处理方式。 参考博客： 论文题目：Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition 提出时间：2014年 论文地址： 针对问题： 如RCNN会将输入的目标图像块处理到同一尺寸再输入进CNN网络，在处理过程中就造成了图像块信息的损失。在实际的场景中，输入网络的目标尺寸很难统一，而网络最后的全连接层又要求输入的特征信息为统一维度的向量。作者就尝试进行不同尺寸CNN网络提取到的特征维度进行统一。创新点： 作者提出的SPPnet中，通过使用特征金字塔池化来使得最后的卷积层输出结果可以统一到全连接层需要的尺寸，在训练的时候，池化的操作还是通过滑动窗口完成的，池化的核宽高及步长通过当前层的特征图的宽高计算得到。原论文中的特征金字塔池化操作图示如下。 参考博客 ： 论文题目：Object detection via a multi-region & semantic segmentation-aware CNN model 提出时间：2015年 论文地址： 针对问题： 既然第三篇论文multibox算法提出了可以用CNN来实现输入图像中待检测目标的定位，本文作者就尝试增加一些训练时的方法技巧来提高CNN网络最终的定位精度。创新点： 作者通过对输入网络的region进行一定的处理（通过数据增强，使得网络利用目标周围的上下文信息得到更精准的目标框）来增加网络对目标回归框的精度。具体的处理方式包括：扩大输入目标的标签包围框、取输入目标的标签中包围框的一部分等并对不同区域分别回归位置，使得网络对目标的边界更加敏感。这种操作丰富了输入目标的多样性，从而提高了回归框的精度。 参考博客 ： 论文题目：Fast-RCNN 提出时间：2015年 论文地址： 针对问题： RCNN中的CNN每输入一个图像块就要执行一次前向计算，这显然是非常耗时的，那么如何优化这部分呢？ 创新点： 作者参考了SPPNet（第六篇论文），在网络中实现了ROIpooling来使得输入的图像块不用裁剪到统一尺寸，从而避免了输入的信息丢失。其次是将整张图输入网络得到特征图，再将原图上用Selective Search算法得到的目标框映射到特征图上，避免了特征的重复提取。 参考博客 ： 论文题目：DeepProposal: Hunting Objects by Cascading Deep Convolutional Layers 提出时间：2015年 论文地址： 主要针对的问题： 本文的作者观察到CNN可以提取到很棒的对输入图像进行表征的论文，作者尝试通过实验来对CNN网络不同层所产生的特征的作用和情况进行讨论和解析。 创新点： 作者在不同的激活层上以滑动窗口的方式生成了假设，并表明最终的卷积层可以以较高的查全率找到感兴趣的对象，但是由于特征图的粗糙性，定位性很差。相反，网络的第一层可以更好地定位感兴趣的对象，但召回率降低。 论文题目：Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks 提出时间：2015年NIPS 论文地址： 主要针对的问题： 由multibox（第三篇）和DeepBox（第四篇）等论文，我们知道，用CNN可以生成目标待检测框，并判定当前框为目标的概率，那能否将该模型整合到目标检测的模型中，从而实现真正输入端为图像，输出为最终检测结果的，全部依赖CNN完成的检测系统呢？ 创新点： 将当前输入图目标框提取整合到了检测网络中，依赖一个小的目标框提取网络RPN来替代Selective Search算法，从而实现真正的端到端检测算法。 参考博客 ：
【嵌牛导读】目标检测在现实中的应用很广泛，我们需要检测数字图像中的物体位置以及类别，它需要我们构建一个模型，模型的输入一张图片，模型的输出需要圈出图片中所有物体的位置以及物体所属的类别。在深度学习浪潮到来之前，目标检测精度的进步十分缓慢，靠传统依靠手工特征的方法来提高精度已是相当困难的事。而ImageNet分类大赛出现的卷积神经网络（CNN）——AlexNet所展现的强大性能，吸引着学者们将CNN迁移到了其他的任务，这也包括着目标检测任务，近年来，出现了很多目标检测算法。 【嵌牛鼻子】计算机视觉 【嵌牛提问】如何理解目标检测算法——OverFeat 【嵌牛正文】 一、深度学习的典型目标检测算法 深度学习目标检测算法主要分为 双阶段检测算法 和 单阶段检测算法 ，如图1所示。双阶段目标检测算法先对图像提取候选框，然后基于候选区域做二次修正得到检测结果，检测精度较高，但检测速度较慢;单阶段目标验测算法直接对图像进行计算生成检测结果，检测速度快,但检测精度低。 1、双阶段目标检测算法 双阶段目标检测方法主要通过选择性搜索（Selective Search）或者Edge Boxes等算法对输入图像选取可能包含检测目标的候选区域（Region Proposal），再对候选区域进行分类和位置回归以得到检测结果。 OverFeat 算法 《OverFeat: Integrated Recognition, Localization and Detection using Convolutional Networks》 Sermanet 等改进AlexNet 提出 OverFeat 算法。该算法结合AlexNet通过多尺度滑动窗口实现特征提取功能，并且共享特征提取层，应用于图像分类、定位和目标检测等任务。 关键技术： 1、FCN（ 全卷积神经网络 ） 对于一个各层参数结构都设计好的网络模型，要求输入图片的尺寸是固定的（例如，Alexnet要求输入图片的尺寸为227px*227px）。如果输入一张500*500的图片，希望模型仍然可以一直前向传导，即一个已经设计完毕的网络，可以输入任意大小的图片，这就是FCN。 FCN的思想在于： 1、从卷积层到全连接层，看成是对一整张图片的卷积层运算。 2、从全连接层到全连接层，看成是采用1*1大小的卷积核，进行卷积层运算。如上图所示，绿色部分代表卷积核大小。假设一个CNN模型，其输入图片大小是14*14，通过第一层卷积后得到10*10大小的图片，然后接着通过池化得到了5*5大小的图片。像但是对于像素值为5*5的图片到像素值为1*1的图片的过程中： （1）传统的CNN：如果从以前的角度进行理解的话，那么这个过程就是全连接层，我们会把这个5*5大小的图片，展平成为一维向量进行计算。 （2）FCN：FCN并不是把5*5的图片展平成一维向量再进行计算，而是直接采用5*5的卷积核，对一整张图片进行卷积运算。 二者本质上是相同的，只是角度不同，FCN把这个过程当成了对一整张特征图进行卷积，同样，后面的全连接层也是把它当做是以1*1大小的卷积核进行卷积运算。 当输入一张任意大小的图片，就需要利用以上所述的网络，例如输入一张像素为16*16的图片：根据上图，该网络最后的输出是一张2*2的图片。可见采用FCN网络可以输入任意大小的图片。同时需要注意的是网络最后输出的图片大小不在是一个1*1大小的图片，而是一个与输入图片大小息息相关的一张图片。 Overfeat就是把采用FCN的思想把全连接层看成了卷积层，在网络测试阶段可以输入任意大小的图片。 2、offset max-pooling 简单起见，不用二维的图像作为例子，而是采用一维作为示例： 如上图所示，在X轴上有20个神经元，并且选择池化size=3的非重叠池化，那么根据之前所学的方法应该是：对上面的20个神经元，从1位置开始进行分组，每3个连续的神经元为一组，然后计算每组的最大值(最大池化)，19、20号神经元将被丢弃，如下图所示： 或者可以在20号神经元后面，添加一个数值为0的神经元编号21，与19、20成为一组，这样可以分成7组:[1,2,3]，[4,5,6]……, [16,17,18],[19,20,21]，最后计算每组的最大值。 如果只分6组，除了以1作为初始位置进行连续组合之外，也可以从位置2或者3开始进行组合。也就是说其实有3种池化组合方法： A、△=0分组:[1,2,3]，[4,5,6]……,[16,17,18]； B、△=1分组:[2,3,4]，[5,6,7]……,[17,18,19]； C、△=2分组:[3,4,5]，[6,7,8]……,[18,19,20]； 对应图片如下： 以往的CNN中，一般只用△=0的情况，得到池化结果后，就送入了下一层。但是该文献的方法是，把上面的△=0、△=1、△=2的三种组合方式的池化结果，分别送入网络的下一层。这样的话，网络在最后输出的时候，就会出现3种预测结果了。 前面所述是一维的情况，如果是2维图片的话，那么(△x,△y)就会有9种取值情况(3*3)；如果我们在做图片分类的时候，在网络的某一个池化层加入了这种offset 池化方法，然后把这9种池化结果，分别送入后面的网络层，最后的图片分类输出结果就可以得到9个预测结果(每个类别都可以得到9种概率值，然后我们对每个类别的9种概率，取其最大值，做为此类别的预测概率值)。 算法原理： 文献中的算法，就是把这两种思想结合起来，形成了文献最后测试阶段的算法。 1、论文的网络架构与训练阶段 (1)网络架构 对于网络的结构，文献给出了两个版本——快速版、精确版，一个精度比较高但速度慢；另外一个精度虽然低但是速度快。下面是高精度版本的网络结构表相关参数： 表格参数说明： 网络输入：图片大小为221px*221px； 网络结构方面基本上和AlexNet相同，使用了ReLU激活，最大池化。不同之处在于：(a)作者没有使用局部响应归一化层；(b)然后也没有采用重叠池化的方法；(c)在第一层卷积层，stride作者是选择了2，这个与AlexNet不同（AlexNet选择的跨步是4，在网络中，如果stride选择比较大得话，虽然可以减少网络层数，提高速度，但是却会降低精度）。 需要注意的是把f7这一层，看成是卷积核大小为5*5的卷积层，总之就是需要把网络看成前面所述的FCN模型，去除了全连接层的概念，因为在测试阶段可不是仅仅输入221*221这样大小的图片，在测试阶段要输入各种大小的图片，具体请看后面测试阶段的讲解。 (2)网络训练 训练输入：对于每张原图片为256*256，然后进行随机裁剪为221*221的大小作为CNN输入，进行训练。 优化求解参数设置：训练的min-batchs选择128，权重初始化选择高斯分布的随机初始化： 然后采用随机梯度下降法，进行优化更新，动量项参数大小选择，L2权重衰减系数大小选择10-5次方。学习率初始化值为，根据迭代次数的增加，每隔几十次的迭代后，就把学习率的大小减小一半。 然后就是DropOut，这个只有在最后的两个全连接层，才采用dropout，dropout比率选择。 2、网络测试阶段 在Alexnet的文献中，预测方法是输入一张图片256*256，然后进行multi-view裁剪，也就是从图片的四个角进行裁剪，还有就是一图片的中心进行裁剪，这样可以裁剪到5张224*224的图片。然后把原图片水平翻转一下，再用同样的方式进行裁剪，又可以裁剪到5张图片。把这10张图片作为输入，分别进行预测分类，在后在softmax的最后一层，求取个各类的总概率，求取平均值。 然而Alexnet这种预测方法存在两个问题： 一方面这样的裁剪方式，把图片的很多区域都给忽略了，这样的裁剪方式，刚好把图片物体的一部分给裁剪掉了； 另一方面，裁剪窗口重叠存在很多冗余的计算，像上面要分别把10张图片送入网络，可见测试阶段的计算量还是较大的。 Overfeat算法： 训练完上面所说的网络之后，在测试阶段不再是用一张221*221大小的图片了作为网络的输入，而是用了6张大小都不相同的图片，也就是所谓的多尺度输入预测，如下表格所示： 当网络前向传导到layer 5的时候，就利用了前面所述的FCN、offset pooling这两种思想的相结合。现以输入一张图片为例(6张图片的计算方法都相同)，讲解layer 5后面的整体过程，具体流程示意图如下： 步骤一： 对于某个尺度的图片，经过前五层的卷积后得到特征图。上图中特征图的分辨率是20x23，256个通道。 步骤二： 对于该特征图，重复多次使用非重叠的池化，每次池化的偏置不同，有行偏置和列偏置。上图中偏置池化3次，偏置分别为为(0,1,2)。这就是offset pooling，也被称为fine stride。offset pooling得到的特征图的维度为6x7x3x3xD，其中6x7是特征图的分辨率，3x3是偏置池化的次数，D是通道数。上图中是以1维显示的。 步骤三： 池化后得到的特征图将被送入分类器。 步骤四： 分类器的输入是的5x5xD，输出是C(类别数)维向量。但是offset pooling后得到的特征图并不是5x5xD，比如上图中的特征图大小为6x7xD，因此分类器以滑动窗口的方式应用在特征图上，每个滑动窗口经过分类器输出一个C维向量。比如上图中输入的6x7xD的特征图最终得到2x3xC的输出，其中2x3是滑动窗口的个数。 步骤五： 而2x3xC只是一组偏置池化的输出，总的输出为2x3x3x3xC，将输出的张量reshape，得到6x9xC输出张量。最终输出分类张量为3d张量，即两个分辨率维度 x C维。 然后需要在后面把它们拉成一维向量，这样在一个尺度上，可以得到一个C*N个预测值矩阵，每一列就表示图片属于某一类别的概率值，并且求取每一列的最大值，作为本尺度的每个类别的概率值。 最后一共用了6种不同尺度(文献使用了12张，另外6张是水平翻转的图片)进行做预测，然后把这六种尺度结果再做一个平均，作为最最后的结果。 从上面过程可以看到整个网络分成两部分：layer 1~5这五层称之为特征提取层；layer 6~output称之为分类层。 六、定位任务 用于定位任务的时候，就把分类层(上面的layer 6~output)给重新设计一下，把分类改成回归问题，然后在各种不同尺度上训练预测物体的bounding box。
一、图片输入层面 基于以上结论，采用多尺度训练过程中，要在避免那些极小的和极大的（多尺度后）带来的不好的影响时，考虑保证目标有足够的多样性。所以在进行多尺度训练过程中，将每种输入尺度下，不满足要求的proposal以及anchor忽略。论文中使用了三种尺度如图所示，比一般的多尺度训练的尺度跨度要大。 二、 Neck部分（采用金字塔结构改进方案的） 一般意义的FPN网络结构是最右边似的结构，而本文中采用的结构则是 该方法首先无疑是增加了计算量，优点就是最终输出的每一层的特征不是一个线性的变换（应该想表述的说不是从一层特征直接到另一层特征），而是使用共享的多层特征。最终相比RetinaNet提升一个点左右吧，效果一般。VisDrone2020检测的冠军团队采用了这个结构 该文章利用多个TUM模块试图更充分构建的特征金字塔的网络结构，靠前的TUM提供浅层特征，中间的TUM提供中间层特征，靠后的TUM提供深层特征，通过这种方式能够多次将深层浅层特征融合，参数量多了。和RetinaNet对比可以看到，512输入，都不采用multi-scale推理，mAP由33提升到，小目标精度也提升了一点；以参数量和计算量堆砌的精度提升，不是好方法。 文章认为不同层的重要程度应该和目标的绝对尺度分布有关系，所以在FPN自上而下融合的时候，加入了一个尺度因子用来平衡金字塔不同层的重要性。个人感觉意义不大，实际提升也不明显。 三、 Head部分的改进方案 在VisDrones上的冠军方案和若干其他方案都采用了这种“双头部”的方案。soft-NMS似乎可以提升几个点。 四、 小目标目前检测不好，主要原因不是小，应该是小且和背景接近，对比度不高。所以可以借鉴伪装物体检测的思路；
案例描述不是记录流水帐，而只是对于非常典型的代表性的情景进行勾画。这是我为大家整理的案例综述论文范文，仅供参考!
语文教学案例分析研究
摘 要：我国语文教学的困难和问题，主要出在教学内容上，而不仅仅是教学方法上。本文将用分析法，从课堂的导入、教学过程、教学内容的达成和对教学的思考四个方面，对郑桂华老师《陋室铭》课例进行研讨，和大家一起共同学习郑桂华老师丰富的教学经验和高超的教学能力。
关键词：分析法：郑桂华;语文教学;教学案例;分析
郑桂华老师是课程与教学论专业语文教育方向的博士，本人有幸现场聆听到郑老师执教的《陋室铭》，给了我极大的震撼，给了我实实在在的收获、语文的收获。感触之余，写了下面这篇小文。我将从以下四个方面展开分析讨论：关于本节课的导入;关于课堂教学过程;关于教学内容的达成;关于对教学的思考。我坚信，研习郑老师这节课，将改变我们上课的方式，理解新课程带给我们的实惠。
一、 关于本节课的导入
王荣生教授曾这样评价郑桂华老师：郑桂华的课有行云流水般的家常味，真实、真切，让人感受课堂的美好。①我深有同感，郑老师在唠家常的同时是在“收买人心”，拉近与学生的关系，营造一个轻松活跃的课堂氛围，我们可以先来欣赏一下她独特的导入：
(课间，教师走进教室，还未上课，学生三三两两的在交谈)
师：(问坐在前排的同学)你们班有多少同学呀?
生：62.师：你们班的语文科代表是谁呀?
生：(科代表举手示意)老师，是我。
师：你叫什么名字呀?
(此时教室已经安静下来，学生都坐在自己的座位上)
生：我叫李月菡。
师：好名字。可是你知道父母为什么要给你取这个名字呢?
生：不知道。
师：我猜想啊。“李”是你家的姓，“月”是月亮，“菡”就是菡萏，也就是荷花的意思，你父母取名是寓意你像月亮一样洁白，像荷花一样美丽。老师说得不错吧。
生：好像有这么一层含义。那老师你叫什么名字呢?
师：我姓郑，叫桂华。你们能说说名字的含义吗?
生：我猜想是这样的：“郑”是应该是姓，“桂”是“桂林山水甲天下”的“桂”，我猜老师是桂林人，老师像桂林山水一样的漂亮。“华”是中华的“华”，就是要热爱自己的祖国。
师：大家看看我，就知道我并不漂亮，我也不是桂林人，我是陕西人。
生：我想“桂”是桂花的“桂”，寓意是桂花一样的清香，“华”是春华秋实的“华”，意思是你的父母希望你做一个踏实的人。
师：这位同学好有学问啊，用了成语春华秋实，那你为什么不用华而不实呢?
生：华而不实是贬义词。
师：华而不实是贬义词就不能用啊，好聪明。(同学们都笑了)。“郑”郑和的郑，是我家的姓，但是和郑和没关系啊，虽然我很想有点关系，但不是一个地方的。“桂华”其实就是“桂花”。一是古代花者，华也，“华”跟“花”是想通的。二来是我是在秋天生的，桂花也在秋天开放。“华”也许和刚才同学说的“春华秋实”有关，因为父母希望我们做个一个春华秋实的的踏实的人，不做华而不实的人。可见，父母给我们取名字是有讲究的。其他同学还愿意分享自己名字的学问吗?(依次有几位同学起来分享自己名字的寓意，课堂气氛非常活跃。此时，上课铃想了起来)
看似闲庭漫步的唠家常，其实是实实在在的“春华秋实”，这节课的导入不是给人以震撼的视频画面，不是语句优美的散文诗，也不是为了“传道授业解惑”而预设的教学情境，就是简简单单的交谈，现实生活中的普通的沟通和交流。也就是这种交流，消除了老师和学生彼此之间的陌生感、畏惧感，为课堂上的交流扫清心理障碍。为此，郑老师的良苦用心得到了学生的回应，整节课几乎全部学生都举手发言，分享自己的想法。也许，这就是郑桂华老师借班上课的底气：不惧怕学生语文基础不好、学习不主动、上课发言少。但是，面对一群愿说、能说、会说的学生时，郑老师又是如何解决的呢?接下来我们从教学过程和教学内容的达成加以分析。
二、 关于课堂教学过程
上面的“开场白”虽然没有进入教学情境，但是学生的思维都已经聚焦在老师身上，接下来就是学生在老师的指引下学习的过程。我们先看一下本节课的教学流程：
王荣生教授说“流程”是课堂教学从起点到终点的过程，即课堂教学的连贯过程。②郑老师这节课符合“流程”的教学观，就是“根据学生的学情导向这节课的终点”，也就是“学生随着老师走”。教学伊始，教师的发问埋下了一个“炸弹”，“同学们，知道今天要上的课文吗?”“知道。”“预习过吗?”“预习了!”“预习到什么程度了?”“会背!会翻译了!”我想此时所有听课的老师都在为郑老师捏一把汗，按照郑老师本人的话来说就是：遇到大麻烦了。文言文预习到会背会翻译了，那这课还有什上的呢?恰恰这就是郑老师的睿智之处――关注学情，顺势而导，导出了“子云宅”的问题。接下来的课便是顺风顺水，由“子云宅”引出押韵，押韵引出朗读，朗读引出写作意图，环环相扣，层层剖析，学生的思维已完全被郑老师掌控了，也深深被郑老师渊博的学识而折服。
这样的教学丝毫没有拖泥带水的感觉，更像是随着学生学习的情况而进行的行云流水般的自然，不搪塞，不僵硬。
三、 关于教学内容的达成
郑老师善于找到教学的突破口。当得知学生已经预习的很充分时，教师立即改变了教学重心，再讲学生已经掌握的只是已经没有太多的意义。那么怎么知道学生掌握了哪些知识，哪些没掌握呢?此时，郑老师就来检测一下学生预习的情况。这样就检测出了“子云宅”的问题，给这节课找了一个突破口，化解了老师重复讲解学生已学知识的尴尬局。教师化解了挑战顺势而导，开始了精彩的课堂，
课堂有高度，有深度。就在“子云宅”这个问题上深究一下，其他老师上课
时一般不会苦口婆心的绕一大弯子，要么直接告诉学生是为了押韵的需要，或者就不涉及这个问题，反正课文也没这个知识点。郑老师却不这样做，而是提示和指导学生朗读，激励学生自己感悟发现问题，挖出有利于教学的知识。这样不得不说老师的备课的认真。我们可以来看一张老师的幻灯片： “馨”属于“青部”，“下平”9 《广韵》
“琴”属于“侵部”，“下平”12 《广韵》
按照《广韵》中的要求：不在同一部的字是不能押韵的。
在引入“押韵”后，郑老师好像意犹未尽的样子，又引出了“要是“馨”算押韵，那么“琴”字应该算押韵的，这是怎么回事呢?”的问题。现在看来，这完全是郑老师给这个课堂布的一个大局，从教师准备的课件来看就会明白了。学生给老师挑战，老师给学生一大疑难，这样老师才能镇得住课堂，学生才会跟着老师的节奏继续学习。
德国教育家第斯多惠(FriedriehAdolfwi]helmDisterwegl790一1866年)阐述了他对教学艺术的深刻见解：“教学的艺术不在于传授的本领，而在于关于激励、唤醒、鼓舞。而没有兴奋的情绪怎么能激励，没有主动性怎么能唤醒沉睡的人，没有生气勃勃的精神，怎么能鼓舞人呢?只有生气才能产生生气，死气只能从死气而来。所以你要尽可能多地习惯于蓬勃的生气”。③这种“激励、唤醒、鼓舞”艺术在这节课堂教学内容的达成中无疑能够得到很好的验证。
四、 关于教学的思考
1、 语文“教什么”
语文“教什么”，钱梦龙老师认为认为，教语文第一就是要教会学生抓住文章的灵魂。教会学生抓住文章的灵魂，也就教会学生读文章的方法，其中之一就是教会学生朗读课文，培养学生的语感。这篇《陋室铭》是较短的文言文，又是篇韵文，朗读肯定是十分重要的。郑老师在指导学生如何朗读的时候却不是从读入手，而是从押韵入手。这样学生就理解了如何押韵，怎样押韵，读起来就更有自己的感觉，更容易体悟文章内容。
语文的“教”要关注学情。老师面对的一群基础扎实、能说会道、高度自觉的学生时，重讲文言词汇和翻译之类的学生已经掌握的知识，课堂效果肯定是热闹非凡。只是这样的课堂会是无趣的，具有了表演性质，也没了本真，学生在课堂是得不到实惠，得不到成长。或许，老师也不一定能驾驭这样的课堂。真实的课堂，真实的教学，需要关注学生的学情，这样学生才可能学有所得，获得进步。
语文“教是为了不教”，要突破“教课文教知识” 的局限。在实际教学中，教师要发觉每一篇课文独特的“语文价值”。本节课中，需要探讨的就是作者写陋室的意图。由于时间问题，郑老师没把这个问题深谈下去，可是在学生心中种了“问题”，从“铭” 的解释开始，教师就一直在引导学生对“陋室”的探讨，特别是选用刘禹锡《秋词》来加以印证，学生也明白了古人失意时的自勉和自我肯定的价值。
2、 备课“背什么”
课堂上教师的课堂呈现直接关系着学生学习的行为。目前对语文信息的展示泛滥成灾，并且都只是停留在表层信息的咀嚼，语文课有两个极端：教师讲的内容学生都懂和教师讲的学生都不懂。这两种课堂，学生都不愿意听，不感兴趣。郑老师的课没有落入这两个极端，是因此教师明白了学生的需求，真正从学生出发设计教学，从学生的实际情况从发，关注学生的成长。 那么，教师的备课就着重从学生的学情出发，备学生，备教材，预设学生的需求。只有这样，学生在课堂上才会都有事可做，学有所得。
3、 课堂教学的预设与生成
充分的预设，是课堂教学成功的保障。只有课前精心预设，才能在课堂上动态生成。然而课堂教学是千变万化的，再好的预设也不可能预见课堂上可能出现的所有情况。课堂上出现了意料之外的情况，教师可以而且应该调整预设，给生成腾出空间，机智地驾驭课堂，让课堂呈现别样的精彩。感受课堂教学活跃的气氛同时，更要关心学生是不是驻留了与教学内容相应的语文体验。关注语文课程目标的有效达成。因此，课前教师应对教学目标、教学内容、教学过程、教学方法预先设计，并在实际教学中，根据学情的变化，对目标、内容、过程、方法的适当调整。课堂教学中需要教师运用教学机智和合理调控，发掘有价值的问题，精当的点拨或讲解，使课堂闪光，使学生顿悟，使学生在知识、能力或方法上实现自我建构。
参考文献：
[1] 王荣生.听王荣生教授评课[M].上海：华东师范大学出版社，2007：84.
[2] 谢利民，郑百伟.现代教学基础理论[M].上海：上海教育出版社，2003：331一332，344.
[3] 钱理群，孙绍振，王富仁. 解读语文[M].福州：福建人民出版社，2010：278-287.
[4] 新课程实施过程中培训问题研究课题组编写.新课程的理念与创新[M].北京师范大学出版社，2001：82- 83，59.
[5] 周敏.语文课程“动姿化”知识教学研究[M].长沙：湖南师范大学出版社，
[6] 李字辉.关心教学组织形式的建构[J].天津师范大学学报(基础教育版)，2006，(9).
[7] 刘济良.论科学技术对人的异化与教育对人的价值世界的重建[J].教育理论与实践，2003，
[8] 周相玲.关心型师生关系的研究「J].长春：东北师范大学硕十学位论文，2007.
注解：
① 王荣生.听王荣生教授评课[M].上海：华东师范大学出版社，2007：84.
② 王荣生.听王荣生教授评课[M].上海：华东师范大学出版社，2007：84.
③ 谢利民，郑百伟.现代教学基础理论[M].上海：上海教育出版社，2003：331一332，344.
中学班级管理案例研究
〔摘 要〕面对新课程改革下学生学习压力大，教学管理难的情况下。本文结合自己教育教学实践体会，分析其教育对象，收集生活中的教育教学案例20多篇，并从教育理论的角度进行分析提升，形成理论，形成了一个个的教育故事，以理论来指导自己的教育教学，使自己的教育教学水平进一步得到提升。
〔关键词〕班级管理 教学案例
时间过得飞快,转眼间又是一年,回顾2011―2012学年度是忙碌的一年,紧张的一年,也是收获的一年,有着许多故事的一年。
一、后进生转化
2012年03月06日
我听了魏书生的报告我感受最深的是：后进生的转化：后进生的转化不能叫来一批评就完事，应该给孩子制定出可以够得着的计划，慢慢的是孩子有信心，一点点的进步。
二、赏识别人
2012年03月08日
今天一大早我带学生刚跑完操，接下来同学们回教室早读。我一到教室就发现孩子们闹哄哄，有吃的、有喝的、有交作业的，当然大部分已开始读书。但我总觉得不对劲，于是我到一班去看了一下，很静都在学习。然后我回到教室，我没有发火，而是很平和的在每个小组找了一个代表，让他们悄悄地到一班看一下，接下来我什么也没说，我就会办公室了，等过了2分钟后，我再去教室时孩子们很安静都在学习，我很高兴。
三、看到的并不是那样
2012年03月10日
今早上我读了一则小故事，故事大概内容是这样的：两个天使来到人间，第一天来到一个富人家里，富人很冷淡的接待了她们，而且晚间让她们住到了冰冷的地下室了。老天使发现墙上有一个洞，就使法把洞补了。第二天来到一个穷人家里，穷人很热情的用仅剩的一点粥接待了她们，而且腾出自己的屋子让她们住。第三天一大早她们发现穷人夫妇抱头痛哭，他们的牛死了。小天使问老天使：“富人很冷淡的对我们，而且晚间让我们住到了冰冷的地下室，你都帮他补了墙洞。这家穷人对我们这么好，你为什么不帮他们。”老天使说：“并不是你看到的那样,我补墙是因为我看到墙里全是金银财宝，我不想让他得到。我没有救他们的牛，是因为昨晚老天要索回穷人夫人的命，我让牛代替了”。
于是我想到了我们老师、孩子和家长之间，并不是个人看到的那样，需要相互多沟通，才能了解孩子。
四、压不住的火
2012年3月16日下午辅导课，我很耐心的、认真的讲课，因为我觉得该班孩子基础差。可中间有2个孩子不认真听，不知在说什么。我不停地暗示，多次用目光提示，可是始终没能起作用。终于我被激怒，我觉得课堂是神圣的，不认真，且做了暗示不停止，是对我的不尊重。我毫不客气的用书抽了几下，当中进行了批评。2012年3月17日早上，我再次上课，化学课我做实验，氢氧化钡与氯化铵的吸热反应，我很有意的让每个学生感受的，在更有意识的让批评的两个孩子感受，消除孩子的心理感。我觉得孩子很容易接受，我们彼此的隔阂也近而消失，我心里也觉得轻松了好多。
五、众口难调
2012年3月24日晚，刚下班回家，接到了一个电话，该电话来自与我们班家长。正是这个电话让我一夜难眠。原因是这样的：2012年3月24日下午学校给我们开了上学期质量分析会，学生从一位老师那里看到了各科平均成绩，因为一科成绩比平行班差了4分，孩子回家告诉家长，家长从孩子那里得到了一些情况，于是就给我这个班主任打电话。说孩子这课听不懂，孩子上课都是自学，就谈了一些老师的问题。我安抚了家长，可此事却让我很为难，一直到晚上怎么也睡不着。第二天一大早，我就到学校，分别了解了10多位同学的意见(有年级的第1名，有班上最后一名)。有认可的，有觉得不好的，真是众口难调，老师难当呀。最后，我拨通了家长的电话：
1、该老师是我们的把关老师，没有问题。
2、该老师知识面宽，采用发散是教学，是您的孩子上高中不适应。
3、请你放心，相信我们的老师。
六、不要太护自己的孩子
2012年4月11日。我吃过饭，提前到了教室，不巧的是我发现四个学生在教室打牌。我当时很生气，为了教育四个孩子，吓唬吓唬，我让四个学生收拾书包，将他们带到了德育处。在德育处老师的教育下，四个孩子认识到了自己的错误，并答应回家后写出深刻检查，让家长签字。可谁知，四人离开学校后，商量不告诉家长。第二天一大早 ，四个人一起去了德育处，没有来教室。于是我一一打电话告知家长：孩子没到校。三个家长都很同情理，说回家批评教育。可以一家长很不讲理，他已经知道孩子在德育处，反过来问我，那我孩子如果昨天不回家怎么办?我一听就火了。我毫不客气的告诉他：
1、你已经知道了孩子在德育处，反过来问我，孩子如果不回家怎么办?想干什么?这是要挟老师。
2、你这是在护孩子，不找孩子的错。
3、我是不是以后每天的把你的孩子送回家，万一哪天他没回家怎么办?
4、你的孩子谁以后还敢管。
我觉得老师管你的孩子才是负责的，你不找自己还的错，太护孩子了，这样会害了孩子。请不要太维护自己的孩子。
七、勿以善小而不为 勿以恶小而为之
2012年12月16日，今天一天没课，本应该是“幸福”的一天，但并不是那样的，对我来说是阴暗一天，我比较狠心的一天。下午第一节课――物理，张老师检查作业，发现6个学生没写被赶了出来。本班学生一直很乖，作业都能按时完成，每次家长会我都以表扬为主，也很少发现学生什么缺点，对学生一直也很放心。本以为很小的一件事，但我的发现是吃惊的，几个学生从期中考完事，就没有认真写物理作业。
今天天气很冷(3度)，我就把学生的练习册从第1页到80页逐页翻阅，发现一处就折一页，20页为低线，结果没有一个合格(都超过20页)。于是我狠心的将他们站在外面，要求叫家长，6个孩子都站在外面冻的发抖，我心里也不忍，那天晚上我也替他们担心了一晚，怕他们因为我而生病，还好第2天孩子们都来了才算放心。。目的是从小事教育他们，任何事都要认真，任何小事都不能原谅，要在学生中威严。当然最终我也达到了自己的目的，我觉得勿以善小而不为，勿以恶小而为之。
总之,作好班级管理工作绝非一朝一日的事。但我认为：只要持之以恒从实际工作中的点滴出发，相信您的班级管理定能有起色!
初检是针对学位论文进行的统一检测，由研究生处负责组织。所有学位论文送审前均须进行初检，检测通过方可进入论文评审阶段；检测不通过失去本次答辩资格。
专业不同会有一定的差异。如果您是工科。那么，确定课题方向--查找相关文献并阅读--（开题报告）计划并做实验--记录实验过程与相关数据--完成毕业论文。这过程中还需要不断查阅文献，并且有的学校会要求来个中期报告。如果您是文科，那么就是大量阅读，阅读，阅读。与导师确定个研究课题，开始边查资料边写论文。。
高校对学位论文进行检测一般是论文答辩前。
2014年1月29日开始实行的，学位论文抽检每年进行一次，抽检范围为上一学年度授予博士、硕士学位的论文，博士学位论文的抽检比例为10%左右，硕士学位论文的抽检比例为5%左右。
此外，如果你的论文被重新检查并通过，最终的论文抽查将被提取到你自己身上。如果你没有通过，它也会对你自己产生一定的影响。
院系普查阶段学生上传论文：在距答辩日一周前，学生本人将综合论文训练的论文上传至“中国知网”大学生论文管理系统。每位学生有一次上传论文的权限。指导教师查重：指导教师检查论文查重情况，配合院系查重工作小组，确定论文查重结果，并做出相应处理意见。
[Paper:Focal Loss for Dense Object Detection] [ ] 关于目标检测主要分为两大类别：one stage，two stage one stage 代表：yolo系列，ssd（特点：检测精度低，但检测速度快） two stage 代表：R-CNN系列,SPPNet（特点：检测精度高，但检测速度慢） 在论文中作者去探讨了造成one stage精度低的原因，发现在训练密集目标检测器的过程中出现了严重的foreground-background类别不平衡。 检测算法在早期会生成很多bbox，而在一幅正常的图像中需要检测的object不会很多，这就意味着多数的bbox是属于background，使得foreground-background类别不平衡。 因为bbox数量很多，而属于background的bbox太多了，假设分类器将所有的bbox全部归为background，那么精度也会很高，而这样的分类器是一个失败的分类器，所以导致目标检测的精度很低。 因为two stage的第一个阶段生成一个候选目标位置组成的稀疏样本集，即RPN简单的对anchor进行二分类（只是区分是foreground和background，并不会区别细类），这样，属于background类别的bbox会大量减少，虽然其数量依然远大于foreground的bbox（例如3:1），但已不像最初生成anchor差别那么大了，这一阶段最终结果是从“类别极不平衡”到“类别较不平衡”转变，也就是说two stage并不能完全解决类别不平衡问题，第二个阶段使用一个卷积神经网络将各候选位置归置foreground类别或者background类别，即在初步筛选后的bbox上进行难度小得多的分类（细分类），这样分类器便得到了较好的训练，从而精度提高了。但因为是经过了两个阶段的处理，操作复杂，使得检测速度变慢了。 因为one stage系列的检测器直接在“类别极不平衡”的bbox中进行难度极大的细分类，直接输出bbox和标签，而原有的交叉熵损失（CE）作为分类任务的损失函数，无法抗衡“类别极不平衡”（会在另一篇文章中详细讲解交叉熵损失），容易导致分类器训练失败。因此，one stage检测虽然速度快，但检测精度低。 既然one stage中的交叉熵损失函数无法抗衡“类别极不平衡”，所以retinanet作者何恺明及其团队提出Focal Loss替换交叉熵损失来提高检测精度。 首先介绍一下二分类的交叉熵损失：鉴于以上的改进过程的思想，可以将交叉熵损失增加一个调节因子（1 - pt）γ，其中γ≥0。这样便出现了Focal Loss，其定义为： 在实践过程中使用的Focal Loss形式为：
对于目标检测方向并不是特别熟悉，本文记录一下RCNN, fast-RCNN, faster-RCNN, mask-RCNN这4篇有关目标检测的论文笔记和学习心得。
R-CNN的意思就是Region based，主要思路就是根据一张图像，提取多个region，再将每个Region输入CNN来进行特征的提取。因此RCNN就可以分为 Region proposals , Feature extraction 两个主要部分，提取的特征就可以输入任意一个分类器来进行分类。 模型的流程图如下：
在训练的时候，首先使用的是已经训练好的CNN网络作为特征提取器，但是由于预训练是在分类数据集上，因此在应用到检测之前要做finetune。也就是说，为了将用ImageNet数据集训练的网络应用到新的任务（检测），新的数据集（region）上，作者将原来的CNN最后的1000类的fc层，更改为了 层， 代表待检测的物体的类别数。然后，对于所有的region，如果它和ground truth的重叠率大于，就认为是正类。 对于分类器的训练，作者发现选择多大的IoU来区分正类和负类非常关键。并且，对于每一类，都会训练一个分类器。
框的回归非常重要，在对每一个region proposal使用分类器进行打分评价之后，作者使用一个回归器来预测一个新的框作为结果。这个回归器使用的特征是从CNN中提取的特征。回归器的训练中，输入是 region proposal 的 和ground truth的 ，目标是学习一种变换，使得region proposal通过该变换能够接近ground truth。同时，希望这种变换拥有尺度不变性，也就是说尺度变化的话，变换不会改变。 如下图所示，每一个regressor会学习一组参数，特征输入是pool 5的特征输出，拟合的目标是 。
Fast-RCNN 主要解决的问题是在RCNN中对于每一个region proposal都进行特征提取，会产生非常多的冗余计算，因此可以先对一张图像进行特征提取，再根据region proposal在相应的特征上进行划分得到对应region的特征（映射关系）。 这样便可以实现共享计算提高速度，但是与SPPnets不同，SPPnets在一副图像得到对应的特征后，从这张图像的特征上proposal对应的部分，采用空间金字塔池化，如下图：
RoI pooling的方法很简单，类似于空间金字塔pooling，它将proposal部分对应卷积层输出的特征（称之为RoI，因为用于做pooling的特征是 region of interest，也就是我们感兴趣的区域）划分成 块，然后对每一块求最大值，最终得到了一个 的特征图。可以看出，它只是空间金字塔pooling的一部分。 但是SPP-nets的空间金字塔也是可以求导的，那么它到底不好在哪里呢？因为当每一个RoI都可能来源于不同的图像的时候（R-CNN和SPPnets的训练策略是从一个batch的不同图像中，分别挑选一个proposal region），SPPNets的训练非常地低效，这种低效来源于在SPPnets的训练中，每个RoI的感受野都非常地大，很可能对应了原图的整个图像，因此，得到的特征也几乎对应了整张图像，所以输入的图像也就很大。 为了提高效率，Fast-RCNN首先选取 个图像，再从每个图像上选择 个RoI，这样的效率就比从每个图像提取一个RoI提高了 倍。
为了将分类和框回归结合起来，作者采用了多任务的loss，来进行联合的训练。具体来说就是将分类的loss和框回归的loss结合起来。网络的设计上非常直接，就是将RoI得到的特征接几个FC层后，分别接不同的输出层。对应于分类部分，特征会接一个softmax输出，用于分类，对于框回归部分，会接一个输出4维特征的输出层，然后分别计算loss，用于反向传播。loss的公式如下：
回归的target可以参考前面的R-CNN部分。
notes
为什么比fast还fast呢？主要原因是在这篇论文中提出了一个新的层：RPN（region proposal networks）用于替代之前的selective search。这个层还可以在GPU上运算来提高速度。 RPN的目的：
为了能够进行region proposal，作者使用了一个小的网络，在基础的卷积层输出的特征上进行滑动，这个网络输入大小为 ，输入后会映射（用 的卷积）为一个固定长度的特征向量，然后接两个并联的fc层（用 的卷积层代替），这两个fc层，一个为box-regressoin，一个为box-classification。如下图：
在每一个滑动窗口（可以参考 ），为了考虑到尽可能多的框的情况，作者设计了anchors来作为region proposal。anchors就是对于每一个滑动窗口的中心位置，在该位置对应的原图位置的基础上，按照不同的尺度，长宽比例框出 个不同的区域。然后根据这些anchors对应的原始图像位置以及区域，和ground truth，就可以给每一个滑动窗口的每一个anchor进行标记，也就是赋予label，满足一定条件标记为正类（比如和ground truth重叠大于一个值），一定条件为负类。对于正类，就可以根据ground truth和该anchor对应的原图的区域之间的变换关系（参考前面的R-CNN的框回归），得到回归器中的目标，用于训练。也就是论文中的loss function部分：
自然地，也就要求RPN的两个并联的FC层一个输出2k个值用于表示这k个anchor对应的区域的正类，负类的概率，另一个输出4k个值，用于表示框回归的变换的预测值。
对于整个网络的训练，作者采用了一种叫做 4-step Alternating Training 的方法。具体可以参考论文。
与之前的检测任务稍有不同，mask r-cnn的任务是做instance segmentation。因此，它需要对每一个像素点进行分类。 与Faster R-CNN不同，Faster R-CNN对每一个候选框产生两个输出，一个是类别，一个是bounding box的offset。Mask R-CNN新增加了一个输出，作为物体的mask。这个mask类似于ps中的蒙版。
与Faster R-CNN类似的是，Mask R-CNN同样采用RPN来进行Region Proposal。但是在之后，对于每一个RoI，mask r-cnn还输出了一个二值化的mask。
不像类别，框回归，输出都可以是一个向量，mask必须保持一定的空间信息。因此，作者采用FCN来从每个RoI中预测一个 的mask。
由于属于像素级别的预测问题，就需要RoI能够在进行特征提取的时候保持住空间信息，至少在像素级别上能够对应起来。因此，传统的取最大值的方法就显得不合适。 RoI Pooling，经历了两个量化的过程： 第一个：从roi proposal到feature map的映射过程。 第二个：从feature map划分成7*7的bin，每个bin使用max pooling。
为此，作者使用了RoIAlign。如下图
为了避免上面提到的量化过程
可以参考
作者使用ResNet作为基础的特征提取的网络。 对于预测类别，回归框，mask的网络使用如下图结构：
整体看完这几篇大佬的论文，虽说没有弄清楚每一个实现细节，但是大体上了解了算法的思路。可以看出，出发点都源于深度神经网络在特征提取上的卓越能力，因此一众大神试图将这种能力应用在检测问题中。从R-CNN中简单地用于特征提取，到为了提高速度减少计算的Fast R-CNN，再到为了将region proposal集成进入整个模型中，并且利用GPU加速的RPN，也就是Faster R-CNN。再到为了应用于instance segmentation任务中，设计的RoIAlign和mask。包括bounding box regression，pooling层的设计，训练方法的选择，loss的设计等等细节，无一不体现了大师们的思考和创造力。 可能在我们这些“拿来”者的眼中，这些方法都显得“理所应当”和巧妙，好用，但是，它们背后隐藏的选择和这些选择的思考却更值得我们学习。 以及，对待每一个问题，如何设计出合理的解决方案，以及方案的效率，通用性，更是应该我们努力的方向。
论文: Sparse R-CNN: End-to-End Object Detection with Learnable Proposals
论文认为，目前的目标检测算法可以按预设框的多少分为两种：
上述两种方法都会预测大量的结果，需要进行NMS后处理，而在训练的时候会存在many-to-one的问题，并且anchor的设置对性能的影响很大。 于是，很多研究开始探讨稀疏(sparse)检测，比如近期的DETR算法。该算法不需要预设anchor，并且预测的结果可直接输出，不需要后处理。但论文认为DETR并不是真正的稀疏检测，因为DETR在各位置提取特征时，需要与全图的上下文进行交互，而真正的稀疏检测应该满足sparse boxes和sparse features，即较少的初始框设定以及框之间不需要过多的特征互动。 为此，论文提出了Sparse R-CNN，如图1c所示，仅需设定少量anchor即可进行检测，而且能够进行set prediction，免去NMS等后处理，其核心主要包含以下几点：
Sparse R-CNN的推理流程如图3所示，输入图片、可学习的proposal boxes以及可学习的proposal features，根据proposal boxes提取对应的RoIAlign特征，dynamic head将proposal features转换为卷积核参数，对RoIAlign特征进一步提取特征，再进行后续的分类和回归。整体的思想和Fast RCNN很像，将selective search替换为proposal boxes，再增加其它更强的模块。
论文采用FPN-ResNet作为主干网络，输出多层特征，每层特征的维度都是256。采用更复杂的主干网络可以获得更好的性能，但论文与Faster R-CNN对齐，采用标准的实现。
Sparse R-CNN的核心是采用数目固定的小批量可学习proposal boxes( )作为region proposal，而非RPN。每个box为4-d参数，在0～1范围内，值为归一化的中心点坐标、宽度和高度。这些参数在训练过程中通过反向传播进行更新，包含了训练集目标位置的统计信息，可用于推理时的初步目标位置猜测。
尽管4维的proposal box能够直观地表示目标的定位，但缺少了目标的信息，比如目标的姿态和形状，所以论文引入proposal feature( )进行补充。proposal features是高维的可学习向量，与proposal boxes一一对应，用于丰富目标的RoIAlign特征。
Dynamic instance interactive head的结构如图4所示，每个proposal box都有一个专属的预测head。给定 个proposal boxes和 个proposal features，先通过RoIAlign提取每个box的 维特征，Dynamic instance interactive head将其对应的 维proposal feature转换为卷积参数，使用这个卷积参数对RoIAlign特征进行提取，得到目标的 维特征，最后经过简单的3层感知机进行分类与回归。 Dynamic instance interactive head也可以使用类似Cascade R-CNN那样的级联模式进一步的提升性能，将输出的新回归框和 维特征作为下一次迭代的proposal box和proposal feature即可。
Sparse R-CNN的训练采用set prediction的形式，将固定数量的预测结果与GT之间进行二分图最优的匹配，然后计算损失值，完整的损失函数为：
各模块对比实验。
性能与收敛性。
在COCO上进行对比。
Sparse R-CNN贯彻了稀疏的思想，只提供少量初始框，可进行Set prediction，颠覆了当前密集预测的检测思路，整体框架十分简洁，跟Fast RCNN有点像，十分值得大家阅读。