GitHub CSDN
目前。计算机视觉中的性能最好的目标检测方法主要分为两种: one-stage 和two-stage 方法。two-stage方法分为两步，第一步为候选区域生成阶段(Proposal stage),通过如Selective Search、EdgeBoxes等方法可以生成数量相对较小候选目标检测框；第二步为分类与回归阶段，对第一阶段生成的 Candiate Proposal 进行分类和位置回归。one-stage 代表性的方法是R-CNN系列，如 R-CNN， Fast R-CNN, Faster R-CNN。 而one-stage 方法直接对图像的大量 Candiate Proposals 进行分类与回归。
这两类方法中均存在类别不平衡问题，two-stage 方法通过第一步已经将当量的候选区域降低到一个数量较小的范围，同时又在第二步通过一些启发式原则，将正负样本的比例降低到一定程度。而 one-stage 优于没有这降低候选框的步骤，因此，候选区域的数量大大超过 two-stage 方法，因此，在精度上，two-stage 仍然优于 one-stage 方法，但是在速度和模型复杂度上， one-stage 占优势。
类别不平衡会使检测器评估 的候选位置，但是通常只有少量的位置存在目标，这回导致两个问题:
因此，解决样本不平衡问题是提高目标检测精度的一个关键技术之一。
论文题目： Training Region-based Object Detectors with Online Hard Example Mining
OHEM 是通过改进 Hard Example Mining 方法，使其适应online learning算法特别是基于SGD的神经网络方法。Hard Example Mining 通过交替地用当前样本集训练模型，然后将模型固定，选择 False Positive 样本来重新组建用于下一次模型训练的样本集。但是因为训练神经网络本事就是一个耗时的操作，这样在训练中固定模型，这样会急剧降低模型的训练进程。
Hard Examples Mining通常有两种方法：
OHEM算法的大致流程是: 首先计算出每个ROI的loss， 然后按loss从高到低来排列每个 ROI， 然后为每张图片选择 个损失最高的 ROI 作为Hard Examples，其中 B 表示总的 ROI 数量， 表示batch-size 的大小，在 Fast R-CNN 中， N=2， B=128时，效果很好。
但是如果直接按照 loss 对所有的 ROI 进行选择，会有一个缺点，由于 ROI 很多，这样 很多 ROI 的位置就会相关并重叠，如果和某个高 Loss 的 ROI 重合度很高的其它 ROI很多， 这样， 这些 ROI 的 Loss 通常也会很多，这样这些样本都会被选择，但是它们可以近似认为时同一个，这样就会给其它较低 Loss 的 ROI 更少的选择余地，这样就会存在冗余。为了消除这种冗余，作者提出先使用 NMS (non-maximum suppression) 删除部分重合度很高的 ROI， 在使用上述方法进行 选择 Hard Example。
实现技巧:
论文，作者将该方法是现在 Fsat R-CNN 目标检测方法中。最简单做法是更改损失函数层，损失函数层首先计算所有 ROI 的 loss， 然后根据 loss 对 ROI 进行排序，并选择 hard RoIs， 让 那些 non-RoIs的损失变为0. 这种方法虽然很简单，但是非常不高效，因为还需要为所有的 RoIs 分配进行反向传播时需要的内存空间。
为了克服这个缺点，作者对下面的 Figure 1 进行改进， 如下面的 Figure 2.该改进时使用两份同样的 RoI network。 其中一个是只读的(readonly), 即只进行前向计算，不进行反向传播优化，所以只需要为前向传播分配内存，它的参数实时保持和另一个 RoI network（regular RoI network)保持一样。在每次迭代时，首先使用 readonly RoI network 对每个 ROI 计算起 loss，然后用上面描述的选择 hard RoIs 的方法选择 hard RoIs. 然后利用 regular RoI network来对选择的 hard RoIs 进行前向和后向计算来优化网络。
论文题目 Focal Loss for Dense Object Detection
在改论文中，作者认为样本类别的不平衡可以归结为难易样本的不平衡，从而更改交叉熵损失函数，重新对样本赋予不同的权值，之前的模型这些样本都是同等重要的，从而使模型训练更加关注 hard examples。
首先引入交叉熵的公式:
其中， ,表示真实类别， 表示我们预测的概率，为了方便，我们定义:
因此， ,该方法在 较大时，该loss是一个较小的量级， 如下图的连线所示所示，因为存在大量的易分类样本，相加后会淹没正样本的loss。
一个常见的解决类别不平衡的方式是引入一个加权因子 来表示正样本的权重， 表示负样本的权重。我们按照定义 的方法重新定义 为 , 定义如下:
虽然可以平衡 positive和negative的重要性，但是对 easy/hard 样本还是无法区分， Focal loss 通过更 Cross loss来达到区分easy/hard的目的:
上图展示了不同 取值对应的 loss，通过分析上述公式，我们发现，当 非常小时，即样本被分类错误，此时 接近1， loss几乎不受影响，当 接近于1时，即样本被分类正确，此时 接近0，此时降低了该样本的权重，比如，取 , 当时 时，该样本的 loss 会降低100倍，
在实际应用中，作者使用了该 Focal loss的变体，即加入了 平衡因子:
作者提出，对于二分类，一般模型的模型初始化会同概率的对待正负样本，由于类别不平衡，负样本的 loss 会占主导，作者提出在训练初始阶段对正样本的概率估计“prior”的概念，用 表示， 通过设置它来达到正样本的输出概率低的效果，比如为，从而使模型更加关注正样本。实际操作中，出了最后一个用于分类的卷积层，其余卷积层的参数初始化为bias ，而最后一层 , 实验中设置为 .
两个实现细节
论文题目: Gradient Harmonized Single-stage Detector
改论文提出 Focal Loss 存在两个缺点:
该论文有一句概括该篇论文的核心思想的一句话: 类别的不平衡可以归结为难易样本的不平衡，难易样本的不平衡可以归结为梯度的不平衡原话如下:
如下图所示:
左边是样本数量关于梯度的分布，中间表示各个修正后的函数的梯度（使用了log scale）对原始梯度的，右边表示所有样本集的梯度贡献的分布。
定义 是模型未经过 sigmoid 之前的输出， 则 ,得出该损失函数对 的梯度为:
定义梯度的模长(norm) 为：
训练样本的梯度密度(Gradient Density)定义如下:
其中， 是第 k 个样本的gradient norm，
这个公式可以理解为，以梯度 为中心，宽度为 的区域内的样本密度。
梯度密度协调参数:
分母是对梯度位于 范围的部分样本进行归一化，如果所有样本的梯度时均分分布，那么对于任意 都有 .(这里不是很理解为什么N，可以理解它们相等)
通过将梯度密度协调参数将 GHM 嵌入到损失函数中，则 GHM-C Loss 为:
计算公式11时，求和有一个N，再求 时会遍历所有的样本，因此该公式的时间复杂度为 .如果并行的化，每个计算单元也有N的计算量。对gradient norm进行排序的最好的算法复杂度为 ，然后用一个队列去扫描样本得到梯度密度的时间复杂度为 n 。基于排序的方法即使并行也不能较快的计算，因为N往往是 甚至 ，仍然是非常耗时的.
作者提出的近似求解的方法如下:
根据上述定义，得出近似梯度密度函数为:
利用上面的公式，由于我们可以事先求好 , 在求和时只需查找 即可，因此时间复杂度为 .
因为loss的计算是基于梯度密度函数，而梯度密度函数根据一个batch中的数据得到，一个batch的统计结果是有噪声的。与batch normalization相同，作者用Exponential moving average来解决这个问题，也就是
将模型鱼的的偏移量定义为 , 将真实的偏移量定义为 ,回归loss采用 Smooth L1 loss:
其中
则 关于 的梯度为:
从公式可以看出，当样本操作 时， 所有样本都有相同的梯度 1， 这就使依赖梯度范数来区分不同样本是不可能的， 一种简单的替代方法时直接使用 作为衡量标准，但是该值理论上无限大，导致 无法实现，
为了将 GHM 应用到回归损失上，作者修改了原始的 损失函数:
该函数和 具有类似的属性，当d的绝对值很小时，近似 L2 loss， 当d的绝对值比较大时， 近似 L1 loss， 关于d的梯度为:
这样就将梯度值限制在
定义 , 则 GHM-R Loss 为:
论文题目: Prime Sample Attention in Object Detection
PISA 方法和 Focal loss 和 GHM 有着不同， Focal loss 和 GHM 是利用 loss 来度量样本的难以程度，而本篇论文作者从 mAP 出法来度量样本的难易程度。
作者提出提出改论文的方法考虑了两个方面:
Prime Samples 是指那些对检测性能有着巨大影响的样本。作者研究表明样本的重要程度依赖于它和ground truth 的 IoU值，因此作者提出了一种 IOU-HLR 排序。
在目标检测中时如何定义正样本（True Positive)的呢？
剩余的标注为负样本。
mAP 的原理揭露了对目标检测器更重要的 两个准则 :
基于上述分析，作者提出了一种称为 IoU-HLR 的排序方法，它既反映了局部的IoU关系(每个ground truth目标周围)，也反映了全局的IoU关系(覆盖整个图像或小批图像)。值得注意的是，不同于回归前的边界框坐标，IoU-HLR是根据样本的最终定位位置来计算的，因为mAP是根据回归后的样本位置来计算的。
该排序方法的大致流程如下图所示，其原理如下:
IoU-HLR遵循上述两个准则。首先，它通过局部排序（即上面的步骤2）将每个单独的 GT 的 对应的样本中 IoU 较高的样本放在前面，其次通过重采样和排序(步骤3， 4)将不同 GT 的 对应的样本中， 将 IoU 较高的放在了前面。
作者提出Prime Sample Attention，一种简单且有效的采样策略，该采样策略将更多的注意力集中到 Prime examples 上， PISA 由两部分组成: Importance- based Sample Reweighting(ISR)和Classification Aware Regression Loss(为CARL).
PISA 的训练过程是基于 prime samples 而不是同等对待所有样本。
作者提出一种基于 soft sampling 的方法: Importance-based Sample Reweighting (ISR), 他给不同样本根据重要性赋予不同的权重。首先它将Iou-HLR排序转化为线性映射的真实值。 IoU-HLR在每个类中分别进行计算。对于类 , 假设总共有 个样本， 通过 IoU-HLR 表示为 . 其中 ,使用一个线性转换函数将 转换为 , 表示第 类中的第 个样本的重要程度:
采用指数函数的形式来京一部将样本重要性 转换为 loss 的权值 , 表示对重要样本给予多大的优先权的程度因子， 决定最小样本权值的偏差(感觉就是一个决定最小的权值大小的一个变量)。
根据上面得到的权重值，重写交叉熵:
其中 n 和 m 分别表示真样本和负样本的数量， 和 分别表示预测分数和分类目标，需要注意的是，如果只是简单的添加 loss 权值将会改变 loss 的值，并改变正负样本的比例，因此为了保持正样本的总的 loss 值不变， 作者将 归一化为 (这里不是很理解，欢迎大家解惑)
已经介绍如何染个分类器知道 prime samples， 那么如何让回归其也知道 prime sample，作者提出了 Classification-Aware Regression Loss（CARL) 来联合优化分类器和回归其两个分支。CARL可以提升主要样本的分数，同时抑制其他样本的分数。回归质量决定了样本的重要性，我们期望分类器对重要样本输出更高的分数。两个分支的优化应该是相互关联的，而不是相互独立的。
作者的方法是让回归器知道分类器的分数，这样梯度就可以从回归器传播到分期其分支。公式如下:
表示相应类别的预测分数， 表示输出的回归偏移量。利用一个指数函数将 转化为 ，随后根据所有样本的平均值对它进行缩放。为了保持损失规模不变，对具有分类感知的 进行归一化。 是常用的smooth L1 loss。
关于 的梯度与原回归损失 成正比。 p_i \mathcal{L}(d_i, \hat d_i) \mathcal{L}(d_i, \hat d_i)$ 反映了样本i的定位质量，因此可以认为是一个IoU的估计，进一步可以看作是一个IoU-HLR的估计。可以近似认为，排序靠前的样本有较低的回归损失，于是分类得分的梯度较小。对于CARL来说，分类分支受到回归损失的监督。 不重要样本的得分被极大的抑制掉，而对重要样本的关注得到加强。
待续。。。
上面的方法大致可以分为两种：
Focal Loss认为正负样本的不平衡，本质上是因为难易样本的不平衡，于是通过修改交叉熵，使得训练过程更加关注那些困难样本，而GHM在Focal Loss的基础上继续研究，发现难易样本的不平衡本质上是因为梯度范数分布的不平衡，和Focal Loss的最大区别是GHM认为最困难的那些样本应当认为是异常样本，让检测器强行去拟合异常样本对训练过程是没有帮助的。PISA则是跳出了Focal Loss的思路，认为采样策略应当从mAP这个指标出发，通过IoU Hierarchical Local Rank (IoU-HLR)，对样本进行排序并权值重标定，从而使得recall和precision都能够提升。
论文名称：Rich feature hierarchies for accurate object detection and semantic segmentation 提出时间：2014年 论文地址： 针对问题： 从Alexnet提出后，作者等人思考如何利用卷积网络来完成检测任务，即输入一张图，实现图上目标的定位（目标在哪）和分类（目标是什么）两个目标，并最终完成了RCNN网络模型。 创新点： RCNN提出时，检测网络的执行思路还是脱胎于分类网络。也就是深度学习部分仅完成输入图像块的分类工作。那么对检测任务来说如何完成目标的定位呢，作者采用的是Selective Search候选区域提取算法，来获得当前输入图上可能包含目标的不同图像块，再将图像块裁剪到固定的尺寸输入CNN网络来进行当前图像块类别的判断。 参考博客： 。 论文题目：OverFeat: Integrated Recognition, Localization and Detection using Convolutional Networks 提出时间：2014年 论文地址： 针对问题： 该论文讨论了，CNN提取到的特征能够同时用于定位和分类两个任务。也就是在CNN提取到特征以后，在网络后端组织两组卷积或全连接层，一组用于实现定位，输出当前图像上目标的最小外接矩形框坐标，一组用于分类，输出当前图像上目标的类别信息。也是以此为起点，检测网络出现基础主干网络(backbone)+分类头或回归头（定位头）的网络设计模式雏形。 创新点： 在这篇论文中还有两个比较有意思的点，一是作者认为全连接层其实质实现的操作和1x1的卷积是类似的，而且用1x1的卷积核还可以避免FC对输入特征尺寸的限制，那用1x1卷积来替换FC层，是否可行呢？作者在测试时通过将全连接层替换为1x1卷积核证明是可行的；二是提出了offset max-pooling，也就是对池化层输入特征不能整除的情况，通过进行滑动池化并将不同的池化层传递给后续网络层来提高效果。另外作者在论文里提到他的用法是先基于主干网络+分类头训练，然后切换分类头为回归头，再训练回归头的参数，最终完成整个网络的训练。图像的输入作者采用的是直接在输入图上利用卷积核划窗。然后在指定的每个网络层上回归目标的尺度和空间位置。 参考博客： 论文题目：Scalable Object Detection using Deep Neural Networks 提出时间：2014年 论文地址： 针对问题： 既然CNN网络提取的特征可以直接用于检测任务（定位+分类），作者就尝试将目标框（可能包含目标的最小外包矩形框）提取任务放到CNN中进行。也就是直接通过网络完成输入图像上目标的定位工作。 创新点： 本文作者通过将物体检测问题定义为输出多个bounding box的回归问题. 同时每个bounding box会输出关于是否包含目标物体的置信度, 使得模型更加紧凑和高效。先通过聚类获得图像中可能有目标的位置聚类中心，（800个anchor box）然后学习预测不考虑目标类别的二分类网络，背景or前景。用到了多尺度下的检测。 参考博客： 论文题目：DeepBox: Learning Objectness with Convolutional Networks 提出时间：2015年ICCV 论文地址： 主要针对的问题： 本文完成的工作与第三篇类似，都是对目标框提取算法的优化方案，区别是本文首先采用自底而上的方案来提取图像上的疑似目标框，然后再利用CNN网络提取特征对目标框进行是否为前景区域的排序；而第三篇为直接利用CNN网络来回归图像上可能的目标位置。创新点： 本文作者想通过CNN学习输入图像的特征，从而实现对输入网络目标框是否为真实目标的情况进行计算，量化每个输入框的包含目标的可能性值。 参考博客： 论文题目：AttentionNet: AggregatingWeak Directions for Accurate Object Detection 提出时间：2015年ICCV 论文地址： 主要针对的问题： 对检测网络的实现方案进行思考，之前的执行策略是，先确定输入图像中可能包含目标位置的矩形框，再对每个矩形框进行分类和回归从而确定目标的准确位置，参考RCNN。那么能否直接利用回归的思路从图像的四个角点，逐渐得到目标的最小外接矩形框和类别呢？ 创新点： 通过从图像的四个角点，逐步迭代的方式，每次计算一个缩小的方向，并缩小指定的距离来使得逐渐逼近目标。作者还提出了针对多目标情况的处理方式。 参考博客： 论文题目：Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition 提出时间：2014年 论文地址： 针对问题： 如RCNN会将输入的目标图像块处理到同一尺寸再输入进CNN网络，在处理过程中就造成了图像块信息的损失。在实际的场景中，输入网络的目标尺寸很难统一，而网络最后的全连接层又要求输入的特征信息为统一维度的向量。作者就尝试进行不同尺寸CNN网络提取到的特征维度进行统一。创新点： 作者提出的SPPnet中，通过使用特征金字塔池化来使得最后的卷积层输出结果可以统一到全连接层需要的尺寸，在训练的时候，池化的操作还是通过滑动窗口完成的，池化的核宽高及步长通过当前层的特征图的宽高计算得到。原论文中的特征金字塔池化操作图示如下。 参考博客 ： 论文题目：Object detection via a multi-region & semantic segmentation-aware CNN model 提出时间：2015年 论文地址： 针对问题： 既然第三篇论文multibox算法提出了可以用CNN来实现输入图像中待检测目标的定位，本文作者就尝试增加一些训练时的方法技巧来提高CNN网络最终的定位精度。创新点： 作者通过对输入网络的region进行一定的处理（通过数据增强，使得网络利用目标周围的上下文信息得到更精准的目标框）来增加网络对目标回归框的精度。具体的处理方式包括：扩大输入目标的标签包围框、取输入目标的标签中包围框的一部分等并对不同区域分别回归位置，使得网络对目标的边界更加敏感。这种操作丰富了输入目标的多样性，从而提高了回归框的精度。 参考博客 ： 论文题目：Fast-RCNN 提出时间：2015年 论文地址： 针对问题： RCNN中的CNN每输入一个图像块就要执行一次前向计算，这显然是非常耗时的，那么如何优化这部分呢？ 创新点： 作者参考了SPPNet（第六篇论文），在网络中实现了ROIpooling来使得输入的图像块不用裁剪到统一尺寸，从而避免了输入的信息丢失。其次是将整张图输入网络得到特征图，再将原图上用Selective Search算法得到的目标框映射到特征图上，避免了特征的重复提取。 参考博客 ： 论文题目：DeepProposal: Hunting Objects by Cascading Deep Convolutional Layers 提出时间：2015年 论文地址： 主要针对的问题： 本文的作者观察到CNN可以提取到很棒的对输入图像进行表征的论文，作者尝试通过实验来对CNN网络不同层所产生的特征的作用和情况进行讨论和解析。 创新点： 作者在不同的激活层上以滑动窗口的方式生成了假设，并表明最终的卷积层可以以较高的查全率找到感兴趣的对象，但是由于特征图的粗糙性，定位性很差。相反，网络的第一层可以更好地定位感兴趣的对象，但召回率降低。 论文题目：Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks 提出时间：2015年NIPS 论文地址： 主要针对的问题： 由multibox（第三篇）和DeepBox（第四篇）等论文，我们知道，用CNN可以生成目标待检测框，并判定当前框为目标的概率，那能否将该模型整合到目标检测的模型中，从而实现真正输入端为图像，输出为最终检测结果的，全部依赖CNN完成的检测系统呢？ 创新点： 将当前输入图目标框提取整合到了检测网络中，依赖一个小的目标框提取网络RPN来替代Selective Search算法，从而实现真正的端到端检测算法。 参考博客 ：
小目标问题在物体检测和语义分割等视觉任务中一直是存在的一个难点，小目标的检测精度通常只有大目标的一半。
CVPR2019论文: Augmentation for small object detection 提到了一些应对小目标检测的方法，笔者结合这篇论文以及查阅其它资料，对小目标检测相关技巧在本文进行了部分总结。
小目标的定义： 在MS COCO数据集中，面积小于 32*32 的物体被认为是小物体。
小目标难以检测的原因： 分辨率低，图像模糊，携带的信息少。由此所导致特征表达能力弱，也就是在提取特征的过程中，能提取到的特征非常少，这不利于我们对小目标的检测。
1、由于小目标面积太小，可以放大图片后再做检测，也就是在尺度上做文章，如FPN（Feature Pyramid Networks for Object Detection），SNIP（An Analysis of Scale Invariance in Object Detection – SNIP)。
Feature-Fused SSD: Fast Detection for Small Objects, Detecting Small Objects Using a Channel-Aware Deconvolutional Network 也是在多尺度上做文章的论文。
2、在Anchor上做文章(Faster Rcnn，SSD, FPN都有各自的anchor设计)，anchor在设置方面需要考虑三个因素：
anchor的密度： 由检测所用feature map的stride决定，这个值与前景阈值密切相关。
anchor的范围： RetinaNet中是anchor范围是32~512，这里应根据任务检测目标的范围确定，按需调整anchor范围，或目标变化范围太大如MS COCO，这时候应采用多尺度测试。
anchor的形状数量： RetinaNet每个位置预测三尺度三比例共9个形状的anchor，这样可以增加anchor的密度，但stride决定这些形状都是同样的滑窗步进，需考虑步进会不会太大，如RetinaNet框架前景阈值是时，一般anchor大小是stride的4倍左右。
该部分anchor内容参考于:
3、在ROI Pooling上做文章，文章SINet: A Scale-Insensitive Convolutional Neural Network for Fast Vehicle Detection 认为小目标在pooling之后会导致物体结构失真，于是提出了新的Context-Aware RoI Pooling方法。
4、用生成对抗网络(GAN)来做小目标检测：Perceptual Generative Adversarial Networks for Small Object Detection。
1、从COCO上的统计图可以发现，小目标的个数多，占到了，但是含有小目标的图片只有，大目标所占比例为，但是含有大目标的图像却有。这说明有一半的图像是不含小目标的，大部分的小目标都集中在一些少量的图片中。这就导致在训练的过程中，模型有一半的时间是学习不到小目标的特性的。
此外，对于小目标，平均能够匹配的anchor数量为1个，平均最大的IoU为，这说明很多情况下，有些小目标是没有对应的anchor或者对应的anchor非常少的，即使有对应的anchor，他们的IoU也比较小，平均最大的IoU也才。
如上图，左上角是一个anchor示意图，右上角是一个小目标所对应的anchor，一共有只有三个anchor能够与小目标配对，且配对的IoU也不高。左下角是一个大目标对应的anchor，可以发现有非常多的anchor能够与其匹配。匹配的anchor数量越多，则此目标被检出的概率也就越大。
实现方法： 1、Oversampling ：我们通过在训练期间对这些图像进行过采样来解决包含小对象的相对较少图像的问题（多用这类图片）。在实验中，我们改变了过采样率和研究不仅对小物体检测而且对检测中大物体的过采样效果
2、Copy-Pasting Strategies：将小物体在图片中复制多分，在保证不影响其他物体的基础上，增加小物体在图片中出现的次数（把小目标扣下来贴到原图中去），提升被anchor包含的概率。
如上图右下角，本来只有一个小目标，对应的anchor数量为3个，现在将其复制三份，则在图中就出现了四个小目标，对应的anchor数量也就变成了12个，大大增加了这个小目标被检出的概率。从而让模型在训练的过程中，也能够有机会得到更多的小目标训练样本。
具体的实现方式如下图：图中网球和飞碟都是小物体，本来图中只有一个网球，一个飞碟，通过人工复制的方式，在图像中复制多份。同时要保证复制后的小物体不能够覆盖该原来存在的目标。
网上有人说可以试一下lucid data dreaming Lucid Data Dreaming for Multiple Object Tracking ，这是一种在视频跟踪/分割里面比较有效的数据增强手段，据说对于小目标物体检测也很有效。
基于无人机拍摄图片的检测目前也是个热门研究点（难点是目标小，密度大）。 相关论文： The Unmanned Aerial Vehicle Benchmark: Object Detection and Tracking（数据集） Drone-based Object Counting by Spatially Regularized Regional Proposal Network Simultaneously Detecting and Counting Dense Vehicles from Drone Images Vision Meets Drones: A Challenge（数据集）
1: 2: 3: 4: 5: 6: 7:
CVPR论文可以说是世界顶级水平论文。
图片来源于网络
CVPR是IEEE Conference on Computer Vision and Pattern Recognition的缩写，即IEEE国际计算机视觉与模式识别会议。该会议是由IEEE举办的计算机视觉和模式识别领域的顶级会议。这是一个一年一次的会议，举办地从来没有出过美国。正如它的名字一样，这个会上除了视觉的文章，还会有不少模式识别的文章，当然两方面的结合自然也是重点。
下面是前几年CVPR论文的接收情况：
图片来源于网络
cvpr录用标准相当严格，通常会议整体的录取率不超过25%，而口头报告的论文比例更只占5%不到。其会议的组织方是一个循环的志愿群体，其成员遴选一般会在某次会议召开的三年前进行。cvpr的审稿过程中会议的审稿方与投稿方均不知道对方的信息。而且一篇论文经常需要由三位审稿者进行审读。最后再由会议的领域主席决定是否接收。
在各种学术会议统计中，CVPR被认为有着很强的影响力和很高的排名。目前在中国计算机学会推荐国际学术会议的排名中，CVPR为人工智能领域的A类会议。
小目标问题在物体检测和语义分割等视觉任务中一直是存在的一个难点，小目标的检测精度通常只有大目标的一半。
CVPR2019论文: Augmentation for small object detection 提到了一些应对小目标检测的方法，笔者结合这篇论文以及查阅其它资料，对小目标检测相关技巧在本文进行了部分总结。
小目标的定义： 在MS COCO数据集中，面积小于 32*32 的物体被认为是小物体。
小目标难以检测的原因： 分辨率低，图像模糊，携带的信息少。由此所导致特征表达能力弱，也就是在提取特征的过程中，能提取到的特征非常少，这不利于我们对小目标的检测。
1、由于小目标面积太小，可以放大图片后再做检测，也就是在尺度上做文章，如FPN（Feature Pyramid Networks for Object Detection），SNIP（An Analysis of Scale Invariance in Object Detection – SNIP)。
Feature-Fused SSD: Fast Detection for Small Objects, Detecting Small Objects Using a Channel-Aware Deconvolutional Network 也是在多尺度上做文章的论文。
2、在Anchor上做文章(Faster Rcnn，SSD, FPN都有各自的anchor设计)，anchor在设置方面需要考虑三个因素：
anchor的密度： 由检测所用feature map的stride决定，这个值与前景阈值密切相关。
anchor的范围： RetinaNet中是anchor范围是32~512，这里应根据任务检测目标的范围确定，按需调整anchor范围，或目标变化范围太大如MS COCO，这时候应采用多尺度测试。
anchor的形状数量： RetinaNet每个位置预测三尺度三比例共9个形状的anchor，这样可以增加anchor的密度，但stride决定这些形状都是同样的滑窗步进，需考虑步进会不会太大，如RetinaNet框架前景阈值是时，一般anchor大小是stride的4倍左右。
该部分anchor内容参考于:
3、在ROI Pooling上做文章，文章SINet: A Scale-Insensitive Convolutional Neural Network for Fast Vehicle Detection 认为小目标在pooling之后会导致物体结构失真，于是提出了新的Context-Aware RoI Pooling方法。
4、用生成对抗网络(GAN)来做小目标检测：Perceptual Generative Adversarial Networks for Small Object Detection。
1、从COCO上的统计图可以发现，小目标的个数多，占到了，但是含有小目标的图片只有，大目标所占比例为，但是含有大目标的图像却有。这说明有一半的图像是不含小目标的，大部分的小目标都集中在一些少量的图片中。这就导致在训练的过程中，模型有一半的时间是学习不到小目标的特性的。
此外，对于小目标，平均能够匹配的anchor数量为1个，平均最大的IoU为，这说明很多情况下，有些小目标是没有对应的anchor或者对应的anchor非常少的，即使有对应的anchor，他们的IoU也比较小，平均最大的IoU也才。
如上图，左上角是一个anchor示意图，右上角是一个小目标所对应的anchor，一共有只有三个anchor能够与小目标配对，且配对的IoU也不高。左下角是一个大目标对应的anchor，可以发现有非常多的anchor能够与其匹配。匹配的anchor数量越多，则此目标被检出的概率也就越大。
实现方法： 1、Oversampling ：我们通过在训练期间对这些图像进行过采样来解决包含小对象的相对较少图像的问题（多用这类图片）。在实验中，我们改变了过采样率和研究不仅对小物体检测而且对检测中大物体的过采样效果
2、Copy-Pasting Strategies：将小物体在图片中复制多分，在保证不影响其他物体的基础上，增加小物体在图片中出现的次数（把小目标扣下来贴到原图中去），提升被anchor包含的概率。
如上图右下角，本来只有一个小目标，对应的anchor数量为3个，现在将其复制三份，则在图中就出现了四个小目标，对应的anchor数量也就变成了12个，大大增加了这个小目标被检出的概率。从而让模型在训练的过程中，也能够有机会得到更多的小目标训练样本。
具体的实现方式如下图：图中网球和飞碟都是小物体，本来图中只有一个网球，一个飞碟，通过人工复制的方式，在图像中复制多份。同时要保证复制后的小物体不能够覆盖该原来存在的目标。
网上有人说可以试一下lucid data dreaming Lucid Data Dreaming for Multiple Object Tracking ，这是一种在视频跟踪/分割里面比较有效的数据增强手段，据说对于小目标物体检测也很有效。
基于无人机拍摄图片的检测目前也是个热门研究点（难点是目标小，密度大）。 相关论文： The Unmanned Aerial Vehicle Benchmark: Object Detection and Tracking（数据集） Drone-based Object Counting by Spatially Regularized Regional Proposal Network Simultaneously Detecting and Counting Dense Vehicles from Drone Images Vision Meets Drones: A Challenge（数据集）
1: 2: 3: 4: 5: 6: 7:
cvpr论文是具有很强的影响力和很高的排名的论文，可以说是世界顶级型论文。
cvpr 全称IEEE Conference on Computer Vision and Pattern Recognition，中文翻译过来就是IEEE国际计算机视觉与模式识别会议，该会议是由IEEE举办的计算机视觉和模式识别领域的顶级会议。这是一个一年一次的会议，举办地从来没有出过美国，可以说是计算机视觉领域全球最具影响力、内容最全面的顶级学术会议。
cvpr录用标准相当严格，通常会议整体的录取率不超过25%，而口头报告的论文比例更只占5%不到。其会议的组织方是一个循环的志愿群体，其成员遴选一般会在某次会议召开的三年前进行。cvpr的审稿过程中会议的审稿方与投稿方均不知道对方的信息。而且一篇论文经常需要由三位审稿者进行审读。最后再由会议的领域主席(area chair)决定是否接收。
所以在各类学术会议统计中，cvpr也被认为有着很强的影响力和很高的排名。自然，cvpr论文的级别就可想而知了，cvpr论文什么级别，可以说其级别相当于顶级SCI期刊论文级别同等甚至更高。
论文名称：Rich feature hierarchies for accurate object detection and semantic segmentation 提出时间：2014年 论文地址： 针对问题： 从Alexnet提出后，作者等人思考如何利用卷积网络来完成检测任务，即输入一张图，实现图上目标的定位（目标在哪）和分类（目标是什么）两个目标，并最终完成了RCNN网络模型。 创新点： RCNN提出时，检测网络的执行思路还是脱胎于分类网络。也就是深度学习部分仅完成输入图像块的分类工作。那么对检测任务来说如何完成目标的定位呢，作者采用的是Selective Search候选区域提取算法，来获得当前输入图上可能包含目标的不同图像块，再将图像块裁剪到固定的尺寸输入CNN网络来进行当前图像块类别的判断。 参考博客： 。 论文题目：OverFeat: Integrated Recognition, Localization and Detection using Convolutional Networks 提出时间：2014年 论文地址： 针对问题： 该论文讨论了，CNN提取到的特征能够同时用于定位和分类两个任务。也就是在CNN提取到特征以后，在网络后端组织两组卷积或全连接层，一组用于实现定位，输出当前图像上目标的最小外接矩形框坐标，一组用于分类，输出当前图像上目标的类别信息。也是以此为起点，检测网络出现基础主干网络(backbone)+分类头或回归头（定位头）的网络设计模式雏形。 创新点： 在这篇论文中还有两个比较有意思的点，一是作者认为全连接层其实质实现的操作和1x1的卷积是类似的，而且用1x1的卷积核还可以避免FC对输入特征尺寸的限制，那用1x1卷积来替换FC层，是否可行呢？作者在测试时通过将全连接层替换为1x1卷积核证明是可行的；二是提出了offset max-pooling，也就是对池化层输入特征不能整除的情况，通过进行滑动池化并将不同的池化层传递给后续网络层来提高效果。另外作者在论文里提到他的用法是先基于主干网络+分类头训练，然后切换分类头为回归头，再训练回归头的参数，最终完成整个网络的训练。图像的输入作者采用的是直接在输入图上利用卷积核划窗。然后在指定的每个网络层上回归目标的尺度和空间位置。 参考博客： 论文题目：Scalable Object Detection using Deep Neural Networks 提出时间：2014年 论文地址： 针对问题： 既然CNN网络提取的特征可以直接用于检测任务（定位+分类），作者就尝试将目标框（可能包含目标的最小外包矩形框）提取任务放到CNN中进行。也就是直接通过网络完成输入图像上目标的定位工作。 创新点： 本文作者通过将物体检测问题定义为输出多个bounding box的回归问题. 同时每个bounding box会输出关于是否包含目标物体的置信度, 使得模型更加紧凑和高效。先通过聚类获得图像中可能有目标的位置聚类中心，（800个anchor box）然后学习预测不考虑目标类别的二分类网络，背景or前景。用到了多尺度下的检测。 参考博客： 论文题目：DeepBox: Learning Objectness with Convolutional Networks 提出时间：2015年ICCV 论文地址： 主要针对的问题： 本文完成的工作与第三篇类似，都是对目标框提取算法的优化方案，区别是本文首先采用自底而上的方案来提取图像上的疑似目标框，然后再利用CNN网络提取特征对目标框进行是否为前景区域的排序；而第三篇为直接利用CNN网络来回归图像上可能的目标位置。创新点： 本文作者想通过CNN学习输入图像的特征，从而实现对输入网络目标框是否为真实目标的情况进行计算，量化每个输入框的包含目标的可能性值。 参考博客： 论文题目：AttentionNet: AggregatingWeak Directions for Accurate Object Detection 提出时间：2015年ICCV 论文地址： 主要针对的问题： 对检测网络的实现方案进行思考，之前的执行策略是，先确定输入图像中可能包含目标位置的矩形框，再对每个矩形框进行分类和回归从而确定目标的准确位置，参考RCNN。那么能否直接利用回归的思路从图像的四个角点，逐渐得到目标的最小外接矩形框和类别呢？ 创新点： 通过从图像的四个角点，逐步迭代的方式，每次计算一个缩小的方向，并缩小指定的距离来使得逐渐逼近目标。作者还提出了针对多目标情况的处理方式。 参考博客： 论文题目：Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition 提出时间：2014年 论文地址： 针对问题： 如RCNN会将输入的目标图像块处理到同一尺寸再输入进CNN网络，在处理过程中就造成了图像块信息的损失。在实际的场景中，输入网络的目标尺寸很难统一，而网络最后的全连接层又要求输入的特征信息为统一维度的向量。作者就尝试进行不同尺寸CNN网络提取到的特征维度进行统一。创新点： 作者提出的SPPnet中，通过使用特征金字塔池化来使得最后的卷积层输出结果可以统一到全连接层需要的尺寸，在训练的时候，池化的操作还是通过滑动窗口完成的，池化的核宽高及步长通过当前层的特征图的宽高计算得到。原论文中的特征金字塔池化操作图示如下。 参考博客 ： 论文题目：Object detection via a multi-region & semantic segmentation-aware CNN model 提出时间：2015年 论文地址： 针对问题： 既然第三篇论文multibox算法提出了可以用CNN来实现输入图像中待检测目标的定位，本文作者就尝试增加一些训练时的方法技巧来提高CNN网络最终的定位精度。创新点： 作者通过对输入网络的region进行一定的处理（通过数据增强，使得网络利用目标周围的上下文信息得到更精准的目标框）来增加网络对目标回归框的精度。具体的处理方式包括：扩大输入目标的标签包围框、取输入目标的标签中包围框的一部分等并对不同区域分别回归位置，使得网络对目标的边界更加敏感。这种操作丰富了输入目标的多样性，从而提高了回归框的精度。 参考博客 ： 论文题目：Fast-RCNN 提出时间：2015年 论文地址： 针对问题： RCNN中的CNN每输入一个图像块就要执行一次前向计算，这显然是非常耗时的，那么如何优化这部分呢？ 创新点： 作者参考了SPPNet（第六篇论文），在网络中实现了ROIpooling来使得输入的图像块不用裁剪到统一尺寸，从而避免了输入的信息丢失。其次是将整张图输入网络得到特征图，再将原图上用Selective Search算法得到的目标框映射到特征图上，避免了特征的重复提取。 参考博客 ： 论文题目：DeepProposal: Hunting Objects by Cascading Deep Convolutional Layers 提出时间：2015年 论文地址： 主要针对的问题： 本文的作者观察到CNN可以提取到很棒的对输入图像进行表征的论文，作者尝试通过实验来对CNN网络不同层所产生的特征的作用和情况进行讨论和解析。 创新点： 作者在不同的激活层上以滑动窗口的方式生成了假设，并表明最终的卷积层可以以较高的查全率找到感兴趣的对象，但是由于特征图的粗糙性，定位性很差。相反，网络的第一层可以更好地定位感兴趣的对象，但召回率降低。 论文题目：Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks 提出时间：2015年NIPS 论文地址： 主要针对的问题： 由multibox（第三篇）和DeepBox（第四篇）等论文，我们知道，用CNN可以生成目标待检测框，并判定当前框为目标的概率，那能否将该模型整合到目标检测的模型中，从而实现真正输入端为图像，输出为最终检测结果的，全部依赖CNN完成的检测系统呢？ 创新点： 将当前输入图目标框提取整合到了检测网络中，依赖一个小的目标框提取网络RPN来替代Selective Search算法，从而实现真正的端到端检测算法。 参考博客 ：
原文： Scalable Object Detection using Deep Neural Networks——学术范 最近，深度卷积神经网络在许多图像识别基准上取得了最先进的性能，包括ImageNet大规模视觉识别挑战(ILSVRC-2012)。在定位子任务中获胜的模型是一个网络，它预测了图像中每个对象类别的单个边界框和置信度得分。这样的模型捕获了围绕对象的整幅图像上下文，但如果不天真地复制每个实例的输出数量，就无法处理图像中同一对象的多个实例。在这篇论文中提出了一个显著性启发的神经网络检测模型，它预测了一组与类无关的边界框，每个框有一个分数，对应于它包含任何感兴趣的对象的可能性。该模型自然地为每个类处理数量可变的实例，并允许在网络的最高级别上进行跨类泛化。 目标检测是计算机视觉的基本任务之一。一个解决这个问题的通用范例是训练在子图像上操作的对象检测器，并在所有的场所和尺度上以详尽的方式应用这些检测器。这一范例被成功地应用于经过区别训练的可变形零件模型(DPM)中，以实现检测任务的最新结果。对所有可能位置和尺度的穷举搜索带来了计算上的挑战。随着类数量的增加，这个挑战变得更加困难，因为大多数方法都训练每个类单独的检测器。为了解决这个问题，人们提出了多种方法，从检测器级联到使用分割提出少量的对象假设。 关于对象检测的文献非常多，在本节中，我们将重点讨论利用类不可知思想和解决可伸缩性的方法。 许多提出的检测方法都是基于基于部件的模型，最近由于有区别学习和精心设计的特征，已经取得了令人印象深刻的性能。然而,这些方法依赖于在多个尺度上详尽地应用零件模板，这是非常昂贵的。此外，它们在类的数量上是可伸缩的，这对像ImageNet这样的现代数据集来说是一个挑战。 为了解决前一个问题，Lampert等人使用分支绑定策略来避免计算所有可能的对象位置。为了解决后一个问题，Song et al.使用了一个低维部件基，在所有对象类中共享。基于哈希算法的零件检测也取得了良好的结果。 另一种不同的工作，与我们的工作更接近，是基于对象可以本地化的想法，而不必知道它们的类。其中一些方法建立在自底向上无阶级分割[9]的基础上。通过这种方式得到的片段可以使用自上而下的反馈进行评分。基于同样的动机，Alexe等人使用一种廉价的分类器对对象假设是否为对象进行评分，并以这种方式减少了后续检测步骤的位置数量。这些方法可以被认为是多层模型，分割作为第一层，分割分类作为后续层。尽管它们编码了已证明的感知原理，但我们将表明，有更深入的模型，充分学习可以导致更好的结果。 最后，我们利用了DeepLearning的最新进展，最引人注目的是Krizhevsky等人的工作。我们将他们的边界盒回归检测方法扩展到以可扩展的方式处理多个对象的情况。然而，基于dnn的回归已经被Szegedy等人应用到对象掩模中。最后一种方法实现了最先进的检测性能，但由于单个掩模回归的成本，不能扩展到多个类。 我们的目标是通过预测一组表示潜在对象的边界盒来实现一种与类无关的可扩展对象检测。更准确地说，我们使用了深度神经网络(DNN)，它输出固定数量的包围盒。此外，它为每个盒子输出一个分数，表示这个盒子包含一个对象的网络信任度。 为了形式化上述思想，我们将i-thobject框及其相关的置信度编码为最后一网层的节点值: Bounding box: 我们将每个框的左上角和右下角坐标编码为四个节点值，可以写成vectorli∈R4。这些坐标是归一化的w. r. t.图像尺寸，以实现图像绝对尺寸的不变性。每个归一化坐标是由最后一层的线性变换产生的。 Confidence: 置信度:包含一个对象的盒子的置信度得分被编码为单个节点valueci∈[0,1]。这个值是通过最后一个隐藏层的线性变换产生的，后面跟着一个sigmoid。 我们可以组合边界盒位置sli,i∈{1，…K}为一个线性层。同样，我们可以将所有置信区间ci,i∈{1，…K}作为一个s型层的输出。这两个输出层都连接到最后一个隐藏层 在推理时，我们的算法生成kbound盒。在我们的实验中，我们使用ek = 100和K= 200。如果需要，我们可以使用置信分数和非最大抑制在推理时获得较少数量的高置信框。这些盒子应该代表对象。因此，它们可以通过后续的分类器进行分类，实现目标检测。由于盒子的数量非常少，我们可以提供强大的分类器。在我们的实验中，我们使用另一个dnn进行分类。 我们训练一个DNN来预测每个训练图像的边界框及其置信度得分，以便得分最高的框与图像的groundtruth对象框很好地匹配。假设对于一个特定的训练例子，对象被标记为boundingboxesgj,j∈{1，…，M}。在实践中，pre- dictionary的数量远远大于groundtruthboxm的数量。因此，我们试图只优化与地面真实最匹配的预测框子集。我们优化他们的位置，以提高他们的匹配度，最大化他们的信心。与此同时，我们将剩余预测的置信度最小化，这被认为不能很好地定位真实对象。为了达到上述目的，我们为每个训练实例制定一个分配问题。Wexij∈{0,1}表示赋值:xij= 1，如果第i个预测被赋值给第j个真对象。这项任务的目标可以表示为 其中，我们使用标准化边界框坐标之间的el2距离来量化边界框之间的不同。此外，我们希望根据分配x优化盒子的可信度。最大化指定预测的置信度可以表示为 最终的损失目标结合了匹配损失和信心损失 受式1的约束。α平衡了不同损失条款的贡献。 对于每个训练例子，我们通过解决一个最佳的赋值x*的预测到真实的盒子 约束执行赋值解决方案。这是二部匹配的一种变体，是一种多项式复杂度匹配。在我们的应用程序中，匹配是非常便宜的——每幅图像中标记的对象的数量少于一打，而且在大多数情况下只有很少的对象被标记。然后，通过反向传播优化网络参数。例如，反向传播算法的一阶导数计算w、r、t、l和c 尽管上述定义的损失在原则上是足够的，但三次修改使其有可能更快地达到更好的准确性。第一个修改是对地面真实位置进行聚类，并找到这样的聚类/质心，我们可以使用这些聚类/质心作为每个预测位置的先验。因此，鼓励学习算法为每个预测位置学习一个残差到一个先验。 第二个修改涉及到在匹配过程中使用这些先验:不是将N个groundtruth位置与K个预测进行匹配，而是在K个先验和groundtruth之间找到最佳匹配。一旦匹配完成，就会像之前一样计算目标的置信度。此外，位置预测损失也不变:对于任何一对匹配的(目标，预测)位置，其损失定义为groundtruth和对应于匹配先验的坐标之间的差值。我们把使用先验匹配称为先验匹配，并假设它促进了预测的多样化。 需要注意的是，尽管我们以一种与类无关的方式定义了我们的方法，但我们可以将它应用于预测特定类的对象盒。要做到这一点，我们只需要在类的边框上训练我们的模型。此外，我们可以预测每个类的kbox。不幸的是，这个模型的参数数量会随着类的数量线性增长。此外，在一个典型的设置中，给定类的对象数量相对较少，这些参数中的大多数会看到很少有相应梯度贡献的训练示例。因此，我们认为我们的两步过程——首先本地化，然后识别——是一个更好的选择，因为它允许使用少量参数利用同一图像中多个对象类型的数据 我们使用的本地化和分类模型的网络架构与[10]使用的网络架构相同。我们使用Adagrad来控制学习速率衰减，128的小批量，以及使用多个相同的网络副本进行并行分布式训练，从而实现更快的收敛。如前所述，我们在定位损失中使用先验——这些是使用训练集上的均值来计算的。我们还使用α = 来平衡局部化和置信度损失。定位器可以输出用于推断的种植区以外的坐标。坐标被映射和截断到最后的图像区域。另外，使用非最大抑制对盒进行修剪，Jaccard相似度阈值为。然后，我们的第二个模型将每个边界框分类为感兴趣的对象或“背景”。为了训练我们的定位器网络，我们从训练集中生成了大约3000万幅图像，并对训练集中的每幅图像应用以下步骤。最后，样品被打乱。为了训练我们的本地化网络，我们通过对训练集中的每一幅图像应用以下步骤，从训练集中生成了大约3000万幅图像。对于每幅图像，我们生成相同数量的平方样本，使样本总数大约为1000万。对于每幅图像，样本被桶状填充，这样，对于0 - 5%、5 - 15%、15 - 50%、50 - 100%范围内的每个比例，都有相同数量的样本，其中被包围框覆盖的比例在给定范围内。训练集和我们大多数超参数的选择是基于过去使用非公开数据集的经验。在下面的实验中，我们没有探索任何非标准数据生成或正则化选项。在所有的实验中，所有的超参数都是通过对训练集。 Pascal Visual Object Classes (VOC)挑战是最常用的对象检测算法基准。它主要由复杂的场景图像组成，其中包含了20种不同的对象类别的边界框。在我们的评估中，我们关注的是2007版VOC，为此发布了一个测试集。我们通过培训VOC 2012展示了结果，其中包含了大约。11000张图片。我们训练了一个100框的定位器和一个基于深度网络的分类器。 我们在一个由1000万作物组成的数据集上训练分类器，该数据集重叠的对象至少为 jaccard重叠相似度。这些作物被标记为20个VOC对象类中的一个。•2000万负作物与任何物体盒最多有个Jaccard相似度。这些作物被贴上特殊的“背景”类标签。体系结构和超参数的选择遵循。 在第一轮中，定位器模型应用于图像中最大-最小中心方形作物。作物的大小调整到网络输入大小is220×220。单次通过这个网络，我们就可以得到上百个候选日期框。在对重叠阈值为的非最大抑制后，保留评分最高的前10个检测项，并通过21路分类器模型分别通过网络进行分类。最终的检测分数是给定盒子的定位分数乘以分类器在作物周围的最大方形区域上评估的分数的乘积。这些分数通过评估，并用于计算精确查全曲线。 首先，我们分析了本地化器在隔离状态下的性能。我们给出了被检测对象的数量，正如Pascal检测标准所定义的那样，与生成的包围框的数量相对比。在图1中，我们展示了使用VOC2012进行训练所获得的结果。此外，我们通过使用图像的最大中心面积(max-center square crop)作为输入以及使用两个尺度(second scale)来给出结果:最大中心面积(max-center crop)的第二个尺度(select3×3windows的大小为图像大小的60%)正如我们所看到的，当使用10个边界框的预算时，我们可以用第一个模型本地化的对象，用第二个模型本地化48%的对象。这显示出比其他报告的结果更好的性能，例如对象度算法达到42%[1]。此外，这个图表显示了在不同分辨率下观察图像的重要性。虽然我们的算法通过使用最大中心作物获得了大量的对象，但当使用更高分辨率的图像作物时，我们获得了额外的提升。进一步，我们用21-way分类器对生成的包围盒进行分类，如上所述。表1列出了VOC 2007的平均精度(APs)。达到的平均AP是，与先进水平相当。注意，我们的运行时间复杂度非常低——我们只使用top10框。示例检测和全精度召回曲线分别如图2和图3所示。值得注意的是，可视化检测是通过仅使用最大中心方形图像裁剪，即使用全图像获得的。然而，我们设法获得了相对较小的对象，例如第二行和第二列的船，以及第三行和第三列的羊。 在本工作中，我们提出了一种新的方法来定位图像中的对象，该方法可以预测多个边界框的时间。该方法使用深度卷积神经网络作为基本特征提取和学习模型。它制定了一个能够利用可变数量的groundtruth位置的多箱定位成本。在“一个类一个箱”方法的情况下，对1000个盒子进行非max-suppression，使用与给定图像中感兴趣的DeepMulti-Box方法相同的准则，并学习在未见图像中预测这些位置。 我们在VOC2007和ILSVRC-2012这两个具有挑战性的基准上给出了结果，在这两个基准上，所提出的方法具有竞争力。此外，该方法能够很好地预测后续分类器将探测到的位置。我们的结果表明，deepmultibox的方法是可扩展的，甚至可以在两个数据集之间泛化，就能够预测感兴趣的定位，甚至对于它没有训练的类别。此外，它能够捕获同一类物体的多种情况，这是旨在更好地理解图像的算法的一个重要特征。 在未来，我们希望能够将定位和识别路径折叠到一个单一的网络中，这样我们就能够在一个通过网络的一次性前馈中提取位置和类标签信息。即使在其当前状态下，双通道过程(本地化网络之后是分类网络)也会产生5-10个网络评估，每个评估的速度大约为1个CPU-sec(现代机器)。重要的是，这个数字并不与要识别的类的数量成线性关系，这使得所提出的方法与类似dpm的方法非常有竞争力。
血细胞分析仪检测血小板影响因素影响策略论文
在当前医疗技术的发展与促进作用之下，血细胞分析仪被广泛应用于基层医院的检验科室当中。实践经验显示：血细胞分析仪作用于检验，具有操作简单，响应迅速、重复性好、以及数据精确度高在内的多方面确切优势[1-2]。但受到自身检测原理的限制性影响，导致在临床对血细胞分析仪进行应用的过程当中，会受到大量内外部因素的影响。特别是对血小板的检测而言，计数结果会受多种因素影响而出现偏差，成为了临床中反应较多的问题之一。从这一角度上来说，如何明确血细胞分析仪在检测血小板过程当中的影响因素，落实相应的纠正与控制方法，这一问题备受医务工作者的关注与重视。本文选取2014年1-3月，健康体检对象共计50例作为研究对象，应用血细胞分析仪对其血小板计数结果进行分析，具体总结如下。
1 资料与方法
一般资料
选取自2014年1-3月，健康体检对象共计50例作为研究对象。对所有入选对象的一般资料进行回顾分析：男27例，女23例，年龄1～72岁，平均(±)岁。
方法
使用希森美KX-21型全自动血细胞分析仪，对所有入选对象进行血小板计数检测工作。由希森美公司提供溶血剂以及稀释液。在空腹状态下，分别实施静脉抽血(血样剂量为2 ml)以及末梢采血(血样剂量为120 μl)，使用 mg单位EDTA抗凝管储存分析。分别实施仪器法以及手工法两种检测方案。计数作业分别进行3次，取平均值作为最终计数结果。
观察指标
对仪器法以及手工法下，不同时间状态下所对应的血小板计数情况进行观察对比，同时对静脉血以及末梢血下的血小板计数检测结果进行对比。
统计学处理
采用SPSS 软件对所得数据进行统计分析，计量资料用均数±标准差(x±s)表示，比较采用t检验;P<为差异有统计学意义。
2 结果
在分别应用仪器法以及手工法进行血小板计数的过程当中，即刻测定状态下，仪器法检出数据明显低于手工法检出数据，对比差异有统计学意义(P<);静置10 p="">);静置8 h后，仪器法检出数据明显低于对照组，对比差异有统计学意(P<)，见表1。在不同采血区域进行血小板计数的过程当中，采集静脉血血小板计数为(±)×109 p="">)。
3 讨论
血浆中血小板体积小，无色，且黏附性高。当血液自血管破损位置流出后，血小板一旦与破损血管的内皮细胞或组织成分发生接触反应，则势必会迅速粘附于血管壁之上。再加上在应用血细胞分析仪对血小板进行检测的过程当中，血浆标本需要与抗凝管表面发生接触反应，故而最终导致血小板大量粘附于抗凝管内壁并发生聚集反应，造成血小板计数上的偏差问题[3]。从这一角度上来说，无论是在仪器法还是手工法作用下，所采集血小板数均较实际数据更低。同时，本次研究中数据显示：采集末梢血与静脉血进行对比中，两者所对应的血小板计数结果差异无统计学意义(P>)。但需要注意的是：相较于静脉血而言，末梢血采集中潜在大量的影响因素(包括扎针深度、取血速度等等在内)，都将对最终所生成的血小板计数结果产生影响。因此，在条件允许的情况下，推荐采集静脉血样完成血细胞分析工作。若必须以末梢血进行分析，则要求满足扎针3 mm深度，且血样应当自然流出，以保障血小板检出数据的精确性。
同时，有关研究报道中显示：对于抗凝剂而言，在应用血细胞分析仪对血小板展开检测作业的过程当中，检测结果很大程度上会受到抗凝剂类型的影响[4]。当前，国际化学标准委员会所推荐的抗凝剂为EDTA二钾抗凝，应用该推荐抗凝剂，可最大限度的保障检测结果的`精确性。同时，血液与抗凝剂之间的比例关系也会对检测质量产生相当重大的影响。有关临床研究中指出：在受检血液比例过高的情况下，由于抗凝剂无法与之形成匹配关系，进而可能导致待检测血浆样本当中出现微血块。而微血块的产生势必会导致血细胞分析仪被堵塞，造成检测结果上的偏差。反过来说，在受检血液比例过低的情况下，抗凝剂同样无法与之形成匹配关系，主要表现为浓度的提升，带动血浆样本当中血小板的肿胀与崩解反应，产生大量与血小板大小基本一致的碎片，导致计数过程当中容易发生偏差[5-6]。
同时，本次研究数据中显示：在分别应用仪器法以及手工法进行血小板计数的过程当中，即刻测定数据以及放置8 h后的测定数据组间对比差异有统计学意义(P<)。这一研究数据提示：一方面，在抗凝剂对血小板黏附性以及聚集性进行一致的同时，会导致血小板形态自双凹模式转变为球形模式，体积明显增大，即刻上机测试下，导致血小板测定数据明显较低。而在放置10 p="">)。同时，随着放置时间的延长，血小板计数有一定的下降趋势，且在8 h开始呈现出显著差异，提示测定时间同样是造成血小板计数偏差的关键影响因素之一。
结合相关研究数据而言，无论是对于光散法还是对于阻抗法而言，在应用血细胞分析仪对血小板进行计数的过程当中，结果基本可靠且稳定。但对于存在血小板形态异常以及明显降低的对象而言，不同方法下的计数结果往往会产生较大的差异。因此，在病理因素影响下，血浆中会产生大量的非血小板颗粒，最终导致计数结果假性增多。当前相关报道当中认为能够确保血小板计数准确的方法有两种类型：第一类是建立在免疫学基础之上的计数方法，即使用荧光对血浆样本中的抗血小板抗体进行标记;第二类是建立在激光散射基础之上的测定方法，在激光散射计数干预下，分离非血小板颗粒以及血小板，从而确保计数的准确性[7-8]。但以上两种方法成本较高，普及性较差。故而当前所选取的复查方式主要以手工计数法为主。针对本方法计数精确性上的却是可以增加一项在血涂片上间接计数血小板的方法作为补充，使用抗凝血液推血片，在瑞氏蚺蛇处理下计数1000个红细胞及对应的血小板，根据两者之间的比值，按照血小板计数/红细胞计数×红细胞计数的方式，求得最终数据[9-10]。根据以上措施的落实，配合与临床医师之间的密切联系，能够达到消除血小板计数误差，提高血细胞分析精度的目的。
综上所述，实践工作中需要重视对抗凝剂类型、采血区域、放置时间等影响因素的分析与控制，必要时进行涂片以及直接计数复查，配合与临床医师之间的密切联系，能够达到消除血小板计数误差，提高血细胞分析精度的目的。
参考文献
[1]韩凝，郭树霞，胡成进，等.试析Sysmex-2100血细胞分析仪血小板检测正常其他参数不显示的原因[J].中华临床医师杂志(电子版)，2013，7(23)：11061-11062.
[2]胡明定.病毒性肝炎所致肝硬化患者血小板检测的临床意义[J].中国医药指南，2013，11(19)：600-601.
[3]谭江峡.凝血功能和血小板检测在肾病综合征患者中的临床应用[J].中国医药导刊，2014，16(2)：315-316.
[4]郭利利，顾平，张葵，等.10例EDTA依赖性假性血小板减少症血小板检测的动态分析[J].临床输血与检验，2012，14(3)：212-214.
[5]吴君霞，范贤峰，许赣，等.肝豆状核变性患者血凝指标与血小板检测的临床意义[J].临床输血与检验，2011，13(3)：231-233.
[6]李勇，慕悦意，夏永辉，等.SysmexXE-5000血液分析仪对血液疾病血小板检测的应用价值[J].中国血液流变学杂志，2011，21(2)：329-332，369.
医学检验主要分为标本处理组，百体液检验组，免疫检验组，生化检验组，血液检验组，微生物检验组，还有PCR组，所以论文的写作也有一些细微的差别，本篇文章就向大家简略验论文怎么写，希望对大家写作此方面论文时，有所参考作用一、医学检验论文写作要点1、选题要小，开掘要深；不要题目很大，内容却很单薄。2、写作前要读好书、翻阅大量资料、注意学术积累，在这个过程中，还要注重利用网络，特别是一些专业数据库3、"选题新、方法新、资料新"的三新原则（老板教导的）4、"新题新做"和"小题大做二、论文写作的技巧（一）优秀论文的要素 :1、正确选题；2、合适的切入点；3、简洁明了；4、说清自己的贡献；5、可靠的 /可重现的结果；6、可重复的过程；7、好的文章结构和逻辑流程；8、精选的参考文献（二）优秀论文的误区：1、Idea 越多越好；2、一味追求革命性的，突破性的成果；3、数学、理论和公式越复杂越好--显示自己的聪明；4、追求最好，史无前例；5、显示权威性，引文中大量引用自己的论文。（三）写文章的条件 :1、与研究工作相关，确实有了好的想法，不是为了写而写；2、取得了有价值的成果，对学术界有贡献；3、实验成熟，经得起检验；4、已经需要记录下来和其他人分享（四）写论文的要点 :1、写出 3~4 层的纲要反复修改多次。2、从Introduction开写，回顾已有的工作。3、要声明文章结构，不要直接进入细节。4、声明工作的动机和基本原理，提出潜在的问题，自己进行回答。5、讲明自己工作与前人的不同，说明自己的贡献及其实际应用前景。6、最后写 Summary 和 Abstract,反复斟酌后确定标题。三、医学检验论文的写作原则1、强化目的原则。在完成检验医学科研论文选题时，首先须明确选题目的，要求具体、明晰，从一个方面或几个方面寻找切合检验医学理论研究或实践探索的突破点，防止观点笼统、范围过大、普遍撒网等现象发生。2、重视创新原则。创新是检验医学科研论文的生命线，没有创新的科研选题就没 有高质量的科研论文，其研究成果也是低水平重复，对检验人力、物力和财力都是极大的浪费。3、满足需求原则。要以检验医学的实际需求为根本点，应瞄准社会医疗实践的大方向，加强基础理论研究，重视实践探索和开发性、应用性研究。4、发挥专长原则。不同的检验医学人才具备不同的专业知识结构、思维辨别能力和科学研究方法等，在确定科研目标时，应区别对待、扬长避短、发挥专长。5、实践证明，一个对所从事的检验医学学科专业缺乏兴趣的检验人员，将无法在检验医学科研工作中取得相应的成就；相反，当个人专长与医学实践密切相结合，将激发出巨大的工作激情，并获得满意的科研成果。6、紧密结合临床原则。医学检验研究的是人体复杂的多种生理和病理指标，须加强与临床相关科室的紧密合作。
医学 论文 是 科技 论文的一个分支 学科 ，是报道 自然 科学研究和技术开发创新性工作成果的论说文章，是阐述原始研究结果并公开发表的书面 报告 。医学 论文格式 由以下6部分组成：论文题目;作者署名、工作单位和邮编;摘要(目的、方法、结果、结论);关健词;正文(资料与方法、结果、结论)参考文献。
今天学习啦小编要与大家分享的是 :如何写好医学检验论文？ ;希望能帮助到大家!
1) 什么是文献综述?
文献综述是研究者在其提前阅读过某一主题的文献后，经过理解、整理、融会贯通，综合分析和评价而组成的一种不同于研究论文的文体。
2) 文献综述的写作要求
1、文献综述的格式
文献综述的格式与一般研究性论文的格式有所不同。这是因为研究性的论文注重研究的方法和结果，而文献综述介绍与主题有关的详细资料、动态、进展、展望以及对以上方面的评述。因此文献综述的格式相对多样，但总的来说，一般都包含以下四部分：即前言、主题、总结和参考文献。撰写文献综述时可按这四部分拟写提纲，再根据提纲进行撰写工作。
前言，要用简明扼要的文字说明写作的目的、必要性、有关概念的定义，综述的范围，阐述有关问题的现状和动态，以及目前对主要问题争论的焦点等。前言一般200-300字为宜，不宜超过500字。
正文，是综述的重点，写法上没有固定的格式，只要能较好地表达综合的内容，作者可创造性采用诸多形式。正文主要包括论据和论证两个部分，通过提出问题、分析问题和解决问题，比较不同学者对同一问题的看法及其理论依据，进一步阐明问题的来龙去脉和作者自己的见解。当然，作者也可从问题发生的 历史 背景、目前现状、发展方向等提出文献的不同观点。正文部分可根据内容的多少可分为若干个小标题分别论述。
小结，是结综述正文部分作扼要的总结，作者应对各种观点进行综合评价，提出自己的看法，指出存在的问题及今后发展的方向和展望。内容单纯的综述也可不写小结。
参考文献，是综述的重要组成部分。一般参考文献的多少可体现作者阅读文献的广度和深度。对综述类论文参考文献的数量不同杂志有不同的要求，一般以30条以内为宜，以最近3-5年内的最新文献为主。
2、文献综述规定
1. 为了使选题报告有较充分的依据，要求硕士研究生在论文开题之前作文献综述。
2. 在文献综述时，研究生应系统地查阅与自己的研究方向有关的国内外文献。通常阅读文献不少于30篇，且文献搜集要客观全面
3. 在文献综述中，研究生应说明自己研究方向的发展历史，前人的主要研究成果，存在的问题及发展趋势等。
4. 文献综述要条理清晰，文字通顺简练。
5. 资料运用恰当、合理。文献引用用方括号[ ]括起来置于引用词的右上角。
6. 文献综述中要有自己的观点和见解。不能混淆作者与文献的观点。鼓励研究生多发现问题、多提出问题、并指出分析、解决问题的可能途径，针对性强。
7. 文献综述不少于3000字。
3、 注意事项
⒈ 搜集文献应尽量全。掌握全面、大量的文献资料是写好综述的前提，否则，随便搜集一点资料就动手撰写是不可能写出好的综述。
⒉ 注意引用文献的代表性、可靠性和科学性。在搜集到的文献中可能出现观点雷同，有的文献在可靠性及科学性方面存在着差异，因此在引用文献时应注意选用代表性、可靠性和科学性较好的文献。
⒊ 引用文献要忠实文献内容。由于文献综述有作者自己的评论分析，因此在撰写时应分清作者的观点和文献的内容，不能篡改文献的内容。引用文献不过多。文献综述的作者引用间接文献的现象时有所见。如果综述作者从他人引用的参考文献转引过来，这些文献在他人引用时是否恰当，有无谬误，综述作者是不知道的，所以最好不要间接转引文献。
⒋ 参考文献不能省略。有的科研论文可以将参考文献省略，但文献综述绝对不能省略，而且应是文中引用过的，能反映主题全貌的并且是作者直接阅读过的文献资料。
5.综述篇幅不可太长。杂志编辑部对综述的字数一般都有一定数量的约定。作者在初写综述时，往往不注意这点，造成虚话、空话较多，重点不突出。综述一般不宜超过4000字。 综述并不是简单的文献罗列，综述一定有作者自己的综合和归纳。有的综述只是将文献罗列，看上去像流水帐，没有作者自己的综合与分析，使人看后感到重复、费解，材料与评述协调。
论文地址： 前置文章：10/16、10/17、10/18
本文提出了Point Fractal Network(PF-Net),旨在从不完整的点云数据中恢复点云，克服了之前方法修改现有数据点、引入噪声和产生几何损失的缺点。
由前置文章可知，之前的点云修复方法是输入不完整的点云，输出完整的点云，但这样会导致原有信息的缺失。这篇文章提出PF-Net，主要特点有三个：
网络的整体结构如下：
网络详细推理步骤如下：
损失函数使用完整性损失和对抗损失的加权平均，完整性损失使用L-GAN中提出的CD距离：
对抗损失使用GAN中常见的损失函数
感觉这篇文章对多尺度的运用非常极致，在编码器、解码器和CMLP中都应用了这种思想，最后的效果也非常不错，很值得借鉴。
论文地址：
PointNet提出一种基础的网络结构，可以用于点云分类、部分分割和语义分割等多种任务。在这篇文章之前，点云数据的处理方式是将点云数据转换为多个二维的视图或三维的体素形式，然后应用2D/3D CNN进行处理，但这样引入了多余的体积，效率不高。本文是第一个直接使用点云数据的神经网络。（其实可以这样类比，在二维图像处理中，假设图像是二值化的，传统方法是将这个图像直接丢到CNN里面，但如果背景特别多会比较浪费资源。直接使用点云数据相当于直接将前景像素的坐标输入到神经网络里面，对稀疏数据会有比较好的性能，但因为以下三个问题导致直接使用坐标信息比较困难） 由于点云的排列是无序的（可以想象，点云中任意一点排在前面对点云的表达都是相同的）、点云之间是有相互作用的（相邻的点云才能构成形状）、点云在某些变换下具有不变性（比如旋转不会改变点云的类别）这些特性，要求神经网络既能处理无序的数据，又能捕捉全局的结构特征，同时对刚性变换不敏感。基于这些条件，作者提出了如下的网络结构：
可以简要分析一下网络的工作流程，以点云分类问题为例：
感觉网络的结构虽然简单，但是却很好地满足了点云数据自身特性对神经网络的要求。而且我觉得在图像处理中，也有时候必须用到坐标信息或者一些标量特征，这篇文章的方法对于怎样将这些特征融合进CNN里面也有一定的启发意义。
论文地址：
这篇文章的主要工作是：
首先来看衡量两个点云相似程度的指标部分，作者首先给出了两个距离，EMD和CD：
在计算上，CD更为简便，而且EMD是不可导的。
基于这两种距离，作者引入了三种衡量两个点云相似程度的指标：JSD、Coverage和MMD：
定义了指标后，就可以实现自动编码器和生成模型了。作者提到了四种结构，分别是：
作者同时验证了AE的一些其他功能，比如如果给AE的编码器输入不完整的点云数据，即可训练得到点云复原的模型。使用SVM对低维表示进行分类，即可进行点云分类的任务，证明AE在点云数据形式中的潜在应用较为广泛。
论文地址：
PointNet++针对PointNet提取局部信息能力不强的弊端，提出了一种层次神经网络，可以更好地提取局部信息。其中心思想是将整个点云分割成若干个小部分来提取信息，然后将每个小部分整合成较大的部分，提取更高层次的信息。类似于CNN中卷积和下采样的思想。首先来看网络结构图：
网络大概可以分为两个部分，左边是层次的点云特征提取网络，右边是针对不同任务的解码网络。 特征提取分为若干个set abstraction模块，每个模块又分为采样层、分组层和特征提取层。
得到了较高层次的特征后，对不同的任务需要不同的解码网络。对分类网络来说比较简单，使用全连接即可。对分割网络来说，由于对每个点都需要输出数值，则需要类似上采样的操作。具体的实现作者使用了插值的方法，将较少的点插值到较多的点上去。首先找到插值的目标坐标，然后寻找K个距离最近的已知点，以距离的倒数作为权重，将K个点的特征做加权平均，作为这个点的特征。然后使用之前特征提取中得到的该点的特征与当前特征做一个拼接，即可得到最终特征（类似U-Net的skip connection）。公式如下：
感觉这篇文章和PF-Net的思想差不多，都是希望提取多尺度的特征。但是思路不一样，都值得借鉴。
cvpr论文是具有很强的影响力和很高的排名的论文，可以说是世界顶级型论文。
cvpr 全称IEEE Conference on Computer Vision and Pattern Recognition，中文翻译过来就是IEEE国际计算机视觉与模式识别会议，该会议是由IEEE举办的计算机视觉和模式识别领域的顶级会议。这是一个一年一次的会议，举办地从来没有出过美国，可以说是计算机视觉领域全球最具影响力、内容最全面的顶级学术会议。
cvpr录用标准相当严格，通常会议整体的录取率不超过25%，而口头报告的论文比例更只占5%不到。其会议的组织方是一个循环的志愿群体，其成员遴选一般会在某次会议召开的三年前进行。cvpr的审稿过程中会议的审稿方与投稿方均不知道对方的信息。而且一篇论文经常需要由三位审稿者进行审读。最后再由会议的领域主席(area chair)决定是否接收。
所以在各类学术会议统计中，cvpr也被认为有着很强的影响力和很高的排名。自然，cvpr论文的级别就可想而知了，cvpr论文什么级别，可以说其级别相当于顶级SCI期刊论文级别同等甚至更高。
当前做instance segmentation的大多数工作采用了Mask R-CNN 的Pipeline。 它基本的pipeline是先检测物体矩形框，然后在矩形框中做逐像素分割。 Mask R-CNN达到了很好的instance segmentation的结果，但是这样的pipeline其实有一些limitation： 考虑到逐像素分割有诸多限制，文章的工作选择用contour来表示物体的shape。Contour是一组有序的点，而且是首尾相连的。比如图片中猫的边缘就是一个Contour。 Contour相对于用稠密像素表示物体有两大优势： 实例分割是许多计算机视觉任务中的重要手段，目前大多数的算法都采用在给定的bbox中进行pixel-wise分割的方法。受snake算法和Curve-GCN的启发，论文采用基于轮廓的逐步调整策略，提出了Deep snake算法进行实时实例分割，该算法将初始轮廓逐渐优化为目标的边界，如图所示，达到很好的性能且依然保持很高的实时性()。 Deep snake方法将初始轮廓逐渐优化为目标的边界来进行目标分割，即将物体轮廓作为输入，基于CNN主干特征预测每个顶点的偏移量。为了充分利用轮廓拓扑结构，论文使用循环卷积(circular convolution)进行顶点特征的学习，有助于学习轮廓的优化，并基于deep snake提出了一套实时实例分割的流程。 传统的snake算法将顶点的坐标作为变量来优化人工设计的能量函数(energy function)，通过最小化能量函数来拟合目标边界。由于能量函数通常是非凸的，而且需要基于低维图像特征进行人工设计，通常会陷于局部最优解。 而deep snake则是直接从数据学习如何微调轮廓，对于个顶点，首先构造每个顶点的特征向量，顶点的特征为对应的网络特征和顶点坐标的concate，其中为主干网络输出的特征图，为顶点处的双线性差值输出，附加的用于描述顶点间的位置关系，是平移不变的，由每个顶点坐标减去轮廓中所有顶点的最小和得到相对坐标。 在获得顶点特征后，需要对轮廓特征进一步学习，顶点的特征可以视作1-D离散信号，然后使用标准卷积对顶点逐个进行处理，但这样会破坏轮廓的拓扑结构。因此，将顶点特征定义为公式1的周期信号，然后使用公式2的循环卷积进行特征学习，为可学习的卷积核，为标准卷积操作。 将deep snake加入到目标检测模型中进行实例分割，流程如图b所示。模型首先产生目标框，将其构建成菱形框，然后使用deep snake算法将菱形顶点调整为目标极点，构造八边形轮廓，最后进行迭代式deep snake轮廓调整得到目标形状 论文采用ExtreNet的极点思想，能够很好地包围物体。在得到矩形框后，获取4条边的中心点连成菱形轮廓，使用deep snake对菱形轮廓调整成极点，然后每个极点放置一条边，连接边构造多边形，每个极点的边为其对应的bbox边的，若边超过原bbox范围会被截断。在实际使用时，菱形轮廓输入deep snake前会平均上采样到40个点(有助于deep snake计算)，但损失函数计算只考虑的对应偏移 对八边形平均采样个点，将上极点作为起点，同样地，GT轮廓对物体边缘平均采样个点，将靠近的点作为起点，一般为128。如果顶点离GT很远，很难直接正确调整，于是采用迭代式地进行deep snake调整，实验采用的迭代次数为3次。 轮廓是目标空间位置的一种扩展表示方法，通过调整轮廓到物体边缘能够帮助解决detector的定位误差 由于遮挡，一个实例可能包含多个组件，然而一个轮廓只能勾勒出bbox内的一个组件。为了解决这个问题，使用RoIAlign来提取初始bbox特征，然后配合detector来检测组件的box，再对每个box进行上述的轮廓调整，最后结合初始bbox内相同类别的组件输出最终的物体形状。 极点的损失函数如公式3，为预测的极点。 迭代轮廓调整的损失函数如公式4，为调整后的顶点，为对应的GT边缘点。对于检测部分，则采用跟原检测函数一样的损失函数。 使用CenterNet作为检测器，对于物体检测，使用跟原来一样的设定输出类别相关的box，而对于组件检测，则使用类不可知的CenterNet，对于的特征图，输出的中心点heatmap和的box大小特征图。 Baseline将轮廓视为图结构，然后使用GCN进行轮廓调整，初始轮廓为围绕bbox的椭圆，Arichitecture加入Fusion block，Initial proposal加入论文的轮廓初始化方法，最后是将GCN修改为循环卷积，可以看到每个步骤都对AP有提升。 论文也对比了卷积类型以及迭代次数对结构的影响，可以看到循环卷积的结果比GCN要好。 论文在不同的数据集上都取得了不错的效果，作者在每个数据集上的训练参数都有点不一样，具体参数可以看看原文 论文提出基于轮廓的实例分割方法Deep snake，轮廓调整是个很不错的方向，引入循环卷积，不仅提升了性能还减少了计算量，保持了实时性，但是Deep snake的大体结构不够优雅，应该还有一些工作可以补 [1] 彭思达 - 实例分割新思路: Deep Snake (CVPR20'Oral Paper) [2] Deep Snake: 基于轮廓调整的SOTA实例分割方法，速度| CVPR 2020 [3] He, Kaiming, et al. "Mask r-cnn." In ICCV, 2017. [4] Kass, Michael, Andrew Witkin, and Demetri Terzopoulos. "Snakes: Active contour models." In IJCV, 1988. [5] Ling, Huan, et al. "Fast interactive object annotation with curve-gcn." In CVPR, 2019. [6] Zhou, Xingyi, Jiacheng Zhuo, and Philipp Krahenbuhl. "Bottom-up object detection by grouping extreme and center points." In CVPR, 2019. [7] Zhou, Xingyi, Dequan Wang, and Philipp Krahenbuhl. "Objects as points." In arXiv preprint arXiv:, 2019.