对于目标检测方向并不是特别熟悉，本文记录一下RCNN, fast-RCNN, faster-RCNN, mask-RCNN这4篇有关目标检测的论文笔记和学习心得。
R-CNN的意思就是Region based，主要思路就是根据一张图像，提取多个region，再将每个Region输入CNN来进行特征的提取。因此RCNN就可以分为 Region proposals , Feature extraction 两个主要部分，提取的特征就可以输入任意一个分类器来进行分类。 模型的流程图如下：
在训练的时候，首先使用的是已经训练好的CNN网络作为特征提取器，但是由于预训练是在分类数据集上，因此在应用到检测之前要做finetune。也就是说，为了将用ImageNet数据集训练的网络应用到新的任务（检测），新的数据集（region）上，作者将原来的CNN最后的1000类的fc层，更改为了 层， 代表待检测的物体的类别数。然后，对于所有的region，如果它和ground truth的重叠率大于，就认为是正类。 对于分类器的训练，作者发现选择多大的IoU来区分正类和负类非常关键。并且，对于每一类，都会训练一个分类器。
框的回归非常重要，在对每一个region proposal使用分类器进行打分评价之后，作者使用一个回归器来预测一个新的框作为结果。这个回归器使用的特征是从CNN中提取的特征。回归器的训练中，输入是 region proposal 的 和ground truth的 ，目标是学习一种变换，使得region proposal通过该变换能够接近ground truth。同时，希望这种变换拥有尺度不变性，也就是说尺度变化的话，变换不会改变。 如下图所示，每一个regressor会学习一组参数，特征输入是pool 5的特征输出，拟合的目标是 。
Fast-RCNN 主要解决的问题是在RCNN中对于每一个region proposal都进行特征提取，会产生非常多的冗余计算，因此可以先对一张图像进行特征提取，再根据region proposal在相应的特征上进行划分得到对应region的特征（映射关系）。 这样便可以实现共享计算提高速度，但是与SPPnets不同，SPPnets在一副图像得到对应的特征后，从这张图像的特征上proposal对应的部分，采用空间金字塔池化，如下图：
RoI pooling的方法很简单，类似于空间金字塔pooling，它将proposal部分对应卷积层输出的特征（称之为RoI，因为用于做pooling的特征是 region of interest，也就是我们感兴趣的区域）划分成 块，然后对每一块求最大值，最终得到了一个 的特征图。可以看出，它只是空间金字塔pooling的一部分。 但是SPP-nets的空间金字塔也是可以求导的，那么它到底不好在哪里呢？因为当每一个RoI都可能来源于不同的图像的时候（R-CNN和SPPnets的训练策略是从一个batch的不同图像中，分别挑选一个proposal region），SPPNets的训练非常地低效，这种低效来源于在SPPnets的训练中，每个RoI的感受野都非常地大，很可能对应了原图的整个图像，因此，得到的特征也几乎对应了整张图像，所以输入的图像也就很大。 为了提高效率，Fast-RCNN首先选取 个图像，再从每个图像上选择 个RoI，这样的效率就比从每个图像提取一个RoI提高了 倍。
为了将分类和框回归结合起来，作者采用了多任务的loss，来进行联合的训练。具体来说就是将分类的loss和框回归的loss结合起来。网络的设计上非常直接，就是将RoI得到的特征接几个FC层后，分别接不同的输出层。对应于分类部分，特征会接一个softmax输出，用于分类，对于框回归部分，会接一个输出4维特征的输出层，然后分别计算loss，用于反向传播。loss的公式如下：
回归的target可以参考前面的R-CNN部分。
notes
为什么比fast还fast呢？主要原因是在这篇论文中提出了一个新的层：RPN（region proposal networks）用于替代之前的selective search。这个层还可以在GPU上运算来提高速度。 RPN的目的：
为了能够进行region proposal，作者使用了一个小的网络，在基础的卷积层输出的特征上进行滑动，这个网络输入大小为 ，输入后会映射（用 的卷积）为一个固定长度的特征向量，然后接两个并联的fc层（用 的卷积层代替），这两个fc层，一个为box-regressoin，一个为box-classification。如下图：
在每一个滑动窗口（可以参考 ），为了考虑到尽可能多的框的情况，作者设计了anchors来作为region proposal。anchors就是对于每一个滑动窗口的中心位置，在该位置对应的原图位置的基础上，按照不同的尺度，长宽比例框出 个不同的区域。然后根据这些anchors对应的原始图像位置以及区域，和ground truth，就可以给每一个滑动窗口的每一个anchor进行标记，也就是赋予label，满足一定条件标记为正类（比如和ground truth重叠大于一个值），一定条件为负类。对于正类，就可以根据ground truth和该anchor对应的原图的区域之间的变换关系（参考前面的R-CNN的框回归），得到回归器中的目标，用于训练。也就是论文中的loss function部分：
自然地，也就要求RPN的两个并联的FC层一个输出2k个值用于表示这k个anchor对应的区域的正类，负类的概率，另一个输出4k个值，用于表示框回归的变换的预测值。
对于整个网络的训练，作者采用了一种叫做 4-step Alternating Training 的方法。具体可以参考论文。
与之前的检测任务稍有不同，mask r-cnn的任务是做instance segmentation。因此，它需要对每一个像素点进行分类。 与Faster R-CNN不同，Faster R-CNN对每一个候选框产生两个输出，一个是类别，一个是bounding box的offset。Mask R-CNN新增加了一个输出，作为物体的mask。这个mask类似于ps中的蒙版。
与Faster R-CNN类似的是，Mask R-CNN同样采用RPN来进行Region Proposal。但是在之后，对于每一个RoI，mask r-cnn还输出了一个二值化的mask。
不像类别，框回归，输出都可以是一个向量，mask必须保持一定的空间信息。因此，作者采用FCN来从每个RoI中预测一个 的mask。
由于属于像素级别的预测问题，就需要RoI能够在进行特征提取的时候保持住空间信息，至少在像素级别上能够对应起来。因此，传统的取最大值的方法就显得不合适。 RoI Pooling，经历了两个量化的过程： 第一个：从roi proposal到feature map的映射过程。 第二个：从feature map划分成7*7的bin，每个bin使用max pooling。
为此，作者使用了RoIAlign。如下图
为了避免上面提到的量化过程
可以参考
作者使用ResNet作为基础的特征提取的网络。 对于预测类别，回归框，mask的网络使用如下图结构：
整体看完这几篇大佬的论文，虽说没有弄清楚每一个实现细节，但是大体上了解了算法的思路。可以看出，出发点都源于深度神经网络在特征提取上的卓越能力，因此一众大神试图将这种能力应用在检测问题中。从R-CNN中简单地用于特征提取，到为了提高速度减少计算的Fast R-CNN，再到为了将region proposal集成进入整个模型中，并且利用GPU加速的RPN，也就是Faster R-CNN。再到为了应用于instance segmentation任务中，设计的RoIAlign和mask。包括bounding box regression，pooling层的设计，训练方法的选择，loss的设计等等细节，无一不体现了大师们的思考和创造力。 可能在我们这些“拿来”者的眼中，这些方法都显得“理所应当”和巧妙，好用，但是，它们背后隐藏的选择和这些选择的思考却更值得我们学习。 以及，对待每一个问题，如何设计出合理的解决方案，以及方案的效率，通用性，更是应该我们努力的方向。
本篇论文关注的焦点在于多跳问答问题中，对于问题的拆分，在本文中，作者对问题的处理方法是将其分为多个子问题，其中这每个子问题通过一个单跳的阅读理解模型去解决回答问题，最后再将他们合并。将问题拆分作者使用的是对原问题进行跨度分割，根据问题的类型不同进行不同的处理，最后通过一个加权得到最后答案。 作者提出了DECOMPRC，这是一种用于多跳RC的系统，它将多跳问题分解为更简单的单跳子问题。 我们将子问题生成作为跨度预测问题，将模型训练在400个带标签的示例上可以生成高质量的子问题。 此外，DECOMPRC从分解评分步骤中获得了更多收益。 DECOMPRC在HOTPOTQA干扰项设置和完整的Wiki设置方面达到了最先进的水平，同时以子问题的形式为其决策提供了可解释的证据，并且在对抗性设置方面比强大的基线更强大。 回答复杂的问题对于人类来说是一项耗时的活动，需要推理和信息整合。最近在阅读理解方面的工作在回答简单问题方面取得了进展，但是解决复杂问题仍然是持续的研究挑战。相反，语义解析器已经成功地处理了组合性，但前提是该信息位于目标知识库中。在本文中，作者提出了一个新颖的框架，用于回答广泛和复杂的问题，假设使用搜索引擎和阅读理解模型可以回答简单的问题。我们建议将复杂的问题分解为一系列简单的问题，并从一系列答案中计算出最终答案 在本文中，作者提出了一个基于问题分解和与Web交互的新框架，用于回答复杂问题。 作者在此框架下开发了一个模型，并证明了该模型可以提高两个数据集上的复杂QA性能，并使用两个RC模型。 我们还发布了一个新的数据集COMPLEXWEBQUESTIONS，其中包括问题，SPARQL程序，答案和作者的模型收集的Web片段。 作者认为，该数据集将为质量保证和语义解析社区提供服务，推动对组成性的研究，并推动社区为质量保证提供整体解决方案。 在以后的工作中，作者计划对模型进行训练，直接从薄弱的监管（即表示法）中提取信息，并不仅要从网络中提取信息，还要从结构化信息源（例如网络表格和知识库）中提取信息。 在这项工作中，作者专注于复杂问题的语义解析，并提出了一种新颖的层次语义解析（HSP）方法，该方法利用复杂问题的分解性进行语义解析。 作者的模型是基于分解-集成的思想在三阶段的解析体系结构中设计的。 在第一阶段，提出了一个问题分解器，它将一个复杂的问题分解为一系列子问题。 在第二阶段，设计了一个信息提取器来导出这些问题的类型和谓词信息。 在最后一个阶段，将先前阶段生成的信息进行整合，并为复杂问题生成逻辑形式。 最后对复杂的语义复杂数据集COMPLEXWEBQUESTIONS进行了实验，结果表明，与最新方法相比，该模型取得了显着改进。 在这项工作中，作者提出了一种基于序列到序列范式的新颖的分层语义解析（HSP）模型。 实验表明，与以前的几个系统相比，HSP有效地提高了性能。 作者还设计了一种神经生成问题分解器，该分解器比基于拆分的问题分解方法具有更高的性能。 进一步的实验还证明，提出的神经生成问题分解器也受益于HSP机制 用于回答问题的语义解析的最新工作集中在冗长而复杂的问题上，如果在两个人之间的正常对话中提出问题，其中许多问题似乎是不自然的。 为了探索对话式质量检查环境，我们提出了一个更为现实的任务：回答一系列简单但相互关联的问题。 作者从Wikipedia收集了6,066个问题序列的数据集，这些问题序列查询了半结构化表格，总共有17,553个问题-答案对。 现有的QA系统在作者的数据集上进行评估时面临两个主要问题：（1）处理包含对先前问题或答案的共同引用的问题，以及（2）将问题中的单词或短语与关联表中的对应条目进行匹配。 作者提出了这样一个数据集，其中的问题是简单问题但是是有内在关联的，这样的数据集转向了一种更具对话性的多回合方案，在这种方案中，系统必须依靠先前的上下文来回答用户当前的问题。 为此，作者引入了SQA，该数据集由6,066个有关Wikipedia表的相互关联的问题的唯一序列组成，总共有17,553个问题-答案对。 据我们所知，SQA是第一个处理顺序问题解答的语义分析数据集，这是信息访问的更自然的界面 实际Web数据上的机器阅读理解（MRC）通常要求机器通过分析搜索引擎检索到的多个段落来回答问题。 与单通道的MRC相比，多通道的MRC更具挑战性，因为我们很可能会从不同的通道中获得多个令人困惑的答案候选者。 为了解决这个问题，我们提出了一种端到端的神经模型，该模型可使那些来自不同段落的答案候选者根据其内容表示来相互验证。 具体来说，我们联合训练三个模块，这些模块可以基于三个因素来预测最终答案：答案边界，答案内容和跨通道答案验证。 实验结果表明，我们的方法在很大程度上优于基线，并且在英语MS-MARCO数据集和中文DuReader数据集上均达到了最先进的性能，这两种数据集都是为实际环境中的MRC设计的 。 在本文中，我们提出了一个端到端的框架来解决多通道MRC任务。 我们在模型中创造性地设计了三个不同的模块，它们可以找到答案边界，对答案内容进行建模并进行跨通道答案验证。 可以使用不同形式的答案标签来训练所有这三个模块，并且一起训练它们可以提供进一步的改进。 实验结果表明，我们的模型在很大程度上优于基线模型，并且在两个具有挑战性的数据集上均达到了最新的性能，这两个数据集都是为在实际Web数据上的MRC设计的。 判别式问答模型可能过度适合数据集中的表面偏见，因为当任何线索使答案成为可能时，它们的损失函数就会饱和。 我们介绍了问题和答案的联合分布的生成模型，这些模型经过训练可以解释整个问题，而不仅仅是回答它。 我们的问题回答（QA）模型是通过学习先验答案和条件语言模型来实现的，该条件语言模型根据给定的答案来生成问题-在逐字生成问题时允许进行可扩展且可解释的多跳推理。 我们的模型通过在SQUAD和CLEVR基准测试中具有可比性的判别模型而获得了具有竞争力的性能，这表明与以前的工作相比，它是用于语言理解和推理的更通用的体系结构。 该模型极大地提高了从有偏见的训练数据到对抗测试数据的通用性，从而在ADVERSARIALSQUAD上获得了最新的结果 本文提出基于生成模型架构的机器阅读模型，其优化的目标是：给定context，最大化question和answer的联合概率，用概率表示为p(a,q|c)。该概率可以分解为p(a|c)p(q|a,c)。对于这两部分，分别训练两个模型，最后在预测时，遍历所有候选的answer选出最大化联合概率p(a,q|c)的answer作为预测结果。 基于知识库的问题解答（KB-QA）在处理需要分解为子问题的复杂问题时提出了挑战。 这里要解决的一个重要案例是时间问题，需要发现和处理时间关系的线索。 我们提出TEQUILA，这是一种可以在任何KB-QA引擎之上运行的时间QA的使能方法。 TEQUILA有四个阶段。 它检测问题是否具有时间意图。 它分解问题并将其重写为非时间子问题和时间约束。 然后，从基础KB-QA引擎检索对子问题的答案。 最后，TEQUILA在时间间隔上使用约束推理来计算完整问题的最终答案。 与最先进的基准进行比较显示了我们方法的可行性。 TEQUILA将复合时间问题分解为一个或多个非时间子问题（返回候选答案）和一个或多个时间子问题（返回时间约束）。子问题的结果通过相交的答案相结合。 将约束应用于与非时间子问题的结果相关的时间范围。 作者使用从第一原理设计的一组词汇语法规则来分解问题并将其重写为其组成部分 理解复杂问题的组成语义是质量检查的一个公开挑战。 我们专注于暂时性问题解答（KB），这是应付重要信息需求的重要步骤。 我们的方法在最近的基准测试中表现出了提高的性能，并且在一般复杂问题上的表现优于最新的基准。 我们的工作强调了构建可重复使用的模块的价值，这些模块可改进多个KB-QA系统
Automatic Pixel-Level Crack Detection on Dam Surface Using Deep Convolutional Network 论文笔记 论文：Automatic Pixel-Level Crack Detection on Dam Surface Using Deep Convolutional Network Received: 大多数坝面裂缝检测只能实现裂缝分类及粗略的定位。像素级语义分割检测可以提供更加精确直观的检测结果。作者提出一种基于深度卷积网络的坝面裂缝检测算法。首先使用无人机进行数据采集，然后对采集到的图像进行预处理（包括裁剪、手动标注），最后对设计好的CDDS 网络结构进行训练、验证和测试。 与ResNet152-based SegNet U-Net FCN 进行了比较。 大坝是水电站的重要水利建筑物。大坝的安全运行对于水电站有着重要的意义。由于结构变形、地震、水流引起的裂缝对大坝坝体产生严重的影响并威胁到水电站的安全运行。因此，对大坝结构的定期健康评估，特别是对大坝裂缝的检测任务变得尤为重要。 根据大坝裂缝的结构特征以及裂缝强度，人们可以对大坝的结构健康进行评估和监测。传统的大坝裂缝的巡检任务通常基于人工进行检测，但是效率低下、耗时费力，浪费了大量的人工成本，因此对裂缝的自动高效检测是非常必要的。 基于计算机视觉的裂缝检测算法得到了广泛的研究。这些方法大多采用传统的图像处理技术和机器学习方法，以识别出一些简单的结构损伤。这些方法利用手工提取的特征从图像中提取特征，然后评估提取的特征是否表示缺陷。然而，上述方法的结果不可避免地受到主观因素的影响 卷积神经网络（CNN）在图像分类和识别领域取得很大的进步，基于CNN的裂缝检测算法也展示出更优异的表现。大坝裂缝的特点： 修补痕迹、噪声大、背景纹理复杂、非结构化的、分布不均匀、裂缝位置随机、背景模糊等缺点 提出了一种像素级的大坝表面裂缝检测方法，利用深卷积网络进行特征提取。利用浅卷积层的定位特征和深卷积层的抽象特征，进行 多尺度卷积级联融合和多维损失值计算 ，实现裂纹缺陷像素级分割，并以高精度、高效率等优点解决了坝面明显裂缝检测问题，消除了可能存在的安全隐患，确保了坝面安全。实验结果表明，该方法对大坝表面像素级裂缝的检测是最优的。 语义分割 PSPNet [42],ICNet [43], Deeplabv3[44],UNet [45] and SegNet [46] 语义分割网络通常分为编码网络和解码网络。 编码网络： 卷积层：用于提取输入图像的特征 池化层：减小feature map的规模，减轻计算负担。 解码网络： 反卷积层（反褶积层）：上采样还原feature map大小与输入图像相同，并输出预测结果。 编解码网络结构高度对称：同时利用稀疏feature map和稠密feature map。 为了融合sparse 和 dense feature ，采用跳跃模块以连接编解码网络。编码网络： 15 卷积层：3*3 步长1 4 池化层： 2*2 步长2 解码网络： 15 反卷积层 1*1 4池化层 采用dropout和BN防止过拟合。 Skip branch 4个，1*1卷积和反卷积 每个branch计算 branch loss，4个branch loss级联为总损失的一部分。 Skip branch 的输入输出图像大小不变。卷积核的通道数必须等于输入张量的通道数。降采样 取矩阵最大值 卷积核大小 2*2 步长为2。反褶积也叫做转置卷积 通过上采样还原feature map与输入图像大小相同。 上采样方法：反褶积法、 插值法 反褶积法：对张量进行zero-padding填充最外层，再用反褶积核进行反褶积，修剪第一行和最后一行。1000副5472*3648图像使用LEAR软件手动标记。 得到504张数据集，404用于训练，50用于验证，50用于测试。 在Linux系统上使用TensorFlow构建的 在配置了8 GB GPU的HP工作站上执行培训、验证和测试 利用Anaconda建立了CDDS网络的虚拟python环境评价指标： Precision精度表示在所有预测破裂的样本中，样本的基本真实性也被破解的概率。 Recall召回表明在所有标记为开裂的样本中，样本被预测为开裂的概率。当正负样本数量存在较大差距时，仅使用精确性或召回率来评估性能是不合理的。TPR表示所有标记为裂纹的样本中被正确预测为裂纹的概率。TNR代表以标签为背景的所有样本中被正确预测为背景的概率.F-measure考虑到查全率和查准率的综合影响，F-测度是一个综合指标。IoU是目标检测领域中常用的评价定位精度的方法。IoU表示预测结果与地面真实值的交集与联合的交集的比率。大坝表面裂缝图像分为背景和裂缝两类。背景像素的数目远大于裂纹像素的数目。通常情况下，我们会同时计算背景arrears和裂缝arrears，然后以两张arrears的平均数作为最终arrears。IoU值是由背景像素决定的，不能准确表达裂纹的定位精度。使用三种学习速率10^4,10^5,10^6 使用softmax函数计算概率 使用Dice loss计算网络损失。 裂缝骨架提取：快速细化算法 调用OpenCV库，进行计算。 计算裂缝面积及长度宽度。使用其他裂缝数据集进行补充验证 ，在测试数据集上，提出的CDDS网络的裂纹IOU和F测度分别达到和 略。
对于目标检测方向并不是特别熟悉，本文记录一下RCNN, fast-RCNN, faster-RCNN, mask-RCNN这4篇有关目标检测的论文笔记和学习心得。
R-CNN的意思就是Region based，主要思路就是根据一张图像，提取多个region，再将每个Region输入CNN来进行特征的提取。因此RCNN就可以分为 Region proposals , Feature extraction 两个主要部分，提取的特征就可以输入任意一个分类器来进行分类。 模型的流程图如下：
在训练的时候，首先使用的是已经训练好的CNN网络作为特征提取器，但是由于预训练是在分类数据集上，因此在应用到检测之前要做finetune。也就是说，为了将用ImageNet数据集训练的网络应用到新的任务（检测），新的数据集（region）上，作者将原来的CNN最后的1000类的fc层，更改为了 层， 代表待检测的物体的类别数。然后，对于所有的region，如果它和ground truth的重叠率大于，就认为是正类。 对于分类器的训练，作者发现选择多大的IoU来区分正类和负类非常关键。并且，对于每一类，都会训练一个分类器。
框的回归非常重要，在对每一个region proposal使用分类器进行打分评价之后，作者使用一个回归器来预测一个新的框作为结果。这个回归器使用的特征是从CNN中提取的特征。回归器的训练中，输入是 region proposal 的 和ground truth的 ，目标是学习一种变换，使得region proposal通过该变换能够接近ground truth。同时，希望这种变换拥有尺度不变性，也就是说尺度变化的话，变换不会改变。 如下图所示，每一个regressor会学习一组参数，特征输入是pool 5的特征输出，拟合的目标是 。
Fast-RCNN 主要解决的问题是在RCNN中对于每一个region proposal都进行特征提取，会产生非常多的冗余计算，因此可以先对一张图像进行特征提取，再根据region proposal在相应的特征上进行划分得到对应region的特征（映射关系）。 这样便可以实现共享计算提高速度，但是与SPPnets不同，SPPnets在一副图像得到对应的特征后，从这张图像的特征上proposal对应的部分，采用空间金字塔池化，如下图：
RoI pooling的方法很简单，类似于空间金字塔pooling，它将proposal部分对应卷积层输出的特征（称之为RoI，因为用于做pooling的特征是 region of interest，也就是我们感兴趣的区域）划分成 块，然后对每一块求最大值，最终得到了一个 的特征图。可以看出，它只是空间金字塔pooling的一部分。 但是SPP-nets的空间金字塔也是可以求导的，那么它到底不好在哪里呢？因为当每一个RoI都可能来源于不同的图像的时候（R-CNN和SPPnets的训练策略是从一个batch的不同图像中，分别挑选一个proposal region），SPPNets的训练非常地低效，这种低效来源于在SPPnets的训练中，每个RoI的感受野都非常地大，很可能对应了原图的整个图像，因此，得到的特征也几乎对应了整张图像，所以输入的图像也就很大。 为了提高效率，Fast-RCNN首先选取 个图像，再从每个图像上选择 个RoI，这样的效率就比从每个图像提取一个RoI提高了 倍。
为了将分类和框回归结合起来，作者采用了多任务的loss，来进行联合的训练。具体来说就是将分类的loss和框回归的loss结合起来。网络的设计上非常直接，就是将RoI得到的特征接几个FC层后，分别接不同的输出层。对应于分类部分，特征会接一个softmax输出，用于分类，对于框回归部分，会接一个输出4维特征的输出层，然后分别计算loss，用于反向传播。loss的公式如下：
回归的target可以参考前面的R-CNN部分。
notes
为什么比fast还fast呢？主要原因是在这篇论文中提出了一个新的层：RPN（region proposal networks）用于替代之前的selective search。这个层还可以在GPU上运算来提高速度。 RPN的目的：
为了能够进行region proposal，作者使用了一个小的网络，在基础的卷积层输出的特征上进行滑动，这个网络输入大小为 ，输入后会映射（用 的卷积）为一个固定长度的特征向量，然后接两个并联的fc层（用 的卷积层代替），这两个fc层，一个为box-regressoin，一个为box-classification。如下图：
在每一个滑动窗口（可以参考 ），为了考虑到尽可能多的框的情况，作者设计了anchors来作为region proposal。anchors就是对于每一个滑动窗口的中心位置，在该位置对应的原图位置的基础上，按照不同的尺度，长宽比例框出 个不同的区域。然后根据这些anchors对应的原始图像位置以及区域，和ground truth，就可以给每一个滑动窗口的每一个anchor进行标记，也就是赋予label，满足一定条件标记为正类（比如和ground truth重叠大于一个值），一定条件为负类。对于正类，就可以根据ground truth和该anchor对应的原图的区域之间的变换关系（参考前面的R-CNN的框回归），得到回归器中的目标，用于训练。也就是论文中的loss function部分：
自然地，也就要求RPN的两个并联的FC层一个输出2k个值用于表示这k个anchor对应的区域的正类，负类的概率，另一个输出4k个值，用于表示框回归的变换的预测值。
对于整个网络的训练，作者采用了一种叫做 4-step Alternating Training 的方法。具体可以参考论文。
与之前的检测任务稍有不同，mask r-cnn的任务是做instance segmentation。因此，它需要对每一个像素点进行分类。 与Faster R-CNN不同，Faster R-CNN对每一个候选框产生两个输出，一个是类别，一个是bounding box的offset。Mask R-CNN新增加了一个输出，作为物体的mask。这个mask类似于ps中的蒙版。
与Faster R-CNN类似的是，Mask R-CNN同样采用RPN来进行Region Proposal。但是在之后，对于每一个RoI，mask r-cnn还输出了一个二值化的mask。
不像类别，框回归，输出都可以是一个向量，mask必须保持一定的空间信息。因此，作者采用FCN来从每个RoI中预测一个 的mask。
由于属于像素级别的预测问题，就需要RoI能够在进行特征提取的时候保持住空间信息，至少在像素级别上能够对应起来。因此，传统的取最大值的方法就显得不合适。 RoI Pooling，经历了两个量化的过程： 第一个：从roi proposal到feature map的映射过程。 第二个：从feature map划分成7*7的bin，每个bin使用max pooling。
为此，作者使用了RoIAlign。如下图
为了避免上面提到的量化过程
可以参考
作者使用ResNet作为基础的特征提取的网络。 对于预测类别，回归框，mask的网络使用如下图结构：
整体看完这几篇大佬的论文，虽说没有弄清楚每一个实现细节，但是大体上了解了算法的思路。可以看出，出发点都源于深度神经网络在特征提取上的卓越能力，因此一众大神试图将这种能力应用在检测问题中。从R-CNN中简单地用于特征提取，到为了提高速度减少计算的Fast R-CNN，再到为了将region proposal集成进入整个模型中，并且利用GPU加速的RPN，也就是Faster R-CNN。再到为了应用于instance segmentation任务中，设计的RoIAlign和mask。包括bounding box regression，pooling层的设计，训练方法的选择，loss的设计等等细节，无一不体现了大师们的思考和创造力。 可能在我们这些“拿来”者的眼中，这些方法都显得“理所应当”和巧妙，好用，但是，它们背后隐藏的选择和这些选择的思考却更值得我们学习。 以及，对待每一个问题，如何设计出合理的解决方案，以及方案的效率，通用性，更是应该我们努力的方向。
这个需要很强的综合实力才能够完成的，在这儿应该找不到答案
随着学术不端整治力度的不断加强，目前绝大部分的学校对于毕业生的毕业论文都要进行论文查重，只有查重重复率合格才能准予毕业。对于普通学生来说，查重一次的费用动辄几十多则几百上千，那么对于一些学校要求不是很严格，亦或者论文处于修改过程中，每次修改完成想要测一下论文重复率多少，有没有费用低的查重系统，甚至是免费系统呢？Paperbye论文查重系统有免费查重版本，也有拥有丰富的查重比对库资源中文期刊论文库（中国期刊论文网络数据库、中文科技期刊数据库、中文重要学术期刊库、中国重要社科期刊库、中国重要文科期刊库、中国中文报刊报纸数据库等）亿级单位的硕士，博士毕业学位论文库（中国学位论文数据库、中国硕博论文数据库、中国优秀硕博论文数据库）共享查重库（部分高校共享的论文资源）互联网数据资源（数十亿互联网数据资源，时时更新）支持自建库，支持多种文档形式提交查重。算法经过多年的更新迭代，查重结果更准确，标红更严格，重复内容无处躲藏，免费版非常适合初稿，修改稿的提前查重。
之前文章罗列很多查重软件其实包括付费和免费，今天例举部分免费查重软件仅供参考：
学术不端论文查重
大学生版（专/本科毕业论文定稿）、研究生版（硕博毕业论文定稿）、期刊职称版（期刊投稿，职称评审）以上版本均可免费查重不限篇数。
PaperFree
PaperFree是中英文及多语种论文相似度检测系统，特色机器人降重、在线改重功能，可以实现自动降低文章相似比例，并且在同一界面上一边修改一边检测，即时反馈查重结果，使用户体验、查重效率翻倍。PaperFree为用户人性化地完美实现了“首次免费论文检测―高效在线改重―智能机器人降重―全面再次论文检测―顺利通过论文检测“的整个全过程。
PaperPass
PaperPass是全球首个中文文献相似度比对系统，已经发展成为一个中文原创性检查和预防剽窃的在线网站。一直致力于学术论文的检测。
PaperTime
PaperTime是在“教育大数据联盟平台”的基础上，优先获取教育数据资源，采用多级指纹对比技术及深度语义识别技术，实现“实时查重、在线修改、同步降重”一步到位。
PaperBye论文查重软件在
推出永久免费版，每日不限制篇数和字数，完全彻底免费查重！
目前分两个版本，一个是标准版，一个是旗舰版，标准版8个比对数据库，旗舰版12比对数据库。
使用方法如下：
第一步，打开paperbye官网用微信扫码关注公众号登录
第二步，登录成功后，选择永久免费标准版本，上传需要查重的论文；
第三步，提交成功后，点击“查看检测报告”即可；
第四步，如果需要进行论文在线改重或机器降重，可以在查看报告列表查看
根据自己需求，在线改重，如果报告比例较高，自己进行修改的话，可以在报告里一边修改一边查重，及时反馈修改结果；机器改重，就是软件辅助自动修改文章降重，可以辅助自己提供论文修改效率。
目前免费论文检测网站比较多，主流的查重网站有知网学术不端查重、维普查重、万方查重，高校都有1-2次的免费查重机会，具体得看各个学校的要求而定，paper系列主流查重有PaperFree、PaperPass、PaperTime、Paperok等，以上几家paper系列都是跟wps、百度学术、360学术等都有合作，感兴趣的同学可以搜一下，每个学术平台免费查重优惠也是不一样，接下来我们逐步一一列举上面所提的查重软件具体情况：
知网查重
中国知网，始建于1999年6月，是中国核工业集团资本控股有限公司控股的同方股份有限公司旗下的学术平台。知网是国家知识基础设施（National Knowledge Infrastructure，NKI）的概念，由世界银行于1998年提出。CNKI工程是以实现全社会知识资源传播共享与增值利用为目标的信息化建设项目。
维普查重
维普论文检测系统，由重庆泛语科技有限公司自主研发，采用先进的海量论文动态语义跨域识别加指纹比对技术，通过运用云检测服务部署使其能够快捷、稳定、准确地检测到文章中存在的抄袭和不当引用现象，实现了对学术不端行为的检测服务。
万方查重
万方查重是北京万方数据股份有限公司旗下唯一独立运营的产品。万方查重致力于提供多样化的科技信息服务。公司以客户为导向，依托强大的数据采集能力，应用先进的信息处理技术和检索技术，为科技界、企业界和政府部门提供高质量的信息资源产品。并陆续推出万方查重、万方毕业论文管理系统、万方VR虚拟教育平台等一系列产品。
PaperFree
PaperFree是中英文及多语种论文相似度检测系统，特色机器人降重、在线改重功能，可以实现自动降低文章相似比例，并且在同一界面上一边修改一边检测，即时反馈查重结果，使用户体验、查重效率翻倍。PaperFree为用户人性化地完美实现了“首次免费论文检测―高效在线改重―智能机器人降重―全面再次论文检测―顺利通过论文检测“的整个全过程。
PaperPass
PaperPass是全球首个中文文献相似度比对系统，已经发展成为一个中文原创性检查和预防剽窃的在线网站。一直致力于学术论文的检测。
PaperTime
PaperTime是在“教育大数据联盟平台”的基础上，优先获取教育数据资源，采用多级指纹对比技术及深度语义识别技术，实现“实时查重、在线修改、同步降重”一步到位。
Paperok
PaperOK论文查重，基于大数据海量学术文献资源及互联网资源，坚持客观、公正、精准、全面的原则，对学术不端行为进行管理，为用户提供客观详实的查重报告，为出版、科研、学术等提供支持！
目前个人认为笔杆网是最贴近知网的查重系统，跟很多学校有合作，值得推荐，我们学校图书馆就能用。两者估计上下浮动5%左右，这是大部分情况。当然偶尔有文章相差也会大些，毕竟不同的检测系统的比对库有些区别，算法也不同，而文章借鉴部分也各不相同。
笔杆网和知网查重的相似度为80%，笔杆网比知网高20%左右，知网查重系统独有“大学生联合对比库”，知网能检测出学长的毕业论文，所以尽量不引用学长的论文。笔杆论文查重系统则是没有这个数据库的，如果你抄了学长的毕业论文，笔杆网可能无法检测到。
杆网查重目前收费比较便宜，还可以使用在线选题写作等功能，是写论文时辅助修改的好工具，初稿可以试试看。但大学又是以知网查重为准的，他们的检测结果会有些许差别，最后最好使用知网检测一次。
知网查重与笔杆查重区别
第一、检测时间的区别
笔杆检测一般只需要等上30秒左右的时间，即使你的论文内容很多，也只需要等上几分钟，通过个人账户可以查看检测报告。但知网查重一般要半小时，慢的需要几个小时，此外，笔杆检测不支持PDF查重，上传的文档格式限制为doc、docx、txt格式。
第二、检测原理的区别
知网是系统判断重复的连续13个字符相似为重复，且知网系统存在5％的阈值，同一文章在进行检测时也会有误差。目前笔杆网检测的原理还不清楚，但肯定不同于知网检测。
系统之前的算法都是与差异的，自然检测出来的结果也是不同的，不过初稿的话先查在修改，定稿在用知网也可以。
没听说这个检测网，已发表过的论文我多实在。考克网上进行检测的。这个网站还是比较靠谱。
笔杆网和知网查重的相似度为80%，笔杆网比知网高20%左右，知网查重系统独有“大学生联合对比库”，知网能检测出学长的毕业论文，所以尽量不引用学长的论文。笔杆论文查重系统则是没有这个数据库的，如果你抄了学长的毕业论文，笔杆网可能无法检测到。
杆网查重目前收费比较便宜，还可以使用在线选题写作等功能，是写论文时辅助修改的好工具，初稿可以试试看。但大学又是以知网查重为准的，他们的检测结果会有些许差别，最后最好使用知网检测一次。
知网查重与笔杆查重区别
第一、检测时间的区别
笔杆检测一般只需要等上30秒左右的时间，即使你的论文内容很多，也只需要等上几分钟，通过个人账户可以查看检测报告。但知网查重一般要半小时，慢的需要几个小时，此外，笔杆检测不支持PDF查重，上传的文档格式限制为doc、docx、txt格式。
第二、检测原理的区别
知网是系统判断重复的连续13个字符相似为重复，且知网系统存在5％的阈值，同一文章在进行检测时也会有误差。目前笔杆网检测的原理还不清楚，但肯定不同于知网检测。
几秒钟就可以出报告，安全可靠，原文上传之后即被转换成加密指纹，不存在原文泄漏担忧，一般查重软件的数据库收录的都是知网公开的数据，不会留档的
安全的~笔杆网论文检测系统遵守相关保密规定，全站使用HTTPS加密协议,文档上传阿里云OSS，支持自主删除，报告加密。绝不收录和泄露您送检文档的任何信息，可以放心检测
正规的论文查重系统不会对查重论文进行留档，查重系统会定期清理查重记录，查重报告一般只保留一个星期左右，清理之后就无法找回了，PaperPP论文查重系统就是这样的，完全杜绝了论文泄露的可能，所以同学们可以放心使用。