cv研究生论文

cv研究生论文

　　美国留学Curriculum Vitae即个人简历对于留学申请者来说非常重要，美国留学申请CV是校方了解自己的重要途径，下面我给大家总结了美国留学申请CV写作的九大原则，供大家参考。

　　1. 美国留学Curriculum Vitae非常非常重要，它可以在最短的时间里了解申请者的大概层次，所以CV是继成绩单和GT之后教授看的第一样东西。但一篇好的CV需要靠三年的长期努力和累积(参见第18点)。

　　2. 个人认为几个要素的重要性(文科类，尤其法学院)：CV>WS>GT>GPA>PS(含WE)>RL。你需要用GPA证明你的一般学习能力，用GT证明你的英语水平及标准化考试能力，用CV囊括你这大学三年的专业建树，用WS来表现专业研究的具体水平，用PS从另一个角度展示个性化因素，用RL从其他侧面旁敲侧击勾勒出申请者的另一个形象，用WE表示你申请该校的诚意及个人需要。

　　这些东西加在一起成为了一个整体。而即便是相对来说排位最最不重要的RL，也必须倾注大量心血(参见第21点)。所以总的来说，这些指标没一个是不重要的，都必须全力以赴认真对待，只有尽力将各方面做得尽量无可挑剔，才可能获得好的结果。

　　3. 找一份专业的CV，不要参考那些牛人教授的，那些太牛了没法比。可以参考美国应届生的CV，用词专业，格式正规。

　　4. 有了第18条的底子和CV样板，把这些经历罗列上去就OK。注意用词尽量优化。最后最好附上各种活动、奖状、论文发表的照片，大大增加真实性和直观性(如果申的是法学院，更该附上去，让教授觉得你有主张什么都附证据的好习惯)。

　　6. 能造假的都是不重要的。

　　7. 申请材料要注意前后呼应。比如CV里写到发表了一篇论文，然后可以说参见WS，WS里附上论文英文版;或者CV里写到参加了某某专业活动，PS里写自从参加了这个活动之后，我的专业生涯兴趣发生了什么飞跃/变化之类。这样能让你的申请看上去更整体，也更有真实性。

　　8. 如果CV有了很多图片，注意容量压缩，否则网申传不上去。

　　9. 申请的纸张和打印店的选择也很重要。建议用120G的纸，物色一家最好的打印店。彩打简历里的照片、奖状要印得很清晰，看上去很有质感。

　　通过上面对美国留学申请CV写作的解读，相信对于很多计划申请美国研究生的学生可以参考上面的信息来提前做好申请美国研究生的准备和规划。

关于申请：CV中的研究经历及论文发表

如果是要去发表论文的话或许我能帮助你，《教学与管理》、研究类、党建类等多种刊物。可包发包写，也可自己投稿，权威性蛮高的，有必要就见我吧！
非诚勿扰，谢谢！

【CV论文笔记】MobileNetV2: Inverted Residuals and Linear Bottlenecks（MobileNetV2理解）

本文主要用于介绍谷歌实验室团队于2018年提出的一种轻型网络MobileNetV2。本笔记主要为方便初学者快速入门，以及自我回顾。

论文链接：

基本目录如下：

------------------第一菇 - 摘要------------------

在本论文中，我们描述了一种新的网络架构MobileNetV2，该网络在多个视觉基础任务上相比于第一代MobileNets都取得了更好的效果。我们同时还针对目标检测任务，基于我们的MobileNetV2，改进出了一套新的架构，名为SSDLite。同时，对于实例分割任务，我们也在DeepLabv3的基础上进行了改进，提出了Mobile DeepLabv3。

整套MobileNetV2网络架构是基于翻转残差结构的（inverted residual structure），其中依然采用了轻型的深度卷积（depthwise convolutions）来实现滤波操作，同时我们将那些非线性的激活函数给移除了。这一操作带来了不少效果的提升，后文我们也会进行一定的阐述。

最后我们想说，我们的架构能很容易的被迁移应用于其他应用研究。当然，我们也在ImageNet分类，COCO目标检测，VOC图像分割上进行了实验，与其他模型也会进行仔细对比，包括时效性，参数量，准确性等～

------------------第二菇 - 核心思想------------------

不了解MobilesNet第一版的同学，可以先看其第一版的，我自己的个人链接 笔记 也在此献上。

MobileNetsV1版本的想必大家都了解清楚了，但是第一版有一个很奇怪的问题，那就是深度卷积部分的卷积核比较容易训废掉，训废的意思就是发现训练出来的卷积核不少是空的，如下图所示【1】，

而训废的锅，作者认为是ReLU激活函数的锅。。。并且写了好长好长的理论来证明这件事情。。。（很多东西本菇也难以理解。。。只能看看各路大神的想法，这里总结一下）

直接看一张原论文中的图，

上面这张图想表达的意思其实很简单，就是 对低维度做ReLU运算，信息丢失的很多 （如上图，dim=2,3的时候，边界那里直接就没了 ），但是如果是 对高维度做ReLU运算，信息的丢失就会相对减少了 （比如上图，dim=30的时候，边界那里还保留了很多）

因此，这也就解释了卷积核很多是空的现象。因此，作者在第二代中就将ReLU替换成了线性的激活函数。

当然在真实运用时，并不是将所有的激活函数都替换成了线性了（。。。如果真是这样就要报警了?），其实只有把最后那个ReLU6给替换成了线性的，如下图所示～

这一块就比较好理解了，其实就是借鉴了残差模块的思想，引入了shortcut结构，但是，这里是inverted！是颠倒残参，那具体的区别是什么呢？

直接贴一张原论文中的图，方便讲解，

首先我们来看一下 残差模块 ，输入首先是经过 卷积进行压缩，然后利用 的卷积进行特征提取，最后再用 的卷积将整个通道数变回去，整个过程就是“降维-卷积-升维”，这样的目的也很简单就是为了减少 模块的计算量，提供整个残差模块的计算效率。

接着我们再来看一下 倒置残差模块 ，输入首先经过 的卷积进行通道扩张，然后使用 的depthwise卷积，最后再用 的卷积将通道数压缩回去，整个过程就是“升维-卷积-降维”，因此整个是与标准的残差模块相反的操作。

这里盗一张网上的图【2】，感觉阐述的很清晰，

而之所以要升维的原因，是因为depthwise本身没有改变通道数的能力，而其在低维度上的表现又比较糟糕，因此，需要升维，从而提高准确率。

至此，本文的2个创新点已经阐述完毕，这里再贴一张V2的block示意图【1】，

当然，少不了要和V1进行对比，这里再盗一张图【2】，

至此，整个MobileNetV2感觉已经说清楚了，具体的网络架构和实验结果，本文就不多做阐述了，论文里都有而且易懂～

------------------第三菇 - 总结------------------

到这里，整篇论文的核心思想已经说清楚了。本论文主要是在MobileNets的基础上又提出了一种轻型的网络架构MobileNetV2，并实验证明了该网络的可行性，为后续发展奠定了基础。

简单总结一下本文就是先罗列了一下该论文的摘要，再具体介绍了一下本文作者的思路，也简单表述了一下，自己对整个MobileNetV2网络架构的理解。希望大家读完本文后能进一步加深对该论文的理解。有说的不对的地方也请大家指出，多多交流，大家一起进步～?

参考文献： 【1】 【2】

【CV论文笔记】Focal Loss for Dense Object Detection（Focal Loss 理解）

本文主要用于介绍各路大神（包括rbg, kaiming he等）于2017年提出的适用于目标领域的一种新的损失函数。本笔记主要为方便初学者快速入门，以及自我回顾。

论文链接： github主页： rbg大神个人主页：

基本目录如下：

------------------第一菇 - 摘要------------------

目前最准确的目标检测模型就是以两阶段的R-CNN系列为代表的。相比之下，单阶段的目标检测模型虽然在准确率上依然落后于两阶段的模型，但是其简易和速度快的特性毫无疑问具有巨大的潜力。在这篇文章中，我们就深入调研为什么单阶段的模型其准确率会不甚理想。在调研过程中，我们发现最主要的一个问题就是在训练过程中的正负样本（背景和真实目标）不均匀。因此，我们设计了一个新的损失函数，来减少那些易于分类的样本带来的损失。我们新的Focal Loss损失函数重点关注那些难于被训练的（hard examples），并且尽量避免被那些负样本所带偏。为了验证我们模型的有效性，我们还重新设计了一个新的检测器，命名为RetinaNet，我们的实验表明，运用了新的损失函数以后，我们的RetinaNet在速度上已经能够媲美那些单阶段模型，同时在准确率上能够压制现存所有的两阶段模型（存疑）。

------------------第二菇 - 核心思想------------------

既然本文把单阶段的模型不如多阶段的主要归因于正负样本不均衡这件事情，那我们就直接列出原文的观点。作者认为，正负样本不均衡将会导致，

1）training is inefficient as most locations are easy negatives that contribute no useful learning signal

2）en masse, the easy negatives can overwhelm training and lead to degenerate models

还是拿目标检测的场景来理解，单阶段的目标检测器通常会在第一阶段产生高达100k的候选目标，其中只有极少数是正样本，因此该场景就是一个典型的正负样本不平衡的问题（如下图所示），然后，正样本和负样本又都各自有难易之分，即有些正样本很容易区分，有些又很难区分，因此，正负样本又可以分为如下四类，

（注：如果有不明白的，结合具体的网上盗的一张示意图明白了【1】）

弄清楚了数据分布以后，我们再来看损失函数。我们最常用的在计算分类的时候常用的损失就是交叉熵损失（以二分类为例），

其中 就是模型输出的概率（y=1），为了方便表述，通常定义，

此时，

然后，为了解决正负样本不平衡的问题，很自然的我们都会添加一个 ，该参数通常取决于正负样本的比例，

当然， 只是平衡了正负样本对于最终损失的贡献度，但对难易不平衡的事情完全没有帮助。事实上，如上述第二条理由所述，在目标检测的任务中，存在着大量的易分样本，虽然单个来看每一个易分样本（置信度很高的样本）带来的损失很低，但是如果总的易分样本数量过多的话，积少成多，也会引领总的损失走向错误的方向。因此，本文作者也认为，模型应该重点关注那些难分的样本（hard examples），于是据此理论就提出了一个新的损失计算方法，

大家仔细研究一下这个公式就会发现， 1）当样本被错分的时候，通常 是会比较小的，因此我们新加的权值项 也是接近于1的，意思就是该项损失应该都有贡献； 2）而当样本是正确分类的时候， 就会相对比较大，权值项也就对应变小了，意思就是该项损失的贡献是很少的；

因此，最终的Facal Loss就是结合了上述的2个点提出的，

这里也贴一张原论文中的图，作者发现 的时候效果最佳～

其实整一套网络架构，跟RPN网络是比较像的，这里直接贴一张原论文中的网络架构图，

这里简单提几个关键的变化点， 1）其基础提取图片特征的模型采用的是ResNet，并且结合了FPN网络，用以构建不同层级对应的特征图，因此其基本的架构（backbone）就是ResNet + FPN的组合。

2）对应每一层级提出的特征，都会输入到2个结构一摸一样的子网络中（subnetworks），分别用于分类和回归！俩个子网络的架构是一样的，但是参数是不一样的（sharing a common structure, use separate parameters）。

3）Anchors的设计机制跟RPN中的是相似的，只不过对应到FPN中，每一层级特征图对应的Anchor大小是不一样的。每一个层级对应设置的Anchor比例为 ，每一种比例对应3种大小尺度 ，因此总的anchors数为9。

这里贴一张具体的实验结果图，方便以后查看（具体实验过程不再阐述），

当然作者本文的结论肯定就是，证明了这种Focal Loss设计的有效性了～

------------------第三菇 - 总结------------------

到这里，整篇论文的核心思想已经说清楚了。本论文主要是提出了一个新的对于样本不均衡问题的损失函数的设计方法，并实验证明其可行性，为后续发展奠定了基础。

简单总结一下本文就是先罗列了一下该论文的摘要，再具体介绍了一下本文作者的思路，也简单表述了一下，自己对Focal Loss的理解。希望大家读完本文后能进一步加深对该论文的理解。有说的不对的地方也请大家指出，多多交流，大家一起进步～?

参考文献： 【1】

【CV论文笔记】Convolutional Pose Machines（CPM理解）

本文主要用于介绍CMU开源项目OpenPose的前身CPM。本笔记主要为方便初学者快速入门，以及自我回顾。

论文链接：

基本目录如下：

------------------第一菇 - 摘要------------------

PM提供了一套用于预测丰富空间信息的框架，在本论文的工作中，我们将卷积网络集成进PM框架中来学习图片特征和图片空间模型并用于人体姿态预测。本论文的主要贡献就在于提出的模型能够清晰的学习到多个变量之间的空间关联关系，因此该模型十分适用于去解决类似姿态关键点预测的问题。我们提出的其实就是一个包含了多个卷积网络的序列框架，该架构使得网络能够直接用上一阶段网络输出的置信图来进一步精确预测每一个关键点的位置。

该网络架构的提出，还天然的用到了中继监督训练的方法（intermediate supervision），而这种训练方法经过实验论证也确实能够在一定程度上消除梯度消失问题。我们在多个数据集上，包括MPII, LSP和FLIC上，利用该模型架构，均取得了不错的结果～

------------------第二菇 - 核心思想------------------

姿态识别又可以被视作是结构预测问题，就是我们根据解剖学上的一些关键点（anatomical landmark），对一张图片上的每一个点建模，然后去预测这些关键点。

在深入本文细节之前，我们有必要先来了解一下 Pose Machines

简单来讲，其实Pose Machines就是一种序列化的预测框架，可以学习到丰富的空间信息。借用原论文的描述就是，

Our approach incorporates rich spatial interactions among multiple parts and information across parts of different scales.

这里先约定一下符号表示， 就是图片上的所有点 ， 就是所有的 个关键点的集合，并且 。

一个推理模型包含了一连串的分类器， 。它们被训练后用于预测每一个关键点的位置。在每一个阶段 ，分类器都会根据图片特征和上一个分类器预测的结果（主要是 周围点的预测结果），来预测一个位置是属于某一个关键点（ ）的置信区间。在每一个阶段， 的置信区间计算公式，

其中，

就是一连串的前置位的分类器在每一个位置预测的是关键点 的置信区间。

就是特征方程，用于处理前面生成的置信区间； 就是向量相加的操作。

如果还是有点迷糊的同学，我贴一张原论文的图，想必大家对 Pose Machines 就有更深的体会了，

其实真的就是一种序列化的预测框架，只不过内部的分类器都是可以自己定义的。

如名字所示，CPM其实就是将卷积网络集成进Pose Machines框架中，如下图所示，

我们分2个阶段来看，首先是第一阶段。

在第一阶段中，CPM仅仅根据图片的原始信息来提取特征。上图中的 部分应该说是把结构图画的很清楚了，一共包含了5个卷积层，再接2个 的卷积层构造出全卷积网络的架构。每一层的感受野都在图上标记清楚了。在实际的训练过程中，输入的图像要求大小是 ，最后的输出大小是 ，其中 就是关键点的个数，再外加一个背景。部分基础不扎实的同学，可能会对感受野和输出大小犯迷糊，这里我贴一张计算的过程图（ 外国网站 上的一个计算感受野的），方便理解，

第二阶段设计的初衷就是，在预测一些比较难的部位的时候（比如：手肘），利用一些其它已经预测出的部位，或是该部位周围关键点信息的时候，往往能够帮助预测出这些部分，如下图所示的右手肘，

因此在第二阶段，分类器就会接受2部分的输出，一部分是来自上一阶段的特征输出，另一部分是来自对图片的特征提取，如上图 所示。只不过，在CPM中，我们的分类器依然是卷积神经网络。两部分的输出也是通过向量相连的方式，再传入到后续分类网络中。

然后，在第二阶段，网络为了尽可能的增大感受野，动用了3个 的卷积核，最后将感受野增至 。作者对此的解释就是

large enough to allow the learning of potentially complex and long-range correlations between parts

意思就是尽可能的去学习关节点内在的一些依赖关联关系。而作者选择通过增大卷积核的方式来增大感受野也是为了控制整体的参数数量（其他方式还包括，采用pooling操作但是牺牲精度；或者增加卷积层个数，但是会增大参数量）。作者也在论文中贴了一张实验结果图，来证明，增大感受野能够提升最后的准确率，

而这种关系也预示，其实网络内部确确实实有在学习各关键点之间的关联关系（ This improvement in accuracy with receptive field size suggests that the network does indeed encode long-range interactions between parts and that doing so is beneficial. ）

至此整套网络架构算是磕磕绊绊的讲清楚了～其实真要理解起来很简单，就是将卷积网络嵌套进Pose Machines框架中。

训练深度神经网络的时候经常会面临梯度消失的问题，然而CPM的架构设计却能够很好的解决这个问题。每一个阶段PM都会被重复训练去预测每一个关键点的置信图。用作为标签的真实置信图（ideal belief map），在每一个真实的关键点附近构造高斯分布所产生的，记为 ，然后我们的损失函数就是去最小化，

整体的损失函数就是把各个阶段的损失函数相加，

这里也贴一张原论文用于展现梯度的示意图，

其他一些具体的训练过程结果这里就不展示了，比较简单，大家自行品读原论文即可。

------------------第三菇 - 总结------------------

到这里，整篇论文的核心思想已经说清楚了。本论文主要是提出了卷积神经网络嵌入到PM框架中的CPM网络架构用于人体关键点检测，并实验证明了其可行性，为后续发展奠定了基础

简单总结一下本文就是先罗列了一下该论文的摘要，再具体介绍了一下本文作者的思路，也简单表述了一下，自己对CPM网络架构的理解。希望大家读完本文后能进一步加深对该论文的理解。有说的不对的地方也请大家指出，多多交流，大家一起进步～?