iclr论文模板

iclr论文模板

被誉为 深度学习的顶级论文
首先，这个来头不小，由位列深度学习三大巨头之二的 Yoshua Bengio 和 Yann LeCun 牵头创办。
Yoshua Bengio 是蒙特利尔大学教授，深度学习三巨头之一，他领导蒙特利尔大学的人工智能实验室（MILA）进行 AI 技术的学术研究。MILA 是世界上最大的人工智能研究中心之一，与谷歌也有着密切的合作。
而 Yann LeCun 就自不用提，同为深度学习三巨头之一的他现任 Facebook 人工智能研究院（FAIR）院长、纽约大学教授。作为卷积神经网络之父，他为深度学习的发展和创新作出了重要贡献。
至于创办 ICLR 的原因何在，雷锋网尝试从 Bengio 和 LeCun 于 ICLR 第一届官网所发布的公开信推测一二。

如何写学术论文的rebuttal

1. Rebuttal的基本格式
一般rebuttal都有比较严格的篇幅要求，比如不能多于500或600个词。所以rebuttal的关键是要在有限的篇幅内尽可能清晰全面的回应数个reviewer的关注问题，做到释义清楚且废话少说。目前我的rebuttal的格式一般如下所示：

<img src="https://www.lw881.com/uploadfile/202303/e67dc2fa0108d10.png" data-rawwidth="1592" data-rawheight="1124" class="origin_image zh-lightbox-thumb" width="1592" data-original="https://pic1.zhimg.com/v2-d3e09fcfcd5ca745557fa83ad26bf580_r.png">
其中，不同reviewer提出的同样的问题可以不用重复回答，可以直接"Please refer to A2 to reviewer#1"。结构清晰的rebuttal能够对reviewer和area chair提供极大的便利，也便于理解。
2. Rebuttal的内容
Rebuttal一定要着重关注reviewer提出的重点问题，这些才是决定reviewer的态度的关键，不要尝试去回避这种问题。回答这些问题的时候要直接且不卑不亢，保持尊敬的同时也要敢于指出reviewer理解上的问题。根据我的审稿经验，那些明显在回避一些问题的response只会印证自己的负面想法；而能够直面reviewer问题，有理有据指出reviewer理解上的偏差的response则会起到正面的效果。（PS: 如果自己的工作确实存在reviewer提出的一些问题，不妨表示一下赞同，并把针对这个问题的改进列为future work)

面对由于reviewer理解偏差造成全部reject的情况，言辞激烈一点才有可能引起Area Chair的注意，有最后一丝机会，当然，最基本的礼貌还是要有，不过很有可能有负面的效果，参考今年ICLR LipNet论文rebuttal 。

3. Rebuttal的意义
大家都知道通过rebuttal使reviewer改分的概率很低，但我认为rebuttal是一个尽人事的过程，身边也确实有一些从reject或borderline通过rebuttal最终被录用的例子。尤其像AAAI/IJCAI这种AI大领域的会议，最近两年投稿动则三四千篇，这么多reviewer恰好是自己小领域同行的概率很低，难免会对工作造成一些理解上的偏差甚至错误，此时的rebuttal就显得特别重要。所以对于处于borderline或者由于错误理解造成低分的论文，一定!一定!一定!要写好rebuttal!
----------------------------------------------------------------------------------
最后贴一下LeCun在CVPR2012发给pc的一封withdrawal rebuttal镇楼（该rebuttal被pc做了匿名处理），据说促成了ICLR的诞生，希望自己以后也有写这种rebuttal的底气：）
Hi Serge,

We decided to withdraw our paper #[ID no.] from CVPR "[Paper Title]" by [Author Name] et al.
We posted it on ArXiv: [Paper ID] .

We are withdrawing it for three reasons: 1) the scores are so low, and the reviews so ridiculous, that I don't know how to begin writing a rebuttal without insulting the reviewers; 2) we prefer to submit the paper to ICML where it might be better received; 3) with all the fuss I made, leaving the paper in would have looked like I might have tried to bully the program committee into giving it special treatment.

Getting papers about feature learning accepted at vision conference has always been a struggle, and I've had more than my share of bad reviews over the years. Thankfully, quite a few of my papers were rescued by area chairs.

This time though, the reviewers were particularly clueless, or negatively biased, or both. I was very sure that this paper was going to get good reviews because: 1) it has two simple and generally applicable ideas for segmentation ("purity tree" and "optimal cover"); 2) it uses no hand-crafted features (it's all learned all the way through. Incredibly, this was seen as a negative point by the reviewers!); 3) it beats all published results on 3 standard datasets for scene parsing; 4) it's an order of magnitude faster than the competing methods.

If that is not enough to get good reviews, I just don't know what is.

So, I'm giving up on submitting to computer vision conferences altogether. CV reviewers are just too likely to be clueless or hostile towards our brand of methods. Submitting our papers is just a waste of everyone's time (and incredibly demoralizing to my lab members)

I might come back in a few years, if at least two things change:
- Enough people in CV become interested in feature learning that the probability of getting a non-clueless and non-hostile reviewer is more than 50% (hopefully [Computer Vision Researcher]'s tutorial on the topic at CVPR will have some positive effect).
- CV conference proceedings become open access.

We intent to resubmit the paper to ICML, where we hope that it will fall in the hands of more informed and less negatively biased reviewers (not that ML reviewers are generally more informed or less biased, but they are just more informed about our kind of stuff). Regardless, I actually have a keynote talk at [Machine Learning Conference], where I'll be talking about the results in this paper.

Be assured that I am not blaming any of this on you as the CVPR program chair. I know you are doing your best within the traditional framework of CVPR.

I may also submit again to CV conferences if the reviewing process is fundamentally reformed so that papers are published before they get reviewed.

You are welcome to forward this message to whoever you want.

I hope to see you at NIPS or ICML.

Cheers,

-- [Author]

ICLR2020模型参数这么多泛化能力为什么还能这么强 ICLR会议论文审核

1、ICLR，全称International Conference on Learning Representations，即国际学习表征会议，虽然资历尚浅，（2013 年才成立第一届），但已经被学术研究者们广泛认可，被认为是深度学习的顶级会议。

2、ICLR的论文审核主要分为单盲、双盲、开放评审等形式，单盲评审的含义非常简单，即评审知道作者的名字、学校等身份信息，但作者不知道评审论文的人是谁；而双盲评审则是双方都不知晓彼此的身份信息。这两种方式为较多学术会议及期刊评审论文的主要途径。

LiftPool：双向池化操作，细节拉满，再也不怕丢特征了 | ICLR 2021

论文: LiftPool: Bidirectional ConvNet Pooling

[图片上传失败...(image-25ebb9-1656174155789)]

空间池化是卷积网络中很重要的操作，关键在于缩小分辨率的同时保留最重要的特征值，方便后续的模型辨别。简单的池化操作，如最大池化和平均池化，不仅池化时忽略了局部特性，还不支持逆向恢复丢失的信息。为此，论文提出了双向池化层LiftPool，包含保留细节特征的下采样操作LiftDownPool以及产生精细特征图的上采样操作LiftUpPool。

[图片上传失败...(image-b4f8ff-1656174155789)]

LiftPool的灵感来自于信号处理中的提升方案(Lifting Scheme)，下采样时将输入分解成多个次频带(sub-band)，上采样时能够完美地逆向恢复。如图1所示，LiftDownPool产生四个次频带，其中LL次频带是去掉细节的输入近似，LH、HL和HH则包含水平、垂直和对角方向的细节信息。用户可以选择一个或多个次频带作为输出，保留其它次频带用于恢复。LiftUpPool根据次频带恢复上采样输入，对比MaxUpPool的效果，LiftUpPool则能产生更精细的输出。

下采样特征图时，池化操作核心在于减少下采样造成的信息损失，而信号处理中的提升方案(Lift Scheme)恰好能满足这一需求。提升方案利用信号的相关结构，在空间域构造其下采样的近似信号以及多个包含细节信息的次频带(sub-band)，在逆转换时能完美重构输入信号。借用提升方案，论文提出了双向池化层LiftPool。

以一维信号 为例，LiftDownPool将其分解成下采样近似信号 和差分信号 ：

[图片上传失败...(image-579f4f-1656174155789)]

其中 包含3个函数， 表示函数组合。

[图片上传失败...(image-3e6533-1656174155789)]

LiftDownPool-1D的整体过程如图2所示，包含以下步骤：

实际上，经典的提升方案就是低通滤波和高通滤波来完成的，通过预设的滤波器将图片分解成四个次频带。但一般来说，以预设滤波器的形式定义 和 是很难的。为此，Zheng等人提出通过网络的反向传播来优化这些滤波器。借用此思路，论文通过1D卷积+非线性激活来实现LiftDownPool中的 和 功能：

[图片上传失败...(image-3892e3-1656174155789)]

为了能够更好地进行端到端地训练，需要对最终的损失函数添加两个约束。首先， 是从 变化得到的，基本上要跟 相似，添加正则项 最小化 和 的L2-norm距离：

[图片上传失败...(image-5303c9-1656174155789)]

另外， 的设想是将 转换为 ，所以添加正则项 最小化细节差异 ：

[图片上传失败...(image-f2a301-1656174155789)]

完整的损失函数为：

[图片上传失败...(image-947d3-1656174155789)]

为特定任务的损失函数，如分类或语义分割损失。设置 和 ，能够给模型带来不错的正则化效果。

LiftDownPool-2D可分解成几个LiftDownPool-1D操作。根据标准提升方案，先在水平方向执行LiftDownPool-1D获得 (水平方向的低频)以及 (水平方向的高频)。随后对这两部分分别执行垂直方向的LiftDownPool-1D， 被进一步分解成LL(垂直和水平方向的低频)和LH(垂直方向的低频和水平方向的高频)，而 则被进一步分解成HL(垂直方向的高频和水平方向的低频)和HH(垂直和水平方向的高频)。  用户可灵活选择其中一个或多个次频带作为结果，保留其它次频带用于恢复。一般来说，LiftDownPool-1D可以进一步泛化到n维信号。

[图片上传失败...(image-dab924-1656174155789)]

图3为VGG13的首个LiftDownPool层的几个特征输出，LL特征更平滑，细节较少，LH、HL和HH则分别捕捉了水平方向、垂直方向和对角方向的细节。

LiftUpPool继承了提升方案的可逆性。继续以1D信号为例，LiftUpPool可从 中恢复上采样信号 ：

[图片上传失败...(image-ad040c-1656174155789)]

包含update、predict、merge函数，即 ：

[图片上传失败...(image-b6c899-1656174155789)]

通过上述公式获得 和 ，进而合成 ，得到包含丰富信息的上采样特征图。  上采样在image-to-image转换中经常使用，比如语义分割，超分辨率和图片上色等任务。但目前大多数池化操作是不可逆的，比如MaxPool上采样的输出较为稀疏且损失大部分的结构信息。而LiftUpPool能对LiftDownPool的输出进行逆转换，借助次频带产出更好的输出。

[图片上传失败...(image-321dbe-1656174155789)]

以kernel size=2、stride=2的池化为例，LiftPool和MaxPool的逻辑如图6所示。

Maxpool选择局部最大值作为输出，会丢失75%的信息，这其中很可能包含了跟图像识别相关的重要信息。  LiftDownPool将特征图分解成次频带LL、LH、HL和HH，其中LL为输入的近似，其它为不同方向的细节信息。LiftDownPool将所有次频带相加作为输出，包含了近似信息和细节信息，能够更高效地用于图像分类。

MaxPool是不可逆的，通过记录的的最大值下标进行MaxUpPool。MaxUpPool将输出的特征图的特征值对应回下标位置，其余均为零，所以恢复的特征图十分稀疏。  LiftDownPool是可逆的，根据提升方案的属性对LiftDownPool进行反向恢复，而且LiftUpPool能生成包含记录的细节的高质量结果。

[图片上传失败...(image-425b53-1656174155789)]

在CIFAR-100上对比次频带和正则项效果。

[图片上传失败...(image-78e714-1656174155789)]

在ImageNet上，搭配不同主干网络上进行对比。

[图片上传失败...(image-7fd5f8-1656174155789)]

进行抗干扰数据集测试对比。

[图片上传失败...(image-761cf4-1656174155789)]

不同数据集上的语义分割性能对比。

[图片上传失败...(image-ea410b-1656174155789)]

语义分割上采样结果对比。

论文参考提升方案提出双向池化操作LiftPool，不仅下采样时能保留尽可能多的细节，上采样时也能恢复更多的细节。从实验结果来看，LiftPool对图像分类能的准确率和鲁棒性有很好的提升，而对语义分割的准确性更能有可观的提升。不过目前论文还在准备开源阶段，期待开源后的复现，特别是在速度和显存方面结果。