neurips论文什么水平

neurips论文什么水平

NeurIPS，全称Annual Conference on Neural Information Processing Systems，是人工智能领域的顶级会议，与ICML并称为人工智能领域难度最大，水平最高，影响力最强的会议！NeurIPS是CCF 推荐A类会议，Core Conference Ranking推荐A*类会议，H5 index高达198！Impact Score高达33.49！

NeurIPS是由连接学派神经网络的学者于1987年在加拿大创办，后来随着影响力逐步扩大，也曾移师美洲、欧洲等地举办。早年发布在NIPS中的论文包罗万象，从单纯的工程问题到使用计算机模型来理解生物神经元系统等各种主题。但论文的主题主要以机器学习，人工智能和统计学为主。

如何评价 NeurIPS 2020 的审稿质量和论文接收结果？

如下：

感觉今年的一个特点就是打分非常随意，往年审稿人很少打出8分及以上，如果有的话一般都是一致认为是好文章，而今年割裂的分数比比皆是。两个borderline（5-6）一个strong accept 8-9，一个reject 2-4的非常常见。而且confidence都3以上。

这是非常不可思议的，如果都是了解某个领域的人，不应该意见如此割裂。而且很多人只针对一两点瑕疵就做出来极低分数，另一些则因为自己没发现明显错误就可以给9，然后一半人划水打borderline。

这说明现有的审稿制度完全不能胜任如此大规模的会议，也势必毁掉了neurips招牌（其实现在就已经约等于aaai来）。

每一年，NeurIPS 大会都会对组织作出新的调整。今年即将在 12 月举行的大会，审稿阶段的新修改是公开了审核流程。

首先最重要的是，大会的全部审稿流程已经转移到了 OpenReview 上了。这是一个灵活的论文审核平台，可以进行大量的自定义，并且可以根据会议需求的发展快速进行调整。

它带来了许多基础方面的改进，包括可以自我管理的用户历史信息，利益冲突声明中的责任制以及程序委员之间交互方式的改进。

和往年一样的是，论文的审稿过程仍遵循保密原则。审核过程中提交的内容仅对指定的程序委员会成员显示，NeurIPS 不会在这一过程中接受公开意见。在通知截止日期之后，被接收的论文将被公开在网站上，并接受非匿名公众评论。

匿名的评审意见、对评审意见的意见和作者的回复都将被公开。不过在评审过程和评审之后，所有的审核者内部讨论不会被公开。

以上看起来和之前使用 OpenReview 系统的机器学习会议没什么两样，重点来了：在默认的情况下，被拒绝的投稿不会被公开。但在 NeurIPS 2021 上，被拒论文的作者可以在通知截止日期后的两周内选择公开其匿名化的论文，并在 OpenReview 中公开发表评论。

在被公开的论文之下，系统同样也会把审稿意见、作者的讨论等内容全都一并曝光出来。大会方面表示，尽管现在我们还是无法利用开放审稿系统的全部好处，但新政策确实可以给论文作者们提供一个可以公开显示，并反击论文评审中存在问题的机会。

「我们认为这是最好的折中方案，因为它还可以让初级研究人员避免因为有害的公共批评而遭受打击，」NeurIPS 2021 大会的程序主席们在博客中写道。

在以往的会议中，有时研究人员会抱怨在 rebuttal 阶段领域主席未对作者提出的辩解给出任何实质性意见，也不会对误解做出解释。现在这类问题有了新的解决渠道，利益相关者看起来可以继续讨论，外界也可以参与进来。

根据 NeurIPS 2020 试验的结果，如果经过完整的审稿流程，大约有 6% 的直接拒稿（desk rejection）论文可能会被接收。因此，NeurIPS 2021 今年决定取消 desk rejection。但如果论文违反页数限制或其他提交要求，仍可能会被拒稿，无需经过审核。

为了最大程度地减少审稿过程中的偏见和误解，NeurIPS 2021 组委会将在提交初审和作者反馈后允许作者与审稿人进行「滚动讨论」。在滚动讨论阶段，作者可以回答审稿人提出的问题。

为了让作者在回答之前能够仔细分析审稿意见，在讨论开始之前，还将划定一个反应阶段。如果出现新的审稿意见，作者也能在讨论阶段及时回复。

为了阻止没有实质性修改的重复提交，大会要求论文作者声明论文不是此前任何其他同行评审过程的拒稿。和去年一样，重复提交的作者必须提交一份描述新更改的文档。在机器学习社区，有一些证据表明：审稿中存在「重复提交偏见」。

在一项面向新晋审稿人的调查中，审稿人给标有「重复提交」的论文评分较低。另一方面，COLT 2019 允许将提交给 STOC 的论文同时提交给 COLT，如果论文已被其中一个会议接收，就从另一会议撤回。

尽管 STOC 和 COLT 的审稿人共享了这些提交论文，但并没有证据表明存在「重复提交偏见」。为了大规模评估「重复提交偏见」，NeurIPS 2021 将随机从提交论文中选择一部分，只有这部分论文的重复提交信息对审稿人和区域主席可见。

当然，审核过程的成功取决于审核的质量和 NeurIPS 社区的努力工作。根据以往经验，NeurIPS 的论文提交数量每年以约 40% 的速度增长。到 2020 年，论文提交量超过了 9400 篇。

考虑到 ICML 2021（约 10%）和 ICLR 2021（约 15%）的增长，NeurIPS 组委会正在为可能的 12,000 篇提交量做准备。

没有专职审稿人、区域主席和高级区域主席的工作，会议将无法继续进行，这些角色至关重要。为了帮助培训 NeurIPS 社区的新晋审稿人，NeurIPS 组委会还在准备编写审稿教程。

如何评价 NeurIPS 2019 的审稿情况？

在KDD接收的所有近300篇论文中，华人/中国人作者的有189篇，占比64.5%。2019年NeurIPS 2019论文投稿数量创造了新纪录，吸引了全球范围内共6743篇有效论文投递，而录取率只有21.17%。

NeurIPS 2019官方公布了投稿数量，据统计大会最初收到的论文摘要提交量为9185篇，但只有6947篇论文完成全文提交，符合提交要求的最终论文数量为6809篇，相比2018年的4854篇提升了40%，再创历史新高。

8909份摘要提交论文中只有6947份在全文提交截止日期前上传了一份论文。区域主席后来检查了这些提交，并确定了一些违反NeurIPS 2019提交指南的案例。还拒绝了那些论文中不再包含最初在摘要提交中列出的任何作者的提交。与NeurIPS 2018相比流程将整个审核过程中的论文总提交数量减少到6809份，创历史新高，增长了40％。

相关信息

NeurIPS评审员最多审阅6篇论文。通过最初向评审员分配最多5篇论文，AC使得这些调整变得更容易，因为许多评审员仍然可以处理1篇额外的论文。今年，我们还与CMT合作，促进招聘外部评审员，即尚未进入审核人员库但AC认为特别适合其中特定论文审核的人员。

CMT实施了一项新功能，允许AC发送此类评审员邀请，这些邀请与项目主席发送的邀请类似，但是针对特定论文的。运行类似于用于AC分配的线性程序以产生对评审员的初始分配。每篇论文都分配3个评审员进行评估，此时评审员最多被分配5篇论文。