过去几年发表的AI顶会论文提出的400种算法中，公开算法代码的只占6%，只有三分之一分享了测试数据，只有一半分享“伪代码”。这是今年AAAI会议上一个严峻的报告。科学家们正在通过“可复现性挑战”鼓励复…
超90％论文算法不可复现，你为何不愿公开代码？人工智能（AI）这个蓬勃发展的领域正面临着实验重现的危机，就像实验重现问题过去十年来一直困扰着心理学、医学以及其他领域一样。他们没有足够时间在每种条件下都测试算法，或者在文章中记录他们尝试过的每个超参数。
过去几年发表的AI顶会论文提出的400种算法中，公开算法代码的只占6%，只有三分之一分享了测试数据，只有一半分享“伪代码”。这是今年AAAI会议上一个严峻的报告。科学家们正在通过“可复现性挑战”鼓励复现新算法，或研究依据论文自动生成代码的工具。
“论文复现难基本是不可避免的问题。”文聪告诉品玩，“做AI研究要有心理准备，能复现出来的论文是少数，复现不出来才是正常的。”这种无法复现，正在给AI研究带来很大的困扰。它使得AI研究者们彼此之间无法“对话”。
科学家们正在通过“可复现性挑战”鼓励复现新算法，或研究依据论文自动生成代码的工具。.AI将在未来扮演越来越重要的角色，我们需要信任这些AI，那么我们必须能够复现它。.一个幽灵正在AI领域上空徘徊：复现的幽灵。.科研方法认为，科学研究应该可以...
最近了很多篇论文，跟原文的结果都差的很多，以前还觉得自己搞错了，但一次课上全班40多人都复现…首页会员发现等你来答登录学术论文为什么现在大多数论文复现不了成了常态？最近了很多篇论文，跟原文的结果都差...
新智元编译来源：science、futurism编译：克雷格、Marvin【新智元导读】过去几年发表的AI顶会论文提出的400种算法中，公开算法代码的只占6%，只有三...
“论文复现难，很大程度上是因为研究人员不公开论文的代码。”北京一高校的AI研究者文聪告诉品玩。2018年AAAI会议上，挪威科技大学计算机...
「无法复现的论文都是耍流氓。」二十几天前，Reddit用户「ContributionSecure14」在机器学习社区疯狂吐槽：「我花了一个星期尝试复现一篇论文，结果失败了。上网搜了一下才发现，也有其他人说这篇论文的结果无法复现。」
强行复现别人论文，也未必达到其论文呈现的性能。更可怕的是A论文中了不开源，B论文复现了A在另一模型上的实验中了也不开源。这就导致后人可能被质疑，你看虽然A没开源，但人家B却用的好好的，而B也没开源。B很可能是A的熟人，可以获得代码。
不过，NeurIPS始终没有强制论文作者公开代码。 除此之外，最近还出现了一个名为“PaperswithoutCode”的新平台，某种程度上也是这种情绪的集中反映。顾名思义，“Paperswithout...
不过，NeurIPS始终没有强制论文作者公开代码。除此之外，最近还出现了一个名为“PaperswithoutCode”的新平台，某种程度上也是这种情绪的集中反映。顾名思义...
在一次面试中，我被要求在1.5小时内阅读并复现一篇AI论文（论文大概6-10页），我甚至论文都没看完，显然我没得到那份工作。我在想是不是只有我一个人应该提高自己的水平，还是...
AI论文,到底该不该强制开源代码?上周,图灵奖得主YannLeCun公开质疑谷歌大脑的论文无法复现,引起了社区热议。Lecun表示,即使是NLP的一些顶级研究人员也无法复现谷歌大脑的语言模型Transforme...
还是只是阅读论文的时间?在一次面试中,我被要求在1.5小时内阅读并复现一篇AI论文(论文大概6-10页),我甚至论文都没看完,显然我没得到那份工作。我在想是不...
AI论文,到底该不该强制开源代码?上周,图灵奖得主YannLeCun公开质疑谷歌大脑的论文无法复现,引起了社区热议。Lecun表示,即使是NLP的一些顶级研究人员也无...
【导读】过去几年发表的AI顶会论文提出的400种算法中,公开算法代码的只占6%,只有三分之一分享了测试数据,只有一半分享“伪代码”。这是今年AAAI会议上一个严峻的报告。科学家们正在...
1、计算机视觉(自然语言处理)算法、工程岗在职工程师,或人工智能相关课题研究的国内外名校高材生2、精读过计算机视觉(自然语言处理)经典论文并对部分论文做过复现,随时关注前沿研究...
医疗AI论文复现率只有23%,而自然语言处理领域为58%,计算机视觉领域则达80%。但数据集还只是一方面。其中也有方法设计不当和缺乏放射科医生和临床医生参与的问题。例如,有模型的训练...
他们为了打击无法复现的AI研究,组织了一项竞赛:ICLR2018ReproducibilityChallenge。在这项“复现赛”中,参赛者需要试着复现ICLR2018收到的论文,并评价论文的可复现性、以及参赛...