当前位置:学术参考网 > ai论文代码难以复现
超90%论文算法不可复现,你为何不愿公开代码?人工智能(AI)这个蓬勃发展的领域正面临着实验重现的危机,就像实验重现问题过去十年来一直困扰着心理学、医学以及其他领域一样。他们没有足够时间在每种条件下都测试算法,或者在文章中记录他们尝试过的每个超参数。
强行复现别人论文,也未必达到其论文呈现的性能。更可怕的是A论文中了不开源,B论文复现了A在另一模型上的实验中了也不开源。这就导致后人可能被质疑,你看虽然A没开源,但人家B却用的好好的,而B也没开源。B很可能是A的熟人,可以获得代码。
好在,随着论文复现难的问题越来越普遍,AI学术界正在改变这一现状,尝试推动研究人员在有条件的情况下,尽可能共享源代码。2018年7月,Reddit用户rstoj做了一个网站“PaperswithCode”,将最新AI论文和Github上的代码关联起来,研究者能很方便地发现,哪些论文公布了源代码。
吴恩达老师曾经说过,看一篇论文的关键,是复现作者的算法。然而,很多论文根本就复现不了,这是为什么呢?一、数据关系因为作者使用的数据比较私密,一般人拿不到,这种情况下,即使作者提供了源代码,但是读者却拿不到数据,也就没法复现算法。
最近了很多篇论文,跟原文的结果都差的很多,以前还觉得自己搞错了,但一次课上全班40多人都复现…首页会员发现等你来答登录学术论文为什么现在大多数论文复现不了成了常态?最近了很多篇论文,跟原文的结果都差...
“论文复现难,很大程度上是因为研究人员不公开论文的代码。”北京一高校的AI研究者文聪告诉品玩。2018年AAAI会议上,挪威科技大学计算机...
另外,也不要高估代码的价值,经典论文可以几十年长盛不衰,但是代码很可能十年后就难以运行了。当然,还有一种观点就是,对于AI来说,数据集更重要。没有数据的代码是没有价值的,而很多数据集没法开放,这意味着你即使拿到代码,也无法复现SOTA
无论是研究方向是AI方面的学生,或者是做机器学习方面的算法工程师,在掌握基础的机器学习相关知识后,都必须掌握搜索论文的技能,特别是研究或者工作领域方向的最新论文,更进阶一点的技能,就是可以复现论文的算法,这是在论文作者没有开源代码的时候的一个解决办法,但是在能够...
为什么搞AI的更容易彼此diss?.因为连研究成果都难以复现啊.编者按:本文来自微信公众号“品玩”(ID:pinwancool),作者:Decode,36氪经授权...
好在,随着论文复现难的问题越来越普遍,AI学术界正在改变这一现状,尝试推动研究人员在有条件的情况下,尽可能共享源代码。2018年7月,Reddit用户rstoj做了一个网站"PaperswithCode",将最新AI论文和Github上的代码关联起来,研究者能很方便地发现,哪些论文公布了源代码。
过去几年发表的AI顶会论文提出的400种算法中,公开算法代码的只占6%,只有三分之一分享了测试数据,只有一半分享“伪代码”。这是今年AAAI会议上一个严峻的报告。科学家们正在...
AI论文,到底该不该强制开源代码?NeurIPS2020官方近日发布了一份开源指南。从2019开始,NeurIPS就“强烈建议”提交论文代码,不过仍非强制。但无论如何,官方传达出了一种信号:AI学术...
AI论文,到底该不该强制开源代码?上周,图灵奖得主YannLeCun公开质疑谷歌大脑的论文无法复现,引起了社区热议。Lecun表示,即使是NLP的一些顶级研究人员也无...
晓查发自凹非寺量子位报道|公众号QbitAIAI论文,到底该不该强制开源代码?NeurIPS2020官方近日发布了一份开源指南。从2019开始,NeurIPS就“强烈建议”提交论文代码,不过仍非强...
【导读】过去几年发表的AI顶会论文提出的400种算法中,公开算法代码的只占6%,只有三分之一分享了测试数据,只有一半分享“伪代码”。这是今年AAAI会议上一个严峻的报告。科学家们正在...
【新智元导读】过去几年发表的AI顶会论文提出的400种算法中,公开算法代码的只占6%,只有三分之一分享了测试数据,只有一半分享“伪代码”。这是今年AAAI会议上一...
repeatability.cs.arizona.edu/
【新智元导读】过去几年发表的AI顶会论文提出的400种算法中,公开算法代码的只占6%,只有三分之一分享了测试数据,只有一半分享“伪代码”。这是今年AAAI会议上一...
过去几年发表的AI顶会论文提出的400种算法中,公开算法代码的只占6%,只有三分之一分享了测试数据,只有一半分享“伪代码”。这是今年AAAI会议上一个严峻的...
还有一些比较恶劣的情况,就是论文故意造假,根本不可能复现出来。 代码、训练细节、私有数据、算力门槛、故意造假……总而言之,AI论文复现难这个现象,是综合因素作用下的结果。 ...