欢迎来到学术参考网
当前位置:发表论文>论文发表

ai期刊论文复现

发布时间:2023-03-13 12:10

ai期刊论文复现

为什么很多国内学者的AI的论文复现不了?
一、数据关系
因为作者使用的数据比较私密,一般人拿不到,这种情况下,即使作者提供了源代码,但是读者却拿不到数据,也就没法复现算法。
这种情况在国内学术界很普遍,数据别人没有,这就好像一位奥数老师,自己出了一道奥数题,自己解答出来,然后把解题过程写了论文,这类论文往往说服力不够,故事性不够强。
二、硬件原因
深度学习的很多算法,是靠大力出奇迹的方法做出来的。比如谷歌、facebook的一些算法,依靠强大的硬件训练出来。
普通研究者没有那么强大的硬件资源,估计达不到他们的1%的算力,根本无法复现算法。
三、数据划分和训练方式
有些论文公开了代码,也公开了数据,但是论文里没有提到数据划分问题,数据如果比较少的话,不同的划分会导致结果不同。
四、众所周知的原因
这个原因大家心知肚明,我就不说太明白了,这个情况出现在很多国内作者的论文里。这个在公开数据上比较少见。

春节在家不再无聊,这份2019 AI研究进展回顾陪伴你

2019 年可以说是「预训练模型」流行起来的一年。自 BERT 引发潮流以来,相关方法的研究不仅获得了 EMNLP 大会最佳论文等奖项,更是在 NLP、甚至图像领域里引领了风潮。

去年也有很多 游戏 AI 取得了超越人类的水平。人工智能不仅已经玩转德州扑克、星际争霸和 Dota2 这样复杂的 游戏 ,还获得了 Nature、Science 等顶级期刊的肯定。

机器之心整理了去年全年 在人工智能、量子计算等领域里最为热门的七项研究 。让我们以时间的顺序来看:

第一个重磅研究出现在 2 月,继发布刷新 11 项 NLP 任务记录的 3 亿参数量语言模型 BERT 之后,谷歌 OpenAI 于 2019 年 2 月再次推出了一种更为强大的模型,而这次的模型参数量达到了 15 亿。这是一种 大型无监督语言模型 ,能够生产连贯的文本段落,在许多语言建模基准上取得了 SOTA 表现。此外,在没有任务特定训练的情况下,该模型能够做到初步的阅读理解、机器翻译、问答和自动摘要。

该模型名为 GPT-2,它是基于 Transformer 的大型语言模型,包含 15 亿参数、在一个 800 万网页数据集上训练而成。训练 GPT-2 有一个简单的目标:给定一个文本中前面的所有单词,预测下一个单词。GPT-2 是对 GPT 模型的直接扩展,在超出 10 倍的数据量上进行训练,参数量也多出了 10 倍。

GPT-2 展示了一系列普适而强大的能力,包括生成当前最佳质量的条件合成文本,其中我们可以将输入馈送到模型并生成非常长的连贯文本。此外,GPT-2 优于在特定领域(如维基百科、新闻或书籍)上训练的其它语言模型,而且还不需要使用这些特定领域的训练数据。在 知识问答、阅读理解、自动摘要和翻译等任务 上,GPT-2 可以从原始文本开始学习,无需特定任务的训练数据。虽然目前这些下游任务还远不能达到当前最优水平,但 GPT-2 表明如果有足够的(未标注)数据和计算力,各种下游任务都可以从无监督技术中获益。

最后,基于大型通用语言模型可能会产生巨大的 社会 影响,也考虑到模型可能会被用于恶意目的,在发布 GPT-2 时,OpenAI 采取了以下策略: 仅发布 GPT-2 的较小版本和示例代码,不发布数据集、训练代码和 GPT-2 模型权重 。

机器学习顶会的最佳论文,总会引起人们的广泛讨论。在今年 6 月于美国加州举办的 ICML 2019(国际机器学习大会)上,由苏黎世联邦理工学院(ETH)、德国马普所、谷歌大脑共同完成的《Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations》获得了其中一篇最佳论文。研究者在论文中提出了一个与此前学界普遍预测相反的观点:对于任意数据,拥有相互独立表征(解耦表征)的无监督学习是不可能的。

论文链接:

在这篇论文中,研究者冷静地审视了该领域的最新进展,并对一些常见的假设提出了质疑。

首先,研究者表示从理论上来看,如果不对模型和数据进行归纳偏置,无监督学习解耦表征基本是不可能的;然后他们在七个不同数据集进行了可复现的大规模实验,并训练了 12000 多个模型,包括一些主流方法和评估指标;最后,实验结果表明,虽然不同的方法强制执行了相应损失「鼓励」的属性,但如果没有监督,似乎无法识别完全解耦的模型。此外,增加的解耦似乎不会导致下游任务学习的样本复杂度的下降。

研究者认为,基于这些理论,机器学习从业者对于超参数的选择是没有经验法则可循的,而在已有大量已训练模型的情况下, 无监督的模型选择仍然是一个很大的挑战 。

去年 6 月,来自德国波恩-莱茵-锡格应用技术大学和谷歌大脑的研究者发表了一篇名为《Weight Agnostic Neural Networks》的论文,进而引爆了机器学习圈。在该论文中,他们提出了一种神经网络架构搜索方法, 这些网络可以在不进行显式权重训练的情况下执行各种任务 。

论文链接:

通常情况下,权重被认为会被训练成 MNIST 中边角、圆弧这类直观特征,而如果论文中的算法可以处理 MNIST,那么它们就不是特征,而是函数序列/组合。对于 AI 可解释性来说,这可能是一个打击。很容易理解,神经网络架构并非「生而平等」,对于特定任务一些网络架构的性能显著优于其他模型。但是相比架构而言,神经网络权重参数的重要性到底有多少?

来自德国波恩-莱茵-锡格应用技术大学和谷歌大脑的一项新研究提出了一种神经网络架构搜索方法,这些网络可以在不进行显式权重训练的情况下执行各种任务。

为了评估这些网络,研究者使用从统一随机分布中采样的单个共享权重参数来连接网络层,并评估期望性能。结果显示,该方法可以找到少量神经网络架构,这些架构可以在没有权重训练的情况下执行多个强化学习任务,或 MNIST 等监督学习任务。

BERT 带来的影响还未平复,CMU 与谷歌大脑 6 月份提出的 XLNet 在 20 个任务上超过了 BERT 的表现,并在 18 个任务上取得了当前最佳效果。

来自卡耐基梅隆大学与谷歌大脑的研究者提出新型预训练语言模型 XLNet,在 SQuAD、GLUE、RACE 等 20 个任务上全面超越 BERT。

作者表示, BERT 这样基于去噪自编码器的预训练模型可以很好地建模双向语境信息,性能优于基于自回归语言模型的预训练方法 。然而,由于需要 mask 一部分输入,BERT 忽略了被 mask 位置之间的依赖关系,因此出现预训练和微调效果的差异(pretrain-finetune discrepancy)。

基于这些优缺点,该研究提出了一种泛化的自回归预训练模型 XLNet。XLNet 可以:1)通过最大化所有可能的因式分解顺序的对数似然,学习双向语境信息;2)用自回归本身的特点克服 BERT 的缺点。此外,XLNet 还融合了当前最优自回归模型 Transformer-XL 的思路。

延伸阅读:

2019 年 7 月,在无限制德州扑克六人对决的比赛中,德扑 AI Pluribus 成功战胜了五名专家级人类玩家。Pluribus 由 Facebook 与卡耐基梅隆大学(CMU)共同开发,实现了前辈 Libratus(冷扑大师)未能完成的任务,该研究已经登上了当期《科学》杂志。

据介绍,Facebook 和卡内基梅隆大学设计的比赛分为两种模式:1 个 AI+5 个人类玩家和 5 个 AI+1 个人类玩家,Pluribus 在这两种模式中都取得了胜利。如果一个筹码值 1 美元,Pluribus 平均每局能赢 5 美元,与 5 个人类玩家对战一小时就能赢 1000 美元。职业扑克玩家认为这些结果是决定性的胜利优势。 这是 AI 首次在玩家人数(或队伍)大于 2 的大型基准 游戏 中击败顶级职业玩家 。

在论文中,Pluribus 整合了一种新的在线搜索算法,可以通过搜索前面的几步而不是只搜索到 游戏 结束来有效地评估其决策。此外,Pluribus 还利用了速度更快的新型 Self-Play 非完美信息 游戏 算法。综上所述,这些改进使得使用极少的处理能力和内存来训练 Pluribus 成为可能。 训练所用的云计算资源总价值还不到 150 美元 。这种高效与最近其他人工智能里程碑项目形成了鲜明对比,后者的训练往往要花费数百万美元的计算资源。

Pluribus 的自我博弈结果被称为蓝图策略。在实际 游戏 中,Pluribus 使用搜索算法提升这一蓝图策略。但是 Pluribus 不会根据从对手身上观察到的倾向调整其策略。

在人工智能之外的量子计算领域,去年也有重要的研究突破。2019 年 9 月,谷歌提交了一篇名为《Quantum supremacy using a programmable superconducting processor》的论文自 NASA 网站传出,研究人员首次在实验中证明了量子计算机对于传统架构计算机的优越性:在世界第一超算 Summit 需要计算 1 万年的实验中,谷歌的量子计算机只用了 3 分 20 秒。因此,谷歌宣称实现「量子优越性」。之后,该论文登上了《自然》杂志 150 周年版的封面。

这一成果源自科学家们不懈的努力。谷歌在量子计算方向上的研究已经过去了 13 年。2006 年,谷歌科学家 Hartmut Neven 就开始 探索 有关量子计算加速机器学习的方法。这项工作推动了 Google AI Quantum 团队的成立。2014 年,John Martinis 和他在加利福尼亚大学圣巴巴拉分校(UCSB)的团队加入了谷歌的工作,开始构建量子计算机。两年后,Sergio Boixo 等人的论文发表,谷歌开始将工作重点放在实现量子计算优越性任务上。

如今,该团队已经构建起世界上第一个超越传统架构超级计算机能力的量子系统,可以进行特定任务的计算。

量子优越性实验是在一个名为 Sycamore 的 54 量子比特的完全可编程处理器上运行的。该处理器包含一个二维网格,网格中的每个量子比特与其他四个相连。量子优越性实验的成功归功于谷歌改进了具有增强并行性的双量子比特门,即使同时操作多个门,也能可靠地实现记录性能。谷歌使用一种新型的控制旋钮来实现这一性能,该旋钮能够关闭相邻量子比特之间的交互。此举大大减少了这种多连通量子比特系统中的误差。此外,通过优化芯片设计来降低串扰,以及开发避免量子比特缺陷的新控制校准,谷歌进一步提升了性能。

虽然 AI 没有打败最强人类玩家 Serral,但其研究的论文仍然登上了 Nature。2019 年 10 月底,DeepMind 有关 AlphaStar 的论文发表在了当期《Nature》杂志上,这是人工智能算法 AlphaStar 的最新研究进展,展示了 AI 在「没有任何 游戏 限制的情况下」已经达到星际争霸Ⅱ人类对战天梯的顶级水平,在 上的排名已超越 99.8%的活跃玩家 。

回顾 AlphaStar 的发展历程,DeepMind 于 2017 年宣布开始研究能进行即时战略 游戏 星际争霸Ⅱ的人工智能——AlphaStar。2018 年 12 月 10 日,AlphaStar 击败 DeepMind 公司里的最强玩家 Dani Yogatama;12 月 12 日,AlphaStar 已经可以 5:0 击败职业玩家 TLO 了(TLO 是虫族玩家,据 游戏 解说们认为,其在 游戏 中的表现大概能有 5000 分水平);又过了一个星期,12 月 19 日,AlphaStar 同样以 5:0 的比分击败了职业玩家 MaNa。至此,AlphaStar 又往前走了一步,达到了主流电子竞技 游戏 顶级水准。

根据《Nature》论文描述,DeepMind 使用通用机器学习技术(包括神经网络、借助于强化学习的自我博弈、多智能体学习和模仿学习)直接从 游戏 数据中学习。AlphaStar 的 游戏 方式令人印象深刻——这个系统非常擅长评估自身的战略地位,并且准确地知道什么时候接近对手、什么时候远离。此外,论文的中心思想是将 游戏 环境中虚构的自我博弈扩展到一组智能体,即「联盟」。

联盟这一概念的核心思想是:仅仅只是为了赢是不够的。相反,实验需要主要的智能体能够打赢所有玩家,而「压榨(exploiter)」智能体的主要目的是帮助核心智能体暴露问题,从而变得更加强大。这不需要这些智能体去提高它们的胜率。通过使用这样的训练方法,整个智能体联盟在一个端到端的、完全自动化的体系中学到了星际争霸Ⅱ中所有的复杂策略。

2019 年在 AI 领域的各个方向上都出现了很多技术突破。新的一年,我们期待更多进展。

此外,机器之心于 2019 年 9 月底推出了自己的新产品 SOTA 模型,读者可以根据自己的需要寻找机器学习对应领域和任务下的 SOTA 论文,平台会提供论文、模型、数据集和 benchmark 的相关信息。

“请给AI一些包容 ”

“说实话,我很不喜欢「人工智障」这个词。”

在与掘金志的聊天中,一位从事计算机视觉方向的算法工程师多次表示,他讨厌这个词很久了,几乎是本能的反感,即便只是一种调侃,在他看来都是一种嘲讽。

这种嘲讽就好像是,一名路人,对着自己刚刚学会爬的孩子冷嘲热讽:这孩子真笨,连路都不会走。

他甚至坦言,如果身边有同事使用这个词自嘲,他会刻意与之保持距离,因为这种自嘲实属对自己的工作、对专业知识的“不尊重”。

拥有他这种技术性癖好的工程师不在少数,在掘金志询问的多个从业人员之中,都表达了类似观点:通常被问及人工智能水平时,类似表述以 「弱人工智能」 为准。

某负责品牌传播与公关的业务专员透露,如果在对外交流中使用了「人工智障」之类的词,被举报或是被公司发现,“直接影响绩效考核”,因为这类不专业的表述很可能导致负面的传播效果。

在与这些人的谈话中,掘金志发现,在AI圈内,从业者对于AI有着清晰的认知,在外宣的时候,对AI的负面化表述都较为严谨。

然而,在圈外,接二连三发生的各种AI事故,让大众对AI的真实能力产生诸多怀疑,关于人工智能变成人工智障的言论甚嚣尘上,唱衰人工智能的声音时常见诸报端。

表面上,这只是一场关于AI的舆论争议。但,其实质却是企业与大众对AI话语权的争夺,并会直接影响到AI的推广、落地与应用。

“如果大众无法对新技术形成有效的认知,那么新技术的推广则是非常缓慢的。” 某传媒大学在读研究生表示,大众对于新技术的接受能力是逐层递进的,这个进程很容易受到舆论影响,而负面舆论则存在一种 「爆破效应」 ,可能会直接摧毁此前建立起的「信任基础」。

比如自动驾驶,公众对其的信任基础很薄弱,出现多次事故之后,这种信任实际上已经消耗殆尽。

相关调研报告显示,自动驾驶一哥——特斯拉FSD在国内的激活率不足10%,甚至相当一部分人没有开通AP服务,即便在开通的人群中,也很少有人会使用AP功能。

这种现象固然有其客观原因(比如路侧数据不够、算法能力有限),但从舆论传播的角度看,自动驾驶的一次失误,比起传统 汽车 的十次车祸更加严重,从而也给自动驾驶的进一步落地,带来阻碍。

那么,如何给大众建立起对AI的有效认知,推动AI更快、更广泛地落地?

掘金志通过采访之后认为: 媒体报道、企业外宣、大众知识普及教育 ,是三个最主要的途径。而围绕着大众展开的各种「认知教育」,也注定是一场旷日持久的「攻坚战」。

人工智能应用有一个有趣的悖论: 当一种AI技术已经非常普及的时候,人们普遍不会认为这就是AI。

好比上世纪八九十年代,一台黑白电视机可能是划时代的象征,需要手动调频;但现在遥控型的彩色电视机成为标配,人们也不觉得这就算智能。又比如,小区停车场通过车牌识别进出、刷脸进入小区等,在近几年开始普及,但人们很少将之与AI联系起来,即便这里面实际上用了各种识别算法、芯片等等。

在大众的认知里,人工智能理所应当达到电影里机器人的水平,或者近似人一样地思考、行动。

“大众有时对于人工智能过于乐观,甚至高估。” 中国计量大学信息学院副教授、人工智能专业负责人杨力认为,作为走向 社会 的新技术,人们对AI的理解并不全面,认为AI应该无所不能,这种认知与实际并不相符。

在掘金志看来,大众对于人工智能的认知比较浅层,这主要表现在两个方面:

这种浅层认知很容易被诱导,而在一些不着边际的宣传之下,AI本身的能力被过分夸大,大众对AI产生盲目「自信」或高估。

“外行看热闹,内行看门道。”

杨力表示,以人脸识别为例,5年前可能人们会觉得很神秘、先进,但在经过消费类电子的普及之后,许多人觉得人脸识别已经没什么难度了。当他给学生们授课讲人脸识别时,同学们都觉得这已经是很成熟的技术,“并不新鲜,难度不大。”

但其实人脸识别距离高度智能化还有很长一段距离,在许多复杂场景下,很难捕捉到有效的人脸信息。并且,人脸识别在小规模(数据库较小)场景下效果很好,但当数据库非常大的时候,识别的准确率就没那么高了。

“大众由于缺少专业知识,很容易把复杂问题简单化,但从事AI研究的人对此却非常谨慎,普通人觉得简单的技术,从业者可能会觉得‘这个做不了,那个做不了’,简单而言, 就是望山跑死马的感觉。 ”

掘金志发现,由于缺少专业的通识教育,大众对于人工智能的了解渠道比较单一,多数是通过媒体报道、企业宣传这两种途径来触及AI,只有小部分人会自发研读相关书籍、学习课程,以增进了解。

从传播的角度看,如果受众获取信息的渠道有限,那么该信息渠道的控制人将具有信息传递的「控制权」,形成一种「舆论垄断」的局面,而信息在经过多次传播之下,极易「失真」。

实际上,这种「失真」是在所难免的。在AI的传播过程当中,形成了圈内和圈外两大群体,由于人工智能本身属于较高门槛的专业,圈内(企业)和圈外(普通受众)之间的连接,主要通过媒体来实现。

但媒体宣传存在问题是,许多从业者要么科班出身,要么跨界转型,真正懂AI的媒体人只有少数。并且媒体本身随着大数据、互联网技术的变化,进一步下沉到各平台,又造就了无数自媒体,形成了媒体界良莠不齐的局面。在流量导向的环境下,各种消息报道层出不穷,而这类信息又存在「放大效应」(比如标题过于惊乍),以至于大众接受到的信息与实际信息存在「误差」。

在人工智能最为火热的时候,不少AI企业为了拿融资、打知名度,纷纷投放广告、软文,宣传产品,造成人工智能已经能够大规模落地的假象。后来AI遇冷,大众对AI的调侃某种程度上可以看作是前期宣传过于猛烈的一种「反噬」。

当然,圈内也注意到大众传媒存在的局限,不少企业在重要的社交平台上都开辟了宣传渠道,但由于内容差异(比如太垂直、产品推广)或渠道差异,并不符合C端属性,多数AI企业无法直接建立起与大众的有效连接。

因此,在“企业-媒体-大众”这一传播链条下,由于大众传媒本身存在机制缺陷,导致大众很难在参差不齐的信息中,建立起对AI的有效认知。然而企业又不得不依赖大众传媒来宣传AI, 这种内在矛盾,是造成圈内与圈外对AI产生「认知差异」的重要原因。

“归根到底,还是AI人才太少。”在杨力看来,人才是推动产业发展的核心力量,当前AI处于爬坡阶段,技术本身的问题是造成大众对AI产生质疑的根本因素,舆论传播一定程度上加剧了这种影响。

解铃还须系铃人,不论是AI纵深发展,还是横向传播, 只有AI人才,可以给AI「正名」, 但现阶段的情况是,国内AI人才极度紧缺。

“应用型人才真的太少了。”杨力感叹道,当AI从空中楼阁走向田间地头,懂技术又懂行业的人“真的不多”。

而在工信部《人工智能产业人才发展报告(2019-2020)》(下称“报告”)里,预计我国人工智能产业内有效人才缺口达 30 万,而这仅是两年前的数据。实际上,在过去的两年里,根据掘金志观察,AI企业对人才的需求持续旺盛,整个AI产业的应用人才缺口进一步拉大。

作为技术/知识密集型产业,AI的人才准入门槛较高,对学历、工作经验非常看重。

根据报告,2019年AI企业发布的岗位中,仅有11.9%的岗位接受专科学历;也仅有5.4%的岗位接受1年以下工作经验的求职人才;接受提供应届生的岗位仅占3.3%。

这意味着要从事AI行业,基本上要求本科学历,同时,由于多数AI企业缺乏人力、资金和动力去培养应届毕业生(至少一年以上),企业对应届毕业生的需求并不旺盛,而更青睐那些拥有知识储备和实践经验的人才, 这种“排新”性质的招聘需求,又加重了人才短缺情况。

除此之外,AI对人才的专业性要求极强,尤其是算法研究、应用开发等岗位,60%以上岗位要求具备计算机、数学相关专业背景。

各种线性条件约束下,原本就短缺的AI人才,显得更加「紧俏」。

一位AI初创公司HR告诉掘金志,招人是一件很困难的事,“专业、学校、工作经历筛选下来,符合条件的人很少,加上公司要的是进来立马能产出的人,还要考虑薪资这些因素,优秀的人才很难招到;而走校招的话,优秀的毕业生早早被互联网、明星AI公司签下,剩下的也更青睐大公司。筛选去筛选来,选择真的不多。”

除了缺少与行业相结合的应用型人才以外,在杨力的观察之中,AI的另一个人才缺口, 是能够“扎下心来做基础性工作”的理论研究型人才。

根据斯坦福发布的《2022年人工智能报告》,虽然我国在AI 期刊论文的引用数、会议论文发表数量以及在人工智能专利申请数量上排名世界第一,但在AI会议论文被引数上却远落后于欧美。并且,一些创新性的基础理论、前沿 科技 的研究仍以欧美为主。

“很多人工智能的基础理论,都是由外国人/机构提出来的,比如现在比较火热的深度学习。”

杨力表示,这与我国人工智能起步较晚有很大关系,要弥补这样的差距,除了要加强对基础理论研究的资金、人才投入以外,也应该建立起标准的AI人才培养体系,为AI研究提供源源不断的人才活力。

“学校是培养人才的摇篮,理想的情况是, 一部分学生毕业以后从事理论研究,更多的毕业生进入行业,通过产学研联动,来推动AI的落地。”

掘金志了解到,当前我国人工智能产业已经初步形成“政产学研一体化”人才培 养生 态体系,但仍然处于起步阶段。2019年,人工智能专业正式获批列入本科专业名单,国内诸多高校开始自建或与企业共建人工智能学院(研究院),并开设AI专业。

然而,对于如何培养专业的AI人才,各大高校也正处于摸索之中,尚未形成行之有效的范式。

2019年,国内人工智能专业正式获批,被列入本科专业名单,但开办专业需要经过课程建设、实验条件、专业申报等流程,多数学校于近两年才开始正式招生。

换句话说,距离最早的一批AI本科生毕业,离毕业也还需要大概一到两年的时间。

如何把这一批新生培养成才,来填补当前存在的人才缺口,是一件并不容易的事情。此外,未来的第一批毕业生,其综合能力是否达标也极具象征意义。

“一方面,人工智能专业学的内容很难, 以前很多研究生阶段才开设的课程,现在放到本科阶段来学了, 对学生是一种压力,对老师的教学方式、技巧也带来挑战;另一方面,如何将人才培养与 社会 需求结合起来,让学生能够学以致用,也是难点。”

作为人工智能领域的资深学者,杨力在多年的执教生涯中,除了对AI有着深入的研究与思考外,也 探索 出了一些关于培养AI人才的「方法论」。

“首先要尊重学习规律。” 杨力告诉掘金志,AI本身对实践能力的要求较高,这就不能照搬传统学科的培养模式,即大一大二侧重于理论,大三大四侧重于专业。而应该理论和实践并用,先学习、再实践,在实践中学习,然后呈“螺旋式上升”。

在具体举措方面,他表示,可以通过成立 「科创小组」 的模式,鼓励学生以团队协作的方式参加各种学习竞赛、研究课题。

这种小组模式的优势在于:小组覆盖全体学生,通过团队协作,形成内部互帮互助的学习氛围,让成员都能参与到实践之中,成为一个「利益团体」;并且,小组的持续时间覆盖学生的整个大学生涯,所有成员都能共享「利益成果」。同时,小组成员之间互相帮助,从某种程度上也能给老师减轻压力。

“其次要因材施教,激发学生对AI的求知欲、 探索 欲。”

杨力表示,学生对AI的学习兴趣也呈现出明显的「二八定律」,即20%的学生求知欲很强,而80%的学生兴趣一般。

“对于这20%的学生,你只需要告诉他怎样做到最好,并且告诉他这个过程中需要注意的事项、细节,其余的无需太过关心;而对于80%的学生,他们的兴趣没那么高,就需要比较细致的指导,并且需要搭配一些「强制指派」,例如直接分配任务让他们参加。”

“再而,通过激励机制来刺激学生的创作灵感。”

比如,在课程设计时,将创新性纳入评分标准之中,以课程成绩来驱动学生进行创新。

例如,在做某个案例时,如果学生只是根据老师列的步骤照猫画虎,其成绩最高可能也就刚好及格,而剩下的分数则全靠个人创意和发挥。

“大多数学生需要老师给一些推力,而成绩就是最好的激励。”杨力表示,学生为了拿更高的绩点,便不得不“多费心思”,而不是敷衍了之,最终交上来的作品“往往有很多意想不到的亮点”。

“最后,教师与学生之间要形成良性互动的正循环。”

本科教学存在的一个普遍问题是,学生与教师之间的互动较弱,或者只存在于课堂之上,课外的联系非常少,“上课是师生,下课是路人”的情况并不少见。

在杨力看来,如果老师仅仅把教学当作是一种工作任务来完成,那么学生也会采取应付的态度。相反,如果老师富有责任感,学生也会受到其“以身作则的影响“,更有进取意识。

因而,老师可以通过带项目、线上线下互动等方式与学生沟通,来了解学生的需求,给自身的教学工作进行反馈,而这种反馈最终又将通过教学的方式来触及学生,形成「师生共赢」的局面。

除了培养AI人才方法论外,杨力也指出,培养人工智能专业人才需要 破除「唯研究生论」。

“读人工智能专业必须读研究生,不读研究生就没有前途。”

不少人持有这样的观点,但杨力却坚决表示反对。他认为,原来很多研究生的课程已经下放到本科来学,本科阶段的人才培养成体系之后,学生的理论、实践能力将能够满足AI行业的基本需求,一味追求研究生教育,只会造成AI圈越来越卷,无助于缓解行业人才短缺情况。

“当然,研究生教育也很重要,但研究生人才培养可能更应该倾向于基础理论方面, 而AI的规模化落地,需要更多应用型人才去推动。”

举个例子:很多传统制造业引进了人工智能,比如机械臂、自动化生产设备等,但由于缺少应用型人才,企业买回去的设备不知道该怎么使用,也不知道如何做到效益最大化,更不懂运营维护。

这样的岗位,并不需要从业者非常深厚的理论功底,而是有AI基础,又懂行业的人才。而在传统产业智能化升级过程中,类似的人才缺口非常大。

“实际上,当AI走向各行各业、落地之后,对人才的需求也会发生变化,而在本科阶段,通过理论学习加上与专业相关的 社会 实践,也能培养出优秀的人才。”

在刚结束的冬奥会上,杨力教授带领他的团队做了一个智能辅助技术,可通过视频来实现对选手动作进行回顾与分析,给裁判打分给予参考。

虽然只是一个比较简单的行为识别,模型并不精巧,市场上有很多AI公司具备开发该技术的能力。但让人欣慰的是,这个项目一经提出,学生们便踊跃参加,在导师的指引下,一步步挖掘数据、标注、建模、训练、测试,整个过程持续两周之久,大部分工作由学生完成,而且是在春节期间,有同学甚至因为出力不够而深感抱歉。

“Talk is cheap.”在杨力看来,这个项目别人有能力做,然而只有他们去落地实践了,并且整个项目由大一学生完成,过程远重于结果, 他们“代表着AI领域的新生力量。”

做这个项目也并非一帆风顺。

该项目的成员,中国计量大学信息学院 21级人工智能专业学生,蒋正阳告诉掘金志,小组在建模的时候,要么网络太大训练太慢,要么网络太小而不适合要求,难以达到预期目标。同时,训练也会遇到算力不够的情况。

经过多次失败尝试之后,小组不得不求助于杨力教授,后者补充了一种网络结构,该结构下,模型变得相对“较轻”,训练也可以符合预期。

最终,小组成功研发出“单板滑雪AI裁判技术”。该技术可在画面模糊、相机高速运动、长距离全景画面等复杂场景下,对运动员是否抓板进行精准识别,从而为裁判打分提供依据,助力「冬奥公平」。

“我们的专业知识有限,需要继续加强理论学习。通过这个项目,我们了解了从零开始做项目的过程、方法、难度,积累了经验。当然,最后看到项目跑出来的结果,内心还是很欣喜的。”蒋总结道。

杨力认为,遇到问题很正常,关键在于去行动、实践了。“人在学走的路上,会跌倒很多次,但不能因为跌倒,就只学爬,这样永远也不会走。”

这何尝不是国内AI发展的缩影。

在经历无人问津的韬光养晦期之后,国内AI于10年开始蓬勃发展,商汤、旷视、云从、依图等一众AI公司先后诞生,受到资本热捧,撑起国内AI的希望。但激情燃烧之后,随之而来的是行业落地难、商业化难、变现难等各种质疑。

如今的AI,正处于从爬到走的摸索期,磕磕碰碰、跌倒摔倒等时有发生,也被大众调侃成「人工智障」。

但杨力对此并不沮丧,反而感到乐观, 因为“有越来越多的企业、越来越多的人才参与到AI的发展、推广、落地之中”, 在“政产学研”模式的推动之下,AI也将被掀开神秘面纱,显露出最真实的样子,而大众在未来也会对AI形成一个“全面、客观”的认知。

在掘金志与多位AI从业者的交流过程中,几乎所有人都对AI充满希望,即便AI仍然处于「弱人工智能」阶段,他们仍然坚信,AI有着光明的未来。

“AI的浩海不止于边边角角,而在于改变世界。”开篇吐槽「人工智障」的那位工程师告诉掘金志,即便改变世界的路途,充满坎坷,但 “因为热爱,所以坚持。”

而对于大众的一些调侃和质疑,他迟疑了一下,回道:

“请给AI一些包容。”雷峰网雷峰网

智源道歉,百余大佬署名AI论文被爆抄袭

2022年4月,一起AI界的学术不端事件可谓是“引爆 ”了整个学术圈。涉及到的100位作者,无一不是业内大佬。

谷歌大脑(Google Brain)团队著名科学家Nicholas Carlini 发表的一篇博客中指控:由北京智源人工智能研究院团队牵头,刊登在论文预印网站Arxiv的一篇中国学术综述论文《关于“大模型”的路线图》(“A Roadmap for Big Model”)一文涉嫌严重抄袭。

Nicholas Carlini在博客文章中则详细列举了上述中国团队论文存在大段抄袭其他论文的嫌疑,证据是大规模的文本重叠,疑似被剽窃的论文也包括他更早发布的《去重训练数据使语言模型更好》(Deduplicating Training Data Makes Language Models Better),部分内容一模一样。讽刺的是,后者这篇被抄袭的论文,研究的主题正是数据去重和查重。

资料显示,北京智源人工智能研究院为依托北京大学、清华大学、中国科学院、百度、小米、字节跳动、美团点评、旷视科技等北京人工智能领域优势单位共建的新型研究机构。

这一篇本意尽可能涵盖国内外关于该领域所有重要文献的综述报告,由智源研究院牵头,负责框架设计和稿件汇总,并邀请国内外100位科研人员分别撰写16篇独立的专题文章,每篇文章分别邀请一组作者撰写并单独署名,共200页。

值得注意的是,联名撰写的这近一百来位作者,分别来自清华、北大、上海交大等顶级名校,及腾讯、华为、京东、字节跳动等互联网大厂。

随后,北京智源人工智能研究院在其官网发布了关于“A Roadmap for Big Model”综述报告涉嫌抄袭的致歉信,确认部分文章存在问题后,已启动独立审查,并进行相关追责。

不过不过,Carlini同时也指出,涉嫌抄袭的可能只有小部分作者,在尚未明确多名作者的具体责任前应理性看待,。而且智源研究院决定立即从报告中删除相应内容,并且对报告修订版提交arXiv进行更新。目前已通知所有文章的作者对所有内容进行全面审查,后续将严格审核后再发布新版本。

智源研究院表示,将深刻吸取教训,整改科研管理和论文发表流程,并进一步完善制度管理。

这件事在知乎讨论也从第一天最初的几万浏览量,飞涨到了现在的600多万。

对此,我们可以引用知乎用户、伦敦玛丽皇后大学学子“谢圜不是真名 ”的一句话来进行总结:“ 学术声誉的建立是一辈子的事情,然而要推倒只需要一瞬间。”希望通过更加严格的审核机制和更加明确的惩戒措施,加强学风教育,防范同类事件的再次发生。

上一篇:毕业论文没有引用

下一篇:维普论文检测管网