casa1363007
大家都知道,AI (神经网络) 连加减法这样的简单算术都做不好:可现在,AI已经懂得微积分,把魔爪伸向你最爱的高数了。 它不光会求不定积分:还能解常微分方程:一阶二阶都可以。这是Facebook发表的新模型,1秒给出的答案,超越了Mathematica和Matlab这两只付费数学软件30秒的成绩。 团队说,这是Seq2Seq和Transformer搭配食用的结果。 用自然语言处理 (NLP) 的方法来理解数学,果然行得通。 这项成果,已经在推特上获得了1700赞。许多小伙伴表示惊奇,比如: “感谢你们!在我原本的想象中,这完全是不可能的!”而且,据说算法很快就要开源了:到时候让付费软件怎么办?巨大数据集的生成姿势要训练模型做微积分题目,最重要的前提就是要有大大大的数据集。 这里有,积分数据集和常微分方程数据集的制造方法:函数,和它的积分首先,就是要做出“一个函数&它的微分”这样的数据对。团队用了三种方法: 第一种是正向生成 (Fwd) ,指生成随机函数 (最多n个运算符) ,再用现成的工具求积分。把工具求不出的函数扔掉。 第二种是反向生成 (Bwd) ,指生成随机函数,再对函数求导。填补了第一种方法收集不到的一些函数,因为就算工具求不出积分,也一定可以求导。 第三种是用了分部积分的反向生成 (Ibp) 。前面的反向生成有个问题,就是不太可能覆盖到f(x)=x3sin(x)的积分: F(x)=-x3cos(x)+3x2sin(x)+6xcos(x)-6sin(x) 因为这个函数太长了,随机生成很难做到。 另外,反向生成的产物,大多会是函数的积分比函数要短,正向生成则相反。 为了解决这个问题,团队用了分部积分:生成两个随机函数F和G,分别算出导数f和g。 如果fG已经出现在前两种方法得到的训练集里,它的积分就是已知,可以用来求出Fg: ∫Fg=FG-∫fG 反过来也可以,如果Fg已经在训练集里,就用它的积分求出fG。 每求出一个新函数的积分,就把它加入训练集。 如果fG和Fg都不在训练集里,就重新生成一对F和G。 如此一来,不借助外部的积分工具,也能轻松得到x10sin(x)这样的函数了。一阶常微分方程,和它的解从一个二元函数F(x,y)说起。 有个方程F(x,y)=c,可对y求解得到y=f(x,c)。就是说有一个二元函数f,对任意x和c都满足:再对x求导,就得到一个微分方程:fc表示从x到f(x,c)的映射,也就是这个微分方程的解。 这样,对于任何的常数c,fc都是一阶微分方程的解。 把fc替换回y,就有了整洁的微分方程:这样一来,想做出“一阶常微分方程&解”的成对数据集,只要生成一个f(x,c),对c有解的那种,再找出它满足的微分方程F就可以了,比如:二阶常微分方程,和它的解二阶的原理,是从一阶那里扩展来的,只要把f(x,c)变成f(x,c1,c2) ,对c2有解。 微分方程F要满足:把它对x求导,会得到:fc1,c2表示,从x到f(x,c1,c2)的映射。 如果这个方程对c1有解,就可以推出另外一个三元函数G,它对任意x都满足:再对x求导,就会得到:最后,整理出清爽的微分方程:它的解就是fc1,c2。 至于生成过程,举个例子:现在,求积分和求解微分方程两个训练集都有了。那么问题也来了,AI要怎么理解这些复杂的式子,然后学会求解方法呢?将数学视作自然语言积分方程和微分方程,都可以视作将一个表达式转换为另一个表达式,研究人员认为,这是机器翻译的一个特殊实例,可以用NLP的方法来解决。 第一步,是将数学表达式以树的形式表示。 运算符和函数为内部节点,数字、常数和变量等为叶子节点。 比如 3x^2 + cos(2x) - 1 就可以表示为:再举一个复杂一点的例子,这样一个偏微分表达式:用树的形式表示,就是:采用树的形式,就能消除运算顺序的歧义,照顾优先级和关联性,并且省去了括号。在没有空格、标点符号、多余的括号这样的无意义符号的情况下,不同的表达式会生成不同的树。表达式和树之间是一一对应的。 第二步,引入seq2seq模型。 seq2seq模型具有两种重要特性: 输入和输出序列都可以具有任意长度,并且长度可以不同。 输入序列和输出序列中的字词不需要一一对应。 因此,seq2seq模型非常适合求解微积分的问题。 使用seq2seq模型生成树,首先,要将树映射到序列。 使用前缀表示法,将每个父节点写在其子节点之前,从左至右列出。 比如 2 + 3 * (5 + 2),表示为树是:表示为序列就是 [+ 2 * 3 + 5 2]。 树和前缀序列之间也是一一映射的。 第三步,生成随机表达式。 要创建训练数据,就需要生成随机数学表达式。前文已经介绍了数据集的生成策略,这里着重讲一下生成随机表达式的算法。 使用n个内部节点对表达式进行统一采样并非易事。比如递归这样的方法,就会倾向于生成深树而非宽树,偏左树而非偏右树,实际上是无法以相同的概率生成不同种类的树的。 所以,以随机二叉树为例,具体的方法是:从一个空的根节点开始,在每一步中确定下一个内部节点在空节点中的位置。重复进行直到所有内部节点都被分配为止。不过,在通常情况下,数学表达式树不一定是二叉树,内部节点可能只有1个子节点。如此,就要考虑根节点和下一内部节点参数数量的二维概率分布,记作 L(e,n)。接下来,就是对随机树进行采样,从可能的运算符和整数、变量、常量列表中随机选择内部节点及叶子节点来对树进行“装饰”。 最后,计算表达式的数量。 经由前面的步骤,可以看出,表达式实际上是由一组有限的变量、常量、整数和一系列运算符组成的。 于是,问题可以概括成: 最多包含n个内部节点的树 一组p1个一元运算符(如cos,sin,exp,log) 一组p2个二进制运算符(如+,-,×,pow) 一组L个叶子值,其中包含变量(如x,y,z),常量(如e,π),整数(如 {-10,…,10}) 如果p1 = 0,则表达式用二叉树表示。 这样,具有n个内部节点的二叉树恰好具有n + 1个叶子节点。每个节点和叶子可以分别取p1和L个不同的值。 具有n个二进制运算符的表达式数量就可以表示为:如果p1 > 0,表达式数量则为:可以观察到,叶子节点和二元运算符的数量会明显影响问题空间的大小。△不同数目运算符和叶子节点的表达式数量胜过商业软件实验中,研究人员训练seq2seq模型预测给定问题的解决方案。采用的模型,是8个注意力头(attention head),6层,512维的Transformer模型。 研究人员在一个拥有5000个方程的数据集中,对模型求解微积分方程的准确率进行了评估。 结果表明,对于微分方程,波束搜索解码能大大提高模型的准确率。而与最先进的商业科学计算软件相比,新模型不仅更快,准确率也更高。在包含500个方程的测试集上,商业软件中表现最好的是Mathematica。 比如,在一阶微分方程中,与使用贪婪搜索解码算法(集束大小为1)的新模型相比,Mathematica不落下风,但新方法通常1秒以内就能解完方程,Mathematica的解题时间要长的多(限制时间30s,若超过30s则视作没有得到解)。而当新方法进行大小为50的波束搜索时,模型准确率就从提升到了97%,远胜于Mathematica() 并且,在某一些Mathematica和Matlab无力解决的问题上,新模型都给出了有效解。△商业科学计算软件没有找到解的方程邀请AI参加IMO这个会解微积分的AI一登场,就吸引了众多网友的目光,引发热烈讨论。网友们纷纷称赞:鹅妹子嘤。 有网友这样说道: 这篇论文超级有趣的地方在于,它有可能解决复杂度比积分要高得高得高得多的问题。还有网友认为,这项研究太酷了,该模型能够归纳和整合一些sympy无法实现的功能。不过,也有网友认为,在与Mathematica的对比上,研究人员的实验设定显得不够严谨。 默认设置下,Mathematica是在复数域中进行计算的,这会增加其操作的难度。但作者把包含复数系数的表达式视作“无效”。所以他们在使用Mathematica的时候将设置调整为实数域了?我很好奇Mathematica是否可以解决该系统无法解决的问题。 30s的限制时间对于计算机代数系统有点武断了。但总之,面对越来越机智的AI,已经有人发起了挑战赛,邀请AI挑战IMO金牌。Facebook AI研究院出品 这篇论文有两位共同一作。 Guillaume Lample,来自法国布雷斯特,是Facebook AI研究院、皮埃尔和玛丽·居里大学在读博士。他曾于巴黎综合理工学院和CMU分别获得数学与计算机科学和人工智能硕士学位。 2014年进入Facebook实习。 Franois Charton,Facebook AI研究院的客座企业家(Visiting entrepreneur),主要研究方向是数学和因果关系。传送门 ————编辑 ∑Gemini来源:新浪科技
HazimiYoYo
2022年4月,一起AI界的学术不端事件可谓是“引爆 ”了整个学术圈。涉及到的100位作者,无一不是业内大佬。 谷歌大脑(Google Brain)团队著名科学家Nicholas Carlini 发表的一篇博客中指控:由北京智源人工智能研究院团队牵头,刊登在论文预印网站Arxiv的一篇中国学术综述论文《关于“大模型”的路线图》(“A Roadmap for Big Model”)一文涉嫌严重抄袭。 Nicholas Carlini在博客文章中则详细列举了上述中国团队论文存在大段抄袭其他论文的嫌疑,证据是大规模的文本重叠,疑似被剽窃的论文也包括他更早发布的《去重训练数据使语言模型更好》(Deduplicating Training Data Makes Language Models Better),部分内容一模一样。讽刺的是,后者这篇被抄袭的论文,研究的主题正是数据去重和查重。 资料显示,北京智源人工智能研究院为依托北京大学、清华大学、中国科学院、百度、小米、字节跳动、美团点评、旷视科技等北京人工智能领域优势单位共建的新型研究机构。 这一篇本意尽可能涵盖国内外关于该领域所有重要文献的综述报告,由智源研究院牵头,负责框架设计和稿件汇总,并邀请国内外100位科研人员分别撰写16篇独立的专题文章,每篇文章分别邀请一组作者撰写并单独署名,共200页。 值得注意的是,联名撰写的这近一百来位作者,分别来自清华、北大、上海交大等顶级名校,及腾讯、华为、京东、字节跳动等互联网大厂。 随后,北京智源人工智能研究院在其官网发布了关于“A Roadmap for Big Model”综述报告涉嫌抄袭的致歉信,确认部分文章存在问题后,已启动独立审查,并进行相关追责。不过不过,Carlini同时也指出,涉嫌抄袭的可能只有小部分作者,在尚未明确多名作者的具体责任前应理性看待,。而且智源研究院决定立即从报告中删除相应内容,并且对报告修订版提交arXiv进行更新。目前已通知所有文章的作者对所有内容进行全面审查,后续将严格审核后再发布新版本。 智源研究院表示,将深刻吸取教训,整改科研管理和论文发表流程,并进一步完善制度管理。 这件事在知乎讨论也从第一天最初的几万浏览量,飞涨到了现在的600多万。 对此,我们可以引用知乎用户、伦敦玛丽皇后大学学子“谢圜不是真名 ”的一句话来进行总结:“ 学术声誉的建立是一辈子的事情,然而要推倒只需要一瞬间。”希望通过更加严格的审核机制和更加明确的惩戒措施,加强学风教育,防范同类事件的再次发生。
聪明的达人安
扇形面积 S = (1/2)αR^2, 当 α 减少 30', dα = ° = -π/360, dS = (1/2)R^2dα = -(1/2)100^2 · π/360 = 平方厘米扇形面积减少约 平方厘米;当 R 增加 1 厘米, dR = 1 dS = αRdR = 100 · 1 · 60π/180 = 平方厘米扇形面积增加约 平方厘米。
triangelrain
量子位 出品 | 公众号 QbitAI
2018,仍是AI领域激动人心的一年。
这一年成为NLP研究的分水岭,各种突破接连不断;CV领域同样精彩纷呈,与四年前相比GAN生成的假脸逼真到让人不敢相信;新工具、新框架的出现,也让这个领域的明天特别让人期待……近日,Analytics Vidhya发布了一份2018人工智能技术总结与2019趋势预测报告,原文作者PRANAV DAR。量子位在保留这个报告架构的基础上,对内容进行了重新编辑和补充。这份报告总结和梳理了全年主要AI技术领域的重大进展,同时也给出了相关的资源地址,以便大家更好的使用、查询。报告共涉及了五个主要部分:
下面,我们就逐一来盘点和展望,嘿喂狗~
2018年在NLP 历史 上的特殊地位,已经毋庸置疑。
这份报告认为,这一年正是NLP的分水岭。2018年里,NLP领域的突破接连不断:ULMFiT、ELMo、最近大热的BERT……
迁移学习成了NLP进展的重要推动力。从一个预训练模型开始,不断去适应新的数据,带来了无尽的潜力,甚至有“NLP领域的ImageNet时代已经到来”一说。
正是这篇论文,打响了今年NLP迁移学习狂欢的第一枪。论文两名作者一是创始人Jeremy Howard,在迁移学习上经验丰富;一是自然语言处理方向的博士生Sebastian Ruder,他的NLP博客几乎所有同行都在读。两个人的专长综合起来,就有了ULMFiT。想要搞定一项NLP任务,不再需要从0开始训练模型,拿来ULMFiT,用少量数据微调一下,它就可以在新任务上实现更好的性能。
他们的方法,在六项文本分类任务上超越了之前最先进的模型。详细的说明可以读他们的论文:网站上放出了训练脚本、模型等:
这个名字,当然不是指《芝麻街》里那个角色,而是“语言模型的词嵌入”,出自艾伦人工智能研究院和华盛顿大学的论文Deep contextualized word representations,NLP顶会NAACL HLT 2018的优秀论文之一。
ELMo用语言模型(language model)来获取词嵌入,同时也把词语所处句、段的语境考虑进来。
这种语境化的词语表示,能够体现一个词在语法语义用法上的复杂特征,也能体现它在不同语境下如何变化。
当然,ELMo也在试验中展示出了强大功效。把ELMo用到已有的NLP模型上,能够带来各种任务上的性能提升。比如在机器问答数据集SQuAD上,用ELMo能让此前最厉害的模型成绩在提高个百分点。
这里有ELMo的更多介绍和资源:
它由Google推出,全称是 B idirectional E ncoder R epresentations from T ransformers,意思是来自Transformer的双向编码器表示,也是一种预训练语言表示的方法。从性能上来看,没有哪个模型能与BERT一战。它在11项NLP任务上都取得了最顶尖成绩,到现在,SQuAD 前10名只有一个不是BERT变体:
如果你还没有读过BERT的论文,真的应该在2018年结束前补完这一课:另外,Google官方开源了训练代码和预训练模型:如果你是PyTorch党,也不怕。这里还有官方推荐的PyTorch重实现和转换脚本:
BERT之后,NLP圈在2018年还能收获什么惊喜?答案是,一款新工具。
就在上周末,Facebook开源了自家工程师们一直在用的NLP建模框架PyText。这个框架,每天要为Facebook旗下各种应用处理超过10亿次NLP任务,是一个工业级的工具包。
(Facebook开源新NLP框架:简化部署流程,大规模应用也OK)
PyText基于PyTorch,能够加速从研究到应用的进度,从模型的研究到完整实施只需要几天时间。框架里还包含了一些预训练模型,可以直接拿来处理文本分类、序列标注等任务。
想试试?开源地址在此:
它能主动打电话给美发店、餐馆预约服务,全程流畅交流,简直以假乱真。Google董事长John Hennessy后来称之为“非凡的突破”,还说:“在预约领域,这个AI已经通过了图灵测试。”Duplex在多轮对话中表现出的理解能力、合成语音的自然程度,都是NLP目前水平的体现。如果你还没看过它的视频……
NLP在2019年会怎么样?我们借用一下ULMFiT作者Sebastian Ruder的展望:
今年9月,当搭载BigGAN的双盲评审中的ICLR 2019论文现身,行家们就沸腾了: 简直看不出这是GAN自己生成的 。
在计算机图像研究史上,BigGAN的效果比前人进步了一大截。比如在ImageNet上进行128×128分辨率的训练后,它的Inception Score(IS)得分,是之前最佳得分分 3倍 。
除了搞定128×128小图之外,BigGAN还能直接在256×256、512×512的ImageNet数据上训练,生成更让人信服的样本。
在论文中研究人员揭秘,BigGAN的惊人效果背后,真的付出了金钱的代价,最多要用512个TPU训练,费用可达11万美元,合人民币76万元。
不止是模型参数多,训练规模也是有GAN以来最大的。它的参数是前人的2-4倍,批次大小是前人的8倍。
研究论文:
前前后后,团队只用了16个AWS云实例,每个实例搭载8块英伟达V100 GPU,结果比Google用TPU Pod在斯坦福DAWNBench测试上达到的速度还要快40%。这样拔群的成绩,成本价只需要 40美元 ,在博客中将其称作人人可实现。
相关地址: 博客介绍:
今年8月,英伟达和MIT的研究团队高出一个 超逼真 高清视频生成AI。
只要一幅动态的语义地图,就可获得和真实世界几乎一模一样的视频。换句话说,只要把你心中的场景勾勒出来,无需实拍,电影级的视频就可以自动P出来:
除了街景,人脸也可生成:
这背后的vid2vid技术,是一种在生成对抗性学习框架下的新方法:精心设计的生成器和鉴别器架构,再加上时空对抗目标。
这种方法可以在分割蒙版、素描草图、人体姿势等多种输入格式上,实现高分辨率、逼真、时间相干的视频效果。
好消息,vid2vid现已被英伟达开源。
研究论文:
GitHub地址
相关地址
相关地址
对即将毕业的大学生来说,写论文是必不可少的一件事,虽然在初稿修改的时候会想找一些免费的、靠谱的论文查重网站,因为这样也可以省下一笔不小的费用,因为反复修改查重的
选自军队院校教师岗位工资单(内容来源于网络) 根据2021年度军队招聘单位发布的预告,军队文职文职目前的工资标准,发到个人的一般工资水平为:本科毕业确定为专业技
人工智能这把火已经烧到了国家战略层面,连美国总统和政府机构也卷了进来。上周四,奥巴马主持白宫前沿峰会,展望美国在未来50年的发展。峰会中,白宫发布报告《国家人工
数十位国内AI大牛参与的论文被指严重抄袭,哪些地方有抄袭嫌疑?下面就我们来针对这个问题进行一番探讨,希望这些内容能够帮到有需要的朋友们。 北京智源人工智能研究院
一、新建文件尺寸,常见规格:210*285mm 420*285mm二、四周需要做3mm出血值,即216*291mm 426*291mm三、文字的黑色色值