最近需要做MOE相关的工作，简单分析记录下Hinton团队2017ICLR上发表的论文 论文题目：《Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer》 论文地址： 背景介绍： 随着深度学习的发展，数据规模和模型容量已经是深度学习的关键因素。传统的深度学习模型中，对于每一个样本输入，完整的模型都需要被激活。随着数据和模型的扩大，这样的开销是二次的。因此，引入条件计算的概念，即通过动态激活部分神经网络，从而在增加模型参数量的情况下，而不增加计算量。 但是条件计算提出以来，面临着几个困境： 1.现代的计算机硬件，尤其是GPU，精通计算操作而不擅长分支。因此先前很多的工作每个门控制大chunk网络以减少分支。 2.条件计算会减少batch size。 3.网络带宽是瓶颈。 4.需要设计特定的损失函数，Bengio先前的工作就设计了三种loss，这些loss的设计会影响模型的效果和负载均衡。 5.现有的相关工作都是在小数据集上的小模型实验。 方法： 提出稀疏门控的多专家混合网络，通过一个可学习的门控网络来稀疏地选择专家。 相关工作： 介绍了先前机器学习&深度学习领域的一些专家网络的工作，但是这些网络都是偏上层的专家结合，每个专家网络其实是一个完整的模型。而该论文的工作实际上是将MOE做成一个通用的网络模块，同时作为一种实际的方式来控制模型的容量。 模型结构：如上公式，模型输出就是通过门控网络G来赋予不同专家E的输出不同权重。文中提到，如果专家的数量过多，也可以构建多层的MOE结构。 这里文中有一段对于MOE结构的理解。在MOE中，专家网络是前馈神经网络类似于参数化的权重矩阵，而对于多个专家激活的情况就对应于一种block-wise的dropout结构。 门控网络： 简单的softmax网络：有噪的topk网络：·通过topk选取前k个专家，其余专家的系数为0。稀疏门控的设计能够节省计算量。 ·通过加入噪声（其中噪声权重矩阵是可学习的）来控制负载均衡。 解决问题： batch size的问题：简单来说，假设batch size为b，从n个专家中选取topK个。由于稀疏激活的原因，每个专家接收的样本数是k*b/n << b，因此会造成batch size减小。 同步的数据和模型并行：控制每一张卡上只有一个专家网络，通过门控网络实现数据分发到哪个专家网络。该方法控制每张卡上内存和通信消耗几乎一致，因此只需要增加卡的数量d，就可以等比例的增大batch size。 卷积性：网络的每一个时间步的MOE都相同，如果把LSTM的多时间步拆开，相当于形成一个很大的batch输入，因此也可以增大batch size。 其他一些优化显存的方法增大batch size。 网络带宽问题：通过增大隐层维度或者隐层的数量来提高计算效率。 负载均衡问题：具体而言，模型训练时会趋向于总激活某几个专家，这是模型的“自我强化”导致的不平衡性。先前的一些工作会加入一些硬限制和软限制。 MOE中通过增加两种loss设计，importance loss&load loss。前者定义重要性，表示某个专家训练的样本数量，从而鼓励所有专家都参与训练。后者是为了解决有些专家接收少量大权重的样本，有些专家接收大量小权重的样本的情况。 实验： 实验部分展示了在语言建模以及翻译等任务上MOE的表现。基本来说，MOE在更小计算量的情况下，模型拥有更高的参数量（最高为1370亿参数量），并且在test perplexity上更低。 结论： MOE确实提供了一个很好的思路来提升模型容量。在理想情况下，只需要增加专家的数量（设备数量）就可以增大模型参数量。但是实际训练操作比较困难，同时文中的专家网络仅是简单的前馈神经网络，其他网络结构还需要近一步探索。 之后会记录一系列的MOE相关论文，希望能够获得启发。
被誉为 深度学习的顶级论文首先，这个来头不小，由位列深度学习三大巨头之二的 Yoshua Bengio 和 Yann LeCun 牵头创办。Yoshua Bengio 是蒙特利尔大学教授，深度学习三巨头之一，他领导蒙特利尔大学的人工智能实验室（MILA）进行 AI 技术的学术研究。MILA 是世界上最大的人工智能研究中心之一，与谷歌也有着密切的合作。而 Yann LeCun 就自不用提，同为深度学习三巨头之一的他现任 Facebook 人工智能研究院（FAIR）院长、纽约大学教授。作为卷积神经网络之父，他为深度学习的发展和创新作出了重要贡献。至于创办 ICLR 的原因何在，雷锋网尝试从 Bengio 和 LeCun 于 ICLR 第一届官网所发布的公开信推测一二。
【51CTO.com快译】 首先请在脑海中想象一只橙色的猫。然后，想象同一只猫，皮毛已经变成了煤黑色。现在，想象这样一只猫在长城上昂首阔步。
在上述一系列想象活动中，你大脑中的一系列神经元会基于你之前对世界的认知，快速呈现出不同的图像。也就是说，作为人类，其实很容易一个具有不同属性的对象。但对于计算机来说，尽管深度神经网络在某些任务上取得了可以与人类表现相匹敌甚至超越的突破，但始终无法与人类的“想象力”相抗衡。
如今，一个来自南加州大学的研究团队开发出了一种新的人工智能，可以利用类人的能力想象出某个前所未有的具有不同属性的物体。这篇以Zero-Shot Synthesis with Group-Supervised Learning为题的论文于今年5月7日发表在ICLR2021（深度学习领域的顶级学术会议）会上。
“我们受到人类视觉泛化能力的启发，尝试在机器上模拟人类的想象力，”该研究的主要作者葛云浩说，“人类可以通过不同的属性(例如形状、姿势、位置、颜色)来分离所学知识，然后将它们重新组合，从而想象出一个新的物体。我们的论文试图用神经网络来模拟这个过程。”
人工智能的泛化
假如，你想创建一个生成 汽车 图像的人工智能系统。理想情况下，你可以为算法提供一些 汽车 图片，从而让它可以从不同角度生成各种型号、外形、颜色的 汽车 ，从保时捷到庞蒂亚克到皮卡，不一而足。
这是人工智能长期追求的目标之一：创建可以进行推理的模型。达成这一目标就意味着，给定几个示例，模型就能够提取基本规则，并将它们应用到大量前所未见的新示例中。但机器通常是根据样本特征进行训练的，比如像素，而不考虑对象的属性。
关于“想象”的科学
在这项新研究中，研究人员试图用一种“退纠缠（disentanglement）”的概念来克服这一限制。“退纠缠”可以用于“深度伪造（deepfake）”，葛云浩提到，通过“退纠缠”人的脸部表情和特征进行“换脸”，人们可以合成新的图像和视频，用另一个人替换原主身份，同时保留原来的动作。与之相似，新方法采用一组样本图像——而不是像传统算法那样一次一个样本——并挖掘它们之间的相似性以实现所谓的“可控退纠缠表征学习”。然后通过重新组合这些知识来实现“可控的新图像合成”，或者你可以称之为“想象”。
他以《变形金刚》为例进行了说明：它可以在电影中取材——威震天的形状、大黄蜂的颜色、纽约时代广场的背景。合成结果就是一辆大黄蜂颜色的威震天 汽车 在时代广场上飞驰，即使训练期间并没有出现过这个样本。
这个过程类似于人类的推理：当一个人看到一个物体的颜色时，我们可以轻松地通过用新颜色替换原始色来将其应用于任何其他物体。使用他们的技术，这个团队生成了一个包含 156 万张图像的新数据集，有助于该领域的未来研究。
理解世界
虽然“退纠缠”并不是个新点子，但研究人员表示，他们的框架几乎可以和任何类型的数据或知识兼容，这就扩大了应用机会。比如，通过将敏感属性从等式中完全移除，将种族和性别相关知识分解，从而推进人工智能更加公平。
再比如，在医学领域，它可以帮助医生和生物学家发现更多有用的药物，通过将药物功能与其他特性分开，然后将它们重新组合以合成新药；在自动驾驶领域，允许自动驾驶 汽车 想象并避免在训练过程中从未见过的危险场景，从而推进创建更安全的人工智能。
计算机科学教授洛伦·伊蒂说：“深度学习已经在很多领域展示了无与伦比的性能和前景，但这往往是通过浅层模仿达成，并没有更深入地了解使每个个体独一无二的属性。这种新的‘退纠缠’方法第一次真正释放了人工智能系统的想象力，使它们更接近人类对世界的理解。”
原文链接：Enabling the 'imagination' of artificial intelligence
【51CTO译稿，合作站点转载请注明原文译者和出处为51CTO.com】
最近需要做MOE相关的工作，简单分析记录下Hinton团队2017ICLR上发表的论文 论文题目：《Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer》 论文地址： 背景介绍： 随着深度学习的发展，数据规模和模型容量已经是深度学习的关键因素。传统的深度学习模型中，对于每一个样本输入，完整的模型都需要被激活。随着数据和模型的扩大，这样的开销是二次的。因此，引入条件计算的概念，即通过动态激活部分神经网络，从而在增加模型参数量的情况下，而不增加计算量。 但是条件计算提出以来，面临着几个困境： 1.现代的计算机硬件，尤其是GPU，精通计算操作而不擅长分支。因此先前很多的工作每个门控制大chunk网络以减少分支。 2.条件计算会减少batch size。 3.网络带宽是瓶颈。 4.需要设计特定的损失函数，Bengio先前的工作就设计了三种loss，这些loss的设计会影响模型的效果和负载均衡。 5.现有的相关工作都是在小数据集上的小模型实验。 方法： 提出稀疏门控的多专家混合网络，通过一个可学习的门控网络来稀疏地选择专家。 相关工作： 介绍了先前机器学习&深度学习领域的一些专家网络的工作，但是这些网络都是偏上层的专家结合，每个专家网络其实是一个完整的模型。而该论文的工作实际上是将MOE做成一个通用的网络模块，同时作为一种实际的方式来控制模型的容量。 模型结构：如上公式，模型输出就是通过门控网络G来赋予不同专家E的输出不同权重。文中提到，如果专家的数量过多，也可以构建多层的MOE结构。 这里文中有一段对于MOE结构的理解。在MOE中，专家网络是前馈神经网络类似于参数化的权重矩阵，而对于多个专家激活的情况就对应于一种block-wise的dropout结构。 门控网络： 简单的softmax网络：有噪的topk网络：·通过topk选取前k个专家，其余专家的系数为0。稀疏门控的设计能够节省计算量。 ·通过加入噪声（其中噪声权重矩阵是可学习的）来控制负载均衡。 解决问题： batch size的问题：简单来说，假设batch size为b，从n个专家中选取topK个。由于稀疏激活的原因，每个专家接收的样本数是k*b/n << b，因此会造成batch size减小。 同步的数据和模型并行：控制每一张卡上只有一个专家网络，通过门控网络实现数据分发到哪个专家网络。该方法控制每张卡上内存和通信消耗几乎一致，因此只需要增加卡的数量d，就可以等比例的增大batch size。 卷积性：网络的每一个时间步的MOE都相同，如果把LSTM的多时间步拆开，相当于形成一个很大的batch输入，因此也可以增大batch size。 其他一些优化显存的方法增大batch size。 网络带宽问题：通过增大隐层维度或者隐层的数量来提高计算效率。 负载均衡问题：具体而言，模型训练时会趋向于总激活某几个专家，这是模型的“自我强化”导致的不平衡性。先前的一些工作会加入一些硬限制和软限制。 MOE中通过增加两种loss设计，importance loss&load loss。前者定义重要性，表示某个专家训练的样本数量，从而鼓励所有专家都参与训练。后者是为了解决有些专家接收少量大权重的样本，有些专家接收大量小权重的样本的情况。 实验： 实验部分展示了在语言建模以及翻译等任务上MOE的表现。基本来说，MOE在更小计算量的情况下，模型拥有更高的参数量（最高为1370亿参数量），并且在test perplexity上更低。 结论： MOE确实提供了一个很好的思路来提升模型容量。在理想情况下，只需要增加专家的数量（设备数量）就可以增大模型参数量。但是实际训练操作比较困难，同时文中的专家网络仅是简单的前馈神经网络，其他网络结构还需要近一步探索。 之后会记录一系列的MOE相关论文，希望能够获得启发。
被誉为 深度学习的顶级论文首先，这个来头不小，由位列深度学习三大巨头之二的 Yoshua Bengio 和 Yann LeCun 牵头创办。Yoshua Bengio 是蒙特利尔大学教授，深度学习三巨头之一，他领导蒙特利尔大学的人工智能实验室（MILA）进行 AI 技术的学术研究。MILA 是世界上最大的人工智能研究中心之一，与谷歌也有着密切的合作。而 Yann LeCun 就自不用提，同为深度学习三巨头之一的他现任 Facebook 人工智能研究院（FAIR）院长、纽约大学教授。作为卷积神经网络之父，他为深度学习的发展和创新作出了重要贡献。至于创办 ICLR 的原因何在，雷锋网尝试从 Bengio 和 LeCun 于 ICLR 第一届官网所发布的公开信推测一二。
会议论文发表方式有很多种：第一：自己写文章，自己翻译，自己找合适的会议，自己投稿，然后录用，自己注册会议。但是会议信息不是那么好找的，而且网上能够找到的会议信息都不是很权威，要投会议论文至少投个EI检索的会议稍微好些。如果找不到合适的EI会议，建议你百度搜：EI学术会议中心，里面有很多EI会议信息和发布的详细流程说明。第二：找相关机构弄，这个是当你没时间写论文或者写出论文被拒多次才用。毕竟这个方法花代价比第一条要大些。但是可以节约不少时间和精力。
发表论文通常只有两种渠道，要么自己投，要么找论文发表机构代投，不管走哪种渠道，最后都是要发表到期刊上的。
期刊，也叫杂志，在上个世纪在出版界曾经是重量级的存在，那个时候互联网还没有兴起，人们阅读文章获取资讯远远没有现在方便，杂志就成为一个很重要的传播媒介。
但现在随着社会的进步，科技的发展，纸媒已经大大没落了，很多期刊被砍掉了，剩下来的大多数不得不自谋出路，学术期刊更是如此，因为这个受众面是很窄的，基本没法盈利，所以只能靠收取版面费来维持，当然，有国家财政拨款的那种不在这个范围。
我们现在发表学术论文，出于严谨性权威性等原因的考虑，还是要发表到纸质期刊上，编辑会用电子邮箱或者内部的系统来收稿，但不会有一个网络平台有发表论文的资质，即使是知网和万方这样的网站，也只是论文数据库，并不是论文发表平台。
所以发表论文的时候，还是要先去选取目标期刊，然后再找到这本期刊的投稿邮箱，或者是找到靠谱的论文发表机构，由代理进行代投，最后都是发表到纸质期刊上的，见刊后一两个月左右被知网收录，就可以检索到了。
ICLR，全称为International Conference on Learning Representations，即国际学习表征会议。
尽管表征学习对于机器学习及包括视觉、语音、音频及NLP领域起着至关重要的作用，但还缺乏一个场所，能够让学者们交流分享该领域所关心的话题。ICLR的宗旨正是填补这一鸿沟。
2013年开始每年举办一次，该会议已经得到学术研究者们的广泛认可，被认为是深度学习领域的顶级会议，虽然成立时间不长，但被CCF评选为一类会议。
扩展资料
会议特色：Open Review评审机制
根据规定，所有提交的论文都会公开姓名等信息，并且接受所有同行的评价及提问（open peer review），任何学者都可或匿名或实名地评价论文。而在公开评审结束后，论文作者也能够对论文进行调整和修改。
ICLR的历届所有论文及评审讨论的内容，都完整地保存在OpenReview.net上，它也是ICLR的官方投稿入口。
OpenReview.net是马萨诸塞大学阿默斯特学院Andrew McCAllum牵头创办的一个公开评审系统，秉承公开同行评审、公开发表、公开来源、公开讨论、公开引导、公开推荐、公开API及开源等八大原则，得到了Facebook、GOOGle、NSF和马萨诸塞大学阿默斯特中心等机构的支持。
此外，目前它也接受其它学术会议的论文投递。
在ICET电子技术国际会议中，有两种可以投稿的方式：期刊和会议论文集。如果想要发表在期刊上，需要在官方网站提交一份具体的文章，并且由学术委员会进行评审。而如果想要发表在会议论文集上，则需要向学术委员会预先提交一份摘要，待选中后再进行具体的文章准备。总之，无论是发表在期刊上还是参加国际会议都是一个很好的学习和成长的机会。
被誉为 深度学习的顶级论文首先，这个来头不小，由位列深度学习三大巨头之二的 Yoshua Bengio 和 Yann LeCun 牵头创办。Yoshua Bengio 是蒙特利尔大学教授，深度学习三巨头之一，他领导蒙特利尔大学的人工智能实验室（MILA）进行 AI 技术的学术研究。MILA 是世界上最大的人工智能研究中心之一，与谷歌也有着密切的合作。而 Yann LeCun 就自不用提，同为深度学习三巨头之一的他现任 Facebook 人工智能研究院（FAIR）院长、纽约大学教授。作为卷积神经网络之父，他为深度学习的发展和创新作出了重要贡献。至于创办 ICLR 的原因何在，雷锋网尝试从 Bengio 和 LeCun 于 ICLR 第一届官网所发布的公开信推测一二。
国际表征学习大会（简称：ICLR），是深度学习领域的顶级会议。
国际表征学习大会是公认的深度学习领域国际顶级会议之一，关注有关深度学习各个方面的前沿研究，在人工智能、统计和数据科学领域以及机器视觉、语音识别、文本理解等重要应用领域中发布了众多极其有影响力的论文。
ICLR采取完全公开评审规则，任何对论文有兴趣的研究者都可以参与到关于论文评审意见的讨论中。这使得ICLR论文评审的透明性和广泛性在深度学习顶级会议中独树一帜，同时也大大增加了论文被接收的难度。
算优秀的。一般的都只有2、3篇，你有5篇算是很优秀的。人工智能专家IanGoodfellow在Twitter上抱怨同行评审(peerreview)机器学习的成功依赖于大型会议，这一领域发展非常迅速。而期刊审稿周期相对较长，因此大部分最新的工作都首先发表在会议上，像NeurIPS，ICLR，ICML等，这对机器学习的发展壮大起了很重要的作用。一般来说，学术会议会邀请某一领域的专家审稿-即通过同行评审制度-决定论文是否值得发表。可以说，顶会现在的成功，很大程度上也要归功于同行评审制度。反之，如果研究工作不经过可靠的同行评审就发表，可能会带来许多问题：大多数人，即非专家，无法分辨研究结果的好坏对错；也会对研究造成混乱，后人可能会引用错误的结果、结论，这无疑也会阻碍机器学习领域研究的进步。因此，随着研究人员及论文的数量成倍增加，同行评审的可靠性在今天变得更加重要。对这一制度可靠性的分析和相关的改进方法，也渐渐成为一个热门话题，并引起学术界和业界的关注。
会议论文集论文算正式发表吗?会议论文集是一些学术会议出版的在会议上宣读的文章的合集，也是一种正规的出版物，但它与学术期刊有很大区别，虽然与期刊区别很大，但只要是在正规会议论文集上发表的论文，就是正式发表，是受认可的论文发表。
论文集有两种情况，一种是依附于期刊的论文集，一些刊物会定期或者不定期出版自己的论文集，或者是为了庆祝某些节假日纪念日，或者是针对某一个研究方向出版的论文合集，另一种论文集就是会议论文集，一些学术会议在会议结束后会将会议上宣读的文章出版论文集，会议论文集的发表价值要高于期刊论文集。
艾里希·弗洛姆，著名德裔美籍心理学家、精神分析学家、哲学家，1900年生于德国法兰克福犹太人家庭，1922年获德国海德堡大学哲学博士学位，是二十年代“法兰克福学派”重要成员，“精神分析社会学”奠基人之一。他以深入浅出、平易近人的文笔，创造了大量学术著作和普及性作品，其中影响最大的《爱的艺术》《逃避自由》《健全的社会》《存在的艺术》《论不服从》平装版近日由上海译文出版社推出。
《爱的艺术》是弗洛姆最著名的作品，自1956年出版至今已被翻译成32种文字，在全世界畅销不衰，被誉为当代爱的艺术理论专著。爱情不是一种与人的成熟程度无关，只需要投入身心的感情。如果不努力发展自己的全部人格并以此达到一种创造倾向性，那么每种爱的试图都会失败，如果没有爱他人的能力，如果不能真正谦恭地、勇敢地、真诚地和有纪律地爱他人，那么人们在自己的爱情生活中也永远得不到满足。
“天真的、孩童式的爱情遵循下列原则：我爱，因为我被人爱。成熟的爱的原则是：我被人爱，因为我爱人。”“人们认为爱是简单的，困难的是寻找正确的爱的对象，或者被爱。这种态度的部分原因在于现代社会的发展。”“爱是一门艺术，要求想要掌握这门艺术的人有这方面的知识并付出努力。”所有这些人们耳熟能详的至理名言都出自这本经典心理学著作。
《逃避自由》创作于第二次世界大战期间，当时法西斯极权威胁着全人类的安全。因此这本书既是弗洛姆对两次世界大战后社会的诠释，也是他从心理学角度对当代社会做出的系统而强烈的批评。在今天依然振聋发聩，发人深思，被誉为精神分析运用在社会学中的不朽名著。
《健全的社会》是社会心理学领域的经典之作，是对现代社会中人的精神状况的一次有力的探索。精神健康的问题是否只涉及某些“不适应”社会的个体？社会作为整体是否会患上精神病？对此，弗洛姆给出了肯定的回答。
作为人本主义精神分析学派的代表人物，弗洛姆对于人和社会的关系的看法与传统的弗洛伊德派的观点有根本的区别。后者将 *** 视作人的感情和欲望的基本动力。对此，弗洛姆明确提出：人的基本感情并不植根于他的本能需要，而是产生自人类生存的特殊环境。
《存在的艺术》则开始讨论生活的艺术实践首先需要思考生活的目标是什么？人类生命的意义是什么？该书的第一部分阐明了占有和存在这两种生存模式的本质，这两种存在模式占主导地位的结果都是为了人类的福祉，人类的全面人性化需要突破由占有为中心到以活动为中心，由自私和以自我为中心到团结和利他主义为中心。而该书的第二部分提出了一些切实可行的建议，实施这些步骤也许会对人性化有所帮助。
《论不服从》出版于1981年，由艾里希·弗洛姆在世时发表的多篇论文合集而成，论述了“服从”与“不服从”究竟意味着什么。弗洛姆反对盲从因袭，对常识中的“陋识”部分持批判的立场，他的论述至今仍有相关意义。
“在理想的社会中，个人的幸福是社会的核心关注点”（《健全的社会》）、“如何自由而不孤独、自爱而不自私、理智判断而不找合理化借口……”（《逃避自由》）、“人类的全面人性化需要突破由占有为中心到以活动为中心，由自私和以自我为中心到团结和利他主义为中心”（《存在的艺术》）、“在所有社会和经济活动中，最高价值是人，社会的目标是营造各类环境，让每个人充分发展其潜能、理性、爱和创造力，真正实现自由和发挥个性”（《论不服从》）。毫无疑问，弗洛姆的每部作品都在植根于精神分析学说的基础上，探讨人类的福祉与人生的意义。他的经典力作从生存与关爱、健全与自由等多重角度切入，值得人们反复品读、深入思考。
在我们现代社会中，人变得越来越自我疏离，这种孤立感导致人们无意识地渴望与他人结合和联系，希望弗洛姆这套振聋发聩的心理学系列作品能够为当下注入一股理性而温暖的力量。