最近需要做MOE相关的工作，简单分析记录下Hinton团队2017ICLR上发表的论文 论文题目：《Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer》 论文地址： 背景介绍： 随着深度学习的发展，数据规模和模型容量已经是深度学习的关键因素。传统的深度学习模型中，对于每一个样本输入，完整的模型都需要被激活。随着数据和模型的扩大，这样的开销是二次的。因此，引入条件计算的概念，即通过动态激活部分神经网络，从而在增加模型参数量的情况下，而不增加计算量。 但是条件计算提出以来，面临着几个困境： 1.现代的计算机硬件，尤其是GPU，精通计算操作而不擅长分支。因此先前很多的工作每个门控制大chunk网络以减少分支。 2.条件计算会减少batch size。 3.网络带宽是瓶颈。 4.需要设计特定的损失函数，Bengio先前的工作就设计了三种loss，这些loss的设计会影响模型的效果和负载均衡。 5.现有的相关工作都是在小数据集上的小模型实验。 方法： 提出稀疏门控的多专家混合网络，通过一个可学习的门控网络来稀疏地选择专家。 相关工作： 介绍了先前机器学习&深度学习领域的一些专家网络的工作，但是这些网络都是偏上层的专家结合，每个专家网络其实是一个完整的模型。而该论文的工作实际上是将MOE做成一个通用的网络模块，同时作为一种实际的方式来控制模型的容量。 模型结构：如上公式，模型输出就是通过门控网络G来赋予不同专家E的输出不同权重。文中提到，如果专家的数量过多，也可以构建多层的MOE结构。 这里文中有一段对于MOE结构的理解。在MOE中，专家网络是前馈神经网络类似于参数化的权重矩阵，而对于多个专家激活的情况就对应于一种block-wise的dropout结构。 门控网络： 简单的softmax网络：有噪的topk网络：·通过topk选取前k个专家，其余专家的系数为0。稀疏门控的设计能够节省计算量。 ·通过加入噪声（其中噪声权重矩阵是可学习的）来控制负载均衡。 解决问题： batch size的问题：简单来说，假设batch size为b，从n个专家中选取topK个。由于稀疏激活的原因，每个专家接收的样本数是k*b/n << b，因此会造成batch size减小。 同步的数据和模型并行：控制每一张卡上只有一个专家网络，通过门控网络实现数据分发到哪个专家网络。该方法控制每张卡上内存和通信消耗几乎一致，因此只需要增加卡的数量d，就可以等比例的增大batch size。 卷积性：网络的每一个时间步的MOE都相同，如果把LSTM的多时间步拆开，相当于形成一个很大的batch输入，因此也可以增大batch size。 其他一些优化显存的方法增大batch size。 网络带宽问题：通过增大隐层维度或者隐层的数量来提高计算效率。 负载均衡问题：具体而言，模型训练时会趋向于总激活某几个专家，这是模型的“自我强化”导致的不平衡性。先前的一些工作会加入一些硬限制和软限制。 MOE中通过增加两种loss设计，importance loss&load loss。前者定义重要性，表示某个专家训练的样本数量，从而鼓励所有专家都参与训练。后者是为了解决有些专家接收少量大权重的样本，有些专家接收大量小权重的样本的情况。 实验： 实验部分展示了在语言建模以及翻译等任务上MOE的表现。基本来说，MOE在更小计算量的情况下，模型拥有更高的参数量（最高为1370亿参数量），并且在test perplexity上更低。 结论： MOE确实提供了一个很好的思路来提升模型容量。在理想情况下，只需要增加专家的数量（设备数量）就可以增大模型参数量。但是实际训练操作比较困难，同时文中的专家网络仅是简单的前馈神经网络，其他网络结构还需要近一步探索。 之后会记录一系列的MOE相关论文，希望能够获得启发。
被誉为 深度学习的顶级论文首先，这个来头不小，由位列深度学习三大巨头之二的 Yoshua Bengio 和 Yann LeCun 牵头创办。Yoshua Bengio 是蒙特利尔大学教授，深度学习三巨头之一，他领导蒙特利尔大学的人工智能实验室（MILA）进行 AI 技术的学术研究。MILA 是世界上最大的人工智能研究中心之一，与谷歌也有着密切的合作。而 Yann LeCun 就自不用提，同为深度学习三巨头之一的他现任 Facebook 人工智能研究院（FAIR）院长、纽约大学教授。作为卷积神经网络之父，他为深度学习的发展和创新作出了重要贡献。至于创办 ICLR 的原因何在，雷锋网尝试从 Bengio 和 LeCun 于 ICLR 第一届官网所发布的公开信推测一二。
最近需要做MOE相关的工作，简单分析记录下Hinton团队2017ICLR上发表的论文 论文题目：《Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer》 论文地址： 背景介绍： 随着深度学习的发展，数据规模和模型容量已经是深度学习的关键因素。传统的深度学习模型中，对于每一个样本输入，完整的模型都需要被激活。随着数据和模型的扩大，这样的开销是二次的。因此，引入条件计算的概念，即通过动态激活部分神经网络，从而在增加模型参数量的情况下，而不增加计算量。 但是条件计算提出以来，面临着几个困境： 1.现代的计算机硬件，尤其是GPU，精通计算操作而不擅长分支。因此先前很多的工作每个门控制大chunk网络以减少分支。 2.条件计算会减少batch size。 3.网络带宽是瓶颈。 4.需要设计特定的损失函数，Bengio先前的工作就设计了三种loss，这些loss的设计会影响模型的效果和负载均衡。 5.现有的相关工作都是在小数据集上的小模型实验。 方法： 提出稀疏门控的多专家混合网络，通过一个可学习的门控网络来稀疏地选择专家。 相关工作： 介绍了先前机器学习&深度学习领域的一些专家网络的工作，但是这些网络都是偏上层的专家结合，每个专家网络其实是一个完整的模型。而该论文的工作实际上是将MOE做成一个通用的网络模块，同时作为一种实际的方式来控制模型的容量。 模型结构：如上公式，模型输出就是通过门控网络G来赋予不同专家E的输出不同权重。文中提到，如果专家的数量过多，也可以构建多层的MOE结构。 这里文中有一段对于MOE结构的理解。在MOE中，专家网络是前馈神经网络类似于参数化的权重矩阵，而对于多个专家激活的情况就对应于一种block-wise的dropout结构。 门控网络： 简单的softmax网络：有噪的topk网络：·通过topk选取前k个专家，其余专家的系数为0。稀疏门控的设计能够节省计算量。 ·通过加入噪声（其中噪声权重矩阵是可学习的）来控制负载均衡。 解决问题： batch size的问题：简单来说，假设batch size为b，从n个专家中选取topK个。由于稀疏激活的原因，每个专家接收的样本数是k*b/n << b，因此会造成batch size减小。 同步的数据和模型并行：控制每一张卡上只有一个专家网络，通过门控网络实现数据分发到哪个专家网络。该方法控制每张卡上内存和通信消耗几乎一致，因此只需要增加卡的数量d，就可以等比例的增大batch size。 卷积性：网络的每一个时间步的MOE都相同，如果把LSTM的多时间步拆开，相当于形成一个很大的batch输入，因此也可以增大batch size。 其他一些优化显存的方法增大batch size。 网络带宽问题：通过增大隐层维度或者隐层的数量来提高计算效率。 负载均衡问题：具体而言，模型训练时会趋向于总激活某几个专家，这是模型的“自我强化”导致的不平衡性。先前的一些工作会加入一些硬限制和软限制。 MOE中通过增加两种loss设计，importance loss&load loss。前者定义重要性，表示某个专家训练的样本数量，从而鼓励所有专家都参与训练。后者是为了解决有些专家接收少量大权重的样本，有些专家接收大量小权重的样本的情况。 实验： 实验部分展示了在语言建模以及翻译等任务上MOE的表现。基本来说，MOE在更小计算量的情况下，模型拥有更高的参数量（最高为1370亿参数量），并且在test perplexity上更低。 结论： MOE确实提供了一个很好的思路来提升模型容量。在理想情况下，只需要增加专家的数量（设备数量）就可以增大模型参数量。但是实际训练操作比较困难，同时文中的专家网络仅是简单的前馈神经网络，其他网络结构还需要近一步探索。 之后会记录一系列的MOE相关论文，希望能够获得启发。
被誉为 深度学习的顶级论文首先，这个来头不小，由位列深度学习三大巨头之二的 Yoshua Bengio 和 Yann LeCun 牵头创办。Yoshua Bengio 是蒙特利尔大学教授，深度学习三巨头之一，他领导蒙特利尔大学的人工智能实验室（MILA）进行 AI 技术的学术研究。MILA 是世界上最大的人工智能研究中心之一，与谷歌也有着密切的合作。而 Yann LeCun 就自不用提，同为深度学习三巨头之一的他现任 Facebook 人工智能研究院（FAIR）院长、纽约大学教授。作为卷积神经网络之父，他为深度学习的发展和创新作出了重要贡献。至于创办 ICLR 的原因何在，雷锋网尝试从 Bengio 和 LeCun 于 ICLR 第一届官网所发布的公开信推测一二。
【51CTO.com快译】 首先请在脑海中想象一只橙色的猫。然后，想象同一只猫，皮毛已经变成了煤黑色。现在，想象这样一只猫在长城上昂首阔步。
在上述一系列想象活动中，你大脑中的一系列神经元会基于你之前对世界的认知，快速呈现出不同的图像。也就是说，作为人类，其实很容易一个具有不同属性的对象。但对于计算机来说，尽管深度神经网络在某些任务上取得了可以与人类表现相匹敌甚至超越的突破，但始终无法与人类的“想象力”相抗衡。
如今，一个来自南加州大学的研究团队开发出了一种新的人工智能，可以利用类人的能力想象出某个前所未有的具有不同属性的物体。这篇以Zero-Shot Synthesis with Group-Supervised Learning为题的论文于今年5月7日发表在ICLR2021（深度学习领域的顶级学术会议）会上。
“我们受到人类视觉泛化能力的启发，尝试在机器上模拟人类的想象力，”该研究的主要作者葛云浩说，“人类可以通过不同的属性(例如形状、姿势、位置、颜色)来分离所学知识，然后将它们重新组合，从而想象出一个新的物体。我们的论文试图用神经网络来模拟这个过程。”
人工智能的泛化
假如，你想创建一个生成 汽车 图像的人工智能系统。理想情况下，你可以为算法提供一些 汽车 图片，从而让它可以从不同角度生成各种型号、外形、颜色的 汽车 ，从保时捷到庞蒂亚克到皮卡，不一而足。
这是人工智能长期追求的目标之一：创建可以进行推理的模型。达成这一目标就意味着，给定几个示例，模型就能够提取基本规则，并将它们应用到大量前所未见的新示例中。但机器通常是根据样本特征进行训练的，比如像素，而不考虑对象的属性。
关于“想象”的科学
在这项新研究中，研究人员试图用一种“退纠缠（disentanglement）”的概念来克服这一限制。“退纠缠”可以用于“深度伪造（deepfake）”，葛云浩提到，通过“退纠缠”人的脸部表情和特征进行“换脸”，人们可以合成新的图像和视频，用另一个人替换原主身份，同时保留原来的动作。与之相似，新方法采用一组样本图像——而不是像传统算法那样一次一个样本——并挖掘它们之间的相似性以实现所谓的“可控退纠缠表征学习”。然后通过重新组合这些知识来实现“可控的新图像合成”，或者你可以称之为“想象”。
他以《变形金刚》为例进行了说明：它可以在电影中取材——威震天的形状、大黄蜂的颜色、纽约时代广场的背景。合成结果就是一辆大黄蜂颜色的威震天 汽车 在时代广场上飞驰，即使训练期间并没有出现过这个样本。
这个过程类似于人类的推理：当一个人看到一个物体的颜色时，我们可以轻松地通过用新颜色替换原始色来将其应用于任何其他物体。使用他们的技术，这个团队生成了一个包含 156 万张图像的新数据集，有助于该领域的未来研究。
理解世界
虽然“退纠缠”并不是个新点子，但研究人员表示，他们的框架几乎可以和任何类型的数据或知识兼容，这就扩大了应用机会。比如，通过将敏感属性从等式中完全移除，将种族和性别相关知识分解，从而推进人工智能更加公平。
再比如，在医学领域，它可以帮助医生和生物学家发现更多有用的药物，通过将药物功能与其他特性分开，然后将它们重新组合以合成新药；在自动驾驶领域，允许自动驾驶 汽车 想象并避免在训练过程中从未见过的危险场景，从而推进创建更安全的人工智能。
计算机科学教授洛伦·伊蒂说：“深度学习已经在很多领域展示了无与伦比的性能和前景，但这往往是通过浅层模仿达成，并没有更深入地了解使每个个体独一无二的属性。这种新的‘退纠缠’方法第一次真正释放了人工智能系统的想象力，使它们更接近人类对世界的理解。”
原文链接：Enabling the 'imagination' of artificial intelligence
【51CTO译稿，合作站点转载请注明原文译者和出处为51CTO.com】
被誉为 深度学习的顶级论文首先，这个来头不小，由位列深度学习三大巨头之二的 Yoshua Bengio 和 Yann LeCun 牵头创办。Yoshua Bengio 是蒙特利尔大学教授，深度学习三巨头之一，他领导蒙特利尔大学的人工智能实验室（MILA）进行 AI 技术的学术研究。MILA 是世界上最大的人工智能研究中心之一，与谷歌也有着密切的合作。而 Yann LeCun 就自不用提，同为深度学习三巨头之一的他现任 Facebook 人工智能研究院（FAIR）院长、纽约大学教授。作为卷积神经网络之父，他为深度学习的发展和创新作出了重要贡献。至于创办 ICLR 的原因何在，雷锋网尝试从 Bengio 和 LeCun 于 ICLR 第一届官网所发布的公开信推测一二。
国际表征学习大会（简称：ICLR），是深度学习领域的顶级会议。
国际表征学习大会是公认的深度学习领域国际顶级会议之一，关注有关深度学习各个方面的前沿研究，在人工智能、统计和数据科学领域以及机器视觉、语音识别、文本理解等重要应用领域中发布了众多极其有影响力的论文。
ICLR采取完全公开评审规则，任何对论文有兴趣的研究者都可以参与到关于论文评审意见的讨论中。这使得ICLR论文评审的透明性和广泛性在深度学习顶级会议中独树一帜，同时也大大增加了论文被接收的难度。
算优秀的。一般的都只有2、3篇，你有5篇算是很优秀的。人工智能专家IanGoodfellow在Twitter上抱怨同行评审(peerreview)机器学习的成功依赖于大型会议，这一领域发展非常迅速。而期刊审稿周期相对较长，因此大部分最新的工作都首先发表在会议上，像NeurIPS，ICLR，ICML等，这对机器学习的发展壮大起了很重要的作用。一般来说，学术会议会邀请某一领域的专家审稿-即通过同行评审制度-决定论文是否值得发表。可以说，顶会现在的成功，很大程度上也要归功于同行评审制度。反之，如果研究工作不经过可靠的同行评审就发表，可能会带来许多问题：大多数人，即非专家，无法分辨研究结果的好坏对错；也会对研究造成混乱，后人可能会引用错误的结果、结论，这无疑也会阻碍机器学习领域研究的进步。因此，随着研究人员及论文的数量成倍增加，同行评审的可靠性在今天变得更加重要。对这一制度可靠性的分析和相关的改进方法，也渐渐成为一个热门话题，并引起学术界和业界的关注。
会议论文发表方式有很多种：第一：自己写文章，自己翻译，自己找合适的会议，自己投稿，然后录用，自己注册会议。但是会议信息不是那么好找的，而且网上能够找到的会议信息都不是很权威，要投会议论文至少投个EI检索的会议稍微好些。如果找不到合适的EI会议，建议你百度搜：EI学术会议中心，里面有很多EI会议信息和发布的详细流程说明。第二：找相关机构弄，这个是当你没时间写论文或者写出论文被拒多次才用。毕竟这个方法花代价比第一条要大些。但是可以节约不少时间和精力。
发表论文通常只有两种渠道，要么自己投，要么找论文发表机构代投，不管走哪种渠道，最后都是要发表到期刊上的。
期刊，也叫杂志，在上个世纪在出版界曾经是重量级的存在，那个时候互联网还没有兴起，人们阅读文章获取资讯远远没有现在方便，杂志就成为一个很重要的传播媒介。
但现在随着社会的进步，科技的发展，纸媒已经大大没落了，很多期刊被砍掉了，剩下来的大多数不得不自谋出路，学术期刊更是如此，因为这个受众面是很窄的，基本没法盈利，所以只能靠收取版面费来维持，当然，有国家财政拨款的那种不在这个范围。
我们现在发表学术论文，出于严谨性权威性等原因的考虑，还是要发表到纸质期刊上，编辑会用电子邮箱或者内部的系统来收稿，但不会有一个网络平台有发表论文的资质，即使是知网和万方这样的网站，也只是论文数据库，并不是论文发表平台。
所以发表论文的时候，还是要先去选取目标期刊，然后再找到这本期刊的投稿邮箱，或者是找到靠谱的论文发表机构，由代理进行代投，最后都是发表到纸质期刊上的，见刊后一两个月左右被知网收录，就可以检索到了。
ICLR，全称为International Conference on Learning Representations，即国际学习表征会议。
尽管表征学习对于机器学习及包括视觉、语音、音频及NLP领域起着至关重要的作用，但还缺乏一个场所，能够让学者们交流分享该领域所关心的话题。ICLR的宗旨正是填补这一鸿沟。
2013年开始每年举办一次，该会议已经得到学术研究者们的广泛认可，被认为是深度学习领域的顶级会议，虽然成立时间不长，但被CCF评选为一类会议。
扩展资料
会议特色：Open Review评审机制
根据规定，所有提交的论文都会公开姓名等信息，并且接受所有同行的评价及提问（open peer review），任何学者都可或匿名或实名地评价论文。而在公开评审结束后，论文作者也能够对论文进行调整和修改。
ICLR的历届所有论文及评审讨论的内容，都完整地保存在OpenReview.net上，它也是ICLR的官方投稿入口。
OpenReview.net是马萨诸塞大学阿默斯特学院Andrew McCAllum牵头创办的一个公开评审系统，秉承公开同行评审、公开发表、公开来源、公开讨论、公开引导、公开推荐、公开API及开源等八大原则，得到了Facebook、GOOGle、NSF和马萨诸塞大学阿默斯特中心等机构的支持。
此外，目前它也接受其它学术会议的论文投递。
在ICET电子技术国际会议中，有两种可以投稿的方式：期刊和会议论文集。如果想要发表在期刊上，需要在官方网站提交一份具体的文章，并且由学术委员会进行评审。而如果想要发表在会议论文集上，则需要向学术委员会预先提交一份摘要，待选中后再进行具体的文章准备。总之，无论是发表在期刊上还是参加国际会议都是一个很好的学习和成长的机会。
1、想要发表论文，事先要做的就是写好一篇查重率合格，且具备一定价值的论文，论文查重率的具体要求，要根据想要发表的期刊来定，若为普通期刊，则查重率在20%或是30%左右即可，若是核心期刊，则查重率一般要在10%以内。
2、在期刊上发表论文，主要途径就是投稿，最好是通过一些比较熟悉和了解的渠道进行投稿，因为这样通过的概率会更高一些，审批也会比较快，发表的时间也能够往前安排。
3、如果是缺乏有关渠道的，可以向有经验的同学或是学长学姐咨询，也可以向有关的老师询问，一般也能够得到一些可靠的方式方法。
4、对于社内投稿，即在官网投稿系统或邮箱投稿，或者是在知网投稿系统投稿，它对于所有类型的期刊都是合适的，缺乏有关渠道的，也可以通过这种方式进行投稿。
5、还有一类投稿，是社内会公布联系方式，或是在线系统投稿，但是这一类投稿的要求会比较高，对于缺乏经验的投稿人来说，也有可能遇到假冒或是的，因此选择这类投稿方式的，建议事先进行必要的验证，确定无误后在进行投稿。
6、可供大家选择的投稿、发表论文的方式其实有不少，但大家也要对各类方式、途径进行甄别对比，还有非常重要的一点是：不得一稿多投。
以下是发表论文或期刊的方法：
一、写作
首先要写好一篇论文，选题要与专业、研究方向密切相关，论文的格式要规范，应包括题目、作者（姓名、单位、邮编及简介）内容摘要、关键词、正文等；论文篇幅不宜过长，因为期刊版面的字符数是固定的，字符数越多，版面增加，相应的费用就会越高；最后还要注意控制重复率，一般期刊要5%-20%以下才合格录用。
二、选刊
选择一本合适的期刊进行投稿，是成功发表论文极其关键的一步，要遵循几个原则，即
1、 国家新闻出版署能查到的正规期刊；
2、知网、万方、维普、龙源四大数据库之一正常收录的期刊；
3、符合学校、单位要求的期刊；
最后还要考虑论文是否符合期刊的收稿范围，避免因为文章方向不合适出现拒稿的情况。
三、投稿
投稿的途径有两种，一种是通过杂志社邮箱，官网或者在线系统投稿。（注意：数据库和期刊的目录页上面的联系方式才是准确的），虽然这种方式完全不用担心，但缺点是审稿时间较长，沟通不及时，无法了解期刊最新出刊时间，费用，收稿要求等等。
第二种就是找代理投稿 。这个方法也是现在大多数人用的要给方法，为什么会这样的，我只能说谁用谁知道。这个是最简单最省事儿的。以前我就是找的一个文化公司安排文章，服务没得说，只需要提供文章，剩余的事情全由他们搞定。
中介投稿也是有很多优势的
1、刊物比较丰富和全面，各类的刊物都有，可以根据作者的要求快速推荐推荐合适的刊物。
2、 期刊信息非常的全名，从刊物的收稿栏目，出刊时间，版面字符数要求，期刊级别、出刊周期、审核标准、是否可以开社内发票、刊号邮发代号、电子刊号、是否可以查稿、封面以及影响因子区间
3、他们基本上是和杂志社或是承包商直接对接的，沟通速度比较的迅速。
4、查稿后付款。这点已经算是标配了，绝大多数的刊物都是可以查稿后付款的，而且查稿电话是数据库可以查询到的哦 。
5、 最要是不收定金和知道一个刊物的审稿要求和难度。