机器翻译论文解读

论文：LipNet:END-TO-END SENTENCE-LEVEL LIPREADING 本人在对相关领域的内容进行调研时，由于缺乏指导，在中文网站上也很少见到有对Lipreading相关的文章进行详尽分析，因此也耗费了不少时间精力。这里对领域内的一篇Sentence Level的开山之作（文中自称）进行分析，介绍文章中的重点。在这篇文章之前，大多数Lipreading的工作集中在字母、单词、数字或者短语的识别上，具有一定的局限性。而这篇文章虽然使用的数据中的句式有限定，词汇量也比较小，但是不妨碍它是在语句的尺度上进行的识别，且取得了相当不错的成果。 首先介绍数据集。GRID数据集是一个Sentence-level的数据集，比较包含三万多条数据。每一个数据是一条视频，视频内容是一个人说出一条固定的句子，并对应一条文本标签，文本标签对每个单词的起始时间和终止时间都进行标注。句子的句式是进行了限制的，并不是具有逻辑性的自然语句，即：​也就是说，每一条语句都是由6个固定类型的单词组成，上标表示了数据集中这种单词类型的种类数量，比如​表示这个位置为一个颜色单词（如blue），而数据集中一共有4种颜色单词。 另外需要了解的是，数据集的视频一共有34个文件夹，对应了对34个不同的人所录制的视频。每一个文件夹包含上千个视频数据，都是对同一个人录制的。而在后期实验时，作者会采用两种不同的方式进行训练和测试：（1）用其中30个人的视频进行训练，而用另外4个人的视频进行测试，即Unseen Speakers;（2）从34个人的视频中，各随机抽取255个视频作为测试数据，其它的作为训练数据； 首先会按照先前在数据集部分的末尾所介绍分组方式将数据拆分为两种训练集和测试集。然后使用已有的面部识别检测器，将视频的每一帧都处理为​大小的仅包含嘴部的帧。最后再将每一帧进行标准化。 （1）分别使用常规的图像序列和水平翻转的图像序列进行训练； （2）由于数据集提供了每一个单词的起始和终止时间，因此可以使用每一个单词所对应的图像帧序列来训练模型； （3）随机删除或复制某些帧，概率设置为； 介绍完了数据的组织方式以后，大家也都知道了这是一个Seq2seq的问题，与语音识别的套路极其相似，因此Lipreading的套路很大程度上就是将CV的套路和机器翻译的套路进行整合。 这篇文章的模型结构也没什么特别的，文中的废话比较多，总结起来其实就是用3D卷积对图像帧进行特征提取,然后使用两层双向GRU作为Encoder-Decoder，输出一个预测值，最后再用全连接层输出预测的概率。总体上模型的结构并不复杂，也有一些可以改进的地方 。 此外，损失函数函数值得注意。本文使用的是CTC损失函数，这个损失函数是一个比较经典的用于语音识别相关问题的损失函数，避免了帧与字符进行对齐标注。具体地可以参考 这篇文章 。 指标WER和CER分别为word error rate 和 character error rate，即单词错误率和字符错误率，固然是越低越好。指标分为了两栏：Unseen Speakers和 Overlapped Speakers，对应于在数据集部分介绍的两种数据划分方式下的测试结果。可以看到，LipNet在GRID数据集上的各项指标都达到了当时的最好。后续的很多工作在GRID数据集上的WER已经来到，但是在例如LRS数据集上的表现，远无法达到GRID数据集上的效果，因为GRID数据集中的句式单一，且人脸正对着镜头，只能作为一项基础研究，Lipreading在自然场景下的sentence-level的识别，仍然有很长的路要走。 水平有限，欢迎大家批评指正。有问题可以共同探讨。

2017年 10 月 11 日，阿里巴巴达摩院正式成立，马云的一句 “ 活得要比阿里巴巴长”，让外界对它的未来发展，有了更 “意味深长” 的期待。

在近三年多的时间里，达摩院在人工智能学术科研与应用上齐头并进，无论在国际学术顶会以及各类竞赛上，还是在推动学术成果的商业化落地上，都交出了亮眼的成绩单，这也反过来吸引着人工智能领域的顶尖研究者们都汇聚于此。

对于这些顶尖研究者们目前正在开展的研究工作，想必大家都充满了探知欲！

7月9日（晚）19:30-21:00 ，AI科技评论就将联合阿里达摩院，外加阿里集团在学术科研上同样“坚挺”的存在——阿里安全，给大家呈上一场 “ACL 2020 系列论文解读·阿里巴巴专场” 直播！

届时，来自阿里达摩院机器智能技术团队和阿里安全安全智能团队的 6 位高级算法专家、算法工程师以及研究型实习生们，将分别聚焦于多任务学习、少样本文本分类、 任务型对话、神经机器翻译、知识蒸馏、跨域分词标注等NLP 细分领域，为大家带来一场论文解读盛宴！

本次分享的嘉宾具体都有谁呢？下面一一揭晓：****分享主题： SpanMlt：一种基于跨度的用于属性词和观点词配对抽取的多任务学习框架 ****分享嘉宾：黄龙涛

分享内容：

属性词和观点词抽取，是细粒度的基于属性的情感分析（ABSA）的两个关键问题。属性－观点词对（ aspect-opinion pairs）可以为消费者和观点挖掘系统提供相关产品或服务的全局配置文件。但是，传统方法无法在没有给定属性词和观点词的情况下，直接输出属性－观点词对。尽管研究者最近提出了一些共提取方法来联合提取属性词和观点词，但是并不能配对抽取两者。为此，本文提出了一种端到端方法来解决属性词和观点词的配对抽取（PAOTE）任务。此外，本文从联合词和关系抽取的角度而非此前大多数工作中执行的序列标注方法的角度，来处理该问题。我们提出了一个基于共享跨度的多任务学习框架，其中在跨度边界的监督下提取词。同时，使用跨度表示法来联合识别配对关系。大量实验表明，我们的模型始终优于 SOTA 方法。

分享内容：

现有的工作往往使用元学习（meta learning）的方法，通过在一系列meta-task中切换来获得少样本学习的能力，但是在task间的切换会带来遗忘的问题，因此考虑使用记忆机制来辅助meta learning的训练。在本工作中，我们将监督学习得到的分类参数作为meta learning的全局记忆，并提出了动态记忆路由算法，基于dynamic routing的方式将全局记忆信息融入到meta task的训练和预测阶段。此外，动态记忆路由算法还可以使用query信息来增强归纳类别表示的能力，对口语场景下的语言多样性表达有更好的泛化性能。在中英文场景少样本分类任务数据集上，均取得了STOA的结果。

分享主题：多领域对话动作和回复联合生成****分享嘉宾：田俊峰

分享内容： 在任务型对话中，产生流畅且信息丰富的回复至关重要。现有pipeline方法通常先预测多个对话动作，然后使用它们的全局表示来辅助回复生成。这种方法有两个缺陷：第一，在预测对话动作时，多领域的固有结构被忽略了；其次，在生成回复时没有考虑到对话动作和回复之间的语义联系。为了解决这些问题，我们提出了一种同时生成对话动作和回复的神经联合生成模型。与以往的方法不同，我们的对话动作生成模块可以保留多领域对话动作的层次结构，同时我们的回复生成模块可以动态地关注到相关的对话动作。在训练时，我们采用不确定性损失函数来自适应地调整两个任务的权重。在大规模MultiWOZ数据集上进行了评估，实验结果表明，我们的模型在自动评估和人工评估上都比SOTA模型有很好的提升。****分享主题：神经机器翻译的多尺度协同深度模型******分享嘉宾：魏相鹏**

近年来，神经机器翻译(NMT)方法凭借其出色的翻译性能在大量应用场景中取代了基于统计的机器翻译方法。目前，制约NMT模型性能的因素主要包括模型的特征表达能力和数据规模。因此，我们提出一种基于多尺度协作(MSC)机制的深度神经机器翻译模型，以提高模型对底层（具象化）和高层（抽象化）特征的建模能力。

实验证明，(1) 多尺度协作机制有助于构建极深的NMT模型的同时带来性能上的提升，(2) 基于MSC机制的深度NMT模型能够更好地翻译语义结构复杂的自然语言句子。

****分享主题：多语种序列标注的结构级知识蒸馏******分享嘉宾：王新宇**

多语言序列标注是一项使用单一统一模型预测多语言标签序列的任务。与依赖于多个单语模型相比，使用多语言模型具有模型规模小、在线服务容易和对低资源语言通用的优点。然而，由于模型容量的限制，目前的多语种模型仍然远远低于单独的单语模型。本文提出将多个单语言模型（teachers）的结构知识提取到统一的多语言模型（student）中，以缩小单语言模型与统一的多语言模型之间的差距。我们提出了两种基于结构层次信息的知识挖掘方法：

****分享主题：跨域中文分词的远程标注与对抗耦合训练******分享嘉宾：丁宁**

完全监督神经方法在中文分词（CWS）的任务上取得了重大进展。但是，如果由于域间的分布差异和集外词（OOV）问题导致域迁移，则监督模型的性能始终一直大幅下降。为了实时缓解此问题，本文将跨域中文分词的远程标注和对抗性训练直观地结合在一起。

7月9日，6位来自阿里的分享嘉宾，与大家不见不散！

ACL 2020原定于2020年7月5日至10日在美国华盛顿西雅图举行，因新冠肺炎疫情改为线上会议。为促进学术交流，方便国内师生提早了解自然语言处理（NLP）前沿研究，AI 科技评论将推出「ACL 实验室系列论文解读」内容，同时欢迎更多实验室参与分享，敬请期待！