论文模板自然语言处理

全文链接： Convolutional Neural Networks for Sentence Classification——学术范 2012年在深度学习和卷积神经网络成为图像任务明星之后， 2014年TextCNN诞生于世，成为了CNN在NLP文本分类任务上的经典之作。 TextCNN提出的目的在于，希望将CNN在图像领域中所取得的成就复制于自然语言处理NLP任务中。 TextCNN是一种采用卷积神经网络（CNN）提取文本n-gram特征，最大池化，全连接然后进行分类的一种新型模型。它在当时对文本分类SVM老大的位置提出了挑战，虽然当时TextCNN模型效果没有完全超过SVM，但CNN的热潮使得TextCNN极受追捧，成为NLP文本分类任务的经典模型。 上论文~ 首先论文在摘要部分指出本文报告了一系列关于卷积神经网络(CNN)的实验，这些实验是在预先训练的单词向量的基础上进行的，用于句子级别的分类任务。 近年来，深度学习模型在计算机视觉和语音识别方面取得了显著的成果。在自然语言处理中，深度学习方法的大部分工作都涉及到通过神经语言模型学习单词向量表示，并对学习到的单词向量进行合成进行分类。单词向量，其中单词从一个稀疏的1- V编码(这里的V是词汇量)通过一个隐藏层投影到一个低维向量空间，本质上是一个特征提取器，在其维中编码单词的语义特征。在这种密集表示中，语义上相近的词在低维向量空间中的欧几里得距离或余弦距离也是相近的。卷积神经网络(CNN)利用卷积滤波器应用于局部特征。数据集和实验设置 使用的所有数据集:校正线性单元，过滤窗口(h)为3,4,5，每个有100个特征图，dropout率(p)为约束(s)为3，小批量大小为50。这些值是通过在SST-2开发集上的网格搜索选择的。 用从无监督神经语言模型中获得的词向量初始化是在没有大型监督训练集的情况下提高性能的一种流行方法。文中使用公开可用的word2vec向量，这些向量是从谷歌新闻中训练的1000亿个单词。向量的维数为300，并使用连续的词袋结构进行训练。在预先训练的词集中不存在的词将被随机初始化。 论文用模型的几个变体进行了实验 •CNN-rand:基线模型，其中所有单词都随机初始化，然后在训练期间修改。 •CNN-static:一个带有fromword2vec预训练向量的模型。所有单词(包括随机初始化的未知单词)都保持静态，只学习模型的其他参数。 •CNN-non-static:同上，但预训练向量对每个任务进行了微调。 •CNN-multichannel:一个具有两个词向量集的模型。每个向量集被视为一个“通道”，每个过滤器被应用于两个通道，但梯度只通过一个通道反向传播。因此，该模型能够在保持其他向量不变的情况下对一组向量进行微调。两个通道都用word2vec初始化。表2列出了模型与其他方法的对比结果，基线模型包含所有随机初始化的单词(CNN-rand)，但它自己的表现并不好。 即使是一个简单的静态向量模型(CNN-static)也表现得非常好，与更复杂的深度学习模型相比，使用复杂的池化方案(Kalchbrenner et al.， 2014)或要求预先计算解析树(Socheret al.， 2013)，其结果具有竞争力。这些结果表明，预先训练的向量是良好的，“通用的”特征提取器，可以跨数据集使用。对每个任务的预训练向量进行微调，还可以得到进一步的改进(CNN-non-static)。 多通道与单通道模型 我们最初希望多通道体系结构能够防止过拟合(通过确保学习到的向量不会离原始值太远)，从而比单通道模型工作得更好，特别是在较小的数据集上。然而，结果是喜忧参半的，进一步规范微调过程的工作是有必要的。例如，在非静态部分，我们可以使用一个单独的通道，但使用允许在训练期间修改的额外维度，而不是使用一个额外的通道。 静态与非静态表示 与单通道非静态模型的情况一样，多通道模型能够对非静态通道进行微调，使其更适合当前的任务。例如，good和bad在word2vec中最相似，大概是因为它们(几乎)在语法上是等价的。但是对于SST-2数据集上经过微调的非静态信道中的向量来说，情况就不一样了(表3)。同样，good在表达情感方面可以说更接近于nice，而不是great，这确实反映在学习到的向量上。对于(随机初始化的)不属于预先训练的向量集合的标记，微调可以让它们学习更有意义的表示:网络学习到感叹号与热情的表达式有关，逗号是连接符(表3)。 结论 在目前的工作中，论文描述了一系列建立在word2vec之上的卷积神经网络实验。尽管很少对超参数进行调整，但带有一层卷积的简单CNN表现得非常好。研究结果进一步证明，无监督词向量的预训练是NLP深度学习的重要组成部分。

有乐观和悲观的周期在领域的NLP (我们当前可能到在一个更加乐观的阶段之内); 虽然一些非常真正的前进被做了，一个一般NLP系统的目标依然是逃避。 历史上，计算机学家经常是远太过于乐观关于NLP，大概着名的某些的原因以上。 是确切正确地从外边因而是重要的任务为什么是困难的。 It也是重要注意到，有自然语言之间的区别。 由于美国研究员的重要性更多工作在英语大概被完成了比在其他语言，主要，虽然有非常活跃工作者在欧洲和日本。 然而，因为它使用少量变化并且沉重依靠词序，英语在一些方面是一种非典型语言。 用英语和其他介绍来源写的课本很少包含关于语言的NLP的充分讨论与明显不同的语法结构。 We可能区别至少三个分明‘水平’在处理NL ： Sounds Grammar Meaning Each可以被划分成两个或多个分段，不需要有关我们这里。 什么我在这简要的介绍想要做是说明某些在处理每个水平的问题。 Consider这三个词，讲话由从英国的南部的一个当地讲英语者： 输入，入口，收入。 是确切全部三个词包含元素与同一个意思。 要输入是投入某事; 水泵的入口是水被采取的地方; 您的收入是您赢得，即进来的金钱。 Is元素在发音了同样在所有三个词(由指定的报告人) ？ 仔细听表示，它不是。 词输入是显著的，好象被拼写的imput，而入口发音如被拼写。 如果我们让声音通常被拼写的ng的N立场用英语(即在词象唱歌或歌手)，则收入是 因为苏格兰语英语许多报告人这样，不表现I指定了从英国的南部的当地讲英语者; 反而他们一贯地发音所有三个词的第一个元素，当它被拼写，即作为(象可以所有讲英语者，当慢慢地和强调地讲话)时。 Interestingly，讲英语者对这些区别通常是相当未察觉的，在他们自己的讲话和其他的讲话上。 这不是，因为他们不可能区别在三声音m、n和N.之间。 三个词兰姆酒、奔跑和阶在这三声音仅不同并且是相当分明的对所有当地讲英语者。

介绍自然语言处理 一个自然语言' （荷兰）是任何自然语言使用的人，即不是一种人为的或人为的语言，如一种编程语言。 '自然语言处理' （自由党）是一个方便的描述，所有企图利用计算机来处理自然语言。 [ 1 ]的NLP包括： 语音合成：虽然这可能不是乍一看似乎很'聪明' ，合成的自然冠冕堂皇的讲话，是在技术上复杂，几乎肯定需要一些理解，什么是口语，以确保举例来说，正确的语调。 语音识别：基本上是连续减少声波分立的话。 自然语言理解：这里当作从孤立的话（无论是书面或决心通过语音识别）的'意义' 。这可能涉及完整的模型系统或'前端' ，带动其它项目由荷兰命令。 自然语言生成：荷兰创造适当的反应不可预测的投入。 问题补充：这个想法的使用数字电脑的NLP是'旧' ，这可能是因为第一个利用计算机，打破军事守则在第二次世界大战中。一些计算机科学家似乎都认为，俄罗斯（例如）是英语在不同的代码。在这种情况下，因为代码可以被打破，因此可以俄文。这种想法假设有一个共同'的含义基地'的所有自然语言，无论其表面的分歧。压倒一切的共识，语言学家是，这是不正确的。 人工语言处理'的形式，编译器和口译编程语言，是一个关键组成部分，成功的数字化电脑从最早的天。这一成功无疑鼓舞研究的NLP （还鼓励和乐观的态度） 。