1976版《韦氏第三版新际英语辞典新词续编》收录该辞典1961版现6000新词些新词半适应社新发展依据构词造:其五二属缀合五三合见英语构词英语发展具作用构词(wordformation)主要:(1)前缀(2)缀(3)转化(4)合()前缀:词根前加前缀数情况词类变(1)表示否定:a-,an-缺乏没:asexual性别anarchy政府主义dis-反面disobey服disloyalty忠诚(2)表示反向或反义:un-表示作反向untie解unpack打包裹;表示剥夺、免除:unseat夺议席unmask脱假面具(3)表示贬义mis-错误:miscalculate算错mishear听错(4)表示程度、等:over-度:overeat暴食overwork工作度super-超:supernatural超自superman超(二)缀:词根加缀数情况词类改变1.名词缀(1)缀名词结合构抽象名词:-age表量、集等:baggage行李mileage程-ship表状态、身份等:friendship友谊hardship困难membership员(2)缀皆构名词:-eer表示专、事等:engineer工程师mountaineer登山运员(3)形容词转名词elastic---elasticity弹性rapid---rapidity急速electric---electricity电(三)转化:转化指词由种词类转化另种词类词形变名词net(网)转化词net(置…于网)转化构名词、形容词词1.转化名词(1)词转化名词(a)表示理或觉:desire愿望lovesmell气味(b)表示:attempt企图fall落hit击2.转化词(1)名词转化词(a)表示放、放进:bottle装瓶carpet铺毯(b)表示给、提供:butter涂黄油oil油(2)形容词转化词(a)表示使:calm使平静lower降(b)表示:empty变空weary(of)疲倦…(四)合:合两词结合起构复合词英语复合词般都由两词构合词用构种词类名词形容词1.名词复合词(1)主语词(a)主语+由词转化名词:sunriseheadache疼(b)词+主语:crybaby哭诉watchdog看门狗(2)词宾语(a)名词+由词转化名词:bloodtest验血word-formation构词(b)名词+名词:housekeeping主持家务letter-writing写信2.形容词复合词(1)名词+词+ing:man-eating吃breathtaking使吃惊(2)词状语类(2)词类(a)名词+形容词:footsore走痛脚fireproof防火(b)名词+形容词:grass-green草绿)age-old古结尾:略
学点英语的构词方式，有以下几方面的益处：（1）了解词的结构，扩大巩固所学的词汇。在阅读科技文章和专业资料时，碰到生字可以由已知的成分去分析未知词的含义，甚至可以"猜字"。其次，学习构词的方法对词汇的记忆和联想也是大有帮助的。（2）为深刻理解词义有一定的帮助（3）培养灵活运用词语的能力和善于造词的本领。 通过构词法来记忆词汇可以说是一种能够举一反三，事半功倍的有效方法。英语构词法是指英语单词的构成规律。英语中很多次回的构成都有一定的规律，这些规律统称为构词法。了解并掌握构词法，可以有效地帮助我们更好地理解词义，辨认新词，扩大词汇量。英语中常见的构词法有：转化法，合成法和派生法。 （1）转化：由一个词类变为另一个词类，比如water由名词“水”变为动词“浇水”; (2) 派生：通过加前缀和后缀构成另一个词，比如happy(adj.高兴的)加上前缀un-变为unhappy(adj.不高兴的);加上后缀-ness变为happiness(n.快乐); (3) 合成：由两个或更多词构成一个词，比如wood(木)+cut(刻)→woodcut(木刻)，再比如happy+go+lucky→happy-go-lucky(无忧无虑)。
一、含义不同
1、造词，即创造新词，是新词从无到有的创制。
2、构词，指词语的构成，是针对词语的内部结构规律而言。
3、造词法，创造新词的方法，解决词从无到有的问题。
4、构词法，词语的构成方式，对已经形成的词的语法分析。
二、研究的对象不同
1、造词的对象是新词；
2、构词的对象是已经有的词语；
3、造词法的研究对象是创造新词的方法；
4、构词法的研究对象是词语的构成方式。
三、方式不同
1、造词法：
（1）修辞法用比喻、借代等手法创造新词，如龙眼、雀斑。
（2）音义任意结合法词，如人、山等。
（3）说明法：绿茶、甜瓜。
2、构词法：
语素性质和组合方式，如单纯词：笔、书，合成词：木头、老虎等。
参考资料：
百度百科——造词
百度百科——造词法
百度百科——构词
百度百科——构词法
打开这个页面就可以直接下载了：http://59.42.244.67/Sear.dll?Detail?dwNo=1698478&szWhere=~-~ShowWriter=[苏向红]http://59.42.244.67/Sear.dll?Detail?dwNo=6501552&szWhere=~-~ShowWriter=[孟伟军]其它的几篇，你进入这个网站自己搜索吧，
我也只是意思意思。。
我们在开始写作论文时，第一步就是选题，而选题是否热门、实用，直接影响着论文的质量，那么我们该如何选题呢?下面我给大家带来优秀各阶段英语教学论文题目参考，希望能帮助到大家!
优秀小学英语教学论文题目
英语教材语料库与小学教材词汇分析
科学有效地开展小学英语游戏教学
小学生 英语学习 动机的激励策略
小学低段英语语音教学探析
运用任务型教学法进行小学高年级 英语写作 教学的实验研究
从课堂教学浅谈小学生英语学习兴趣的培养
从教与学两方面衔接好小学和初中英语
小学生英语作业现状调查及对策研究
通过英语浸入式教学促进学生语言输出的策略
提高小学生语音能力的教学实践
如何激发小学生英语学习兴趣
小学生英语写作能力的培养策略
英语课外开放性作业的设计
小学普遍开设英语课的可行性质疑
思维导图 令同课异构更出彩
在词汇教学中渗透语音教学的探索与实践
关注小学生英语课外阅读
浅谈如何运用游戏创设有效课堂
对小学生英语词汇记忆策略的培养
小学生英语写作能力培养策略的研究
简约英语课堂的有效教学策略
词块理论指导下的小学高年段英语写作教学思考
浅谈小学生英语自主学习能力的培养
提高小学生 英语阅读 能力的对策
浅谈小学生英语写作能力的培养
提高小学生英语学习实效之途径研究
浅谈小学生英语学习兴趣的培养与保持
提高小学生英语阅读能力 方法 探析
小学英语复习课的思考与操作
谈小学生英语学习习惯的培养
新课标下小学 英语口语 训练之我见
小学英语有效备课之“六要”
将英语板书设计得重点突出、图文并茂
小学生英语课堂游戏的探究
例析小学高年级英语语篇教学的有效途径
学生以自主求发展 词汇因合作而精彩
构建充满活力的英语“大课堂”
巧用“翻转课堂”拓展英语阅读教学实践
NSE新教材听说课词汇分步教法的实践探究
做到“三练一改”，构建有效听说课堂
构建“学为中心”有效词汇教学的实践研究
英语写作“以点带面”反馈和指导方式的探索与研究
谈谈标题在英语阅读教学中的巧用
乘电梯上上下下用手电玩连连看
给思维“四度”空间让精彩洋溢课堂
让阅读课堂在“翻转”中绽放异彩
农村初中英语试卷讲评教学的有效设计初探
互助小组--提升“后20%学生”英语学习的途径
优化听力教学设计，提高听力课堂有效性
中职英语教学论文题目汇总
1、中职英语分层教学管理存在的问题及解决 措施
2、论中职英语课堂手机引入式 教育 模式
3、中职英语情景 教学方法 研究
4、关于中职英语教学的困惑和 反思
5、中职英语生活化教学探微
6、体现职业特色的中职英语教学探析
7、新信息时代下的中职英语教学方式的改革研究
8、试论中职英语教学中学生职业能力的培养--以学前教育专业为例
9、中职英语口语模块化教学的探究
10、关注情感教育 优化中职英语教学
11、浅析中职英语课堂教学中的结尾方式
12、支架式教学及其在中职英语教学中的应用
13、中职英语课堂活动中德育渗透探究
14、中职英语小班化教学的研究与探索
15、“微课”视角下的中职英语教学设计
16、浅析如何提高中职学生英语学习兴趣
17、基于中等职业教育现状的中职英语教学思考
18、浅析提高中职英语教学质量措施与策略
19、中职英语教学情感渗透教育探究
20、培养中职学生英语口语表达能力的策略
21、中职英语阅读教学中跨 文化 交际的导入研究
22、浅议如何实现中职英语 高效课堂
23、浅谈中职学生英语学习兴趣的培养
24、略论激发中职学生英语学习的自我效能感
25、浅谈中职英语与高职英语教育教学的衔接
26、中职英语信息化教学初探
27、中职英语多媒体教学资源的开发与利用
28、肢体语言在中职幼师英语课堂中的应用
29、论新课改背景下中职英语教师的华丽转身
30、浅谈中职英语教学中的文化差异
31、浅谈微课对中职英语教学的影响
32、新课改下中职英语选修课中的视听教学实践与思考
33、中职英语口语教学的相关思考
34、慕课下的中职英语教学改革探析
35、如何在中职英语教学中提升学生的文化素养
36、中职英语听说课教学形成性评价的研究
37、基于对比分析法的中职英语定语教学探究
38、刍议中职英语教学中的德育培养
39、中职英语课堂贯穿职业教育的三要素
40、中职英语课堂互动教学模式的构建策略
41、中职英语教学中的跨文化教育
42、浅谈中职英语隐蔽式语法教学
43、中职英语教学中中庸思想的运用
44、浅谈中职院校英语口语交流的重要性
45、如何创新教学方法手段，突破中职英语教学瓶颈
46、中职英语教学中如何强化学生的人文素质
47、基于“理实结合”创设中职英语道具情境教学法的探究
48、中职英语词汇学习和扩充的教学方法探讨
49、中职旅游酒店英语教学中的心理效应
50、中职英语教材“学材化”的必要性和可能性探究
51、“互联网+”时代背景下的中职英语教学初探
52、关于中职英语课后作业布置与评价的一点思考
53、中职涉外护理英语教学策略
54、中职护理英语写作教学难点及对策
55、如何提高中职生英语技能大赛演讲的心理素质
56、英文电影与中职英语听说能力习得的关系浅析
57、中职学生英语学习动机削弱因素研究--以甘肃银行学校为例
58、以就业为导向的中职英语教学模式探讨
59、英语口语交际能力在中职生就业中的重要性
60、在中职英语教学中如何运用情境教学法激发学生兴趣
61、中职英语教师教学与课堂管理方法探究
62、中职英语多媒体教学资源的开发与利用研究
63、探讨中职英语教学如何适应学生就业工作
64、英语在中职院校教学中的有效性思考
65、浅谈中职英语教学中跨文化意识的培养
66、中职数控 专业英语 教学的探索与创新
67、区域经济发展环境下的中职英语教学探讨
68、浅谈英文原版电影对中职学生英语学习的意义
69、中职英语课堂教师评价性语言研究
70、浅谈中职 英语听力 教学
大学英语教学论文题目
1、英语专业学生跨文化交际能力调查研究--以北京体育大学英语专业为例
2、大学英语教学“课堂提问”环节存在的问题及对策
3、大学英语课堂如何构建“以学生为中心”的教学模式
4、大学英语阅读教学现状及图式理论应用意义分析
5、大学英语互动式听力教学模式的行动研究
6、生成观视域下的大学英语教育
7、多元文化背景下大学公共英语教学中的跨文化意识培养探析
8、高职大学英语翻译教学助推区域经济发展--以潍坊地区为例
9、大学英语阅读教学新模式研究--“ 慕课” 背景下
10、非英语专业研究生学术英语交际能力现状与对策研究--以延安大学为例
11、中国 传统文化 在大学英语教学中的导入研究
12、大学英语教学现状及采用模块式教学的意义
13、论文化导入与大学英语教学
14、形成性评价在大学英语自主学习中的实践研究
15、大学英语“绿色课堂”探究
16、从构词法的角度分析大学英语词汇教学
17、网络时代下大学英语精品课程建设的思考
18、基于智能手机终端进行大学英语移动微学习
19、结合大学英语教学实践谈教学反思途径
20、浅谈国际化人才培养背景下的大学英语教学改革--困境和对策
21、大学英语情感教学的研究
22、制约大学英语教师专业发展的因素研究--以海南省为例
23、大学英语课堂教学板书设计研究--基于传统和现代混合视角
24、多维互动式课堂教学在民族院校大学英语课堂中的实践探究
25、论情感教学对大学英语课堂的影响
26、大学非英语专业学生的隐喻能力与英语听力水平的相关关系
27、预制语块对大学英语写作的作用探析
28、文化语境在大学英语翻译教学中的制约作用
29、基于语言经济学视角下的大学英语教育分析
30、教育生态学的大学英语翻译教学探讨
31、大学英语教师的素养分析
32、口译技能训练对大学英语四级听力考试的启示
33、基于 想象力 的大学英语词汇学习研究
34、探讨大学校园英语学习动机衰退现象
35、艺术院校跨文化任务型大学英语教学模式理论、实证研究
36、英语四级考试与大学英语学习分析
37、“教学学术”视角下开放大学英语教师专业发展的思考
38、大学英语微课程建设研究--以视听说课为例
39、大学英语写作中的汉语负迁移现象研究
40、基于隐性分级角度探析艺术院校大学英语分级教学的途径
41、基于微信的大学英语翻转课堂设计
42、中英大学英语教学模式差异及启示
43、大学英语角色转变过程中要警惕被边缘化
44、艺术类专业大学英语生态化教学实践探索
45、多模态下大学英语视听说网络教学模式研究
46、大学英语写作常见错误类型分析
47、大学英语教育改革的目的与理念分析
48、《细胞生物学》双语教学的思考与探索
49、国外无机化学教材编排特点及其对双语教学的启示
50、航海类专业通用英语与专业英语衔接思考
51、论高等中医药院校中医英语课程建设
52、形成性评价在高校外语教学中的实践
53、理工科类高校大学语文所处的境遇和反思
54、英汉概念隐喻认知差异与跨文化交际误解
55、论英汉跨文化交际词汇对比模式
56、对外汉语教学中的汉英禁忌文化差异
57、英汉感官动词的隐喻对比研究
58、移动互联网时代大学生外语学习行为研究
59、大学生英语学习中社会情感策略调查研究
60、英语电影对大学生英语听力教学的影响
优秀各阶段英语教学论文题目相关 文章 ：
★ 初中英语教学优秀论文范文
★ 大学英语教学优秀论文范文
★ 最新的英语教育教学论文参考(2)
★ 英语教学相关论文(2)
★ 英语教学相关论文
★ 英语教学论文范文
★ 英语教学专业论文
★ 中学英语教学论文(2)
★ 英语专业论文开题报告范文精选5篇
★ 英语教学论文
wine in, truth out.
sample 1:题目: English Vocabulary Learning Strategies (英语词汇学习策略)The mathematicians that study language and have lots of computing power are forming English language databases. These databases can be used for machine language translation, formulas to rank collocation, most used priority word lists, word grouping tendencies and other linguistics research. These frequency-based wordlists contain the words that are most used in English. Frequency-based wordlists can help you target specific English vocabulary by indicating which words you should try to learn first. Vocabulary analysis and summaries from the "Brown Corpus 1990". Table 1 Words - Percent of words in average text 86,741 - 99.99% 43,831 - 99.0% 15,851 - 97.8% 6,000 - 89.9% 5,000 - 88.6% 4,000 - 86.7% 3,000 - 84.0% 2,000 - 79.7% 1,000 - 72.0% 10 - 23.7% Table 1 shows us that in most written English just a few word types account for most of the English words in any text. Ten words account for 23.7 % of the words on any page and just 1000 word families account for more than 70% of the words used. The ESL in Canada English Immersion camps experimented with the 1000 word lists and used them for the core vocabulary for spelling, poetry writing and public speaking contests. The constant reinforcement and repetition with variable context was quickly absorbed by the beginner students and greatly increased their confidence when speaking or writing. Altavista's Babelfish or Google by Systran machine translation performs with an error rate of 20 to 30 percent. The large error rate is due to how a word's meaning varies with context. One example: "The spirit is willing but the flesh is weak" translated from English to Russian and back again only to yield "The vodka is good but the meat is rotten." So far Babelfish has 19 language pairs available and it has taken decades to develop language-pair rules for each of the 9,900 language word pairs. Some observations for language students and language teachers is the translation pool for just average translations is 9900 words. The big variable is context, which means that a word can be used in various formats: "formal, industry specific jargon, slang, idioms, act a different part of speech performing a different function within that particular meaning. If every word has an average of five context variables then the student really has to learn 50,000 items. As final conclusions: second language learning takes time and effort and there should be plenty of translation jobs for the next 20 years if you are willing to invest the seven to nine years to be proficient. In the following example the word "weather" can be used in about eight different contexts and be used to mean, define or explain about thirty different situations or conditions. To properly study vocabulary students require background information and context. "Weather" As a NounDefinition 1. the state of the atmosphere at a particular place and time as characterized by sunshine, moisture, temperature, precipitation, and other variables.Similar Words: elements, climate Definition 2. unpleasant, turbulent, or violent atmospheric conditions. Example: We needed shelter from the weather. Similar Words: gale, elements, blow, windstorm , storm As a Transitive Verb Inflected Forms: weathered, weathering, weathers Definition 1. to dry, season, or modify by exposing to weather. Similar Words: season , dry Definition 2. to discolor, deteriorate, or harm by exposing to weather. Similar Words wash , rot , erode, deteriorate Definition 3. to endure past the end of; survive. Example Their marriage weathered the hard times. Synonyms: withstand , survive, stand, outlast , endure , ride outSimilar Words: overcome, surmount, outlive, sustain, braveAs an Intransitive Verb Definition 1. to resist deterioration when exposed to weather. Example: The colour has been able to weather the intense sun shine.Definition 2. to display the effects of exposure (deterioration or change in color)Similar Words: rot, corrode, fade, deteriorateAs part of Idiomatic ExpressionsPhrase used as an idiom: "under the weather" = sick or not well sample 2:题目: Using the keyword method to learn vocabulary(重点记忆学习法)The keyword mnemonic is undoubtedly an effective means of learning the words of a foreign language How well you remember depends on how well you learned them, not on whether you have learned the words using a keyword mnemonic or rote repetition or some other method Even using a keyword mnemonic, you still need to rehearse the information to be learned The keyword mnemonic is not always the best method of learning particular words Skilled learners may be best to use the keyword mnemonic selectively, for particularly difficult words The keyword mnemonic requires individual instruction and practice, to use effectively Using a verbal (sentence) link is at least as effective as an image, and is easier for many people Whether using a sentence or an image, the critical factor is that the keyword interact with the definition or own-language word.sample 3: 题目: experience of learning vocabulary and grammar (英语词汇及语法的学习经验) I could say what I’ve been instructed is a focus on deductive ways. In junior high school, my teacher listed out the key rules of each lesson and would did the fill-in the blank exercise in the class. Since I was not a quick thinker, what I could do was merely imitate the examples given by the teacher. This meant that I didn’t know “why” I was supposed to make a sentence in this way.When days went to high school, the mode of instruction didn’t change much. The teacher would point out the crucial rules as well, but he didn’t do much practice in class. In the scope of vocabulary teaching, he just read through the words and sample sentences.You must be curious about how I could last my interest in learning English under this way of instruction? I think what prompt me to keep on learning is owing to my highly motivated attitude. Because I like the language and its culture, I’ll do my best to learn it well through self-study. Though the inspiration from teachers is essential in some ways, the attitude of learners will be the momentum to maintain a lifelong learning.I don’t like the ways I’ve been taught because I learn the rules by rote-learning. Actually, I didn’t object the use of rote-learning. But, it should be under the condition of meaningful practice so that I know “why” the rules are supposed to be used in this way. As for the ways how I will teach in the future, I’m still struggling to explore my answers. No matter what, I will put much emphasis on learner-centered aspects and inductive teaching.
英语词汇学毕业论文写一些创新的题目，我就写的网络词汇。当时也不懂，导师逼得紧，还是学姐介绍的莫文网，效率很高的说英语词汇教学中母语翻译的作用多模态理论在高中英语词汇教学中的应用初中英语词汇教学现状调查研究——以济南市三所初中为例小学英语词汇情境教学模式研究语块理论指导下的高中英语词汇教学实验研究我国英语词汇学的溯源辨流词块法在高中英语词汇教学中的应用研究初中英语词汇教学中的文化迁移概念隐喻在高中英语词汇教学中的运用记忆技巧在高中英语词汇教学中的应用研究——以郑州一中为例英语词汇教学的认知语境研究词块理论在高中英语词汇教学中的应用研究直接拼读法在小学英语词汇教学中的应用研究基于图式理论的高中英语词汇教学的实证研究模因论在高中英语词汇教学中的应用概念隐喻理论与初中英语词汇教学研究——以漳州三中九年级英语词汇教学为例任务型教学模式视域下农村高中男生英语词汇量扩大研究初中英语词汇学习中的母语负迁移现象探究文学名著阅读在高中英语词汇教学中的应用研究初中英语词汇概念加工的具身特征与教学启示多模态教学对英语词汇习得效果的实证研究英语词汇教学“石化”消解研究——基于兰盖克语法理论的分析认知语法理论指导下的高中英语词汇教学研究高中英语词汇教学中的问题及对策研究基于频率作用的大学英语词汇教学模式研究
中文分词是中文文本处理的一个基础步骤，也是中文人机自然语言交互的基础模块。不同于英文的是，中文句子中没有词的界限，因此在进行中文自然语言处理时，通常需要先进行分词，分词效果将直接影响词性、句法树等模块的效果。当然分词只是一个工具，场景不同，要求也不同。在人机自然语言交互中，成熟的中文分词算法能够达到更好的自然语言处理效果，帮助计算机理解复杂的中文语言。竹间智能在构建中文自然语言对话系统时，结合语言学不断优化，训练出了一套具有较好分词效果的算法模型，为机器更好地理解中文自然语言奠定了基础。在此，对于中文分词方案、当前分词器存在的问题，以及中文分词需要考虑的因素及相关资源，竹间智能自然语言与深度学习小组做了些整理和总结。中文分词根据实现原理和特点，主要分为以下2个类别：
1、基于词典分词算法也称字符串匹配分词算法。该算法是按照一定的策略将待匹配的字符串和一个已建立好的“充分大的”词典中的词进行匹配，若找到某个词条，则说明匹配成功，识别了该词。常见的基于词典的分词算法分为以下几种：正向最大匹配法、逆向最大匹配法和双向匹配分词法等。基于词典的分词算法是应用最广泛、分词速度最快的。很长一段时间内研究者都在对基于字符串匹配方法进行优化，比如最大长度设定、字符串存储和查找方式以及对于词表的组织结构，比如采用TRIE索引树、哈希索引等。
2、基于统计的机器学习算法这类目前常用的是算法是HMM、CRF、SVM、深度学习等算法，比如stanford、Hanlp分词工具是基于CRF算法。以CRF为例，基本思路是对汉字进行标注训练，不仅考虑了词语出现的频率，还考虑上下文，具备较好的学习能力，因此其对歧义词和未登录词的识别都具有良好的效果。NianwenXue在其论文《Combining Classifiers for Chinese Word Segmentation》中首次提出对每个字符进行标注，通过机器学习算法训练分类器进行分词，在论文《Chinese word segmentation as character tagging》中较为详细地阐述了基于字标注的分词法。常见的分词器都是使用机器学习算法和词典相结合，一方面能够提高分词准确率，另一方面能够改善领域适应性。
一种流行的自然语言处理库、自带语料库、具有分类，分词等很多功能，国外使用者居多，类似中文的jieba处理库
为单词序列分配概率的模型就叫做语言模型。
通俗来说， 语言模型就是这样一个模型：对于任意的词序列，它能够计算出这个序列是一句话的概率。或者说语言模型能预测单词序列的下一个词是什么。
** n-gram Language Models **
N-gram模型是一种典型的统计语言模型（Language Model，LM），统计语言模型是一个基于概率的判别模型.统计语言模型把语言（词的序列）看作一个随机事件，并赋予相应的概率来描述其属于某种语言集合的可能性。给定一个词汇集合 V，对于一个由 V 中的词构成的序列S = ⟨w1, · · · , wT ⟩ ∈ Vn，统计语言模型赋予这个序列一个概率P(S)，来衡量S 符合自然语言的语法和语义规则的置信度。用一句简单的话说，统计语言模型就是计算一个句子的概率大小的这种模型。
n-gram模型可以减轻单词序列没有在训练集中出现过而引起的问题，即数据稀疏问题
n-gram模型问题 对于n-gram模型的问题，这两页ppt说的很明白
N-gram模型基于这样一种假设，当前词的出现只与前面N-1个词相关，而与其它任何词都不相关，整句的概率就是各个词出现概率的乘积。这些概率可以通过直接从语料中统计N个词同时出现的次数得到。常用的是二元的Bi-Gram(N=2)和三元的Tri-Gram(N=3).Bi-Gram所满足的假设是马尔科夫假设。
一般常用的N-Gram模型是Bi-Gram和Tri-Gram。分别用公式表示如下：
Bi-Gram:P(T)=p(w1|begin) p(w2|w1) p(w3|w2)***p(wn|wn-1)
Tri-Gram:P(T)=p(w1|begin1,begin2) p(w2|w1,begin1) p(w3|w2w1)***p(wn|wn-1,wn-2)
注意上面概率的计算方法：P(w1|begin)=以w1为开头的所有句子/句子总数；p(w2|w1)=w1,w2同时出现的次数/w1出现的次数。以此类推。
对于其中每项的计算举个例子：
由上可见Bi-Gram计算公式中的begin一般都是加个标签。
N-gram存在的问题：
举一个小数量的例子进行辅助说明：假设我们有一个语料库（注意语料库），如下：
老鼠真讨厌，老鼠真丑，你爱老婆，我讨厌老鼠。
想要预测“我爱老”这一句话的下一个字。我们分别通过 bigram 和 trigram 进行预测。
1）通过 bigram，便是要对 P(w|老)进行计算，经统计，“老鼠”出现了3次，“老婆”出现了1次，通过最大似然估计可以求得P（鼠|老）=0.75，P（婆|老）=0.25， 因此我们通过 bigram 预测出的整句话为: 我爱老鼠。
2）通过 trigram，便是要对便是要对 P(w|爱老)进行计算，经统计，仅“爱老婆”出现了1次，通过最大似然估计可以求得 P（婆|爱 老）=1，因此我们通过trigram 预测出的整句话为: 我爱老婆。显然这种方式预测出的结果更加合理。
问题一：随着 n 的提升，我们拥有了更多的前置信息量，可以更加准确地预测下一个词。但这也带来了一个问题，当N过大时很容易出现这样的状况：某些n-gram从未出现过， 导致很多预测概率结果为0， 这就是稀疏问题。 实际使用中往往仅使用 bigram 或 trigram 。（这个问题可以通过平滑来缓解参考： ）
问题二：同时由于上个稀疏问题还导致N-gram无法获得上下文的长时依赖。
问题三：n-gram 基于频次进行统计，没有足够的泛化能力。
n-gram总结：统计语言模型就是计算一个句子的概率值大小，整句的概率就是各个词出现概率的乘积，概率值越大表明该句子越合理。N-gram是典型的统计语言模型，它做出了一种假设，当前词的出现只与前面N-1个词相关，而与其它任何词都不相关，整句的概率就是各个词出现概率的乘积。它其中存在很多问题，再求每一个词出现的概率时，随着N的提升，能够拥有更多的前置信息量，可以使得当前词的预测更加准确，但是当N过大时会出现稀疏问题，导致很多词的概率值为0，为解决这一问题，因此常用的为bigram 或 trigram，这就导致N-gram无法获得上文的长时依赖。另一方面N-gram 只是基于频次进行统计，没有足够的泛化能力。
神经网络语言模型
2003年 Bengio 提出，神经网络语言模型( neural network language model, NNLM)的思想是提出词向量的概念，代替 ngram 使用离散变量(高维)，采用连续变量(具有一定维度的实数向量)来进行单词的分布式表示，解决了维度爆炸的问题，同时通过词向量可获取词之间的相似性。
结合下图可知它所建立的语言模型的任务是根据窗口大小内的上文来预测下一个词，因此从另一个角度看它就是一个使用神经网络编码的n-gram模型。
它是一个最简单的神经网络，仅由四层构成，输入层、嵌入层、隐藏层、输出层。（从另一个角度看它就是一个使用神经网络编码的n-gram模型）
输入是单词序列的index序列，例如单词‘这’在字典（大小为∣V∣）中的index是10，单词‘是’的 index 是23，‘测’的 index 是65，则句子“这是测试”通过‘这是测’预测‘试’，窗口大小内上文词的index序列就是 10, 23, 65。嵌入层（Embedding）是一个大小为∣V∣×K的矩阵（注意：K的大小是自己设定的，这个矩阵相当于随机初始化的词向量，会在bp中进行更新，神经网络训练完成之后这一部分就是词向量），从中取出第10、23、65行向量拼成3×K的矩阵就是Embedding层的输出了。隐层接受拼接后的Embedding层输出作为输入，以tanh为激活函数，最后送入带softmax的输出层，输出概率,优化的目标是使得待预测词其所对应的softmax值最大。
缺点：因为这是通过前馈神经网络来训练语言模型，缺点显而易见就是其中的参数过多计算量较大，同时softmax那部分计算量也过大。另一方面NNLM直观上看就是使用神经网络编码的 n-gram 模型，也无法解决长期依赖的问题。
RNNLM
它是通过RNN及其变种网络来训练语言模型，任务是通过上文来预测下一个词，它相比于NNLM的优势在于所使用的为RNN，RNN在处理序列数据方面具有天然优势， RNN 网络打破了上下文窗口的限制，使用隐藏层的状态概括历史全部语境信息，对比 NNLM 可以捕获更长的依赖，在实验中取得了更好的效果。RNNLM 超参数少，通用性更强；但由于 RNN 存在梯度弥散问题，使得其很难捕获更长距离的依赖信息。
Word2vec中的CBOW 以及skip-gram，其中CBOW是通过窗口大小内的上下文预测中心词，而skip-gram恰恰相反，是通过输入的中心词预测窗口大小内的上下文。
Glove 是属于统计语言模型，通过统计学知识来训练词向量
ELMO 通过使用多层双向的LSTM（一般都是使用两层）来训练语言模型，任务是利用上下文来预测当前词，上文信息通过正向的LSTM获得，下文信息通过反向的LSTM获得，这种双向是一种弱双向性，因此获得的不是真正的上下文信息。
GPT是通过Transformer来训练语言模型，它所训练的语言模型是单向的，通过上文来预测下一个单词
BERT通过Transformer来训练MLM这种真正意义上的双向的语言模型，它所训练的语言模型是根据上下文来预测当前词。
以上部分的详细介绍在NLP之预训练篇中有讲到
语言模型的评判指标
具体参考：
Perplexity可以认为是average branch factor（平均分支系数），即预测下一个词时可以有多少种选择。别人在作报告时说模型的PPL下降到90，可以直观地理解为，在模型生成一句话时下一个词有90个合理选择，可选词数越少，我们大致认为模型越准确。这样也能解释，为什么PPL越小，模型越好。 一般用困惑度Perplexity（PPL）衡量语言模型的好坏，困惑度越小则模型生成一句话时下一个词的可选择性越少，句子越确定则语言模型越好。
简单介绍 Word2vec是一种有效创建词嵌入的方法，它自2013年以来就一直存在。但除了作为词嵌入的方法之外，它的一些概念已经被证明可以有效地创建推荐引擎和理解时序数据。在商业的、非语言的任务中。
背景 由于任何两个不同词的one-hot向量的余弦相似度都为0，多个不同词之间的相似度难以通过onehot向量准确地体现出来。 word2vec⼯具的提出正是为了解决上⾯这个问题。它将每个词表⽰成⼀个定⻓的向量，并使得这些向量能较好地表达不同词之间的相似和类⽐关系。
word2vec模型 word2vec⼯具包含了两个模型，即跳字模型（skip-gram）和连续词袋模型（continuous bag of words，CBOW）。word2vec的input/output都是将单词作为one-hot向量来表示，我们可以把word2vec认为是词的无监督学习的降维过程。
MaxEnt 模型（最大熵模型）： 可以使用任意的复杂相关特征，在性能上最大熵分类器超过了 Byaes 分类器。但是，作为一种分类器模型，这两种方法有一个共同的缺点：每个词都是单独进行分类的，标记（隐状态）之间的关系无法得到充分利用，具有马尔可夫链的 HMM 模型可以建立标记之间的马尔可夫关联性，这是最大熵模型所没有的。
最大熵模型的优点：首先，最大熵统计模型获得的是所有满足约束条件的模型中信息熵极大的模型；其次，最大熵统计模型可以灵活地设置约束条件，通过约束条件的多少可以调节模型对未知数据的适应度和对已知数据的拟合程度；再次，它还能自然地解决统计模型中参数平滑的问题。
最大熵模型的不足：首先，最大熵统计模型中二值化特征只是记录特征的出现是否，而文本分类需要知道特征的强度，因此，它在分类方法中不是最优的;其次，由于算法收敛的速度较慢，所以导致最大熵统计模型它的计算代价较大，时空开销大;再次，数据稀疏问题比较严重。
CRF(conditional random field) 模型（条件随机场模型）：首先，CRF 在给定了观察序列的情况下，对整个的序列的联合概率有一个统一的指数模型。一个比较吸引人的特性是其为一个凸优化问题。其次，条件随机场模型相比改进的隐马尔可夫模型可以更好更多的利用待识别文本中所提供的上下文信息以得更好的实验结果。并且有测试结果表明：在采用相同特征集合的条件下，条件随机域模型较其他概率模型有更好的性能表现。
CRF 可以用于构造在给定一组输入随机变量的条件下,另一组输出随机变量的条件概率分布模型。经常被用于序列标注，其中包括词性标注，分词，命名实体识别等领域。
建一个条件随机场，我们首先要定义一个特征函数集，每个特征函数都以整个句子s，当前位置i，位置i和i-1的标签为输入。然后为每一个特征函数赋予一个权重，然后针对每一个标注序列l，对所有的特征函数加权求和，必要的话，可以把求和的值转化为一个概率值。
CRF 具有很强的推理能力，并且能够使用复杂、有重叠性和非独立的特征进行训练和推理，能够充分地利用上下文信息作为特征，还可以任意地添加其他外部特征，使得模型能够 获取的信息非常丰富。
CRF 模型的不足：首先，通过对基于 CRF 的结合多种特征的方法识别英语命名实体的分析，发现在使用 CRF 方法的过程中，特征的选择和优化是影响结果的关键因素，特征选择问题的好与坏，直接决定了系统性能的高低。其次，训练模型的时间比 MaxEnt 更长，且获得的模型很大，在一般的 PC 机上无法运行。
潜在语义分析(Latent Semantic Analysis，LSA)模型 在潜在语义分析(LSA)模型首先给出了这样一个 ‘‘分布式假设” :一个 单词的属性是由它所处的环境刻画的。这也就意味着如果两个单词在含义上比较接近，那么它们也会出现在相似的文本中，也就是说具有相似的上下文。 LSA模型在构建好了单词-文档矩阵之后，出于以下几种可能的原因，我们会使用奇异值分解(Singular Value Decomposition，SVD) 的方法来寻找该矩阵的一个低阶近似。
概率潜在语义分析(Probability Latent Semantic Analysis ，PLSA)模型 概率潜在语义分析(PLSA)模型其实是为了克服潜在语义分析(LSA)模型存在的一些缺点而被提出的。LSA 的一个根本问题在于，尽管我们可以把 U k 和 V k 的每一列都看成是一个话题，但是由于每一列的值都可以看成是几乎没有限制的实数值，因此我们无法去进一步解释这些值到底是什么意思，也更无法从概率的角度来理解这个模型。 PLSA模型则通过一个生成模型来为LSA赋予了概率意义上的解释。该模型假设，每一篇文档都包含一系列可能的潜在话题，文档中的每一个单词都不是凭空产生的，而是在这些潜在的话题的指引下通过一定的概率生成的。
在 PLSA 模型里面，话题其实是一种单词上的概率分布，每一个话题都代表着一个不同的单词上的概率分布，而每个文档又可以看成是话题上的概率分布。每篇文档就是通过这样一个两层的概率分布生成的，这也正是PLSA 提出的生成模型的核心思想。
PLSA 通过下面这个式子对d和 w 的联合分布进行了建模:
该模型中的 *z * 的数量是需要事先给定的一个超参数。需要注意的是，上面这 个式子里面给出了 P (w, d ) 的两种表达方式，在前一个式子里， *d * 和 w 都是在给定 *z * 的前提下通过条件概率生成出来的，它们的生成方式是相似的，因此是 ‘‘对称’’ 的;在后一个式子里，首先给定 d ，然后根据 P ( z | d ) 生成可能的话题 z ，然后再根据 P (w| z ) 生成可能的单词 w，由于在这个式子里面单词和文档的生成并不相似， 所以是 ‘‘非对称’’ 的。
上图给出了 PLSA 模型中非对称形式的 Plate Notation表示法。其中d表示 一篇文档，z 表示由文档生成的一个话题，w 表示由话题生成的一个单词。 在这个模型中， d和w 是已经观测到的变量，而z是未知的变量(代表潜在的话题)。
容易发现，对于一个新的文档而言，我们无法得知它对应的 P ( d ) 究竟是什么， 因此尽管 PLSA 模型在给定的文档上是一个生成模型，它却无法生成新的未知的文档。该模型的另外的一个问题在于，随着文档数量的增加， P ( z | d ) 的参数也会随着线性增加，这就导致无论有多少训练数据，都容易导致模型的过拟合问题。这两点成为了限制 PLSA 模型被更加广泛使用的两大缺陷。
潜在狄利克雷分配(Latent Dirichlet Analysis ， LDA)模型
为了解决 PLSA 模型中出现的过拟合问题，潜在狄利克雷分配(LDA)模型被 Blei 等人提出，这个模型也成为了主题模型这个研究领域内应用最为广泛的模 型。LDA就是在PLSA的基础上加层贝叶斯框架，即LDA就是PLSA的贝叶斯版本（正因为LDA被贝叶斯化了，所以才需要考虑历史先验知识，才加的两个先验参数）。
从上一节我们可以看到，在 PLSA 这个模型里，对于一个未知的新文档 d ，我们对于 P ( d ) 一无所知，而这个其实是不符合人的经验的。或者说，它没有去使用本来可以用到的信息，而这部分信息就是 LDA 中所谓的先验信息。
具体来说，在 LDA 中，首先每一个文档都被看成跟有限个给定话题中的每一个存在着或多或少的关联性，而这种关联性则是用话题上的概率分布来刻画的， 这一点与 PLSA 其实是一致的。
但是在 LDA 模型中，每个文档关于话题的概率分布都被赋予了一个先验分布，这个先验一般是用稀疏形式的狄利克雷分布表示的。 这种稀疏形式的狄利克雷先验可以看成是编码了人类的这样一种先验知识:一般而言，一篇文章的主题更有可能是集中于少数几个话题上，而很少说在单独一篇文章内同时在很多话题上都有所涉猎并且没有明显的重点。
此外，LDA 模型还对一个话题在所有单词上的概率分布也赋予了一个稀疏形式的狄利克雷先验，它的直观解释也是类似的:在一个单独的话题中，多数情况是少部分(跟这个话题高度相关的)词出现的频率会很高，而其他的词出现的频率则明显较低。这样两种先验使得 LDA 模型能够比 PLSA 更好地刻画文档-话题-单词这三者的关系。
事实上，从 PLSA 的结果上来看，它实际上相当于把 LDA 模型中的先验分布转变为均匀分布，然后对所要求的参数求最大后验估计(在先验是均匀分布的前提下，这也等价于求参数的最大似然估计) ，而这也正反映出了一个较为合理的先验对于建模是非常重要的。
分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。 现有的分词算法可分为三大类：基于字符串匹配的分词方法、基于理解的分词方法和基于统计的分词方法。 按照是否与词性标注过程相结合，又可以分为单纯分词方法和分词与标注相结合的一体化方法。
中文分词根据实现原理和特点，主要分为以下2个类别：
（1）基于词典分词算法 也称字符串匹配分词算法。该算法是按照一定的策略将待匹配的字符串和一个已建立好的“充分大的”词典中的词进行匹配，若找到某个词条，则说明匹配成功，识别了该词。常见的基于词典的分词算法分为以下几种：正向最大匹配法、逆向最大匹配法和双向匹配分词法等。 基于词典的分词算法是应用最广泛、分词速度最快的。很长一段时间内研究者都在对基于字符串匹配方法进行优化，比如最大长度设定、字符串存储和查找方式以及对于词表的组织结构，比如采用TRIE索引树、哈希索引等。
（2）基于统计的机器学习算法 这类目前常用的是算法是HMM、CRF（条件随机场）、SVM、深度学习等算法，比如stanford、Hanlp分词工具是基于CRF算法。以CRF为例，基本思路是对汉字进行标注训练，不仅考虑了词语出现的频率，还考虑上下文，具备较好的学习能力，因此其对歧义词和未登录词的识别都具有良好的效果。
常见的分词器都是使用机器学习算法和词典相结合，一方面能够提高分词准确率，另一方面能够改善领域适应性。
随着深度学习的兴起，也出现了 基于神经网络的分词器 ，例如有人员尝试使用双向LSTM+CRF实现分词器， 其本质上是序列标注 ，所以有通用性，命名实体识别等都可以使用该模型，据报道其分词器字符准确率可高达97.5%。算法框架的思路与论文《Neural Architectures for Named Entity Recognition》类似，利用该框架可以实现中文分词，如下图所示：
首先对语料进行字符嵌入，将得到的特征输入给双向LSTM，然后加一个CRF就得到标注结果。
目前中文分词难点主要有三个： 1、分词标准 ：比如人名，在哈工大的标准中姓和名是分开的，但在Hanlp中是合在一起的。这需要根据不同的需求制定不同的分词标准。
2、歧义 ：对同一个待切分字符串存在多个分词结果。 歧义又分为组合型歧义、交集型歧义和真歧义三种类型。
一般在搜索引擎中，构建索引时和查询时会使用不同的分词算法。常用的方案是，在索引的时候使用细粒度的分词以保证召回，在查询的时候使用粗粒度的分词以保证精度。
3、新词 ：也称未被词典收录的词，该问题的解决依赖于人们对分词技术和汉语语言结构的进一步认识。
典型的文本分类过程可以分为三个步骤： 1. 文本表示（Text Representation） 这一过程的目的是把文本表示成分类器能够处理的形式。最常用的方法是向量空间模型，即把文本集表示成词－文档矩阵，矩阵中每个元素代表了一个词在相应文档中的权重。选取哪些词来代表一个文本，这个过程称为特征选择。常见的特征选择方法有文档频率、信息增益、互信息、期望交叉熵等等。为了降低分类过程中的计算量，常常还需要进行降维处理，比如LSI。 2. 分类器构建（Classifier Construction） 这一步骤的目的是选择或设计构建分类器的方法。不同的方法有各自的优缺点和适用条件，要根据问题的特点来选择一个分类器。我们会在后面专门讲述常用的方法。选定方法之后，在训练集上为每个类别构建分类器，然后把分类器应用于测试集上，得到分类结果。 3. 效果评估（Classifier Evaluation） 在分类过程完成之后，需要对分类效果进行评估。评估过程应用于测试集（而不是训练集）上的文本分类结果，常用的评估标准由IR领域继承而来，包括查全率、查准率、F1值等等。
1. Rocchio方法 每一类确定一个中心点（centroid），计算待分类的文档与各类代表元间的距离，并作为判定是否属于该类的判据。Rocchio方法的特点是容易实现，效率高。缺点是受文本集分布的影响，比如计算出的中心点可能落在相应的类别之外。
2. 朴素贝叶斯（naïve bayes）方法 将概率论模型应用于文档自动分类，是一种简单有效的分类方法。使用贝叶斯公式，通过先验概率和类别的条件概率来估计文档对某一类别的后验概率，以此实现对此文档所属类别的判断。
3. K近邻(K-Nearest Neightbers, KNN)方法 从训练集中找出与待分类文档最近的k个邻居（文档），根据这k个邻居的类别来决定待分类文档的类别。KNN方法的优点是不需要特征选取和训练，很容易处理类别数目多的情况，缺点之一是空间复杂度高。KNN方法得到的分类器是非线性分类器。
4. 支持向量机（SVM）方法 对于某个类别，找出一个分类面，使得这个类别的正例和反例落在这个分类面的两侧，而且这个分类面满足：到最近的正例和反例的距离相等，而且是所有分类面中与正例（或反例）距离最大的一个分类面。SVM方法的优点是使用很少的训练集，计算量小；缺点是太依赖于分类面附近的正例和反例的位置，具有较大的偏执。
文本聚类过程可以分为3个步骤： 1. 文本表示（Text Representation） 把文档表示成聚类算法可以处理的形式。所采用的技术请参见文本分类部分。 2. 聚类算法选择或设计（Clustering Algorithms） 算法的选择，往往伴随着相似度计算方法的选择。在文本挖掘中，最常用的相似度计算方法是余弦相似度。聚类算法有很多种，但是没有一个通用的算法可以解决所有的聚类问题。因此，需要认真研究要解决的问题的特点，以选择合适的算法。后面会有对各种文本聚类算法的介绍。 3. 聚类评估（Clustering Evaluation） 选择人工已经分好类或者做好标记的文档集合作为测试集合，聚类结束后，将聚类结果与已有的人工分类结果进行比较。常用评测指标也是查全率、查准率及F1值。
1．层次聚类方法 层次聚类可以分为两种：凝聚（agglomerative）层次聚类和划分（divisive）层次聚类。凝聚方法把每个文本作为一个初始簇，经过不断的合并过程，最后成为一个簇。划分方法的过程正好与之相反。层次聚类可以得到层次化的聚类结果，但是计算复杂度比较高，不能处理大量的文档。
2．划分方法 k-means算法是最常见的划分方法。给定簇的个数k，选定k个文本分别作为k个初始簇，将其他的文本加入最近的簇中，并更新簇的中心点，然后再根据新的中心点对文本重新划分；当簇不再变化时或经过一定次数的迭代之后，算法停止。k-means算法复杂度低，而且容易实现，但是对例外和噪声文本比较敏感。另外一个问题是，没有一个好的办法确定k的取值。
3．基于密度的方法 为了发现任意形状的聚类结果，提出了基于密度的方法。这类方法将簇看作是数据空间中被低密度区域分割开的高密度区域。常见的基于密度的方法有DBSCAN, OPTICS, DENCLUE等等。
4．神经网络方法 神经网络方法将每个簇描述为一个标本，标本作为聚类的"原型"，不一定对应一个特定的数据,根据某些距离度量，新的对象被分配到与其最相似的簇中。比较著名的神经网络聚类算法有:竞争学习（competitive learing）和自组织特征映射（self-organizing map）[Kohonen, 1990]。神经网络的聚类方法需要较长的处理时间和复杂的数据复杂性，所以不适用于大型数据的聚类。
最近出于兴趣和需要，重新回顾中文分词技术，期间有些心得，以及一些关于自然语言处理的浅薄之见，这里简单分享一下。 首先， 中文分词_百度百科 里面简单介绍了其中主要的分词算法以及相应的优缺点，包括字符匹配法、统计法以及理解法，其中字符匹配法和统计法比较流行且可以取到相对不错的效果，而理解法则相对比较复杂高级，但是我认为这才是真正解决中文分词任务的根本算法。 如今用于中文分词的算法和模型虽算不上比比皆是，但也算是唾手可得，开源的如jieba、ltp、Hanlp等等，提供中文分词服务的如腾讯云、百度大脑、讯飞AI平台等，以及其他如Jiagu等。 其实这些平台算法的差距并不算太大，分词准确率基本上都是在80%以上，然而在98%以下（这里胡诌个数），在一些不太严格的应用场景下基本已经够用了，只要挑一个在自己的业务场景下表现最好的即可。 在我看来，对于中文分词这项任务而言，最关键最核心的其实并不是算法模型，这些都不是所谓的瓶颈，最重要的其实是高质量、大规模的词典。对于字符匹配法而言，词典是基础，没有词典自然连分都分不出来；对于统计学习法而言，其效果一方面取决于算法和模型的选择，一方面取决于其训练数据的数量与质量，需要堆人力物力，比如找专门的标注公司标注数据等。但是就算是人标的数据，也难免有所错误遗漏，所以在有错误的训练数据下，模型也不可能学的太好，同时训练数据再大，也难以覆盖全部语料，总会出现OOV，总有些句子会训练不到，此时还强求模型可以做到“举一反三”有些不切实际。 词条中还提到了关于中文分词的技术难点：歧义识别与新词识别，关于歧义识别，上面并没有提具体的解决思路，对于新词识别而言，这又是自然语言处理领域很基础并且很重要的点，可以参见一下我之前的文章： 《NLP基础任务之新词发现探索之路》 | lightsmile's Blog ，也有另一个思路，比如说爬取网上一些网站的相关条目，比如百度百科等。 简单看了一下 jieba 、 ansj_seg 、 Jiagu 的分词词典，发现其中jieba的词典质量最差，其中不少词性都是错误的，Jiagu的词典还算不错，就是一些新词不全，ansi_seg的没有细看。 尽管这些工具在一些评测数据的结果可以达到90以上的成绩，但是在我看来，还是不够的，我觉得中文分词这个基础而又艰巨的任务还是要到99%以上才可以，否则分词都分不对，那些在分词基础之上的任务更是不行，毕竟词是基本的语义单元。 然而在现在深度学习盛行的潮流下，许多任务如文本分类、命名实体识别等并不一定需要依赖于分词，直接基于字符（char）的Embedding也可以取得不错的效果，并且也可以规避OOV（out of vocabulary words，未登录词）的问题。 但是深度学习，尤其是监督学习的很关键之处是得有大规模的高质量训练数据，不然巧妇难为无米之炊，再好的模型也难以从垃圾中学到有用的知识。 话说回来，虽然自然语言处理是计算机科学与其他领域的交叉学科，深度学习、机器学习算是人工智能的一部分，然而许多时候往往十分依赖人工，而所谓的智能其实也不智能。 无论是计算机视觉领域里的图像分类还是自然语言处理领域的文本分类，其任务都是学习一个从输入 映射到输出或者说标签 的函数 ，具体来说就是将 表征为多维向量 ，将 表征为多维向量 ，然后让 进入一个模型进行一系列的运算后得到一个 ，通过不断地比较 和 的值并调整模型的参数使模型的运算结果 更为准确即更加贴近 （过程有点类似于 “猜数字”游戏 ），从而最终得到一个近似函数 ，我们就可以用来代替未知的 用于预测未来的样本 ，得到它对应的 。 我们可以发现，以上学习算法确实可以得到能够解决问题的模型，然而局限之处在于它也只能做这个任务，即对输入 预测 ，别的啥也干不了。 同时在基于深度学习的自然语言处理模型中，基本套路都是Embedding+Encoder+Decoder，其中Embedding是基于字还是基于词，是使用预训练词向量还是随机初始化，这些选择所导致的效果的差异都随着训练轮数的增加而最终减小。然而，由于梯度下降以及解空间的特点，基于bert的效果确实是要比Word2Vec的要好，那些词向量确实比Word2Vec的嵌入了（或者说学到了）更多的语言知识。 关于模型的选择和取舍，工业界和学术界的标准其实差别很大。学术界里有的论文是开创性的，而许多论文其实都是在原来基础上小修小改，将最近的较新的思想和算法一堆，实验结果比原来指标高一点又是一篇文章，程序运行占用多大内存、跑了多长时间这些都不是主要因素，也就是一切向指标看齐。 而工业界则更加看重的是性价比，不同的公司、不同的部门、不同的阶段其主要矛盾不同。比如说Facebook之前出的fastText，尽管模型很简单，最终效果可能比不上一些其他复杂的模型，但是其训练速度超快、基于CPU就可以，并且可以很方便地对模型进行压缩。许多时候，一些指标高低差几个点并没有那么关键，模型大小、训练时间、预测时间在很多时候是比较关键的因素，除非由于甲方或客户不满意，或者家大业大，有的是资源，那么这时候效果和指标又成为主要矛盾，这时的优化可能要以一定的时间和空间为代价。 原来的自然语言处理各任务基本上都构建在分词的基础之上，粗略来说有一个 语法 、 语义 到 语用 的递进的过程。这一层一层的任务虽然耦合的很好，但是 这种Pipline将会导致下层的错误都将会被积累到上层，其直接影响就是越到上层其准确率越低，甚至低到惨不忍睹的程度。然而在表示学习，尤其是深度学习崛起以后，其强大的特征学习能力，使得现在的模型多为end-to-end模型，其结果是一方面可以使得相关人员摆脱繁琐的特征工程，可以将特征提取与组合设计的工作交给神经网络模型去隐形完成，大大解放了生产力；令一方面可以将模型视为整体的一部分，即它的输入直接对应原始输入，它的输出直接是我们想要的结果，有点直达病灶的意思，摆脱了原来Pipline错误累积的困境。 不过我个人看来成也end-to-end，败也end-to-end，虽然简化了任务，但是有点太过开门见山，得到的模型一个个都是彼此孤立的，各做各的事情，然而从整体论的角度来看它们都是整个自然语言处理系统的一部分，一些特征本来是可以共享，一些结果是彼此相互依赖的。这也又涉及到参数共享、多任务学习等概念，不细表。由于神经网络的可解释性较差，这使得模型更加像一个黑盒，训练调参的过程更像是在炼丹，因为谁也不知道具体能炼出个什么玩意儿。 如下图很形象地诠释了这一现状： 下面就深度学习下的自然语言处理四大任务进行简单对比（都是个人浅薄之见，难免有不足之处，还望海涵）。自然语言处理四大任务分别是：序列标注、文本分类、句子关系、文本生成。 序列标注任务的原始语料是一连串的句子，经过标注后的语料格式大概如下（以命名实体识别为例）： 我们可以发现，每一行的格式都是一个字符以及它所对应的类别，如 B_{type} 、 O ，那么对于每一个字符模型需要预测的类别数量总计为 2*len(types) + 1 ，其中2是指 BI 这种标注规范， len(types) 指类型种类的数量（如人名、地名、机构名共三种），1是指 O 。可以发现模型需要拟合的函数的值域还是很小的，即 O(len(types)) 。 文本分类任务的标注语料格式大概如下（以情感极性分析为例）： 每一行的格式都包含原始文本以及它所对应的类别（或者说标签），我们可以发现模型需要预测的类别数量总计为 len(types) ，即类型种类的数量（以新闻语料分类，如 娱乐 、 军事 、 科技 、 体育 等），可以发现模型需要拟合的函数的值域也是较小的，即 O(len(types)) 。 句子关系任务的标注语料格式大致如下（以语句相似度为例）： 每一行都是两个句子以及它们的关系（ 1 代表语义相同， 0 代表语义不同），我们可以发现模型需要预测的类别数量总计为 len(relations) ，即关系种类的数量，可以发现模型需要拟合的函数的值域也是较小的，即 O(len(relations)) 。 文本生成任务的标注语料格式大致如下(以机器翻译为例）： 我们可以发现每一行都是源语言句子以及目标语言的对应翻译。虽然此时模型和序列标注模型一样都需要对于单个样本预测多次，但是序列标注模型需要预测的次数直接等于字符的数量，是确定的，但是文本生成任务模型需要预测的次数是不确定的，并且每次预测的值域都是目标语言所有word（或者character）所组成的整体集合，即 O(len(words)) ，其规模可能是十万级或百万级的。因此我们很容易发现文本生成任务的难度和复杂程度是要远远高于其他任务的。对话任务如生成式闲聊机器人更是如此。 可能是之前的AlphaGo过于吸引广大群众的眼球，做相关业务的公司吹的太厉害，以及“人工智能”、“深度学习”这几个词听起来逼格满满，导致许多外行人认为现在的人工智能已经发展到很厉害的层次，并且可以做各种各样的事情，似乎无所不能。但是内行人心里却明白：“什么人工智能，人工智障吧”、“所谓人工智能，多是智能不够，人工来凑”。外行人看不到深度模型算法的局限性，如许多模型的精度并不能达到那么高；也看不到深度模型算法的前提条件，如高质量、大规模的数据集，他们以为模型大约聪明到随便喂点数据便成为终结者般的存在。这也就导致了他们刚开始预期很高，然而在投资或找到外包后发现效果远远不能达到预期，大失所望而潦草结束或撤资离场的局面。 如下一张图大概有点这个意思： 统观学术界与工业界，和计算机视觉领域相比，自然语言处理这种更深层次的、涉及到认知智能的领域的进展虽悠久但缓慢，并且许多任务目前为止距离真正商用还有很大的距离。然而正是科学史上如阿基米德、牛顿等伟大人物与其他相对无名之辈默默耕耘，前赴后继，才使得如今之人类齐享先辈之成果，即所谓“前人栽树后人乘凉”也。 我辈也无需悲观，须戒骄戒躁，搞算法的就多己见、少盲从，少水论文；搞工程的就多积累经验，提升实践能力，多做高质量的项目。功夫不负有心人。
前方预警:这会是一篇长回答。(包括论文常用表达和日文文献搜索方法)题主问“能否在短期时间内就写出像写中文论文一样地道的日语论文?”那我想把这个问题理解为:“能否在短期时间内写出一篇日语表达很地道的日语论文?”因为个人认为:“有母语级别的表达”仅仅只是写出一篇“地道论文”的充分条件而非充要条件。想要写出一篇“地道的论文”,仅仅只有母语级别的表达是不够的,除语言因素外,清新脱俗的观点、严密且自洽的逻辑思维结构(这一点我的日本教授说过,作为外国人语言表达不一定非要那么地道,但文章字里行间所构筑的内在逻辑,他却非常看重!!)、扎实的专业知识储备等等因素都必不可少。简单来说就是,哪怕作为母语者,也未必人人都能写出“地道的论文”。那么就“能否在短期时间内写出一篇日语表达很地道的日语论文?”而言,我觉得如果下功夫的话,用题主所给出的2-3个月的时间,是可以无限逼近“日语表达很地道的日语论文的”。首先,我们可以来拆分一下文章的结构,然后分部分一个一个来说。如果就题主当下最迫切的需求来看,应该是先写一篇研究计划书。(这个我当年也是写了很多次改了很多次啊!!)我个人认为,研究计划书其实有点像正式论文的前半
日语专业毕业论文可参考题目
一、语言学方向
1.日本镰仓时代文学探索
2.谈日本文字的发展.
3.中日寒暄语之我见
二、日本文学
1.《我是猫》赏析
2.现代中日文学之异同
三、日本文化、社会、语言与文化
1、从日本人的习惯看其心理
2.浅谈丰田企业文化
3.论日本企业文化给我国企业发展的启发
4.论日本国花---缨花
5.中日酒文化之比较
6.论日本饮食文化
7.论中日茶文化的异同
8.浅谈日本礼仪
9.论日本的剑道精神
10.日本清酒的起源
11.浅谈日本艺妓
12.论中日礼节的差异
13.关于人口老龄化
14.关于战后日本女性社会地位提高的研究
15.关于现代日语的敬语
四、外语教学理论与实践
1.大学日语听说探索
2.试谈日语单词的速记法
3.浅谈日语助词
4.论中日教育的发展前景
明治维新对日本近代教育制度的影响
日本汽车企业集团用语中语言变迁的观察研究
从岛国日本看日本人的安全意识
从企业博客的语言看日本企业文化传播
从“真心话和场面话”来考察日本人的人际关系
从やる、くれる探讨日本人“知恩”精神
日本人“缩志向”的考察与分析
从“胜组”“负组”看日本人中流意识变化
外来语背后的日本人的异文化意识
对日本传统祭祀文化的考察
日本传统祭祀文化研究
忠义--日本社会の柱
关于日语专业毕业论文可参考题目
因此透过寿司的制作和发展历程就可以看出日本人善于思考，富有创新精神;追求自然，崇尚自然;日本人的创新意识，日本人追求的自然与完美，以及生活的快节奏。日本民族对自己的.文化有着自己的看法，日本文化的融合性，日本文化的包容性，是日本文化得以强大的推动力。
追求自然，崇尚自然，形成了日本料理的特色。寿司的崇尚自然，保持生鲜，正是日本人所追求的。
日本文化几乎就是世界文化的大熔炉，既重视传统又善于创新，饮食文化也是文化中相当重要的一部分，在反映日本饮食文化的众多食物中，最具代表性的便是寿司，本文。。逐渐深入的分析日本食文化的特点，进而得出日本博大精神文化的优点。
随着饮食业的快速发展，食文化也发生了质的变化，但是这种变化更加突出的体现了日本人注重创新的精神。在高效率快节奏的日本社会中，寿司仍然受到许多人的青睐，从小小的寿司中，反映出日本饮食文化的许多优点，这是值得世界人今后学习和借鉴的。
追求自然，崇尚自然，形成了日本料理的特色。寿司的美味不仅体现在食上，更体现在形与色上，这都是日本人所追求的料理美
在日本的学校，历届毕业生的毕业论文都有留存。各个研究室里都有的，可以参考。