沈雨娇为我院2012级英语专业本科学生,2017年考上上海外国语大学英语语言文学专业研究生,研究方向为跨文化交际,师从上外跨文化中心主任顾力行教授(Steve J. Kulich)和复旦大学人类社会学博士张晓佳老师。2021年1月获得日本早稻田大学的博士录取通知书,6月获得国家留学基金委员会公派奖学金,将于2022年4月赴日进行为期三年的博士学习,专业为国际文化与交流,研究方向为视觉文化,师从早稻田大学国际文化与交流学院主任吉本光弘教授。
做好嘈杂环境的语音识别,难点是如何将杂音与人声分离。传统的音频识别需要人工设计模块,并依靠Hidden Markov Models,常常需要大量的人力和经验来调整模型噪音和语音变异。未来的主要研究方向是,通过深度学习来替代Hidden Markov Models,如基于递归神经网络的深度神经网络(DNN)进行声学建模,使得语音识别系统变得更为简单。日立公司宣称自己已经研发出一项新技术,利用对话音量比杂音变化较少的特点,将杂音与话音进行分离。
1.《基于深度学习的自然语言处理技术研究》2.《基于深度学习的计算机视觉技术研究》3.《基于深度学习的语音识别技术研究》4.《基于深度学习的机器翻译技术研究》5.《基于深度学习的自动驾驶技术研究》6.《基于深度学习的智能家居技术研究》7.《基于深度学习的智能机器人技术研究》8.《基于深度学习的智能推荐系统技术研究》9.《基于深度学习的自然语言理解技术研究》10.《基于深度学习的智能安全技术研究》
CMU Sphinx是目前语音识别技术中比较热门的开源技术之一。CMU Sphinx 是一款源于卡内基梅隆大学的产品。它的研发历史大约可以追溯到1988年李开复的一篇论文,目前在 GitHub 和 SourceForge 平台同步更新。在 GitHub 平台有 C 和 Java 两个版本,而且据说分别只有一个管理员维护。但在 SourceForge 平台却有 9 个管理员和十几个开发者。CMU Sphinx 具有包括普通话、英语、法语、西班牙语和意大利语在内的诸多语音可以直接使用的模型。 在介绍如何使用CMU Sphinx之前,先简单了解一下语音识别的相关概念。 在目前的实践中,语音结构可以理解如下: 语音是一种由稳定状态和动态变化的状态混合而成的连续音频流(audio stream)。在这一系列状态中,可以对声音和音素定义若干相似的类别。声波往往由语音内容,发言者和发音方式等各种音素决定。 识别语音的一般方法如下:针对一段声波,使用沉默将其分割成若干短发音,然后试着去识别每段发音中的内容。为此,可以用尽可能的单词组合去匹配音频,然后选出最佳的匹配方案,作为语音识别的结果。 在这个匹配过程中几个比较重要的概念。首先介绍“特征”的概念。首先语音需要被分解成一系列“帧”,每10毫秒一帧,然后对于每一帧,提取39个数字来表征该段语音,这39个数字称之为“特征向量”。如何从音频的每帧中提取数字是个广泛研究的话题,一种简单的方式就是由声谱衍生出来。 接下来介绍一下“模型”的概念。模型是一种汇集了语音的共同属性的数学模型。实际应用中,一个音素的声学模型往往是其最可能的特征向量的高斯混合模型。该语音模型通常称之为隐马尔可夫模型( Hidden Markov Model,HMM),HMM是语音识别领域中一种常用的模型。 然后就是“匹配过程”的概念,匹配过程是将特征向量与所有坑你的模型进行比较,然后得出最佳的匹配方案。 根据语音的结构,语音识别过程中需要用到三种不同的模型。 参考:
沈雨娇写的论文有撵炉胶,春夜喜雨等论文。沈雨娇的很多偏关于社会学的论文,发表在人才杂志上,引起很大反向。
与机器进行语音交流,让机器明白你说什么,这是人们长期以来梦寐以求的事情。语音识别技术就是让机器通过识别和理解过程把语音信号转变为相应的文本或命令的高技术。语音识别是一门交叉学科。近二十年来,语音识别技术取得显著进步,开始从实验室走向市场。人们预计,未来10年内,语音识别技术将进入工业、家电、通信、汽车电子、医疗、家庭服务、消费电子产品等各个领域。语音识别听写机在一些领域的应用被美国新闻界评为1997年计算机发展十件大事之一。很多专家都认为语音识别技术是2000年至2010年间信息技术领域十大重要的科技发展技术之一。语音识别技术所涉及的领域包括:信号处理、模式识别、概率论和信息论、发声机理和听觉机理、人工智能等等。 任务分类和应用 根据识别的对象不同,语音识别任务大体可分为3类,即孤立词识别(isolated word recognition),关键词识别(或称关键词检出,keyword spotting)和连续语音识别。其中,孤立词识别 的任务是识别事先已知的孤立的词,如“开机”、“关机”等;连续语音识别的任务则是识别任意的连续语音,如一个句子或一段话;连续语音流中的关键词检测针对的是连续语音,但它并不识别全部文字,而只是检测已知的若干关键词在何处出现,如在一段话中检测“计算机”、“世界”这两个词。根据针对的发音人,可以把语音识别技术分为特定人语音识别和非特定人语音识别,前者只能识别一个或几个人的语音,而后者则可以被任何人使用。显然,非特定人语音识别系统更符合实际需要,但它要比针对特定人的识别困难得多。另外,根据语音设备和通道,可以分为桌面(PC)语音识别、电话语音识别和嵌入式设备(手机、PDA等)语音识别。不同的采集通道会使人的发音的声学特性发生变形,因此需要构造各自的识别系统。语音识别的应用领域非常广泛,常见的应用系统有:语音输入系统,相对于键盘输入方法,它更符合人的日常习惯,也更自然、更高效;语音控制系统,即用语音来控制设备的运行,相对于手动控制来说更加快捷、方便,可以用在诸如工业控制、语音拨号系统、智能家电、声控智能玩具等许多领域;智能对话查询系统,根据客户的语音进行操作,为用户提供自然、友好的数据库检索服务,例如家庭服务、宾馆服务、旅行社服务系统、订票系统、医疗服务、银行服务、股票查询服务等等。 前端前端处理是指在特征提取之前,先对原始语音进行处理,部分消除噪声和不同说话人带来的影响,使处理后的信号更能反映语音的本质特征。最常用的前端处理有端点检测和语音增强。端点检测是指在语音信号中将语音和非语音信号时段区分开来,准确地确定出语音信号的起始点。经过端点检测后,后续处理就可以只对语音信号进行,这对提高模型的精确度和识别正确率有重要作用。语音增强的主要任务就是消除环境噪声对语音的影响。目前通用的方法是采用维纳滤波,该方法在噪声较大的情况下效果好于其它滤波器。处理声学特征 声学特征的提取与选择是语音识别的一个重要环节。声学特征的提取既是一个信息大幅度压缩的过程,也是一个信号解卷过程,目的是使模式划分器能更好地划分。由于语音信号的时变特性,特征提取必须在一小段语音信号上进行,也即进行短时分析。这一段被认为是平稳的分析区间称之为帧,帧与帧之间的偏移通常取帧长的1/2或1/3。通常要对信号进行预加重以提升高频,对信号加窗以避免短时语音段边缘的影响。常用的一些声学特征* 线性预测系数LPC:线性预测分析从人的发声机理入手,通过对声道的短管级联模型的研究,认为系统的传递函数符合全极点数字滤波器的形式,从而n 时刻的信号可以用前若干时刻的信号的线性组合来估计。通过使实际语音的采样值和线性预测采样值之间达到均方差最小LMS,即可得到线性预测系数LPC。对 LPC的计算方法有自相关法(德宾Durbin法)、协方差法、格型法等等。计算上的快速有效保证了这一声学特征的广泛使用。与LPC这种预测参数模型类似的声学特征还有线谱对LSP、反射系数等等。* 倒谱系数CEP:利用同态处理方法,对语音信号求离散傅立叶变换DFT后取对数,再求反变换iDFT就可得到倒谱系数。对LPC倒谱(LPCCEP),在获得滤波器的线性预测系数后,可以用一个递推公式计算得出。实验表明,使用倒谱可以提高特征参数的稳定性。* Mel倒谱系数MFCC和感知线性预测PLP:不同于LPC等通过对人的发声机理的研究而得到的声学特征,Mel倒谱系数MFCC和感知线性预测 PLP是受人的听觉系统研究成果推动而导出的声学特征。对人的听觉机理的研究发现,当两个频率相近的音调同时发出时,人只能听到一个音调。临界带宽指的就是这样一种令人的主观感觉发生突变的带宽边界,当两个音调的频率差小于临界带宽时,人就会把两个音调听成一个,这称之为屏蔽效应。Mel刻度是对这一临界带宽的度量方法之一。MFCC的计算首先用FFT将时域信号转化成频域,之后对其对数能量谱用依照Mel刻度分布的三角滤波器组进行卷积,最后对各个滤波器的输出构成的向量进行离散余弦变换DCT,取前N个系数。PLP仍用德宾法去计算LPC参数,但在计算自相关参数时用的也是对听觉激励的对数能量谱进行DCT的方法。声学模型语音识别系统的模型通常由声学模型和语言模型两部分组成,分别对应于语音到音节概率的计算和音节到字概率的计算。本节和下一节分别介绍声学模型和语言模型方面的技术。HMM声学建模:马尔可夫模型的概念是一个离散时域有限状态自动机,隐马尔可夫模型HMM是指这一马尔可夫模型的内部状态外界不可见,外界只能看到各个时刻的输出值。对语音识别系统,输出值通常就是从各个帧计算而得的声学特征。用HMM刻画语音信号需作出两个假设,一是内部状态的转移只与上一状态有关,另一是输出值只与当前状态(或当前的状态转移)有关,这两个假设大大降低了模型的复杂度。HMM的打分、解码和训练相应的算法是前向算法、Viterbi算法和前向后向算法。语音识别中使用HMM通常是用从左向右单向、带自环、带跨越的拓扑结构来对识别基元建模,一个音素就是一个三至五状态的HMM,一个词就是构成词的多个音素的HMM串行起来构成的HMM,而连续语音识别的整个模型就是词和静音组合起来的HMM。上下文相关建模:协同发音,指的是一个音受前后相邻音的影响而发生变化,从发声机理上看就是人的发声器官在一个音转向另一个音时其特性只能渐变,从而使得后一个音的频谱与其他条件下的频谱产生差异。上下文相关建模方法在建模时考虑了这一影响,从而使模型能更准确地描述语音,只考虑前一音的影响的称为Bi- Phone,考虑前一音和后一音的影响的称为Tri-Phone。英语的上下文相关建模通常以音素为基元,由于有些音素对其后音素的影响是相似的,因而可以通过音素解码状态的聚类进行模型参数的共享。聚类的结果称为senone。决策树用来实现高效的triphone对senone的对应,通过回答一系列前后音所属类别(元/辅音、清/浊音等等)的问题,最终确定其HMM状态应使用哪个senone。分类回归树CART模型用以进行词到音素的发音标注。 语言模型语言模型主要分为规则模型和统计模型两种。统计语言模型是用概率统计的方法来揭示语言单位内在的统计规律,其中N-Gram简单有效,被广泛使用。N-Gram:该模型基于这样一种假设,第n个词的出现只与前面N-1个词相关,而与其它任何词都不相关,整句的概率就是各个词出现概率的乘积。这些概率可以通过直接从语料中统计N个词同时出现的次数得到。常用的是二元的Bi-Gram和三元的Tri-Gram。语言模型的性能通常用交叉熵和复杂度(Perplexity)来衡量。交叉熵的意义是用该模型对文本识别的难度,或者从压缩的角度来看,每个词平均要用几个位来编码。复杂度的意义是用该模型表示这一文本平均的分支数,其倒数可视为每个词的平均概率。平滑是指对没观察到的N元组合赋予一个概率值,以保证词序列总能通过语言模型得到一个概率值。通常使用的平滑技术有图灵估计、删除插值平滑、Katz平滑和Kneser-Ney平滑。 搜索连续语音识别中的搜索,就是寻找一个词模型序列以描述输入语音信号,从而得到词解码序列。搜索所依据的是对公式中的声学模型打分和语言模型打分。在实际使用中,往往要依据经验给语言模型加上一个高权重,并设置一个长词惩罚分数。Viterbi:基于动态规划的Viterbi算法在每个时间点上的各个状态,计算解码状态序列对观察序列的后验概率,保留概率最大的路径,并在每个节点记录下相应的状态信息以便最后反向获取词解码序列。Viterbi算法在不丧失最优解的条件下,同时解决了连续语音识别中HMM模型状态序列与声学观察序列的非线性时间对准、词边界检测和词的识别,从而使这一算法成为语音识别搜索的基本策略。由于语音识别对当前时间点之后的情况无法预测,基于目标函数的启发式剪枝难以应用。由于Viterbi算法的时齐特性,同一时刻的各条路径对应于同样的观察序列,因而具有可比性,束Beam搜索在每一时刻只保留概率最大的前若干条路径,大幅度的剪枝提高了搜索的效率。这一时齐Viterbi- Beam算法是当前语音识别搜索中最有效的算法。 N-best搜索和多遍搜索:为在搜索中利用各种知识源,通常要进行多遍搜索,第一遍使用代价低的知识源,产生一个候选列表或词候选网格,在此基础上进行使用代价高的知识源的第二遍搜索得到最佳路径。此前介绍的知识源有声学模型、语言模型和音标词典,这些可以用于第一遍搜索。为实现更高级的语音识别或口语理解,往往要利用一些代价更高的知识源,如4阶或5阶的N-Gram、4阶或更高的上下文相关模型、词间相关模型、分段模型或语法分析,进行重新打分。最新的实时大词表连续语音识别系统许多都使用这种多遍搜索策略。N-best搜索产生一个候选列表,在每个节点要保留N条最好的路径,会使计算复杂度增加到N倍。简化的做法是只保留每个节点的若干词候选,但可能丢失次优候选。一个折衷办法是只考虑两个词长的路径,保留k条。词候选网格以一种更紧凑的方式给出多候选,对N-best搜索算法作相应改动后可以得到生成候选网格的算法。前向后向搜索算法是一个应用多遍搜索的例子。当应用简单知识源进行了前向的Viterbi搜索后,搜索过程中得到的前向概率恰恰可以用在后向搜索的目标函数的计算中,因而可以使用启发式的A算法进行后向搜索,经济地搜索出N条候选。 系统实现 语音识别系统选择识别基元的要求是,有准确的定义,能得到足够数据进行训练,具有一般性。英语通常采用上下文相关的音素建模,汉语的协同发音不如英语严重,可以采用音节建模。系统所需的训练数据大小与模型复杂度有关。模型设计得过于复杂以至于超出了所提供的训练数据的能力,会使得性能急剧下降。听写机:大词汇量、非特定人、连续语音识别系统通常称为听写机。其架构就是建立在前述声学模型和语言模型基础上的HMM拓扑结构。训练时对每个基元用前向后向算法获得模型参数,识别时,将基元串接成词,词间加上静音模型并引入语言模型作为词间转移概率,形成循环结构,用Viterbi算法进行解码。针对汉语易于分割的特点,先进行分割再对每一段进行解码,是用以提高效率的一个简化方法。对话系统:用于实现人机口语对话的系统称为对话系统。受目前技术所限,对话系统往往是面向一个狭窄领域、词汇量有限的系统,其题材有旅游查询、订票、数据库检索等等。其前端是一个语音识别器,识别产生的N-best候选或词候选网格,由语法分析器进行分析获取语义信息,再由对话管理器确定应答信息,由语音合成器输出。由于目前的系统往往词汇量有限,也可以用提取关键词的方法来获取语义信息。 自适应与强健性 语音识别系统的性能受许多因素的影响,包括不同的说话人、说话方式、环境噪音、传输信道等等。提高系统鲁棒性,是要提高系统克服这些因素影响的能力,使系统在不同的应用环境、条件下性能稳定;自适应的目的,是根据不同的影响来源,自动地、有针对性地对系统进行调整,在使用中逐步提高性能。以下对影响系统性能的不同因素分别介绍解决办法。解决办法按针对语音特征的方法(以下称特征方法)和模型调整的方法(以下称模型方法)分为两类。前者需要寻找更好的、高鲁棒性的特征参数,或是在现有的特征参数基础上,加入一些特定的处理方法。后者是利用少量的自适应语料来修正或变换原有的说话人无关(SI)模型,从而使其成为说话人自适应(SA)模型。说话人自适应的特征方法有说话人规一化和说话人子空间法,模型方法有贝叶斯方法、变换法和模型合并法。语音系统中的噪声,包括环境噪声和录音过程加入的电子噪声。提高系统鲁棒性的特征方法包括语音增强和寻找对噪声干扰不敏感的特征,模型方法有并行模型组合PMC方法和在训练中人为加入噪声。信道畸变包括录音时话筒的距离、使用不同灵敏度的话筒、不同增益的前置放大和不同的滤波器设计等等。特征方法有从倒谱矢量中减去其长时平均值和RASTA滤波,模型方法有倒谱平移。 微软语音识别引擎 微软在office和vista中都应用了自己开发的语音识别引擎,微软语音识别引擎的使用是完全免费的,所以产生了许多基于微软语音识别引擎开发的语音识别应用软件,例如《语音游戏大师》《语音控制专家》《芝麻开门》等等软件。 语音识别系统的性能指标 语音识别系统的性能指标主要有四项。①词汇表范围:这是指机器能识别的单词或词组的范围,如不作任何限制,则可认为词汇表范围是无限的。②说话人限制:是仅能识别指定发话者的语音,还是对任何发话人的语音都能识别。③训练要求:使用前要不要训练,即是否让机器先“听”一下给定的语音,以及训练次数的多少。④正确识别率:平均正确识别的百分数,它与前面三个指标有关。小结以上介绍了实现语音识别系统的各个方面的技术。这些技术在实际使用中达到了较好的效果,但如何克服影响语音的各种因素还需要更深入地分析。目前听写机系统还不能完全实用化以取代键盘的输入,但识别技术的成熟同时推动了更高层次的语音理解技术的研究。由于英语与汉语有着不同的特点,针对英语提出的技术在汉语中如何使用也是一个重要的研究课题,而四声等汉语本身特有的问题也有待解决。
1、基于环境行为学的特色书店设计研究 2、试论社交媒体带来的人际交往空间演变 3、高校大学生创业实验基地室内空间设计研究 4、休闲旅游背景下的乡村旧建筑改造研究 5、众创时代下的创新型孵化器建筑设计研究 6、广州地区高校学生活动中心建筑设计研究 7、城市商业中心娱乐休闲场所微区位研究 8、基于HMM和ANN混合模型的语音识别技术的研究 9、酒店“工资总额动态包干制”过程和效果研究 10、梦吧咖啡厅营销策略研究 11、高校校园边缘空间的优化方法研究 12、中国城市青年旅舍设计研究 13、功能复合化趋势下的博物馆空间组织研究 14、基于商业业态提升的古镇风貌整治 15、工业风在小空间威斯汀咖啡厅的应用 16、高校学生宿舍功能配置设计研究 17、四种类型公共场所室内PM 18、《树洞》心灵咖啡店商业计划书 19、长春市中心城区文化娱乐业空间格局演变研究 20、临颍县电影院室内设计 21、集约空间理念在室内设计中的应用 22、大学图书馆非正式学习空间设计研究 23、基于互联网+背景下的茶楼商业模式转型研究 24、旧工业建筑改造为博物馆案例解析 25、环境行为学理论下的大学整体式教学楼设计研究 26、基于心理账户弹性特征下消费者行为决策的研究 27、基于街区尺度的城市休闲空间研究 28、城市自助旅游者消费行为研究 29、五星级酒店部门着装及配比设计研究 30、日本不同形态咖啡店的社会作用研究 31、色彩搭配在咖啡厅空间设计中的应用研究 32、温情治愈系动画创作模式研究 33、清大智博公司东师咖啡厅营销策略研究 34、高层总部办公建筑交往空间研究 35、娱乐的力量 36、大数据与PSPL调研法相结合的美国城市主街区公共空间调查与研究 37、“佳缘”校园文化咖啡厅联盟商业计划书 38、高校学术交流中心设计研究 39、济南市区餐饮店名研究 40、咖啡厅管理系统的分析与设计 41、城市综合性公园餐饮服务设施的规划与设计 42、餐饮空间的情景式设计方法研究 43、企业自用办公楼公共空间设计研究 44、公共建筑中人性化的服务空间 45、当代医疗建筑公共空间人性化设计的相关研究 46、广州餐饮业店名的社会语言学考察 47、高校餐饮空间多元性设计初探 48、广州市大学校园居学社区的建构研究 49、基于话题分类的汉语教学影视片段资源库构建 50、基于用户体验的咖啡厅营销推广设计研究 51、妹岛和世建筑创作的时代适应性研究 52、蒙太奇在微电影《爱在等待》中的应用 53、中原咖啡的中国市场营销策略研究 54、治愈系主题酒店室内空间设计研究 55、手办模型主题咖啡店设计研究 56、高校图书馆复合型非正式学习空间的研究 57、成都市中心区餐饮业空间结构及影响因素研究 58、丹麦当代文化建筑场所精神的营造 59、南京夫子庙历史文化街区旅游商业化研究 60、当代博物馆的复合化设计策略研究 61、大连城市中青年游戏休闲行为研究 62、语域理论视角下的幽默研究 63、博物馆教育活动研究 64、创新和成长导向下的大学校园声环境及建设策略研究 65、后现代文化背景下的文化艺术区比较研究 66、文化娱乐设施集聚区建设研究 67、研究型大学的协同创新空间设计策略研究 68、我迷故我在 69、复合空间视野下当代学术型图书馆的'行为模式与空间定位 70、商务型会所的研究 71、体现饮食文化特色的厦门大学马来西亚分校餐饮空间构建策略及设计研究 72、厦门大学马来西亚分校“学生中心”设计研究 73、骑行行动咖啡品牌策略研究 74、北京地区星级酒店餐饮功能和空间设计研究 75、博物馆公共空间使用后评价 76、译者素养在翻实践中的体现 77、国内星级酒店餐饮空间策划与设计 78、温泉度假酒店空间设计研究 79、以行为需求为导向的广州地区大学生宿舍底层空间设计研究 80、公共建筑外部空间的公共性策略研究 81、关于茶馆休闲空间的社会功能分析 82、上海休闲娱乐区布局及设施配置研究 83、成都CF咖啡师培训学校创业计划书 84、研发型高科技园办公区的休闲空间研究 85、餐饮业员工情绪劳动、组织承诺对服务破坏的影响 86、餐饮空间室内光环境意境塑造研究 87、基于移动设备的O2O电子商务平台的设计与实现 88、高校青年教师工作压力的社会工作介入研究 89、论海口骑楼建筑文化在当代室内空间设计中的应用 90、平庸与日常的“观照”-《此处》的创作阐释 91、大学设计专业学习行为模式及交往场所研究 92、高校图书馆学习共享空间设计研究 93、城市中心区高层建筑近地空间与城市公共空间整合探研 94、现代综合医院餐饮服务空间建筑设计研究 95、城市遗产视角下的西安德福巷研究 96、高层办公建筑内部公共空间设计研究 97、岭南地区复合型文化建筑休闲空间设计研究 98、中关村科技园区公共交往空间研究 99、旅游广告中民族文化传播问题研究 100、大型博物馆主要公众服务空间设计 101、办公室设计对员工身心健康正向影响之可能性 102、基于“乐活”理念的城市滨水区游憩行为研究 103、如何提高谈话类节目的魅力-栏目《三百六十行》创作分析 104、巴黎博物馆“非展览类”公共空间功能复合化研究 105、原生装饰系统在咖啡休闲空间中的应用
在谷歌学术搜索中,存有高达4亿篇论文的数据库。论文被引用的数据可以作为证明文章影响力的依据。即使这个方法有局限性,但在更大程度上,反映了当今社会的进展和科学的进步。
1《亚当:一种随机优化方法 》 Adam: A Method for Stochastic Optimization。文章发布于2015年,引用数为47774。
截止2020年为止,这篇文章达到了,人类可知的引用最高数。一篇涉及人工智能的文章获得最高引用,证实了科学界对人工智能的注重。不仅是科学界对人工智能领域有巨大的兴趣,而且欧美国家也正在把人工智能作为未来的主要发展对象。美国把对人工智能的投资提高了一倍,欧盟也把投资提高了百分之70。《亚当:一种随机优化方法 》能够获得最高引用,正说明在未来人工智能上,将展开激烈竞争。无独有偶,跟着这篇文章后面,引用最多的文章多是涉及人工智能。
2《图像识别的深度残差学习》 Deep Residual Learning for Image Recognition 文章发布于2016年,引用数为25256。
深度残差学习的概念出自何凯明等4名中国学生。何凯明来自清华大学物理系,现是脸书人工智能的科学家。从文章的引用数量来看,足以显示,他提出的这个方法对该行业的影响。
3《让R-CNN更快: 朝着带有区域建议网络 的实时目标检测》 Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks发表于2015,引用数为19507。
4《深度学习》 Deep Learning, 文章发布于2015年,引用数为16750。
5 《带着缠绕走得更深》 Going deeper with Convolutions, 文章发布于2015年,引用数为14424。
这篇文章已经成为计算机图像处理必读论文之一。
6《通过深层强化学习的人类层面的控制》 Human-Level control through deep reinforcement learning 文章发布于2015年,引用数为10394。
7 《语义分割的完全常规网络》 Fully Conventinal Networks for Semantic segmentation 文章发布于2015年,引用数为10153。
9 《 脓毒症与脓毒症休克第三版国际共识 》 The Third International Consensus Definitions for Sepsis and Septic Shock (Sepsis-3) 文章发布于2016年,引用数为8576。
10《RNA测序和微阵列研究中 Limma 强化差异表达分析》 Limma porwers defferential expression analyses for RNA-sequencing and microarray studies 文章发布于2015年,引用数为8328。
第9和第10篇是前十名论文中,和计算机没有关系的两篇医学论文。这是否意味着,未来对人类社会影响最大的,除了人工智能就是医学了呢?
最后要提到的这篇文章,虽然没有进入第10,但值得一提。 《以深度神经网络和树搜索掌握围棋战略》 Mastering the game of Go with deep neural networks and tree search发布于2016年,引用数为8209。
这篇文章涉及的是伦敦大学学院的教授David Silver, 他领导的AlphaGo团队击败了围棋九段棋手柯洁。人工智能击败了最强大脑,没有什么能比这更能说明人工智能的前途,同时也可能是一个细思极恐的大事件。在机器击败人的时代,人怎么办?
随着图像处理技术的迅速发展,图像识别技术的应用领域越来越广泛。我整理了图像识别技术论文,欢迎阅读!
图像识别技术研究综述
摘要:随着图像处理技术的迅速发展,图像识别技术的应用领域越来越广泛。图像识别是利用计算机对图像进行处理、分析和理解,由于图像在成像时受到外部环境的影响,使得图像具有特殊性,复杂性。基于图像处理技术进一步探讨图像识别技术及其应用前景。
关键词:图像处理;图像识别;成像
中图分类号:TP391 文献标识码:A 文章编号:1009-3044(2013)10-2446-02
图像是客观景物在人脑中形成的影像,是人类最重要的信息源,它是通过各种观测系统从客观世界中获得,具有直观性和易理解性。随着计算机技术、多媒体技术、人工智能技术的迅速发展,图像处理技术的应用也越来越广泛,并在科学研究、教育管理、医疗卫生、军事等领域已取得的一定的成绩。图像处理正显著地改变着人们的生活方式和生产手段,比如人们可以借助于图像处理技术欣赏月球的景色、交通管理中的车牌照识别系统、机器人领域中的计算机视觉等,在这些应用中,都离不开图像处理和识别技术。图像处理是指用计算机对图像进行处理,着重强调图像与图像之间进行的交换,主要目标是对图像进行加工以改善图像的视觉效果并为后期的图像识别大基础[1]。图像识别是利用计算机对图像进行处理、分析和理解,以识别各种不同模式的目标和对像的技术。但是由于获取的图像本事具有复杂性和特殊性,使得图像处理和识别技术成为研究热点。
1 图像处理技术
图像处理(image processing)利用计算机对图像进行分析,以达到所需的结果。图像处理可分为模拟图像处理和数字图像图像处理,而图像处理一般指数字图像处理。这种处理大多数是依赖于软件实现的。其目的是去除干扰、噪声,将原始图像编程适于计算机进行特征提取的形式,主要包括图像采样、图像增强、图像复原、图像编码与压缩和图像分割。
1)图像采集,图像采集是数字图像数据提取的主要方式。数字图像主要借助于数字摄像机、扫描仪、数码相机等设备经过采样数字化得到的图像,也包括一些动态图像,并可以将其转为数字图像,和文字、图形、声音一起存储在计算机内,显示在计算机的屏幕上。图像的提取是将一个图像变换为适合计算机处理的形式的第一步。
2)图像增强,图像在成像、采集、传输、复制等过程中图像的质量或多或少会造成一定的退化,数字化后的图像视觉效果不是十分满意。为了突出图像中感兴趣的部分,使图像的主体结构更加明确,必须对图像进行改善,即图像增强。通过图像增强,以减少图像中的图像的噪声,改变原来图像的亮度、色彩分布、对比度等参数。图像增强提高了图像的清晰度、图像的质量,使图像中的物体的轮廓更加清晰,细节更加明显。图像增强不考虑图像降质的原因,增强后的图像更加赏欣悦目,为后期的图像分析和图像理解奠定基础。
3)图像复原,图像复原也称图像恢复,由于在获取图像时环境噪声的影响、运动造成的图像模糊、光线的强弱等原因使得图像模糊,为了提取比较清晰的图像需要对图像进行恢复,图像恢复主要采用滤波方法,从降质的图像恢复原始图。图像复原的另一种特殊技术是图像重建,该技术是从物体横剖面的一组投影数据建立图像。
4)图像编码与压缩,数字图像的显著特点是数据量庞大,需要占用相当大的存储空间。但基于计算机的网络带宽和的大容量存储器无法进行数据图像的处理、存储、传输。为了能快速方便地在网络环境下传输图像或视频,那么必须对图像进行编码和压缩。目前,图像压缩编码已形成国际标准,如比较著名的静态图像压缩标准JPEG,该标准主要针对图像的分辨率、彩色图像和灰度图像,适用于网络传输的数码相片、彩色照片等方面。由于视频可以被看作是一幅幅不同的但有紧密相关的静态图像的时间序列,因此动态视频的单帧图像压缩可以应用静态图像的压缩标准。图像编码压缩技术可以减少图像的冗余数据量和存储器容量、提高图像传输速度、缩短处理时间。
5)图像分割技术,图像分割是把图像分成一些互不重叠而又具有各自特征的子区域,每一区域是像素的一个连续集,这里的特性可以是图像的颜色、形状、灰度和纹理等。图像分割根据目标与背景的先验知识将图像表示为物理上有意义的连通区域的集合。即对图像中的目标、背景进行标记、定位,然后把目标从背景中分离出来。目前,图像分割的方法主要有基于区域特征的分割方法、基于相关匹配的分割方法和基于边界特征的分割方法[2]。由于采集图像时会受到各种条件的影响会是图像变的模糊、噪声干扰,使得图像分割是会遇到困难。在实际的图像中需根据景物条件的不同选择适合的图像分割方法。图像分割为进一步的图像识别、分析和理解奠定了基础。
2 图像识别技术
图像识别是通过存储的信息(记忆中存储的信息)与当前的信息(当时进入感官的信息)进行比较实现对图像的识别[3]。前提是图像描述,描述是用数字或者符号表示图像或景物中各个目标的相关特征,甚至目标之间的关系,最终得到的是目标特征以及它们之间的关系的抽象表达。图像识别技术对图像中个性特征进行提取时,可以采用模板匹配模型。在某些具体的应用中,图像识别除了要给出被识别对象是什么物体外,还需要给出物体所处的位置和姿态以引导计算初工作。目前,图像识别技术已广泛应用于多个领域,如生物医学、卫星遥感、机器人视觉、货物检测、目标跟踪、自主车导航、公安、银行、交通、军事、电子商务和多媒体网络通信等。主要识别技术有:
2.1 指纹识别
指纹识别是生物识别技术中一种最实用、最可靠和价格便宜的识别手段,主要应用于身份验证。指纹识别是生物特征的一个部分,它具有不变性:一个人的指纹是终身不变的;唯一性:几乎没有两个完全相同的指纹[3]。一个指纹识别系统主要由指纹取像、预处理与特征提取、比对、数据库管理组成。目前,指纹识别技术与我们的现实生活紧密相关,如信用卡、医疗卡、考勤卡、储蓄卡、驾驶证、准考证等。
2.2 人脸识别 目前大多数人脸识别系统使用可见光或红外图像进行人脸识别,可见光图像识别性能很容易受到光照变化的影响。在户外光照条件不均匀的情况下,其正确识别率会大大降低。而红外图像进行人脸识别时可以克服昏暗光照条件变化影响,但由于红外线不能穿透玻璃,如果待识别的对象戴有眼镜,那么在图像识别时,眼部信息全部丢失,将严重影响人脸识别的性能[4]。
2.3 文字识别
文字识别是将模式识别、文字处理、人工智能集与一体的新技术,可以自动地把文字和其他信息分离出来,通过智能识别后输入计算机,用于代替人工的输入。文字识别技术可以将纸质的文档转换为电子文档,如银行票据、文稿、各类公式和符号等自动录入,可以提供文字的处理效率,有助于查询、修改、保存和传播。文字识别方法主要有结构统计模式识别、结构模式识别和人工神经网络[5]。由于文字的数量庞大、结构复杂、字体字形变化多样,使得文字识别技术的研究遇到一定的阻碍。
3 结束语
人类在识别现实世界中的各种事物或复杂的环境是一件轻而易举的事,但对于计算机来讲进行复杂的图像识别是非常困难的[6]。在环境较为简单的情况下,图像识别技术取得了一定的成功,但在复杂的环境下,仍面临着许多问题:如在图像识别过程中的图像分割算法之间的性能优越性比较没有特定的标准,以及算法本身存在一定的局限性,这使得图像识别的最终结果不十分精确等。
参考文献:
[1] 胡爱明,周孝宽.车牌图像的快速匹配识别方法[J].计算机工程与应用,2003,39(7):90—91.
[2] 胡学龙.数字图像处理[M].北京:电子工业出版社,2011.
[3] 范立南,韩晓微,张广渊.图像处理与模式识别[M].北京:科学出版社,2007.
[4] 晓慧,刘志镜.基于脸部和步态特征融合的身份识别[J].计算机应用,2009,1(29):8.
[5] 陈良育,曾振柄,张问银.基于图形理解的汉子构型自动分析系统[J].计算机应用,2005,25(7):1629-1631.
[6] Sanderson C,Paliwal K K.Information Fusion and Person Verification Using Speech & Face Information[C].IDIAP-RR 02-33,Martigny,Swizerland,2002.
点击下页还有更多>>>图像识别技术论文
以下是近些年将遗传算法应用于图像匹配的一些论文推荐:
论文完成后我们就需要对论文进行查重,学校会提供1-2次免费知网查重的机会以此方便同学检测论文重复率。但是在还没有定稿之前尽量不要使用学校的查重,定稿之前我们可以选择其他的查重系统检测重复率同时进行修改,那么怎么去选择查重软件呢?第一、论文查重软件的选择很重要,如果是一些不靠谱的查重不仅浪费钱还会浪费掉宝贵的时间,查重结果可能不准确还会导致论文泄露。所以当我们选择的时候特别要注意不要只关注价格。第二、实在不知道选择我们可以问问学姐学长请他们帮忙推荐几个毕竟都有使用过的经验。我们最好是选择比较热门、官方认证过的论文查重系统,比如知网、维普、万方、paperfree论文查重系统等等,都是有正规营业执照安全性有保障。数据库里面收录的文献数据比较的全面,不同类型的查重都可以进行。第三、初稿我们可以选择免费的查重系统进行修改,一些查重系统还能在线进行修改实时进行查重,能让我们更好地了解到修改的效果。学校要求很严格,论文写作时也要注意尽量不抄袭自己写,重复率过高降导致无法毕业无法参加答辩。定稿建议使用学校规定的查重系统进行检测,其他系统只是做个参考且学校是不认可的最终我们论文还是要上交学校的。
Paperbye论文查重系统曾经在2014年推出的淘宝使用版,主要原因是查重市场也是从淘宝兴起的,通过几年的不懈努力,无论从查重内容准确度,修改论文效率,还是使用体验,都在不断精进,2018年下半年正式推出全新的论文查重系统,不光可以查重还可以自动降重。因此paperbye并不是纯粹的论文查重系统,准确的描述是,自带改重的论文查重系统,解决了目前市场论文查重之后,不知道怎么修改和修改论文效率低的问题,利用软件的“机器人改重”功能,实现软件的自动修改论文重复内容,从而达到迅速自动降低论文重复率,特别是对于第一次写论文的同学,软件自动修改论文内容,会给同学们一些启示或直接使用机器修改的内容进行替换原文内容,提高的文章查重和修改效率。
具体看看有哪些实用功能:
1、机器人智能改重
Paperbye改重是机器人自动修改查重报告里相似的文字内容,自动修改就是论文查重完成后,系统自动把相似内容通过深度学习的数据内容进行替换修改,达到自动降低文章相似率的目的。一篇几万字的文章,10秒内容可以修改完成,这个修改效率是任何人工都无法比拟的,修改文章效率高是机器人修改的独特优势。机器人修改的语句并不是简单的替换关键词和调换语序,主要原理是通过深度学习大量数据后把语义相似的句子进行替换。
2、免费在线改重
在线改重功能是机器人改重功能的延伸和完善,机器改重功能并不是非常完美,就像我们现在的语音识别系统,语音输入并不是100%的完美识别,用手机语音输入文字大家应该有体会。对于机器人修改的语句并不是每句都修改的很完美的,遇到一些专业性比较强的术语修改的会有些牵强,但是不用担心,可以在免费改重工具编辑器里自主修改,通过人工修改相结合达到完美降重效果。
3、同步查重功能
这个功能根据“赫洛克效应”的及时反馈的心理原理,在修改论文的过程中,修改一句话,通过paperbye的“同步查重”功能,马上就可以看到修改效果,达到及时反馈,并且及时检验了修改的方法技巧,使继续修改的信心大增,可以大大提高修改论文的质量和效率。传统的论文查重方式的是你必须把全文或片段改完,重新提交论文到查重系统里重新检测才能知道结果,这种方式无论从流程,还是查重后修改,都比较繁琐,更重的是如果通过修改查重后的相似比例降下来不理想,给人的感觉比较身心疲惫,没有愉悦感,对修改论文极度厌恶。Paperbye论文查重系统解决了这个问题,算是颠覆传统,开创先河,让论文降重不再痛苦。
4、同步查重和在线改重的结合
这两个功能在paperbye查重系统里像一双筷子一样,紧密结合使用的,自己对文章内容修改后,就需要对修改的内容进行查重,点击系统里的“同步查重”,马上就会看到修改后的效果,甚至修改1个字,都可以进行马上查重并反馈修改结果,真正实现一边修改论文,一边进行论文查重。修改、查重同步进行,完美结合。市场上声称“在线改重”,好多同学容易误解,那种改重是必须改完整片文章,再整篇提交,就是传统的论文查重方式,并不能实现修改一句马上看到修改结果。目前paperbye才是真正的实现了边修改边查重的同步效果。
1、万方检测系统很多高校与万方也开展了合作,其真实性和权威性也毋庸置疑了,对于学生来讲万方收费也真的是比较亲民得,操作比较简单,准确率很高。最近在各大学校比较火的大概就是万方官方推出的月/季卡活动了,价格更是讨人喜欢,反馈好评不错。2、维普论文查重系统维普论文查重拥有海量比对资源∞用户体验反馈也不错,论文查重报告详细,在学生群里好评度也蛮高。3、知网这个大家不用多说了,知网在查重市场可谓是老大哥了,不过近期负面信息比较多,价格也实在比较贵,也不对个人开放,对于学生党来讲真的有些不太友好。
题主想要高效地进行英语口语练习,首先要弄清楚的一点是,在英语口语学习过程中,输入决定输出。有足够的input才能有足够的output。绕过这一条,所有的捷径都不存在,所有的努力都是徒劳。
以下列几种我常用到的input:
1.播客
苹果手机自带的app,可以搜索到很多方便英语学习的节目。
我常听的
2. ESLPOD
ESLPOD语速较慢,口语化,非常适合用于英语学习,实用性很高。
3. TED演讲
学英语的同时,也能学到很多东西,岂不是一举两得?
4. 脱口秀节目
5. 生活化的美剧或英剧
如果要通过美剧或英剧来学习英语的话,就必须选择生活化一些的。
比如,英剧IT狂人,美剧老友记、摩登家庭、绝望的主妇等。
像生活大爆炸、神探夏洛克就不太适合,语速较快,很多内容不贴近生活。(事实是,神探夏洛克是我非常喜欢的一部电视剧,虽然不适合用来练口语,但是可以用来磨英音哦)
通过电视剧学习英语,可以使用经典的三步法。
关于字幕:可以下载无字幕视频和分开的中英文srt文件,也可以使用QQ影音等软件打马赛克将对应字幕部分遮住。
关于词汇积累
首推在以上input的过程的积累,其次才是背单词。
专门去背单词效率较低,而且往往背了之后还是不能灵活运用,只能算是词汇积累的一种折衷方法。注意,在背的过程中一定不能只背释义,要注意单词的搭配与在例句中的用法。
关于英语发音
我们学习英语类似于小孩子学习说话,其中的过程必定是模仿、纠错、不断地练习。
首先我们要做的是模仿、跟读。
熟悉单词或句子之后,可以采用录音设备或监听设备,找出与原声的差距并纠正。
能够正确发音之后,就要进行持续的练习了,让口腔的肌肉形成惯性。
学习英语发音过程中,我有以下几点建议:
1. 首先确定自己要选择英式发音,还是美式发音,两者不存在高下之分,只看题主喜欢哪种,适合哪种。
2. 学习音标课程
44个英语音标是必学的内容,好比中文中的汉语拼音一样。很多中国人没有学过音标或者在学习音标的过程中形成了不好的习惯(比如,用中文注释发音),要注意,英语发音中没有任何一个发音与中文一模一样。
在这里推荐大家看BBC官网的音标教学。
如果需要更详细的音标教学的话,市面上也有很多。
在音标学习过程中,要注意相似发音的对比,如(以下采用DJ音标):
[i:] [i]
[u:] [u]
[ɔ:] [ɔ]
[s] [θ]
[z] [ð]
3. 重读和弱读
我们学习单词时,接触到的都是重读读法,如at/æt/,them/ðem/,have/hæv/。然而在真正的英语口语中,应该重读内容词(content words),这些词一般是名字、形容词、实意动词等,弱读功能词(function words),一般是介词、代词、冠词、助动词、连词等。
举例:Don't look at me!
在这句话中,don't、look要重读,at、me非重读,如果,按照学单词时at/æt/读的话,无疑就非常生硬了。在这里at应读作/ət/,并且t失去爆破,不发音,只保持口型。
举例:There have been laws that have been passed, and many police officers and other authorities are being trained about this.
在这句话中,have非重读,读作/həv/或/əv/。
4. 连读
主要有三种情况可以连读
(1)辅音+元音
比如 take it easy,用音标表示就是/teikiti:zi/
(2)辅音+辅音
当第一个单词以辅音结尾,下一个单词以相同或类似辅音开头时,需要连读。
如 just take it,just以t结尾,take以t开头,前面的t就可以不读,take it同第一种情况,所以连读之后用音标表示为/dʒʌsteikit/
再例如,used to,不需要念/d/,直接念成/juztu/
(3)元音+元音
元音之间主要是加一个滑音来解决问题。
如go out,两个词之间放置一个滑音/w/,音标表示为/gəuwaut/
my apple,两个词之间放置一个滑音/j/,音标表示为/maijæpl/注意,滑音是自然带出来的,千万不要念重了,念太重就变味了。
获取更多英语学习秘籍,欢迎关注微信公众公众号:米洛说英文
不难,我可以帮你写。论文提纲可分为简单提纲和详细提纲两种。简单提纲是高度概括的,只提示论文的要点,如何展开则不涉及。这种提纲虽然简单,但由于它是经过深思熟虑构成的,写作时能顺利进行。没有这种准备,边想边写很难顺利地写下去。编写要点编写毕业论文提纲有两种方法:一、标题式写法。即用简要的文字写成标题,把这部分的内容概括出来。这种写法简明扼要,一目了然,但只有作者自己明白。毕业论文提纲一般不能采用这种方法编写。二、句子式写法。即以一个能表达完整意思的句子形式把该部分内容概括出来。这种写法具体而明确,别人看了也能明了,但费时费力。毕业论文的提纲编写要交与指导教师阅读,所以,要求采用这种编写方法。
原创论文,包通过,包修改。
摘要: 多媒体通信技术是当今世界科技领域中最有活力、发展最快的高新信息技术,它时时刻刻都在影响着世界经济的发展和科学技术进步的速度,并不断改变着人类的生活方式和生活质量。多媒体通信综合了多种媒体信息间的通信,它是通过现有的各种通讯网来传输、转储和接收多媒体信息的通信方式,几乎覆盖了信息技术领域的所有范畴,包括数据、音频和视频的综合处理和应用技术,其关键技术是多媒体信息的高效传输和交互处理。关键词:多媒体 图象 音频 功能The application of multimedia technologyAbstract: Multimedia communications technology is the world's science and technology in the field of the most dynamic and fastest growing high-tech information technology, it always have influence in the world economic development and the pace of scientific and technological progress and changing the human way of life and quality of life . A variety of integrated multimedia communications between the communications media information, it is through the various existing communications network to transmit and receive multimedia information and dump the means of communication, cover nearly the area of information technology in all areas, including data, audio and video The integrated treatment and application technology, its technology is the key to the efficient transmission of multimedia information and interactive processingKey words: Multimedia audio features images引 言随着技术的迅速发展,图像、视频等多媒体数据已逐渐成为信息处理领域中主要的信息媒体形式。多媒体通信是信息高速公路建设中的一项关键技术,是多媒体、通信、计算机和网络等相互渗透和发展的产物,它将极大地提高人们的工作效率,改变人们的教育、娱乐等生活方式,是21世纪人们通信的基本方式。第一章 多媒体通信技术基础简介多媒体通信的基本概念和特征1.1 基本概念媒体是信息表示和传输的载体,是一个重要的概念。ITU-T I .374建议将媒体划分为感觉媒体、表示媒体、显示媒体、存储媒体和传输媒体5类。多媒体数据是指多种式样信息的载体,如文本、图形、图像、声音等数据。其特点主要有以下几点:(1)多媒体数据种类繁多(大多是非结构化数据),不同来源的媒体,具有完全不同的形式和格式;(2)多媒体数据量庞大;(3)多媒体数据具有时间特性和版本概念,如在视频点播系统中必须考虑到媒体间以及媒体内部在时间上的同步关系。由此可知多媒体数据与传统的数值和字符不同,因而其存储结构和存取方式也具有特殊性,描述它的数据结构和数据模型也是有差别的。在这种情况下就产生了一种全新的数据库系统--多媒体数据库系统。多媒体数据库是能够有效实现多媒体数据的存储、读取、检索等功能的数据库系统。它的主要特点是:(1)继承了传统数据库的一些优点,例如数据独立性、利用数据库查询语言进行高层次查询、开发控制、容错技术等;(2)能对具有时空关系的数据进行同步和管理。但是目前对于多媒体数据库的功能以及实现方法还没有达成共识,因而出现了多种形式的媒体数据库,并且实现方法也各不相同。从其总体发展上看,多媒体数据库的数据模型可分为关系数据模型、面向对象的数据模型和超媒体数据模型3类。基于不同数据模型的多媒体数据库管理系统(DBMS)的功能也有很大差别,通常基于关系数据模型的多媒体DBMS可以实现多媒体数据的存取,对多媒体数据对象之间的语义关系、时态关系、空间关系不加处理,所以这部分工作就留给应用程序去完成了。面向对象的数据模型和超媒体数据类型可以支持多媒体数据对象之间的语义关系、时态关系、空间关系的处理,其抽象程度更高,但DBMS的实现也相对复杂。在多媒体通信系统中另一个常出现的词汇是"超媒体"。在出版物中经常会出现表示注解意思的"注"字,由"注"你可以找到与之相关的一段文字或一篇文章。这种由"注"而链接到一段文字或一篇文章的链即称为超链拨,同理,超级链也可以将若干不同媒体链接起来,其集合便称为"超媒体"。1.2多媒体通信的特征多媒体通信技术的发展打破了传统通信的单一媒体、单一电信业务的通信系统格局,反映了通信向高层次发展的一种趋势,是人们对未来社会工作和生活方式的向往。多媒体通信技术是一种综合技术,涉及多媒体技术、计算机技术、通信技术等多个领域。多媒体通信系统必须同时兼有集成性、交互性、同步性3个主要特征。1.2.1 集成性多媒体通信系统的集成性指的是能对内容数据信息、多媒体和超媒体信息、脚本信息和特定的应用信息等4类信息进行存储、传输、处则和显现的能力。(1) 内容数据信息(2) 信息是以某一种结构的形式存在的,典型的结构有两种:一种是对象构,其中可处理的最小单元为对象(Object);另一种是文件结构,其中处理的最小单元为文件(File)。多媒体和超媒体信息多媒体和超媒体信息与单媒体信息不一样,它们是结构化的信息,由结构框架和内容数据2部分组成。多媒体和超媒体信息的最小表达形式由两类,一类称为对象,另一类称为文件。(3) 脚本信息脚本信息是一组特定的用语意关系联系起来的、结构化的多媒体和超媒体信息,需要提供表示这一组多媒体信息的运作过程和与外部处理模块间的关系。(4) 特定的应用信息上述3类信息都是低层信息,可以由标准来定义和表示。特定的应用信息是高层信息,是与应用密切相关的,将随应用场合的不同有很大的不同,它的表示方法是基于上述3类的基础之上的。1.2.2 交互性交互性指的是在通信系统中人与系统之间的相互控制能力。在多媒体通信系统中,交互性有两个方面的内容。一是人机接口,也就是人在使用系统的终端时用户终端向用户提供的操作界面;二是用户终端与系统之间的应用层通信协议。多媒体通信终端的用户对通信的全过程有完备的交互控制能力,这是多媒体通信系统的一个主要特征,也是区别多媒体通信系统与非多媒体通信系统的一个主要准则。1.2.3 同步性同步性指的是在多媒体通信终端上显现的图像、声音和文字均以同步方式工作。如用户要检索一个重要的历史事件的片断,该事件的活动图像或静止图像存放在图像数据库中,其文字叙述和语言说明则是放在其他数据库中。多媒体通信终端通过不同传输途径将所需要的信息从不同的数据库中提取出来,并将这些图像、声音、文字同步起来,构成一个整体的信息呈现在用户面前。多媒体通信系统中的同步性是多媒体通信系统最主要的特征之一,信息的同步与否决定了系统是多媒体系统还是非多种媒体系统。同步可在链路层级、表示层级和应用层级3个层面上实现第二章 多媒体音频技术音频技术发展较早,几年前一些技术已经成熟并产品化,甚至进入了家庭,如数字音响。音频技术主要包括四个方面:音频数字化、语音处理、语音合成及语音识别。音频数字化目前是较为成熟的技术,多媒体声卡就是采用此技术而设计的,数字音响也是采用了此技术取代传统的模拟方式而达到了理想的音响效果。音频采样包括两个重要的参数即采样频率和采样数据位数。采样频率即对声音每秒钟采样的次数,人耳听觉上限在20KHz左右,目前常用的采样频率为11KHz,22KHz和44KHz几种。采样频率越高音质越好,存贮数据量越大。CD唱片采样频率为44.1KHz,达到了目前最好的听觉效果。采样数据位数即每个采样点的数据表示范围,目前常用的有8位、12位和16位三种。不同的采样数据位数决定了不同的音质,采样位数越高,存贮数据量越大,音质也越好。CD唱片采用了双声道16位采样,采样频率为44.1KHz,因而达到了专业级水平。音频处理包括范围较广,但主要方面集中在音频压缩上,目前最新的MPEG语音压缩算法可将声音压缩六倍。语音合成是指将正文合成为语言播放,目前国外几种主要语音的合成水平均已到实用阶段,汉语合成几年来也有突飞猛进的发展,实验系统正在运行。在音频技术中难度最大最吸引人的技术当属语音识别,虽然目前只是处于实验研究阶段,但是广阔的应用前景使之一直成为研究关注的热点之一。第三章 多媒体图像视频技术3.1视频技术虽然视频技术发展的时间较短,但是产品应用范围已经很大,与MPEG压缩技术结合的产品已开始进入家庭。视频技术包括视频数字化和视频编码技术两个方面。视频数字化是将模拟视频信号经模数转换和彩色空间变换转为计算机可处理的数字信号,使得计算机可以显示和处理视频信号。目前采样格式有两种:Y:U:V4:1:1和Y:U:V4:2:2,前者是早期产品采用的主要格式,Y:U:V4:2:2格式使得色度信号采样增加了一倍,视频数字化后的色彩、清晰度及稳定性有了明显的改善,是下一代产品的发展方向。视频编码技术是将数字化的视频信号经过编码成为电视信号,从而可以录制到录像带中或在电视上播放。对于不同的应用环境有不同的技术可以采用。从低档的游戏机到电视台广播级的编码技术都已成熟。3.2图像压缩技术图像压缩一直是技术热点之一,它的潜在价值相当大,是计算机处理图像和视频以及网络传输的重要基础,目前ISO制订了两个压缩标准即JPEG和MPEG。JPEG是静态图像的压缩标准,适用于连续色调彩色或灰度图像。它包括两部分:一是基于DPCM(空间线性预测)技术的无失真编码,一是基于DCT(离散余弦变换)和哈夫曼编码的有失真算法。前者图像压缩无失真,但是压缩比很小,目前主要应用的是后一种算法,图像有损失但压缩比很大,压缩20倍左右时基本看不出失真。MJPEG是指MotionJPEG,即按照25帧/秒速度使用JPEG算法压缩视频信号,完成动态视频的压缩。MPEG算法是适用于动态视频的压缩算法,它除了对单幅图像进行编码以外还利用图像序列中的相关原则,将帧间的冗余去掉,这样大大提高了图像的压缩比例。通常保持较高的图像质量而压缩比高达100倍。MPEG算法的缺点是压缩算法复杂,实现很困难。第四章 多媒体通信系统1、 体系结构多媒体通信(multimedia communcations)是在位于不同地理位置的参与者之间召开的一种会议或者进行的交流,通过局域网(LAN)、广域网(WAN)、内联网(intranet)、因特网(Internet)或者电话网来传输压缩的数字图像和声音信号。像电视那样的多目标广播、录象机那样的流式播放、电话会议、电视会议、IP电话、可视电话和IP传真等等都是多媒体通信技术的一些具体的和各有特色的应用。多年来,国际电信联盟(ITU)为公共和私营电信组织制定了许多多媒体计算和通信系统的推荐标准,以促进各国之间的电信合作。ITU的26个(Series A~Z)系列推荐标准中,与多媒体通信关系最密切的7个系列标准如表4-1所示,三种类型的多媒体通信系统的核心技术标准集如表4-1所示。表4-1 ITU系列推荐标准系列名 主要内容Series G 传输系统、媒体数字系统和网络Series H 视听和多媒体系统Series I 综合业务数字网(ISDN)Series J 电视、声音节目和其他多媒体信号的传输Series Q 电话交换和控制信号传输法Series T 远程信息处理业务的终端设备2、网关的功能和结构网关是一台功能强大的计算机或者工作站,它担负线路交换网络(如电话网络)和信息包交换网络(如因特网)之间进行实时的双向通信,提供异种网络之间的连通性,它是传统线路交换网络和现代IP网络之的桥梁。IP电话(见"7.4 IP电话")的出现允许电话呼叫在信息包交换网络上进行,从而引发一场电信工业的革命。但IP电话在成为主流电话服务的道路上遇到了许多障碍。其中最大的一个问题是在IP电话网络和公众交换电话网络之间缺乏连通性。一个重要的原因是早期的网关存在对IP电话进入主流电话服务的限制。例如,通过网关建立呼叫比较困难,而且需要使用非常规的电话号码;不同的网关之间的兼容性妨碍呼叫的建立;声音的质量比较差、有回音以及延迟时间比较长等。这就促进了开发允许IP和PSTN客户能够相互通信的网关,其中的一个措施就是提高网关的处理能力。低档的网关有1~6个端口,典型地使用高档奔腾处理器的PC机方案,提供媒体处理、呼叫控制和信息包的处理等网关功能。高档网关把网关功能分散到几个处理器来实现,这叫做计算机基电话集成(computer-telephony integration,CTI)平台,可提供100多个端口。网关的基本功能可归纳为三种:(1) 转换协议(translating protocols):网关作为一个解释器,使不同的网络能够建立联系,例如,允许PSTN和H.323网络相互对话以建立和清除呼叫。(2) 转换信息格式(converting information formats):不同的网络使用不同的编码方法,网关将对信息进行转换,使异种网络之间能够自由地交换信息,例如声音和电视。(3) 传输信息(transferring information):负责在不同网络之间传输信息。网关的主要部件包括:(1) 线路交换网络(switched-circuit network,SCN)接口卡,这是一种典型的T1/E1或者叫做PRI ISDN线路接口卡,它们与线路交换网络进行通信。主速率接口(primary rate interface,PRI)由23个B通道和一个64 kb/s的D通道组成,叫做23B+D,相当于T1线的带宽。(2) 数字信号处理器(digital signal processors,DSP)卡,它执行的任务包括声音信号的压缩和回音的取消等。(3) 网络接口(network interfaces)卡,它用来与H.323网络进行通信,典型的网络卡包括10/100BaseT网络接口卡(network interface cards,NIC),或者把它们的功能集成到主机板上。(4) 控制处理器(control processor),它协调其他网关部件的所有活动,这个部件通常是在系统的主机板上。网关的主要软件包括:(1) 执行所有网关基本功能和选择功能的网关软件。例如,H.323网关平台(Gateway Platform)执行转换协议、转换消息格式和传输信息等基本功能,支持声音压缩、协议转换、实时的传真解调/再调制以及执行H.323系列协议。(2) 特定网关的应用软件,它执行自定义的功能以及管理和控制功能。3、会务器的功能和结构会务器(gatekeepers)是用于连接IP网络上的H.323电视会议客户,是电视会议的关键部件之一,许多人把它当作电视会议的"大脑"。它提供授权和验证、保存和维护呼叫记录、执行地址转换而不需要你去记忆IP地址、监视网络、管理带宽以限制同时呼叫的数目从而保证电视会议的质量、以及提供与现存系统的接口。会务器的功能一般都是用软件来实现。会务器的功能分成两个部分:基本功能和选择功能。会务器必须要提供的基本功能包括:"地址转换(Address Translation):使用一种可由注册消息(Registration messages)更新的转换表,把别名地址转换成传输地址(Transport Address)。这个功能在线路交换网络上的电话企图呼叫IP网络上的PC时显得尤其重要,在确定网关地址时也很重要。准入控制(Admissions Control):使用准入请求/准入确认/准入拒绝ARQ/ARC/ARJ(Admission Request, Confirm and Reject)消息,对访问局域网进行授权。H323标准规定必须要有用来对网络服务进行授权的RAS消息(RAS messages),RAS是一个注册/准入/状态(Registration/Admission/Status)协议,但它不定义授权存取网络资源的规则或者政策,因此服务提供者需要会务器来干预现存的授权方法。此外,企业管理人员和服务提供者也许想使用他自己的标准来授权,例如,根据订金、信用卡等。带宽控制(Bandwidth Control):支持RAS带宽消息(RAS bandwidth messages),即带宽请求/带宽确认/带宽拒绝BRQ/BCF/BRJ(Request, Confirm and Reject)消息,以强制执行带宽控制。至于如何管理则要根据服务提供者或者企业管理人员的政策来确定。在许多情况下,如果在网络或者特定的网关不拥挤的况下,对任何带宽的请求都应该给予满足。区域管理(Zone Management):用于管理所有已经注册的H.323端点(endpoint),为它们提供上面介绍的功能。至于确定哪个终端可以注册以及地理或者逻辑区域的组成(单个会务器管理的终端、网关和多点控制单元MCU)则由网络设计人员决定。会务器提供的选择功能包括:呼叫控制信号传输方法(Call Control Signalling):在H.323中有两种呼叫控制信号传输模型:会务器安排呼叫信号传输模型(Gatekeeper Routed Call Signaling Model)和直接端点呼叫信号传输模型(Direct Endpoint Call Signaling Model)。会务器可根据访问提供者的要求进行选择。呼叫授权(Call Authorization):会务器可根据服务提供者指定的条件对一个给定的呼叫进行授权或者拒绝。其条件可包括会议时间、预定的服务类型、对受限网关的访问权限或者可用的带宽等。带宽管理(Bandwidth Management):根据服务提供者指定的带宽分配确定是否有足够的带宽用于呼叫。呼叫管理(Call Management):提供智能呼叫管理。会务器维护一种H.323呼叫表以指示被呼叫终端是否处于忙状态,并为带宽管理(Bandwidth Management)功能提供信息。会务器的结构会务器通常设计成内外两层,如图4-8所示。会务器的内层叫做核心层,它由执行H.323协议堆的软件和实现多点控制单元MCU(multipoint control unit)功能的软件组成,有的软件开发公司把它叫做H.323会务器核心功能部件。MCU的主要功能是连接多条线路并自动或者在会议主持人的指导下手动交换电视号。会务器的外层由许多应用程序的接口组成,用于连接网络上现有的许多服务。外层软件
有必要上这儿来吗,去图书馆的数据库,这样类型的文章多得不得了啊