摘要: 多媒体通信技术是当今世界科技领域中最有活力、发展最快的高新信息技术,它时时刻刻都在影响着世界经济的发展和科学技术进步的速度,并不断改变着人类的生活方式和生活质量。多媒体通信综合了多种媒体信息间的通信,它是通过现有的各种通讯网来传输、转储和接收多媒体信息的通信方式,几乎覆盖了信息技术领域的所有范畴,包括数据、音频和视频的综合处理和应用技术,其关键技术是多媒体信息的高效传输和交互处理。关键词:多媒体 图象 音频 功能The application of multimedia technologyAbstract: Multimedia communications technology is the world's science and technology in the field of the most dynamic and fastest growing high-tech information technology, it always have influence in the world economic development and the pace of scientific and technological progress and changing the human way of life and quality of life . A variety of integrated multimedia communications between the communications media information, it is through the various existing communications network to transmit and receive multimedia information and dump the means of communication, cover nearly the area of information technology in all areas, including data, audio and video The integrated treatment and application technology, its technology is the key to the efficient transmission of multimedia information and interactive processingKey words: Multimedia audio features images引 言随着技术的迅速发展,图像、视频等多媒体数据已逐渐成为信息处理领域中主要的信息媒体形式。多媒体通信是信息高速公路建设中的一项关键技术,是多媒体、通信、计算机和网络等相互渗透和发展的产物,它将极大地提高人们的工作效率,改变人们的教育、娱乐等生活方式,是21世纪人们通信的基本方式。第一章 多媒体通信技术基础简介多媒体通信的基本概念和特征 基本概念媒体是信息表示和传输的载体,是一个重要的概念。ITU-T I .374建议将媒体划分为感觉媒体、表示媒体、显示媒体、存储媒体和传输媒体5类。多媒体数据是指多种式样信息的载体,如文本、图形、图像、声音等数据。其特点主要有以下几点:(1)多媒体数据种类繁多(大多是非结构化数据),不同来源的媒体,具有完全不同的形式和格式;(2)多媒体数据量庞大;(3)多媒体数据具有时间特性和版本概念,如在视频点播系统中必须考虑到媒体间以及媒体内部在时间上的同步关系。由此可知多媒体数据与传统的数值和字符不同,因而其存储结构和存取方式也具有特殊性,描述它的数据结构和数据模型也是有差别的。在这种情况下就产生了一种全新的数据库系统--多媒体数据库系统。多媒体数据库是能够有效实现多媒体数据的存储、读取、检索等功能的数据库系统。它的主要特点是:(1)继承了传统数据库的一些优点,例如数据独立性、利用数据库查询语言进行高层次查询、开发控制、容错技术等;(2)能对具有时空关系的数据进行同步和管理。但是目前对于多媒体数据库的功能以及实现方法还没有达成共识,因而出现了多种形式的媒体数据库,并且实现方法也各不相同。从其总体发展上看,多媒体数据库的数据模型可分为关系数据模型、面向对象的数据模型和超媒体数据模型3类。基于不同数据模型的多媒体数据库管理系统(DBMS)的功能也有很大差别,通常基于关系数据模型的多媒体DBMS可以实现多媒体数据的存取,对多媒体数据对象之间的语义关系、时态关系、空间关系不加处理,所以这部分工作就留给应用程序去完成了。面向对象的数据模型和超媒体数据类型可以支持多媒体数据对象之间的语义关系、时态关系、空间关系的处理,其抽象程度更高,但DBMS的实现也相对复杂。在多媒体通信系统中另一个常出现的词汇是"超媒体"。在出版物中经常会出现表示注解意思的"注"字,由"注"你可以找到与之相关的一段文字或一篇文章。这种由"注"而链接到一段文字或一篇文章的链即称为超链拨,同理,超级链也可以将若干不同媒体链接起来,其集合便称为"超媒体"。多媒体通信的特征多媒体通信技术的发展打破了传统通信的单一媒体、单一电信业务的通信系统格局,反映了通信向高层次发展的一种趋势,是人们对未来社会工作和生活方式的向往。多媒体通信技术是一种综合技术,涉及多媒体技术、计算机技术、通信技术等多个领域。多媒体通信系统必须同时兼有集成性、交互性、同步性3个主要特征。 集成性多媒体通信系统的集成性指的是能对内容数据信息、多媒体和超媒体信息、脚本信息和特定的应用信息等4类信息进行存储、传输、处则和显现的能力。(1) 内容数据信息(2) 信息是以某一种结构的形式存在的,典型的结构有两种:一种是对象构,其中可处理的最小单元为对象(Object);另一种是文件结构,其中处理的最小单元为文件(File)。多媒体和超媒体信息多媒体和超媒体信息与单媒体信息不一样,它们是结构化的信息,由结构框架和内容数据2部分组成。多媒体和超媒体信息的最小表达形式由两类,一类称为对象,另一类称为文件。(3) 脚本信息脚本信息是一组特定的用语意关系联系起来的、结构化的多媒体和超媒体信息,需要提供表示这一组多媒体信息的运作过程和与外部处理模块间的关系。(4) 特定的应用信息上述3类信息都是低层信息,可以由标准来定义和表示。特定的应用信息是高层信息,是与应用密切相关的,将随应用场合的不同有很大的不同,它的表示方法是基于上述3类的基础之上的。 交互性交互性指的是在通信系统中人与系统之间的相互控制能力。在多媒体通信系统中,交互性有两个方面的内容。一是人机接口,也就是人在使用系统的终端时用户终端向用户提供的操作界面;二是用户终端与系统之间的应用层通信协议。多媒体通信终端的用户对通信的全过程有完备的交互控制能力,这是多媒体通信系统的一个主要特征,也是区别多媒体通信系统与非多媒体通信系统的一个主要准则。 同步性同步性指的是在多媒体通信终端上显现的图像、声音和文字均以同步方式工作。如用户要检索一个重要的历史事件的片断,该事件的活动图像或静止图像存放在图像数据库中,其文字叙述和语言说明则是放在其他数据库中。多媒体通信终端通过不同传输途径将所需要的信息从不同的数据库中提取出来,并将这些图像、声音、文字同步起来,构成一个整体的信息呈现在用户面前。多媒体通信系统中的同步性是多媒体通信系统最主要的特征之一,信息的同步与否决定了系统是多媒体系统还是非多种媒体系统。同步可在链路层级、表示层级和应用层级3个层面上实现第二章 多媒体音频技术音频技术发展较早,几年前一些技术已经成熟并产品化,甚至进入了家庭,如数字音响。音频技术主要包括四个方面:音频数字化、语音处理、语音合成及语音识别。音频数字化目前是较为成熟的技术,多媒体声卡就是采用此技术而设计的,数字音响也是采用了此技术取代传统的模拟方式而达到了理想的音响效果。音频采样包括两个重要的参数即采样频率和采样数据位数。采样频率即对声音每秒钟采样的次数,人耳听觉上限在20KHz左右,目前常用的采样频率为11KHz,22KHz和44KHz几种。采样频率越高音质越好,存贮数据量越大。CD唱片采样频率为,达到了目前最好的听觉效果。采样数据位数即每个采样点的数据表示范围,目前常用的有8位、12位和16位三种。不同的采样数据位数决定了不同的音质,采样位数越高,存贮数据量越大,音质也越好。CD唱片采用了双声道16位采样,采样频率为,因而达到了专业级水平。音频处理包括范围较广,但主要方面集中在音频压缩上,目前最新的MPEG语音压缩算法可将声音压缩六倍。语音合成是指将正文合成为语言播放,目前国外几种主要语音的合成水平均已到实用阶段,汉语合成几年来也有突飞猛进的发展,实验系统正在运行。在音频技术中难度最大最吸引人的技术当属语音识别,虽然目前只是处于实验研究阶段,但是广阔的应用前景使之一直成为研究关注的热点之一。第三章 多媒体图像视频技术3.1视频技术虽然视频技术发展的时间较短,但是产品应用范围已经很大,与MPEG压缩技术结合的产品已开始进入家庭。视频技术包括视频数字化和视频编码技术两个方面。视频数字化是将模拟视频信号经模数转换和彩色空间变换转为计算机可处理的数字信号,使得计算机可以显示和处理视频信号。目前采样格式有两种:Y:U:V4:1:1和Y:U:V4:2:2,前者是早期产品采用的主要格式,Y:U:V4:2:2格式使得色度信号采样增加了一倍,视频数字化后的色彩、清晰度及稳定性有了明显的改善,是下一代产品的发展方向。视频编码技术是将数字化的视频信号经过编码成为电视信号,从而可以录制到录像带中或在电视上播放。对于不同的应用环境有不同的技术可以采用。从低档的游戏机到电视台广播级的编码技术都已成熟。图像压缩技术图像压缩一直是技术热点之一,它的潜在价值相当大,是计算机处理图像和视频以及网络传输的重要基础,目前ISO制订了两个压缩标准即JPEG和MPEG。JPEG是静态图像的压缩标准,适用于连续色调彩色或灰度图像。它包括两部分:一是基于DPCM(空间线性预测)技术的无失真编码,一是基于DCT(离散余弦变换)和哈夫曼编码的有失真算法。前者图像压缩无失真,但是压缩比很小,目前主要应用的是后一种算法,图像有损失但压缩比很大,压缩20倍左右时基本看不出失真。MJPEG是指MotionJPEG,即按照25帧/秒速度使用JPEG算法压缩视频信号,完成动态视频的压缩。MPEG算法是适用于动态视频的压缩算法,它除了对单幅图像进行编码以外还利用图像序列中的相关原则,将帧间的冗余去掉,这样大大提高了图像的压缩比例。通常保持较高的图像质量而压缩比高达100倍。MPEG算法的缺点是压缩算法复杂,实现很困难。第四章 多媒体通信系统1、 体系结构多媒体通信(multimedia communcations)是在位于不同地理位置的参与者之间召开的一种会议或者进行的交流,通过局域网(LAN)、广域网(WAN)、内联网(intranet)、因特网(Internet)或者电话网来传输压缩的数字图像和声音信号。像电视那样的多目标广播、录象机那样的流式播放、电话会议、电视会议、IP电话、可视电话和IP传真等等都是多媒体通信技术的一些具体的和各有特色的应用。多年来,国际电信联盟(ITU)为公共和私营电信组织制定了许多多媒体计算和通信系统的推荐标准,以促进各国之间的电信合作。ITU的26个(Series A~Z)系列推荐标准中,与多媒体通信关系最密切的7个系列标准如表4-1所示,三种类型的多媒体通信系统的核心技术标准集如表4-1所示。表4-1 ITU系列推荐标准系列名 主要内容Series G 传输系统、媒体数字系统和网络Series H 视听和多媒体系统Series I 综合业务数字网(ISDN)Series J 电视、声音节目和其他多媒体信号的传输Series Q 电话交换和控制信号传输法Series T 远程信息处理业务的终端设备2、网关的功能和结构网关是一台功能强大的计算机或者工作站,它担负线路交换网络(如电话网络)和信息包交换网络(如因特网)之间进行实时的双向通信,提供异种网络之间的连通性,它是传统线路交换网络和现代IP网络之的桥梁。IP电话(见" IP电话")的出现允许电话呼叫在信息包交换网络上进行,从而引发一场电信工业的革命。但IP电话在成为主流电话服务的道路上遇到了许多障碍。其中最大的一个问题是在IP电话网络和公众交换电话网络之间缺乏连通性。一个重要的原因是早期的网关存在对IP电话进入主流电话服务的限制。例如,通过网关建立呼叫比较困难,而且需要使用非常规的电话号码;不同的网关之间的兼容性妨碍呼叫的建立;声音的质量比较差、有回音以及延迟时间比较长等。这就促进了开发允许IP和PSTN客户能够相互通信的网关,其中的一个措施就是提高网关的处理能力。低档的网关有1~6个端口,典型地使用高档奔腾处理器的PC机方案,提供媒体处理、呼叫控制和信息包的处理等网关功能。高档网关把网关功能分散到几个处理器来实现,这叫做计算机基电话集成(computer-telephony integration,CTI)平台,可提供100多个端口。网关的基本功能可归纳为三种:(1) 转换协议(translating protocols):网关作为一个解释器,使不同的网络能够建立联系,例如,允许PSTN和网络相互对话以建立和清除呼叫。(2) 转换信息格式(converting information formats):不同的网络使用不同的编码方法,网关将对信息进行转换,使异种网络之间能够自由地交换信息,例如声音和电视。(3) 传输信息(transferring information):负责在不同网络之间传输信息。网关的主要部件包括:(1) 线路交换网络(switched-circuit network,SCN)接口卡,这是一种典型的T1/E1或者叫做PRI ISDN线路接口卡,它们与线路交换网络进行通信。主速率接口(primary rate interface,PRI)由23个B通道和一个64 kb/s的D通道组成,叫做23B+D,相当于T1线的带宽。(2) 数字信号处理器(digital signal processors,DSP)卡,它执行的任务包括声音信号的压缩和回音的取消等。(3) 网络接口(network interfaces)卡,它用来与网络进行通信,典型的网络卡包括10/100BaseT网络接口卡(network interface cards,NIC),或者把它们的功能集成到主机板上。(4) 控制处理器(control processor),它协调其他网关部件的所有活动,这个部件通常是在系统的主机板上。网关的主要软件包括:(1) 执行所有网关基本功能和选择功能的网关软件。例如,网关平台(Gateway Platform)执行转换协议、转换消息格式和传输信息等基本功能,支持声音压缩、协议转换、实时的传真解调/再调制以及执行系列协议。(2) 特定网关的应用软件,它执行自定义的功能以及管理和控制功能。3、会务器的功能和结构会务器(gatekeepers)是用于连接IP网络上的电视会议客户,是电视会议的关键部件之一,许多人把它当作电视会议的"大脑"。它提供授权和验证、保存和维护呼叫记录、执行地址转换而不需要你去记忆IP地址、监视网络、管理带宽以限制同时呼叫的数目从而保证电视会议的质量、以及提供与现存系统的接口。会务器的功能一般都是用软件来实现。会务器的功能分成两个部分:基本功能和选择功能。会务器必须要提供的基本功能包括:"地址转换(Address Translation):使用一种可由注册消息(Registration messages)更新的转换表,把别名地址转换成传输地址(Transport Address)。这个功能在线路交换网络上的电话企图呼叫IP网络上的PC时显得尤其重要,在确定网关地址时也很重要。准入控制(Admissions Control):使用准入请求/准入确认/准入拒绝ARQ/ARC/ARJ(Admission Request, Confirm and Reject)消息,对访问局域网进行授权。H323标准规定必须要有用来对网络服务进行授权的RAS消息(RAS messages),RAS是一个注册/准入/状态(Registration/Admission/Status)协议,但它不定义授权存取网络资源的规则或者政策,因此服务提供者需要会务器来干预现存的授权方法。此外,企业管理人员和服务提供者也许想使用他自己的标准来授权,例如,根据订金、信用卡等。带宽控制(Bandwidth Control):支持RAS带宽消息(RAS bandwidth messages),即带宽请求/带宽确认/带宽拒绝BRQ/BCF/BRJ(Request, Confirm and Reject)消息,以强制执行带宽控制。至于如何管理则要根据服务提供者或者企业管理人员的政策来确定。在许多情况下,如果在网络或者特定的网关不拥挤的况下,对任何带宽的请求都应该给予满足。区域管理(Zone Management):用于管理所有已经注册的端点(endpoint),为它们提供上面介绍的功能。至于确定哪个终端可以注册以及地理或者逻辑区域的组成(单个会务器管理的终端、网关和多点控制单元MCU)则由网络设计人员决定。会务器提供的选择功能包括:呼叫控制信号传输方法(Call Control Signalling):在中有两种呼叫控制信号传输模型:会务器安排呼叫信号传输模型(Gatekeeper Routed Call Signaling Model)和直接端点呼叫信号传输模型(Direct Endpoint Call Signaling Model)。会务器可根据访问提供者的要求进行选择。呼叫授权(Call Authorization):会务器可根据服务提供者指定的条件对一个给定的呼叫进行授权或者拒绝。其条件可包括会议时间、预定的服务类型、对受限网关的访问权限或者可用的带宽等。带宽管理(Bandwidth Management):根据服务提供者指定的带宽分配确定是否有足够的带宽用于呼叫。呼叫管理(Call Management):提供智能呼叫管理。会务器维护一种呼叫表以指示被呼叫终端是否处于忙状态,并为带宽管理(Bandwidth Management)功能提供信息。会务器的结构会务器通常设计成内外两层,如图4-8所示。会务器的内层叫做核心层,它由执行协议堆的软件和实现多点控制单元MCU(multipoint control unit)功能的软件组成,有的软件开发公司把它叫做会务器核心功能部件。MCU的主要功能是连接多条线路并自动或者在会议主持人的指导下手动交换电视号。会务器的外层由许多应用程序的接口组成,用于连接网络上现有的许多服务。外层软件
1.网页设计三大金刚:html5,css,后端必备:也很重要,不过如果你的java基础不好,又没有学习过javaweb技术,那么建议你不使用这个技术3.移动端开发技术,如android开发,相对于web一类的话还是变异体小程序也不错,不过你没学过也不建议着手从事4.移动端,跨平台性要求要比较好,因此建议你学习ionic+cordova+angular框架,进行跨平台移动应用开发。当然所有的第一步是,你要做移动端,PC端还是跨平台端?
基于单片机的语音录放系统设计关键词: 单片机;数字语音电路; ISD1490;波形存储法 摘要:设计了基于单片机的语音录放系统.该系统以 MCS89C51 单片机为核心器件, 控制四片 ISD1490 语音芯片工作, 每个语音芯片配以简单的外围电路自成独立的语音录放电路, 各个语音录放电路的录放功能及录放时间由单片机来控制, 编写不同的程序可实现不同的录放效果。 前沿用磁带记录、 存储、 还原模拟语音信号的方法已有很长的历史, 基于这一方法的电子产品也到处可见,且这些产品的体积都很大,在使用的范围上受到了一定的限制. 单片机语音录放系统就是为解决这一问题而设计的.单片机语音录放系统是以数字电路为基础, 利用数字语音电路来实现语音信号的记录、 存储、 还原等任务. 数字语音电路是一种集语音合成技术、 大规模集成电路技术以及微控制器技术为一体的并在近十几年迅速发展起来的一种新型技术.语音集成电路与微处理器相结合, 具有体积小、 扩展方便等特点, 具有广泛的发展前景。1 固体录音机原理 语音数字处理方法可以分为规则合成法、 参数合成法和波形存储法三类, 前两类复杂且难度大, 目前使用较少, 波形存储法是普遍采用的一种.波形存储法的技术基础是A / D、 D/ A 转换技术和多种的编码、 解码算法.图1 说明了波形存储法的语音数字处理、 记录及存储过程:首先用麦克风取得语音的电模拟量信号, 经适当放大后, A/ D转换器以一定的频率对其进行采样并转换为二进制数字量,并实时地对其进行编码,实现对实时数据的压缩以减少数据量,然后送入数据存储器中储存.图一 语音记录过程图2 是数字语音还原的基本过程:按一定顺序从数据存储器中读出数据, 以对应的算法进行解码,合成为语音数据,这是一种实时的数据解压过程,恢复的语音数据送入D/ A 转换器还原成语音的模拟信号输出.图二 语音回放过程2. 1 ISD1490 基本录放电路 ISD1490 语音芯片的内部已以 EEPROM 作为数据存储器,因此无需电池即能保存数据10 年以上,擦除和写入均可在片内自动完成而无需外部设备. 此外, 其片内还含有时钟振荡器、 话筒扩大器自动增益控制电路、 抗干扰滤波器、 音频功率放大器等.因此它自身已具备了语音录放系统所需的全部基本电路, 只需配备一只驻极体话筒、 一只喇叭、 两只按钮、 一个电源及少量电阻电容,就可以构成一个基本的录放系统(如图3 所示) .图 3 ISD1490 基本的语音录放系统该芯片具有下列显著特点:外围元件少, 操作方便;零功率信息存储, 无需备用电源; 信息能可靠保存10 年以上,可重复录音10 万次;语音固化无需编程开发设备; 通过地址的选址可以分段录放,因此可以独立存放汉字语音,构成语音库;具有自动省电模式,在非录放状态时自动省电.有单一电源供电( + 5v) ;静态电流典型值 0. 5uA,最大值2uA;工作电流典型值15mA,最大值30mA. 2. 2 单片机语音录放系统本电路使用了四片 ISD1490, 每片都如图 3 所示接成基本的录放电路,最后用单片机将四个基本录放电路连接成一个整体. 因为每片录音芯片可录音 90 秒,四片共可录音 360 秒, 用单片微处理器 MCS89C51 进行控制, 当录音时间在 90秒之内时,只用 1# 芯片, 如录音时间超过90 秒时,启用2# 芯片, 在录音时间超过 180 秒时, 启用3# 芯片, 这样,用微处理器来完成定时和芯片自动选择,就可实现360 秒内任何时间长度 的语音录制与回放, 从而实现录音放音功能. 系统结构如图4.图 4 单片机语音录放系统结构图3 系统的软件设计 本系统软件设计较为简单, 主要是定时选片控制,每片语音电路的地址端均接地,录放控制端受MCS89C51 控制, 根据微处理器的定时, 当需要某一芯片录放时, 单片机相应的控制端起作用,即启动语音电路工作,部分程序框图如图5 所示.图 5 部分程序框图4 结束语 单片机语音录放系统解决了传统录放机体积大、 扩展不方便的缺点.本系统所设计的电路可实现360 秒内任意长时间的语音录放. 在此基础上对硬件和软件稍作改动, 便可完成其他的功能,如语音报警器,智能语音控制器等,为各种智能仪器仪表扩展语音功能奠定了基础, 具有广泛的发展前景。
希望可以帮到你中英对照GSM词汇 自测试 self-test自动(动态)压缩 automatic (dynamic) compression自动拨号设备 automatic dialing unit (ADU)自动测试 automatic test自动车辆定位系统 automatic vehicle location system自动电话 automatic telephone system自动电话机 automatic telephone set自动发射机识别 automatic transmitter identification自动呼叫 automatic calling自动呼叫识别 automatic call identification自动化 automation自动交换设备 automatic switching equipment自动接入多信道无绳电话 autoaccess multiple channel cordless telephone自动频率公用 automatic frequency sharing自动频率控制 automatic frequency control (AFC)自动频率微调 automatic frequency fine control (AFEC)自动频率微调捕捉范围 automatic frequency fine control pull-in range自动频率微调捕捉时间 automatic frequency fine control pull-in time自动频率微调剩余误差 automatic frequency fine control residential error自动频率微调同步范围 automatic frequency fine control locking-in range自动频率微调最大跟踪速率 automatic frequency fine control maximum tracking rate自动请求重发 automatic repeat request (ARQ)自动信道选择 automatic channel selection自动寻呼系统 automatic paging system自动功率控制 automatic power control (APC)自动增益控制 automatic gain control (AGC)自动增益控制特性 automatic gain-control (AGC) characteristic自放电 self-discharge自激荡器 self-excited oscillation自举电路 bootstrap circuit自然辐射源 natural radiator自然干扰 natural interference自然空间辐射 natural space radiation自然冷却 natural cooling自然躁声 natural noise自适应 adaptation自适应差分脉冲编码调制 adaptive differential pulse code modulation (ADPCM)自适应接收机 adaptive receiver自适应均衡 adaptive equalization自适应控制系统 adaptive control system自适应天线 adaptive antenna自适应通信 adaptive communication自适应短波电台 adaptive HF station自适应预测 adaptive prediction 自适应预测编码 adaptive prediction coding自适应增量调制 adaptive delta modulation (ADM)自学习系统 self-learning system自由空间 free space自由空间传播 free space propagation自由空间光通信 free space optical communication自由空间基本传输损耗 free space basic transmission loss自组织无线电通信网 self-organization radio communication network字长 word length字段 field字符 character字符长度 character size字符串 character string字符差错率 character error rate字符速率 character rate字符信号 character signal字节 octet字块 block综合办公室自动化系统 integrated automated office system综合测试仪 general-purpose tester综合环境实验 combined environment test综合数字网 integrated digital network综合相位控制 generated phase control综合业务数字网 ISDN, integrated services digital network 综合业务网 integrated services network (ISN)总失真系数 total distortion factor总损耗(无线线路的) total loss (of a radio link)阻断/解阻 blocking /deblocking阻塞 blocking阻塞(四分之一波长)滤波器 stop (quarter-wave) filter组合干扰 combination interference组合音 combination tone组呼 talkgroup call阻尼振荡 damped oscillation组装效率 packaging efficiency最大副/主瓣比 maximum relative side lobe level最大可用幅偏 maximum usable amplitude deviation最大似然译码 maximum likelihood decoding最大调整率(最大塞入率) maximum justification rate (maximum stuffing rate)最大有用功率 maximum useful power最大允许频(相)偏 maximum permissible frequency (phase) deviation最低可用频率 lowest usable frequency最低位 least-significant bit (LSB)最高可用频率 maximum usable frequency (LUF)最高振荡频率 maximum frequency of oscillation最小可用场强,最小可用功率通量密度minimum usable field-strength (Emin), minimum usable power flux density (Pmin)最小码距 minimum distance最小频移键控 minimum shift keying (MSK)最终检验 final inspection最佳工作频率 optimum working frequency (OWF)左旋极化波(或逆时针极化波)left-hand (or anti-clockwise)-polarized wave缩略语3PTY 三方业务4-level FM 四电平调频AA&CO 接收与检验A/A 空对空通信,空对空导弹A/D 模拟/数字Ao 绝对温度AA 1)自适应放大器 2)算术平均 3)自动报警 AAAS 美国科学促进协会AAC 1)航空咨询委员会 2)自动幅度与自动控制AACB 航空与宇航协调局AACC 美国自动控制委员会AACS 1)航路与航空通讯处 2)陆军阿拉斯加通信系统3)陆军地(区)域通讯系统AADIS 自动防空情报系统AAE 1)美国工程师协会 2)陆军与空军AAEE 美国电气工程师协会AAF 美国空军AAL ATM适配层AAS 1)高级天线系统 2)自动报警状态 3)美国科学院4)美国宇航学会 5)自动寻址系统AASC 集团军地域通信中心AAU 自动寻址装置AB 访问突发、接入突发ABC 1)美国广播公司 2)美国广播系统 3)美国-英国-加拿大(标准化协议) 4)自动带宽控制ABCST 自动广播ABF 音频带通滤波器ABG 可听方位信号发生器ABI 1)邻位干扰 2) 应用二进制式接口ABIR 全频段侦察接收机(all-band intercept receiver)ABPF 音频带通滤波器ABS 美国标准局AC 1)存取控制器 2)交流电ACA 美国通信协会ACCH 相关控制信道ACCHAN 盟军指挥系统(北大西洋公约组织)ACE 1)验收检验设备(acceptance checkout equipment)2)自适应计算机试验 3)自动呼叫设备4)自动电路交换机 5)自动计算设备ACES 1)自动控制鉴定模拟器 2)自动控制电系统ACET 电子电信咨询委员会ACF 备用通信设备(军用)ACK (信息)收到符号ACM 有源干扰,主动对抗ACMS 应用控制及管理系统ACOE 自动测试设备ACOM 自动编码机ACOS 安全咨询委员会ACS 有源通信卫星ACSB 镇幅压扩单边带ACT 1)自动校正技术 2)自动译码ACTL 运算控制ACTRAN 自动编码器-COBOL语言译码ACTS 声控和遥测系统ACV 交流,伏特ACW 交流连续波,交流等幅波ADAM 自适应动态分析和维修ADC 管理中心ADC(DAMPS) 1)模/数变换器 2)ADCCPADDADDACADDAPSADDARADDASADDDS窄带器件 narrowband device占机信号 seizing signal占机证实信号 seizing-acknowledgement signal占空建立呼叫 on-air-call-set-up占线前标 seizure precursor占线测试 engaged test占用带宽 occupied bandwidth战略密码体制 strategic cipher system战术电台 tactical radio战术密码体制 tactical cipher system战术通信电子对抗系统 tactical communication electronic warfare system折叠单极天线 folded monopole antenna折叠偶极天线 folded dipole antenna折射指数 refractive index折线编码律 segmented encoding law帧 frame帧定位 frame alignment帧定位时隙 frame alignment time slot帧定位信号 frame alignment signal帧定位恢复时间 frame alignment recovery time帧号码 frame number (FN)帧失位时间 out-of-frame alignment time帧同步码 frame synchronization code真迹电报 telewriting真空电子器件 vacuum electron device真空电容器 vacuum capacitor阵列天线 array antenna振荡 oscillation振荡器 oscillator振动试验 vibration test振幅键控 amplitude shift keying (ASK)振幅压扩单边带 amplitude companded SSB (ACSB)振铃音 ringing tone振鸣 howling整流 rectification正/零/负码速调整 positive/ zero/ negative justification正常检查 normal inspection正常充电 normal charging正常突发 normal burst正反码 positive and inverse code正交部分响应键控 quadrature partial response keying (QPRK)正交调幅 quadrature amplitude modulation (QAM)正交调幅器 quadrature modulator正交调频 quadrature frequency hopping正交相干解调器 quadrature coherent demodulator正码速调整(正脉冲塞入) positive justification (positive pulse stuffing)正态分布 normal distribution正向话终信号 clear-forward signal支线 branch feeder直达线路 direct route直接波 direct wave直接长途拨号网 direct distance dial network直接分配 direct distribution直接呼叫 direct call直接检测 direct detection直接接入 direct access直接耦合放大器 direct-coupled amplifier直接调频 direct frequency modulation直接序列扩频 direct sequence spread spectrum (DS)直流/直流变换器 DC/DC converter直流放大器 DC amplifier直同连接延时 through-connection delay指配频带 assigned band指配频率 assigned frequency指数分布 exponential distribution指数分布随机变量 exponential random variable质量保证 quality assurance (QA)质量测试 quality test质量管理 quality management 质量监督 quality surveillance质量控制 quality control, mass control质量体系 quality system智能 intelligence智能控制 intelligent control智能网 intelligent network (IN)置乱 scramble置信度 confidence中波传输 medium wave propagation中和 neutralization中继器 repeater中频 intermediate frequency中频干扰 intermediate frequency jamming (interference)中频抑制比 intermediate frequency rejection ratio中心辐射 center radiation中心频率 center frequency中央控制台 central control post终端 terminal终端不平衡电压 asymmetrical terminal voltage终端平衡电压 symmetrical terminal voltage终端设备 terminal equipment (TE)终端适配功能 terminal adapter (TA)终端透明度 terminal transparency终端网络 terminating network终端移动无线局 terminal mobile services switching center终端移动性 terminal mobility终结点 destination node终止电压 end voltage (cut-off voltage)重复码 repetition code重建样值 reconstructed sample重置规程 reset procedure重置性 resettability周期 cycle周期(卫星的) period (of a satellite)周期检定 periodic vertification啁啾 chirp主瓣 main lobe主波束宽度 principle half-power beamwidths主呼线识别提供 calling line identification presentation主呼线识别限制 calling line identification restriction (CLIR)主交换机 host change主控站 main control station主钟 master clock助听器 audiphone贮存寿命 storage life驻波 standing wave驻波保护电路 standing wave protection ciruit驻波比 standing wave ratio驻极体 electret驻极体传声器 electret microphone专权(同步网) despotic (synchronized) network专线 private line, dedicated line专用集成电路 application specific integrated circuit (ASIC)专用控制信道 dedicated channel专用数据网 private data network专用线 dedicated line专用线路 tie line专用小交换机 private branch exchange (PBX)专用信道 dedicated channel专用移动通信系统 private mobile radio system专用自动小交换机 private automatic branch exchange (PABX)转发启动抗扰性 repeating attack rejection转发启动灵敏度 repeating attack sensitivity转发器 repeater转发调制灵敏度 repeating modulation sensitivity转发音频失真 repeating distortion装置连线阻抗 installation wiring impedance准传输集群 quasi-peak value准峰值 quasi-peak value准峰值电压表 quasi-peak voltmeter准峰值电压表的脉冲响应特征pulse response characteristic of a quasi-peak voltmetre准峰值检波器 quasi-peak detector准脉动躁声 quasi-impulsive noise准确度 accuracy准同步 quasi-synchronous浊音 voiced sounds姿态稳定卫星 attitude-stabilized satellite资用功率 available power子层 sublayer子带编码 sub-band coding (SBC)子基地台 subbase station子序列越区规程 subsequent handover procedure移动设备 mobile equipment移动台被呼 mobile terminated (MT)移动台国际ISDN号码 mobile station international ISDN number (MSISDN)移动台划分 mobile allocation (MA)移动台接入寻找 mobile access hunting (MAH)移动台漫游号码 mobile station roaming number (MSRN)移动台始呼 mobile originated (MO)移动台特性 mobile station feature移动通信系统 mobile communication system移动无线局 mobile switching center (MSC)移动业务 mobile service移动应用部 mobile application part (MAP)移动用户 mobile subscriber移动用户电话码 directory number (DN)移动终端 mobile termination (MT)已调波 modulated wave异步的 heterochronous异步通信 asynchronous communication异步网 nonsynchronized network“异或非”门 exclusive-NOR gate“异或”门 exclusive-OR gate抑躁输入信号电平 noise-quieting input-signal level抑制器,抑制部件 suppressor, suppression component抑制载波单边带发射 suppressed carrier SSB emission译码约束长度 decoding constraint length音节表 syllable chart音节清晰度 syllable articulation音节压扩 syllable companding音量控制 volume control音频保护比 AF protection ratio音频放大器 audio frequency amplifier音载负载 audio frequency load音频互调失真 audio frequency intermodulation distortion音频试验负载 audio frequency test load音频响应 audio frequency response音频信号干扰比 AF signal to interference ratio音质评价 assessment of acoustics引导重试 directed retry隐蔽调谐 concealed tuning印制电路 printed circuit应急通信 emergency communication应用层 application layer营救器电台 survival craft station硬判决译码 hard decision decoding拥挤控制 congestion control拥塞(拥挤) congestion用户传真 telefax用户电报 telex (service)用户电话交换机 private branch exchange (PBX)用户功能(业务) user facility (service)用户加密 user encipherment用户鉴权键 subscriber authentication key用户接入 user access用户开关 subscriber switch (SSS)用户缺席服务 absent subscriber service用户身份保密 subscriber identity confidentiality用户身份鉴权 subscriber identity authentication用户身份模块 subscriber identity module (SIM)用户图问通信,双向图文视传 videotex , interactive videography用户线路,用户环路 subscriber line, subscriber loop用户线路接口电路 subscriber line interface circuit用户至用户信令 user-to-user signalling (UUS)用户终端业务 teleservice优先级 priority优先级控制 priority control优先业务 priority facility有效单极辐射功率 effective monopole radiated power (EMRP)有效辐射功率 effective radiated power (ERP)有替换试验 test with substitution有无话鉴别 speech vs silence discrimination有限服务 restricted service有线/无线转接器 wire/wireless swticher有线电通信 wire communication有效全向辐射功率 effective isotropic radiated power (EIRP)有效数字 significant figure有效位 significant digit有效选择性 effective selectivity有源天线 active antenna有源网络 active network有源卫星 active satellite有源遥感器 active sensor有源中继站 active relay station右旋极化波(或顺时针极化波) right-hand (or clockwise)-polarized wave诱发 invocation“与非”门 N-AND gate“与或非”门 AND-OR-INVERT gate (AOI)“与”门 AND gate宇宙射线 cosmic ray宇宙时 universal time (UT)语声处理 speech processing语音保密 speech security语言自然度 naturalness of speech语音编码 speech coding语音带宽 speech bandwidth语音合成 speech synthesis语音识别 speech recognition语音数字化 voice digitization语音置乱 speech scrambling预防性维修 preventive maintenance预分配多址 preassigned multiple access (PMA)预加重 preemphasis预选器 preselector元音 vowels元音的共振峰频率 formant frequency of vowel原电池 primary cell原籍位置登记器 home location register (HLR)原籍移动无线局 home mobile services switching center (HMSC)原籍移动用户 home mobile subscriber远场区 far-field region远程处理信息 teleprocessing, teleinformation远地点或近地点高度 altitude of apogee or perigee远距离供电 remote power-feeding越电离层传播 trans-inospheric propagation越区切换 handover 或 hand-off越区切换策略 handover strategy越区切换接入突发 handover access burst越区切换界限 handover margin越区切换执行 handover execution越站干扰 overreach interference运输试验 transport test运算放大器 operational amplifierZ散射发射 spurious emission散射输出功率 spurious output power散射响应抗扰性 spurious response immunity散射响应频率 spurious response frequency散射窄带(射频)分量 spurious narrow-bandwidth (RF) components再定时 retiming再起动规程 restart procedure再生 regeneration再生器 regeneration再生中继器 regenerative repeater再生中继站 regenerative relay station再现性 reproducibility在线测试 on-line testing载波 carrier载波电话 carrier telephone载波电话增音机 carrier telephone repeater载波电话终端机 carrier telephone terminal载波跌落 carrier drop载波功率 carrier power载波恢复 carrier recovery, carrier reinsertion载波检测多址 carrier sense multiple access (CSMA)载波降低度 carrier reduction载波频率偏置 carrier frequency offset载波抑制度 carrier suppression载干比 carrier-to-interference ratio载体设备 vehicle equipment载躁比 carrier to noise ratio早期故障期 early fault period躁声带宽 noise bandwidth躁声功率 noise power躁声温度 noise temperature躁声系数 noise factor, noise figure躁声抑制 noise suppression增量调制 delta modulation (DM)增量调制编码 delta modulation code增强型定位报告系统 EPLRS增益控制 gain control增值业务 value added service窄带发射 narrowband emission窄带干扰 narrowband disturbance信道间隔 channel spacing信道门 channel gate信道容量 channel capacity信道时隙 channel time slot信道效率 channel efficiency信道选择方式 channel selective mode信道扫描 scan channel信道指配 channel assignment信号场强 signal strength信号电平中值 median of signal level信号对剩余输出功率比(剩余输出电平) signal-to-residual output-power ratio信号发生器 signal generator信号分析 signal analysis信号干扰比 signal-to-interference rate信号设计 signal design信号压扩器 compander信号音接收器 tone receiver信令 signalling信令点 signalling point信令互通 signalling interworking信令链路 signalling link信令路由 signalling route信令时隙 signalling time slot信令网络 signalling network信令系统 signalling system信令消息 signalling message信令音 signalling tone (ST)信令音峰值频偏 signalling tone peak frequency deviation信纳 SINAD信骚比 signal-to-disturbance ratio信宿 information sink信息包 packet信息处理 information processing信息传递 information transfer信息传输系统 information transmission system信息服务业 information service trades信息高速公路 information highway信息工程 information engineering信息获取 information acquisition信息技术 information technology信息技术设备 information technological equipment (ITE)信息科学 information science信息量 information quantity信息流程图 information flow chart信息论 information theory信息社会 information society信息施用 information utilization信息位 information digit信息系统 information system信息系统工程 information system engineering信息咨询 information consultant信源 information source信源编码 source coding信躁比 signal to noise ratio行波系数 travelling wave coefficient性能下降 degradation (of performance)袖珍铃 pocket bell袖珍设备 pocket (personal) equipment虚拟网络 virtual network虚电路 virtual circuit虚警概率 false alarm probability虚判决值 virtual decision values许用码组 permissible code block序号码 serial number选择呼叫设备 selective-calling system选择性 selectivity选择重发ARQ selective repeat ARQ寻呼规程 paging procedure寻呼接收机 paging receiver寻呼区 paging zone寻呼信道 paging channel询问结点 interrogation node询问业务 inquiry facility循环不定位 cyclic unfixed channel assignment循环定位 cyclic fixed channel assignment循环码 cyclic code循环启/闭环转换控制 cyclic on/off switching control循环冗余校验码 cyclic redundancy check code循环寿命 cycle life训练序列 training sequence训练序列码 training sequence code回复:[转帖]中英对照GSM词汇 Y压电效应 piezoelectric effect压控震荡器 voltage controlled oscillator (VCO)压控振荡器输入控制电压 VCO input control voltage压扩单边带调幅 companding single sideband/amplitude modulation (CSSB/AM)压扩器 compander压缩器 compressor亚毫米波长 submillimeter wavelength延迟拨号信号 delay-dialing signal延迟角 delay angle延伸系统 stretch system严重故障 major fault盐雾试验 salt fog test验收试验 acceptance test扬声电话机 loudspeaking telephone set扬声器额定阻抗 rated impedance of loudspeaker扬声器功率 power of loudspeaker样值 sample遥测 telemetry, telemetering遥控 telecontrol遥信 telecommand遥导 teleguidance遥警 remote alarm野战通信系统 tactical communication system业务的非透明支持 non-transparent support of services业务协调 service interworking业务连线阻抗 service connection impedance业务轮廓 service profile业务轮廓管理 service profile management业务区 service area业务提供 provision业务信道 traffic channel业余业务 amateur service一次群(基群),数字群 primary block (digroup)一阶锁相环 first-order phase-locked loop一致性规范 conformity specification移带倒频 band-shift inversion移动台标志号码 mobile identification (MIN)移动地球站 mobile (satellite) earth station移动电台 mobile station
语音识别技术研究让人更加方便地享受到更多的社会信息资源和现代化服务,对任何事都能够通过语音交互的方式。 我整理了浅谈语音识别技术论文,欢迎阅读!
语音识别技术概述
作者:刘钰 马艳丽 董蓓蓓
摘要:本文简要介绍了语音识别技术理论基础及分类方式,所采用的关键技术以及所面临的困难与挑战,最后讨论了语音识别技术的 发展 前景和应用。
关键词:语音识别;特征提取;模式匹配;模型训练
Abstract:This text briefly introduces the theoretical basis of the speech-identification technology,its mode of classification,the adopted key technique and the difficulties and challenges it have to developing prospect ion and application of the speech-identification technology are discussed in the last part.
Keywords:Speech identification;Character Pick-up;Mode matching;Model training
一、语音识别技术的理论基础
语音识别技术:是让机器通过识别和理解过程把语音信号转变为相应的文本或命令的高级技术。语音识别以语音为研究对象,它是语音信号处理的一个重要研究方向,是模式识别的一个分支,涉及到生 理学 、心理学、语言学、 计算 机 科学 以及信号处理等诸多领域,甚至还涉及到人的体态语言(如人在说话时的表情、手势等行为动作可帮助对方理解),其最终目标是实现人与机器进行 自然 语言通信。
不同的语音识别系统,虽然具体实现细节有所不同,但所采用的基本技术相似,一个典型语音识别系统主要包括特征提取技术、模式匹配准则及模型训练技术三个方面。此外,还涉及到语音识别单元的选取。
(一) 语音识别单元的选取
选择识别单元是语音识别研究的第一步。语音识别单元有单词(句)、音节和音素三种,具体选择哪一种,由具体的研究任务决定。
单词(句)单元广泛应用于中小词汇语音识别系统,但不适合大词汇系统,原因在于模型库太庞大,训练模型任务繁重,模型匹配算法复杂,难以满足实时性要求。
音节单元多见于汉语语音识别,主要因为汉语是单音节结构的语言,而 英语 是多音节,并且汉语虽然有大约1300个音节,但若不考虑声调,约有408个无调音节,数量相对较少。因此,对于中、大词汇量汉语语音识别系统来说,以音节为识别单元基本是可行的。
音素单元以前多见于英语语音识别的研究中,但目前中、大词汇量汉语语音识别系统也在越来越多地采用。原因在于汉语音节仅由声母(包括零声母有22个)和韵母(共有28个)构成,且声韵母声学特性相差很大。实际应用中常把声母依后续韵母的不同而构成细化声母,这样虽然增加了模型数目,但提高了易混淆音节的区分能力。由于协同发音的影响,音素单元不稳定,所以如何获得稳定的音素单元,还有待研究。
(二) 特征参数提取技术
语音信号中含有丰富的信息,但如何从中提取出对语音识别有用的信息呢?特征提取就是完成这项工作,它对语音信号进行分析处理,去除对语音识别无关紧要的冗余信息,获得影响语音识别的重要信息。对于非特定人语音识别来讲,希望特征参数尽可能多的反映语义信息,尽量减少说话人的个人信息(对特定人语音识别来讲,则相反)。从信息论角度讲,这是信息压缩的过程。
线性预测(LP)分析技术是目前应用广泛的特征参数提取技术,许多成功的应用系统都采用基于LP技术提取的倒谱参数。但线性预测模型是纯数学模型,没有考虑人类听觉系统对语音的处理特点。
Mel参数和基于感知线性预测(PLP)分析提取的感知线性预测倒谱,在一定程度上模拟了人耳对语音的处理特点,应用了人耳听觉感知方面的一些研究成果。实验证明,采用这种技术,语音识别系统的性能有一定提高。
也有研究者尝试把小波分析技术应用于特征提取,但目前性能难以与上述技术相比,有待进一步研究。
(三)模式匹配及模型训练技术
模型训练是指按照一定的准则,从大量已知模式中获取表征该模式本质特征的模型参数,而模式匹配则是根据一定准则,使未知模式与模型库中的某一个模型获得最佳匹配。
语音识别所应用的模式匹配和模型训练技术主要有动态时间归正技术(DTW)、隐马尔可夫模型(HMM)和人工神经元 网络 (ANN)。
DTW是较早的一种模式匹配和模型训练技术,它应用动态规划方法成功解决了语音信号特征参数序列比较时时长不等的难题,在孤立词语音识别中获得了良好性能。但因其不适合连续语音大词汇量语音识别系统,目前已被HMM模型和ANN替代。
HMM模型是语音信号时变特征的有参表示法。它由相互关联的两个随机过程共同描述信号的统计特性,其中一个是隐蔽的(不可观测的)具有有限状态的Markor链,另一个是与Markor链的每一状态相关联的观察矢量的随机过程(可观测的)。隐蔽Markor链的特征要靠可观测到的信号特征揭示。这样,语音等时变信号某一段的特征就由对应状态观察符号的随机过程描述,而信号随时间的变化由隐蔽Markor链的转移概率描述。模型参数包括HMM拓扑结构、状态转移概率及描述观察符号统计特性的一组随机函数。按照随机函数的特点,HMM模型可分为离散隐马尔可夫模型(采用离散概率密度函数,简称DHMM)和连续隐马尔可夫模型(采用连续概率密度函数,简称CHMM)以及半连续隐马尔可夫模型(SCHMM,集DHMM和CHMM特点)。一般来讲,在训练数据足够的,CHMM优于DHMM和SCHMM。HMM模型的训练和识别都已研究出有效的算法,并不断被完善,以增强HMM模型的鲁棒性。
人工神经元 网络 在语音识别中的 应用是现在研究的又一 热点。ANN本质上是一个自适应非线性动力学系统,模拟了人类神经元活动的原理,具有自学、联想、对比、推理和概括能力。这些能力是HMM模型不具备的,但ANN又不个有HMM模型的动态时间归正性能。因此,现在已有人研究如何把二者的优点有机结合起来,从而提高整个模型的鲁棒性。
二、语音识别的困难与对策
目前,语音识别方面的困难主要表现在:
(一)语音识别系统的适应性差,主要体现在对环境依赖性强,即在某种环境下采集到的语音训练系统只能在这种环境下应用,否则系统性能将急剧下降;另外一个问题是对用户的错误输入不能正确响应,使用不方便。
(二)高噪声环境下语音识别进展困难,因为此时人的发音变化很大,像声音变高,语速变慢,音调及共振峰变化等等,这就是所谓Lombard效应,必须寻找新的信号分析处理方法。
(三)语言学、生 理学 、心理学方面的研究成果已有不少,但如何把这些知识量化、建模并用于语音识别,还需研究。而语言模型、语法及词法模型在中、大词汇量连续语音识别中是非常重要的。
(四)我们对人类的听觉理解、知识积累和学习机制以及大脑神经系统的控制机理等分面的认识还很不清楚;其次,把这方面的现有成果用于语音识别,还有一个艰难的过程。
(五)语音识别系统从实验室演示系统到商品的转化过程中还有许多具体问题需要解决,识别速度、拒识问题以及关键词(句)检测技术等等技术细节要解决。
三、语音识别技术的前景和应用
语音识别技术 发展 到今天,特别是中小词汇量非特定人语音识别系统识别精度已经大于98%,对特定人语音识别系统的识别精度就更高。这些技术已经能够满足通常应用的要求。由于大规模集成电路技术的发展,这些复杂的语音识别系统也已经完全可以制成专用芯片,大量生产。在西方 经济 发达国家,大量的语音识别产品已经进入市场和服务领域。一些用户交机、电话机、手机已经包含了语音识别拨号功能,还有语音记事本、语音智能玩具等产品也包括语音识别与语音合成功能。人们可以通过电话网络用语音识别口语对话系统查询有关的机票、 旅游 、银行信息,并且取得很好的结果。
语音识别是一门交叉学科,语音识别正逐步成为信息技术中人机接口的关键技术,语音识别技术与语音合成技术结合使人们能够甩掉键盘,通过语音命令进行操作。语音技术的应用已经成为一个具有竞争性的新兴高技术产业。
参考 文献 :
[1]科大讯飞语音识别技术专栏. 语音识别产业的新发展. 企业 专栏.通讯世界,:(总l12期)
[2]任天平,门茂深.语音识别技术应用的进展.科技广场.河南科技,
[3]俞铁城.科大讯飞语音识别技术专栏.语音识别的发展现状.企业专栏.通讯世界, (总122期)
[4]陈尚勤等.近代语音识别.西安: 电子 科技大学出版社,1991
[5]王炳锡等.实用语音识别基础.Practical Fundamentals of Speech Recognition.北京:国防 工业 出版社,2005
[6](美)L.罗宾纳.语音识别基本原理.北京:清华大学出版社,1999
点击下页还有更多>>>浅谈语音识别技术论文
这篇博客的主要内容是对语音合成 (text to speech)的背景知识进行介绍。 希望可以让读者通俗易懂的了解语音合成的工作原理, 并对为了理解state-of-the-art text to speech 的算法做基础。这个简介主要基于这篇论文 “Wavenet: a generative model for raw audio”的附录介绍的。 论文链接如下: , 以及stanford CS224S的课程, 链接如下 语音合成是通过文字人工生成人类声音, 也可以说语音生成是给定一段文字去生成对应的人类读音。 这里声音是一个连续的模拟的信号。而合成过程是通过计算机, 数字信号去模拟。 这里就需要数字信号处理模拟信号信息,详细内容可参考 [1]。 图片1, 就是一个例子用来表示人类声音的信号图。 这里横轴是时间, 纵轴是声音幅度大小。声音有三个重要的指标, 振幅(amplitude) , 周期(period) 和 频率(frequency) 。 振幅指的是波的高低幅度,表示声音的强弱,周期和频率互为倒数的关系, 用来表示两个波之间的时间长度,或者每秒震动的次数。 而声音合成是根据声波的特点, 用数字的方式去生成类似人声的频率和振幅, 即音频的数字化。了解了音频的数字化,也就知道了我们要生成的目标函数。 音频的数字化主要有三个步骤。 取样(sampling) :在音频数字化的过程,采样是指一个固定的频率对音频信号进行采样, 采样的频率越高, 对应的音频数据的保真度就越好。 当然, 数据量越大,需要的内存也就越大。 如果想完全无损采样, 需要使用Nyquist sampling frequency, 就是原音频的频率2倍。 量化 (quantization) : 采样的信号都要进行量化, 把信号的幅度变成有限的离散数值。比如从0 到 1, 只有 四个量化值可以用0, , , 的话, 量化就是选择最近的量化值来表示。 编码 (coding ):编码就是把每个数值用二进制的方式表示, 比如上面的例子, 就可以用2bit 二进制表示, 00, 01, 10, 11。 这样的数值用来保存在计算机上。 采样频率和采样量化级数是数字化声音的两个主要指标,直接影响声音的效果。 对于语音合成也是同样, 生成更高的采样频率和更多多的量化级数(比如16 bit), 会产生更真实的声音。 通常有三个采样频率标准 1. 采样, 用于高品质CD 音乐 2. 采样, 用于语音通话, 中品质音乐 3 . 采样, 用于低品质声音。 而量化标准一般有8位字长(256阶)低品质量化 和16位字长(65536阶)高品质量化。 还有一个重要参数就是通道(channel), 一次只采样一个声音波形为单通道, 一次采样多个声音波形就是多通道。 所以在语音合成的时候,产生的数据量是 数据量=采样频率* 量化位数*声道数 , 单位是bit/s。 一般声道数都假设为1.。 采样率和量化位数都是语音合成里的重要指标,也就是设计好的神经网络1秒钟必须生成的数据量 。 文本分析就是把文字转成类似音标的东西。 比如下图就是一个文本分析,用来分析 “PG&E will file schedules on April 20. ” 文本分析主要有四个步骤, 文字的规范化, 语音分析, 还有韵律分析。 下面一一道来。 文本分析首先是要确认单词和句子的结束。 空格会被用来当做隔词符. 句子的结束一般用标点符号来确定, 比如问号和感叹号 (?!), 但是句号有的时候要特别处理。 因为有些单词的缩写也包含句号, 比如 str. "My place on Main Str. is around the corner". 这些特别情况一般都会采取规则(rule)的方式过滤掉。 接下来 是把非文字信息变成对应的文字, 比如句子中里有日期, 电话号码, 或者其他阿拉伯数字和符号。 这里就举个例子, 比如, I was born April 14. 就要变成, I was born April fourteen. 这个过程其实非常繁琐,现实文字中充满了 缩写,比如CS, 拼写错误, 网络用语, tmr --> tomorrow. 解决方式还是主要依靠rule based method, 建立各种各样的判断关系来转变。 语音分析就是把每个单词中的发音单词标出来, 比如Fig. 3 中的P, 就对应p和iy, 作为发音。 这个时候也很容易发现,发音的音标和对应的字母 不是一一对应的关系,反而需要音标去对齐 (allignment)。 这个对齐问题很经典, 可以用很多机器学习的方法去解决, 比如Expectation–maximization algorithm. 韵律分析就是英语里的语音语调, 汉语中的抑扬顿挫。 我们还是以英语为例, 韵律分析主要包含了: 重音 (Accent),边界 (boundaries), 音长 (duration),主频率 (F0). 重音(Accent) 就是指哪个音节发生重一点。 对于一个句子或者一个单词都有重音。 单词的重音一般都会标出来,英语语法里面有学过, 比如banana 这个单词, 第二个音节就是重音。 而对于句子而言,一样有的单词会重音,有的单词会发轻音。 一般有新内容的名词, 动词, 或者形容词会做重音处理。 比如下面的英语句子, surprise 就会被重音了, 而句子的重音点也会落到单词的重音上, 第二个音节rised, 就被重音啦。 英语的重音规则是一套英语语法,读者可以自行百度搜索。 I’m a little sur prised to hear it cha racterized as up beat . 边界 (Boundaries) 就是用来判断声调的边界的。 一般都是一个短语结束后,有个语调的边界。 比如下面的句子, For language, 就有一个边界, 而I 后面也是一个边界. For language, I , the author of the blog, like Chinese. 音长(Duration) 就是每个音节的发声长度。 这个通俗易懂。 NLP 里可以假定每个音节单词长度相同都是 100ms, 或者根据英语语法, 动词, 形容词之类的去确定。 也可以通过大量的数据集去寻找规律。 主频率 (F0 )就是声音的主频率。 应该说做傅里叶转换后, 值 (magnitude) 最大的那个。 也是人耳听到声音认定的频率。一个成年人的声音主频率在 100-300Hz 之间。 这个值可以用 线性回归来预测, 机器学习的方法预测也可以。一般会认为,人的声音频率是连续变化的,而且一个短语说完频率是下降趋势。 文本分析就介绍完了,这个方向比较偏语言学, 传统上是语言学家的研究方向,但是随着人工智能的兴起,这些feature 已经不用人为设计了,可以用端到端学习的方法来解决。 比如谷歌的文章 TACOTRON: TOWARDS END-TO-END SPEECH SYNTHESIS 就解救了我们。 这个部分就比较像我们算法工程师的工作内容了。 在未来的博客里, 会详细介绍如何用Wavenet 和WaveRNN 来实现这一步骤的。 今天这个博客就是简介一下算法。 这里说所谓的waveform synthesis 就是用这些 语言特征值(text features)去生成对应的声波,也就是生成前文所说的采样频率 和 振幅大小(对应的数字信号)。 这里面主要有两个算法。 串接合成(concatenative speech synthesis) : 这个方法呢, 就是把记录下来的音节拼在一起来组成一句话,在通过调整语音语调让它听起来自然些。 比较有名的有双音节拼接(Diphone Synthesis) 和单音节拼接(Unit Selection Synthesis)。这个方法比较繁琐, 需要对音节进行对齐(alignment), 调整音节的长短之类的。 参数合成 (Parametric Synthesis) : 这个方法呢, 需要的内存比较小,是通过统计的方法来生成对应的声音。 模型一般有隐马尔科夫模型 (HMM),还有最近提出的神经网络算法Wavenet, WaveRNN. 对于隐马尔科夫模型的算法, 一般都会生成梅尔频率倒谱系数 (MFCC),这个是声音的特征值。 感兴趣的可以参考这篇博客 去了解 MFCC。 对于神经网络的算法来说, 一般都是生成256 个 quantized values 基于softmax 的分类器, 对应 声音的 256 个量化值。 WaveRNN 和wavenet 就是用这种方法生成的。 下面是我学习语音合成的一些资料, 其中stanford cs224s 是强力推荐的,但是这个讲义讲的逻辑不是很清楚, 要反复看才会懂。 UCSB Digital Speech Processing Course 课程, 声音信号处理的基础。 建议读一遍, 链接如下, Stanford CS224S WaveRNN, 音频的数字化,
基于单片机的语音录放系统设计关键词: 单片机;数字语音电路; ISD1490;波形存储法 摘要:设计了基于单片机的语音录放系统.该系统以 MCS89C51 单片机为核心器件, 控制四片 ISD1490 语音芯片工作, 每个语音芯片配以简单的外围电路自成独立的语音录放电路, 各个语音录放电路的录放功能及录放时间由单片机来控制, 编写不同的程序可实现不同的录放效果。 前沿用磁带记录、 存储、 还原模拟语音信号的方法已有很长的历史, 基于这一方法的电子产品也到处可见,且这些产品的体积都很大,在使用的范围上受到了一定的限制. 单片机语音录放系统就是为解决这一问题而设计的.单片机语音录放系统是以数字电路为基础, 利用数字语音电路来实现语音信号的记录、 存储、 还原等任务. 数字语音电路是一种集语音合成技术、 大规模集成电路技术以及微控制器技术为一体的并在近十几年迅速发展起来的一种新型技术.语音集成电路与微处理器相结合, 具有体积小、 扩展方便等特点, 具有广泛的发展前景。1 固体录音机原理 语音数字处理方法可以分为规则合成法、 参数合成法和波形存储法三类, 前两类复杂且难度大, 目前使用较少, 波形存储法是普遍采用的一种.波形存储法的技术基础是A / D、 D/ A 转换技术和多种的编码、 解码算法.图1 说明了波形存储法的语音数字处理、 记录及存储过程:首先用麦克风取得语音的电模拟量信号, 经适当放大后, A/ D转换器以一定的频率对其进行采样并转换为二进制数字量,并实时地对其进行编码,实现对实时数据的压缩以减少数据量,然后送入数据存储器中储存.图一 语音记录过程图2 是数字语音还原的基本过程:按一定顺序从数据存储器中读出数据, 以对应的算法进行解码,合成为语音数据,这是一种实时的数据解压过程,恢复的语音数据送入D/ A 转换器还原成语音的模拟信号输出.图二 语音回放过程2. 1 ISD1490 基本录放电路 ISD1490 语音芯片的内部已以 EEPROM 作为数据存储器,因此无需电池即能保存数据10 年以上,擦除和写入均可在片内自动完成而无需外部设备. 此外, 其片内还含有时钟振荡器、 话筒扩大器自动增益控制电路、 抗干扰滤波器、 音频功率放大器等.因此它自身已具备了语音录放系统所需的全部基本电路, 只需配备一只驻极体话筒、 一只喇叭、 两只按钮、 一个电源及少量电阻电容,就可以构成一个基本的录放系统(如图3 所示) .图 3 ISD1490 基本的语音录放系统该芯片具有下列显著特点:外围元件少, 操作方便;零功率信息存储, 无需备用电源; 信息能可靠保存10 年以上,可重复录音10 万次;语音固化无需编程开发设备; 通过地址的选址可以分段录放,因此可以独立存放汉字语音,构成语音库;具有自动省电模式,在非录放状态时自动省电.有单一电源供电( + 5v) ;静态电流典型值 0. 5uA,最大值2uA;工作电流典型值15mA,最大值30mA. 2. 2 单片机语音录放系统本电路使用了四片 ISD1490, 每片都如图 3 所示接成基本的录放电路,最后用单片机将四个基本录放电路连接成一个整体. 因为每片录音芯片可录音 90 秒,四片共可录音 360 秒, 用单片微处理器 MCS89C51 进行控制, 当录音时间在 90秒之内时,只用 1# 芯片, 如录音时间超过90 秒时,启用2# 芯片, 在录音时间超过 180 秒时, 启用3# 芯片, 这样,用微处理器来完成定时和芯片自动选择,就可实现360 秒内任何时间长度 的语音录制与回放, 从而实现录音放音功能. 系统结构如图4.图 4 单片机语音录放系统结构图3 系统的软件设计 本系统软件设计较为简单, 主要是定时选片控制,每片语音电路的地址端均接地,录放控制端受MCS89C51 控制, 根据微处理器的定时, 当需要某一芯片录放时, 单片机相应的控制端起作用,即启动语音电路工作,部分程序框图如图5 所示.图 5 部分程序框图4 结束语 单片机语音录放系统解决了传统录放机体积大、 扩展不方便的缺点.本系统所设计的电路可实现360 秒内任意长时间的语音录放. 在此基础上对硬件和软件稍作改动, 便可完成其他的功能,如语音报警器,智能语音控制器等,为各种智能仪器仪表扩展语音功能奠定了基础, 具有广泛的发展前景。
摘要: 多媒体通信技术是当今世界科技领域中最有活力、发展最快的高新信息技术,它时时刻刻都在影响着世界经济的发展和科学技术进步的速度,并不断改变着人类的生活方式和生活质量。多媒体通信综合了多种媒体信息间的通信,它是通过现有的各种通讯网来传输、转储和接收多媒体信息的通信方式,几乎覆盖了信息技术领域的所有范畴,包括数据、音频和视频的综合处理和应用技术,其关键技术是多媒体信息的高效传输和交互处理。关键词:多媒体 图象 音频 功能The application of multimedia technologyAbstract: Multimedia communications technology is the world's science and technology in the field of the most dynamic and fastest growing high-tech information technology, it always have influence in the world economic development and the pace of scientific and technological progress and changing the human way of life and quality of life . A variety of integrated multimedia communications between the communications media information, it is through the various existing communications network to transmit and receive multimedia information and dump the means of communication, cover nearly the area of information technology in all areas, including data, audio and video The integrated treatment and application technology, its technology is the key to the efficient transmission of multimedia information and interactive processingKey words: Multimedia audio features images引 言随着技术的迅速发展,图像、视频等多媒体数据已逐渐成为信息处理领域中主要的信息媒体形式。多媒体通信是信息高速公路建设中的一项关键技术,是多媒体、通信、计算机和网络等相互渗透和发展的产物,它将极大地提高人们的工作效率,改变人们的教育、娱乐等生活方式,是21世纪人们通信的基本方式。第一章 多媒体通信技术基础简介多媒体通信的基本概念和特征 基本概念媒体是信息表示和传输的载体,是一个重要的概念。ITU-T I .374建议将媒体划分为感觉媒体、表示媒体、显示媒体、存储媒体和传输媒体5类。多媒体数据是指多种式样信息的载体,如文本、图形、图像、声音等数据。其特点主要有以下几点:(1)多媒体数据种类繁多(大多是非结构化数据),不同来源的媒体,具有完全不同的形式和格式;(2)多媒体数据量庞大;(3)多媒体数据具有时间特性和版本概念,如在视频点播系统中必须考虑到媒体间以及媒体内部在时间上的同步关系。由此可知多媒体数据与传统的数值和字符不同,因而其存储结构和存取方式也具有特殊性,描述它的数据结构和数据模型也是有差别的。在这种情况下就产生了一种全新的数据库系统--多媒体数据库系统。多媒体数据库是能够有效实现多媒体数据的存储、读取、检索等功能的数据库系统。它的主要特点是:(1)继承了传统数据库的一些优点,例如数据独立性、利用数据库查询语言进行高层次查询、开发控制、容错技术等;(2)能对具有时空关系的数据进行同步和管理。但是目前对于多媒体数据库的功能以及实现方法还没有达成共识,因而出现了多种形式的媒体数据库,并且实现方法也各不相同。从其总体发展上看,多媒体数据库的数据模型可分为关系数据模型、面向对象的数据模型和超媒体数据模型3类。基于不同数据模型的多媒体数据库管理系统(DBMS)的功能也有很大差别,通常基于关系数据模型的多媒体DBMS可以实现多媒体数据的存取,对多媒体数据对象之间的语义关系、时态关系、空间关系不加处理,所以这部分工作就留给应用程序去完成了。面向对象的数据模型和超媒体数据类型可以支持多媒体数据对象之间的语义关系、时态关系、空间关系的处理,其抽象程度更高,但DBMS的实现也相对复杂。在多媒体通信系统中另一个常出现的词汇是"超媒体"。在出版物中经常会出现表示注解意思的"注"字,由"注"你可以找到与之相关的一段文字或一篇文章。这种由"注"而链接到一段文字或一篇文章的链即称为超链拨,同理,超级链也可以将若干不同媒体链接起来,其集合便称为"超媒体"。多媒体通信的特征多媒体通信技术的发展打破了传统通信的单一媒体、单一电信业务的通信系统格局,反映了通信向高层次发展的一种趋势,是人们对未来社会工作和生活方式的向往。多媒体通信技术是一种综合技术,涉及多媒体技术、计算机技术、通信技术等多个领域。多媒体通信系统必须同时兼有集成性、交互性、同步性3个主要特征。 集成性多媒体通信系统的集成性指的是能对内容数据信息、多媒体和超媒体信息、脚本信息和特定的应用信息等4类信息进行存储、传输、处则和显现的能力。(1) 内容数据信息(2) 信息是以某一种结构的形式存在的,典型的结构有两种:一种是对象构,其中可处理的最小单元为对象(Object);另一种是文件结构,其中处理的最小单元为文件(File)。多媒体和超媒体信息多媒体和超媒体信息与单媒体信息不一样,它们是结构化的信息,由结构框架和内容数据2部分组成。多媒体和超媒体信息的最小表达形式由两类,一类称为对象,另一类称为文件。(3) 脚本信息脚本信息是一组特定的用语意关系联系起来的、结构化的多媒体和超媒体信息,需要提供表示这一组多媒体信息的运作过程和与外部处理模块间的关系。(4) 特定的应用信息上述3类信息都是低层信息,可以由标准来定义和表示。特定的应用信息是高层信息,是与应用密切相关的,将随应用场合的不同有很大的不同,它的表示方法是基于上述3类的基础之上的。 交互性交互性指的是在通信系统中人与系统之间的相互控制能力。在多媒体通信系统中,交互性有两个方面的内容。一是人机接口,也就是人在使用系统的终端时用户终端向用户提供的操作界面;二是用户终端与系统之间的应用层通信协议。多媒体通信终端的用户对通信的全过程有完备的交互控制能力,这是多媒体通信系统的一个主要特征,也是区别多媒体通信系统与非多媒体通信系统的一个主要准则。 同步性同步性指的是在多媒体通信终端上显现的图像、声音和文字均以同步方式工作。如用户要检索一个重要的历史事件的片断,该事件的活动图像或静止图像存放在图像数据库中,其文字叙述和语言说明则是放在其他数据库中。多媒体通信终端通过不同传输途径将所需要的信息从不同的数据库中提取出来,并将这些图像、声音、文字同步起来,构成一个整体的信息呈现在用户面前。多媒体通信系统中的同步性是多媒体通信系统最主要的特征之一,信息的同步与否决定了系统是多媒体系统还是非多种媒体系统。同步可在链路层级、表示层级和应用层级3个层面上实现第二章 多媒体音频技术音频技术发展较早,几年前一些技术已经成熟并产品化,甚至进入了家庭,如数字音响。音频技术主要包括四个方面:音频数字化、语音处理、语音合成及语音识别。音频数字化目前是较为成熟的技术,多媒体声卡就是采用此技术而设计的,数字音响也是采用了此技术取代传统的模拟方式而达到了理想的音响效果。音频采样包括两个重要的参数即采样频率和采样数据位数。采样频率即对声音每秒钟采样的次数,人耳听觉上限在20KHz左右,目前常用的采样频率为11KHz,22KHz和44KHz几种。采样频率越高音质越好,存贮数据量越大。CD唱片采样频率为,达到了目前最好的听觉效果。采样数据位数即每个采样点的数据表示范围,目前常用的有8位、12位和16位三种。不同的采样数据位数决定了不同的音质,采样位数越高,存贮数据量越大,音质也越好。CD唱片采用了双声道16位采样,采样频率为,因而达到了专业级水平。音频处理包括范围较广,但主要方面集中在音频压缩上,目前最新的MPEG语音压缩算法可将声音压缩六倍。语音合成是指将正文合成为语言播放,目前国外几种主要语音的合成水平均已到实用阶段,汉语合成几年来也有突飞猛进的发展,实验系统正在运行。在音频技术中难度最大最吸引人的技术当属语音识别,虽然目前只是处于实验研究阶段,但是广阔的应用前景使之一直成为研究关注的热点之一。第三章 多媒体图像视频技术3.1视频技术虽然视频技术发展的时间较短,但是产品应用范围已经很大,与MPEG压缩技术结合的产品已开始进入家庭。视频技术包括视频数字化和视频编码技术两个方面。视频数字化是将模拟视频信号经模数转换和彩色空间变换转为计算机可处理的数字信号,使得计算机可以显示和处理视频信号。目前采样格式有两种:Y:U:V4:1:1和Y:U:V4:2:2,前者是早期产品采用的主要格式,Y:U:V4:2:2格式使得色度信号采样增加了一倍,视频数字化后的色彩、清晰度及稳定性有了明显的改善,是下一代产品的发展方向。视频编码技术是将数字化的视频信号经过编码成为电视信号,从而可以录制到录像带中或在电视上播放。对于不同的应用环境有不同的技术可以采用。从低档的游戏机到电视台广播级的编码技术都已成熟。图像压缩技术图像压缩一直是技术热点之一,它的潜在价值相当大,是计算机处理图像和视频以及网络传输的重要基础,目前ISO制订了两个压缩标准即JPEG和MPEG。JPEG是静态图像的压缩标准,适用于连续色调彩色或灰度图像。它包括两部分:一是基于DPCM(空间线性预测)技术的无失真编码,一是基于DCT(离散余弦变换)和哈夫曼编码的有失真算法。前者图像压缩无失真,但是压缩比很小,目前主要应用的是后一种算法,图像有损失但压缩比很大,压缩20倍左右时基本看不出失真。MJPEG是指MotionJPEG,即按照25帧/秒速度使用JPEG算法压缩视频信号,完成动态视频的压缩。MPEG算法是适用于动态视频的压缩算法,它除了对单幅图像进行编码以外还利用图像序列中的相关原则,将帧间的冗余去掉,这样大大提高了图像的压缩比例。通常保持较高的图像质量而压缩比高达100倍。MPEG算法的缺点是压缩算法复杂,实现很困难。第四章 多媒体通信系统1、 体系结构多媒体通信(multimedia communcations)是在位于不同地理位置的参与者之间召开的一种会议或者进行的交流,通过局域网(LAN)、广域网(WAN)、内联网(intranet)、因特网(Internet)或者电话网来传输压缩的数字图像和声音信号。像电视那样的多目标广播、录象机那样的流式播放、电话会议、电视会议、IP电话、可视电话和IP传真等等都是多媒体通信技术的一些具体的和各有特色的应用。多年来,国际电信联盟(ITU)为公共和私营电信组织制定了许多多媒体计算和通信系统的推荐标准,以促进各国之间的电信合作。ITU的26个(Series A~Z)系列推荐标准中,与多媒体通信关系最密切的7个系列标准如表4-1所示,三种类型的多媒体通信系统的核心技术标准集如表4-1所示。表4-1 ITU系列推荐标准系列名 主要内容Series G 传输系统、媒体数字系统和网络Series H 视听和多媒体系统Series I 综合业务数字网(ISDN)Series J 电视、声音节目和其他多媒体信号的传输Series Q 电话交换和控制信号传输法Series T 远程信息处理业务的终端设备2、网关的功能和结构网关是一台功能强大的计算机或者工作站,它担负线路交换网络(如电话网络)和信息包交换网络(如因特网)之间进行实时的双向通信,提供异种网络之间的连通性,它是传统线路交换网络和现代IP网络之的桥梁。IP电话(见" IP电话")的出现允许电话呼叫在信息包交换网络上进行,从而引发一场电信工业的革命。但IP电话在成为主流电话服务的道路上遇到了许多障碍。其中最大的一个问题是在IP电话网络和公众交换电话网络之间缺乏连通性。一个重要的原因是早期的网关存在对IP电话进入主流电话服务的限制。例如,通过网关建立呼叫比较困难,而且需要使用非常规的电话号码;不同的网关之间的兼容性妨碍呼叫的建立;声音的质量比较差、有回音以及延迟时间比较长等。这就促进了开发允许IP和PSTN客户能够相互通信的网关,其中的一个措施就是提高网关的处理能力。低档的网关有1~6个端口,典型地使用高档奔腾处理器的PC机方案,提供媒体处理、呼叫控制和信息包的处理等网关功能。高档网关把网关功能分散到几个处理器来实现,这叫做计算机基电话集成(computer-telephony integration,CTI)平台,可提供100多个端口。网关的基本功能可归纳为三种:(1) 转换协议(translating protocols):网关作为一个解释器,使不同的网络能够建立联系,例如,允许PSTN和网络相互对话以建立和清除呼叫。(2) 转换信息格式(converting information formats):不同的网络使用不同的编码方法,网关将对信息进行转换,使异种网络之间能够自由地交换信息,例如声音和电视。(3) 传输信息(transferring information):负责在不同网络之间传输信息。网关的主要部件包括:(1) 线路交换网络(switched-circuit network,SCN)接口卡,这是一种典型的T1/E1或者叫做PRI ISDN线路接口卡,它们与线路交换网络进行通信。主速率接口(primary rate interface,PRI)由23个B通道和一个64 kb/s的D通道组成,叫做23B+D,相当于T1线的带宽。(2) 数字信号处理器(digital signal processors,DSP)卡,它执行的任务包括声音信号的压缩和回音的取消等。(3) 网络接口(network interfaces)卡,它用来与网络进行通信,典型的网络卡包括10/100BaseT网络接口卡(network interface cards,NIC),或者把它们的功能集成到主机板上。(4) 控制处理器(control processor),它协调其他网关部件的所有活动,这个部件通常是在系统的主机板上。网关的主要软件包括:(1) 执行所有网关基本功能和选择功能的网关软件。例如,网关平台(Gateway Platform)执行转换协议、转换消息格式和传输信息等基本功能,支持声音压缩、协议转换、实时的传真解调/再调制以及执行系列协议。(2) 特定网关的应用软件,它执行自定义的功能以及管理和控制功能。3、会务器的功能和结构会务器(gatekeepers)是用于连接IP网络上的电视会议客户,是电视会议的关键部件之一,许多人把它当作电视会议的"大脑"。它提供授权和验证、保存和维护呼叫记录、执行地址转换而不需要你去记忆IP地址、监视网络、管理带宽以限制同时呼叫的数目从而保证电视会议的质量、以及提供与现存系统的接口。会务器的功能一般都是用软件来实现。会务器的功能分成两个部分:基本功能和选择功能。会务器必须要提供的基本功能包括:"地址转换(Address Translation):使用一种可由注册消息(Registration messages)更新的转换表,把别名地址转换成传输地址(Transport Address)。这个功能在线路交换网络上的电话企图呼叫IP网络上的PC时显得尤其重要,在确定网关地址时也很重要。准入控制(Admissions Control):使用准入请求/准入确认/准入拒绝ARQ/ARC/ARJ(Admission Request, Confirm and Reject)消息,对访问局域网进行授权。H323标准规定必须要有用来对网络服务进行授权的RAS消息(RAS messages),RAS是一个注册/准入/状态(Registration/Admission/Status)协议,但它不定义授权存取网络资源的规则或者政策,因此服务提供者需要会务器来干预现存的授权方法。此外,企业管理人员和服务提供者也许想使用他自己的标准来授权,例如,根据订金、信用卡等。带宽控制(Bandwidth Control):支持RAS带宽消息(RAS bandwidth messages),即带宽请求/带宽确认/带宽拒绝BRQ/BCF/BRJ(Request, Confirm and Reject)消息,以强制执行带宽控制。至于如何管理则要根据服务提供者或者企业管理人员的政策来确定。在许多情况下,如果在网络或者特定的网关不拥挤的况下,对任何带宽的请求都应该给予满足。区域管理(Zone Management):用于管理所有已经注册的端点(endpoint),为它们提供上面介绍的功能。至于确定哪个终端可以注册以及地理或者逻辑区域的组成(单个会务器管理的终端、网关和多点控制单元MCU)则由网络设计人员决定。会务器提供的选择功能包括:呼叫控制信号传输方法(Call Control Signalling):在中有两种呼叫控制信号传输模型:会务器安排呼叫信号传输模型(Gatekeeper Routed Call Signaling Model)和直接端点呼叫信号传输模型(Direct Endpoint Call Signaling Model)。会务器可根据访问提供者的要求进行选择。呼叫授权(Call Authorization):会务器可根据服务提供者指定的条件对一个给定的呼叫进行授权或者拒绝。其条件可包括会议时间、预定的服务类型、对受限网关的访问权限或者可用的带宽等。带宽管理(Bandwidth Management):根据服务提供者指定的带宽分配确定是否有足够的带宽用于呼叫。呼叫管理(Call Management):提供智能呼叫管理。会务器维护一种呼叫表以指示被呼叫终端是否处于忙状态,并为带宽管理(Bandwidth Management)功能提供信息。会务器的结构会务器通常设计成内外两层,如图4-8所示。会务器的内层叫做核心层,它由执行协议堆的软件和实现多点控制单元MCU(multipoint control unit)功能的软件组成,有的软件开发公司把它叫做会务器核心功能部件。MCU的主要功能是连接多条线路并自动或者在会议主持人的指导下手动交换电视号。会务器的外层由许多应用程序的接口组成,用于连接网络上现有的许多服务。外层软件加分吧!
语音识别技术研究让人更加方便地享受到更多的社会信息资源和现代化服务,对任何事都能够通过语音交互的方式。 我整理了浅谈语音识别技术论文,欢迎阅读!
语音识别技术概述
作者:刘钰 马艳丽 董蓓蓓
摘要:本文简要介绍了语音识别技术理论基础及分类方式,所采用的关键技术以及所面临的困难与挑战,最后讨论了语音识别技术的 发展 前景和应用。
关键词:语音识别;特征提取;模式匹配;模型训练
Abstract:This text briefly introduces the theoretical basis of the speech-identification technology,its mode of classification,the adopted key technique and the difficulties and challenges it have to developing prospect ion and application of the speech-identification technology are discussed in the last part.
Keywords:Speech identification;Character Pick-up;Mode matching;Model training
一、语音识别技术的理论基础
语音识别技术:是让机器通过识别和理解过程把语音信号转变为相应的文本或命令的高级技术。语音识别以语音为研究对象,它是语音信号处理的一个重要研究方向,是模式识别的一个分支,涉及到生 理学 、心理学、语言学、 计算 机 科学 以及信号处理等诸多领域,甚至还涉及到人的体态语言(如人在说话时的表情、手势等行为动作可帮助对方理解),其最终目标是实现人与机器进行 自然 语言通信。
不同的语音识别系统,虽然具体实现细节有所不同,但所采用的基本技术相似,一个典型语音识别系统主要包括特征提取技术、模式匹配准则及模型训练技术三个方面。此外,还涉及到语音识别单元的选取。
(一) 语音识别单元的选取
选择识别单元是语音识别研究的第一步。语音识别单元有单词(句)、音节和音素三种,具体选择哪一种,由具体的研究任务决定。
单词(句)单元广泛应用于中小词汇语音识别系统,但不适合大词汇系统,原因在于模型库太庞大,训练模型任务繁重,模型匹配算法复杂,难以满足实时性要求。
音节单元多见于汉语语音识别,主要因为汉语是单音节结构的语言,而 英语 是多音节,并且汉语虽然有大约1300个音节,但若不考虑声调,约有408个无调音节,数量相对较少。因此,对于中、大词汇量汉语语音识别系统来说,以音节为识别单元基本是可行的。
音素单元以前多见于英语语音识别的研究中,但目前中、大词汇量汉语语音识别系统也在越来越多地采用。原因在于汉语音节仅由声母(包括零声母有22个)和韵母(共有28个)构成,且声韵母声学特性相差很大。实际应用中常把声母依后续韵母的不同而构成细化声母,这样虽然增加了模型数目,但提高了易混淆音节的区分能力。由于协同发音的影响,音素单元不稳定,所以如何获得稳定的音素单元,还有待研究。
(二) 特征参数提取技术
语音信号中含有丰富的信息,但如何从中提取出对语音识别有用的信息呢?特征提取就是完成这项工作,它对语音信号进行分析处理,去除对语音识别无关紧要的冗余信息,获得影响语音识别的重要信息。对于非特定人语音识别来讲,希望特征参数尽可能多的反映语义信息,尽量减少说话人的个人信息(对特定人语音识别来讲,则相反)。从信息论角度讲,这是信息压缩的过程。
线性预测(LP)分析技术是目前应用广泛的特征参数提取技术,许多成功的应用系统都采用基于LP技术提取的倒谱参数。但线性预测模型是纯数学模型,没有考虑人类听觉系统对语音的处理特点。
Mel参数和基于感知线性预测(PLP)分析提取的感知线性预测倒谱,在一定程度上模拟了人耳对语音的处理特点,应用了人耳听觉感知方面的一些研究成果。实验证明,采用这种技术,语音识别系统的性能有一定提高。
也有研究者尝试把小波分析技术应用于特征提取,但目前性能难以与上述技术相比,有待进一步研究。
(三)模式匹配及模型训练技术
模型训练是指按照一定的准则,从大量已知模式中获取表征该模式本质特征的模型参数,而模式匹配则是根据一定准则,使未知模式与模型库中的某一个模型获得最佳匹配。
语音识别所应用的模式匹配和模型训练技术主要有动态时间归正技术(DTW)、隐马尔可夫模型(HMM)和人工神经元 网络 (ANN)。
DTW是较早的一种模式匹配和模型训练技术,它应用动态规划方法成功解决了语音信号特征参数序列比较时时长不等的难题,在孤立词语音识别中获得了良好性能。但因其不适合连续语音大词汇量语音识别系统,目前已被HMM模型和ANN替代。
HMM模型是语音信号时变特征的有参表示法。它由相互关联的两个随机过程共同描述信号的统计特性,其中一个是隐蔽的(不可观测的)具有有限状态的Markor链,另一个是与Markor链的每一状态相关联的观察矢量的随机过程(可观测的)。隐蔽Markor链的特征要靠可观测到的信号特征揭示。这样,语音等时变信号某一段的特征就由对应状态观察符号的随机过程描述,而信号随时间的变化由隐蔽Markor链的转移概率描述。模型参数包括HMM拓扑结构、状态转移概率及描述观察符号统计特性的一组随机函数。按照随机函数的特点,HMM模型可分为离散隐马尔可夫模型(采用离散概率密度函数,简称DHMM)和连续隐马尔可夫模型(采用连续概率密度函数,简称CHMM)以及半连续隐马尔可夫模型(SCHMM,集DHMM和CHMM特点)。一般来讲,在训练数据足够的,CHMM优于DHMM和SCHMM。HMM模型的训练和识别都已研究出有效的算法,并不断被完善,以增强HMM模型的鲁棒性。
人工神经元 网络 在语音识别中的 应用是现在研究的又一 热点。ANN本质上是一个自适应非线性动力学系统,模拟了人类神经元活动的原理,具有自学、联想、对比、推理和概括能力。这些能力是HMM模型不具备的,但ANN又不个有HMM模型的动态时间归正性能。因此,现在已有人研究如何把二者的优点有机结合起来,从而提高整个模型的鲁棒性。
二、语音识别的困难与对策
目前,语音识别方面的困难主要表现在:
(一)语音识别系统的适应性差,主要体现在对环境依赖性强,即在某种环境下采集到的语音训练系统只能在这种环境下应用,否则系统性能将急剧下降;另外一个问题是对用户的错误输入不能正确响应,使用不方便。
(二)高噪声环境下语音识别进展困难,因为此时人的发音变化很大,像声音变高,语速变慢,音调及共振峰变化等等,这就是所谓Lombard效应,必须寻找新的信号分析处理方法。
(三)语言学、生 理学 、心理学方面的研究成果已有不少,但如何把这些知识量化、建模并用于语音识别,还需研究。而语言模型、语法及词法模型在中、大词汇量连续语音识别中是非常重要的。
(四)我们对人类的听觉理解、知识积累和学习机制以及大脑神经系统的控制机理等分面的认识还很不清楚;其次,把这方面的现有成果用于语音识别,还有一个艰难的过程。
(五)语音识别系统从实验室演示系统到商品的转化过程中还有许多具体问题需要解决,识别速度、拒识问题以及关键词(句)检测技术等等技术细节要解决。
三、语音识别技术的前景和应用
语音识别技术 发展 到今天,特别是中小词汇量非特定人语音识别系统识别精度已经大于98%,对特定人语音识别系统的识别精度就更高。这些技术已经能够满足通常应用的要求。由于大规模集成电路技术的发展,这些复杂的语音识别系统也已经完全可以制成专用芯片,大量生产。在西方 经济 发达国家,大量的语音识别产品已经进入市场和服务领域。一些用户交机、电话机、手机已经包含了语音识别拨号功能,还有语音记事本、语音智能玩具等产品也包括语音识别与语音合成功能。人们可以通过电话网络用语音识别口语对话系统查询有关的机票、 旅游 、银行信息,并且取得很好的结果。
语音识别是一门交叉学科,语音识别正逐步成为信息技术中人机接口的关键技术,语音识别技术与语音合成技术结合使人们能够甩掉键盘,通过语音命令进行操作。语音技术的应用已经成为一个具有竞争性的新兴高技术产业。
参考 文献 :
[1]科大讯飞语音识别技术专栏. 语音识别产业的新发展. 企业 专栏.通讯世界,:(总l12期)
[2]任天平,门茂深.语音识别技术应用的进展.科技广场.河南科技,
[3]俞铁城.科大讯飞语音识别技术专栏.语音识别的发展现状.企业专栏.通讯世界, (总122期)
[4]陈尚勤等.近代语音识别.西安: 电子 科技大学出版社,1991
[5]王炳锡等.实用语音识别基础.Practical Fundamentals of Speech Recognition.北京:国防 工业 出版社,2005
[6](美)L.罗宾纳.语音识别基本原理.北京:清华大学出版社,1999
点击下页还有更多>>>浅谈语音识别技术论文
可以联系我,专业代作
基于单片机的语音录放系统设计关键词: 单片机;数字语音电路; ISD1490;波形存储法 摘要:设计了基于单片机的语音录放系统.该系统以 MCS89C51 单片机为核心器件, 控制四片 ISD1490 语音芯片工作, 每个语音芯片配以简单的外围电路自成独立的语音录放电路, 各个语音录放电路的录放功能及录放时间由单片机来控制, 编写不同的程序可实现不同的录放效果。 前沿用磁带记录、 存储、 还原模拟语音信号的方法已有很长的历史, 基于这一方法的电子产品也到处可见,且这些产品的体积都很大,在使用的范围上受到了一定的限制. 单片机语音录放系统就是为解决这一问题而设计的.单片机语音录放系统是以数字电路为基础, 利用数字语音电路来实现语音信号的记录、 存储、 还原等任务. 数字语音电路是一种集语音合成技术、 大规模集成电路技术以及微控制器技术为一体的并在近十几年迅速发展起来的一种新型技术.语音集成电路与微处理器相结合, 具有体积小、 扩展方便等特点, 具有广泛的发展前景。1 固体录音机原理 语音数字处理方法可以分为规则合成法、 参数合成法和波形存储法三类, 前两类复杂且难度大, 目前使用较少, 波形存储法是普遍采用的一种.波形存储法的技术基础是A / D、 D/ A 转换技术和多种的编码、 解码算法.图1 说明了波形存储法的语音数字处理、 记录及存储过程:首先用麦克风取得语音的电模拟量信号, 经适当放大后, A/ D转换器以一定的频率对其进行采样并转换为二进制数字量,并实时地对其进行编码,实现对实时数据的压缩以减少数据量,然后送入数据存储器中储存.图一 语音记录过程图2 是数字语音还原的基本过程:按一定顺序从数据存储器中读出数据, 以对应的算法进行解码,合成为语音数据,这是一种实时的数据解压过程,恢复的语音数据送入D/ A 转换器还原成语音的模拟信号输出.图二 语音回放过程2. 1 ISD1490 基本录放电路 ISD1490 语音芯片的内部已以 EEPROM 作为数据存储器,因此无需电池即能保存数据10 年以上,擦除和写入均可在片内自动完成而无需外部设备. 此外, 其片内还含有时钟振荡器、 话筒扩大器自动增益控制电路、 抗干扰滤波器、 音频功率放大器等.因此它自身已具备了语音录放系统所需的全部基本电路, 只需配备一只驻极体话筒、 一只喇叭、 两只按钮、 一个电源及少量电阻电容,就可以构成一个基本的录放系统(如图3 所示) .图 3 ISD1490 基本的语音录放系统该芯片具有下列显著特点:外围元件少, 操作方便;零功率信息存储, 无需备用电源; 信息能可靠保存10 年以上,可重复录音10 万次;语音固化无需编程开发设备; 通过地址的选址可以分段录放,因此可以独立存放汉字语音,构成语音库;具有自动省电模式,在非录放状态时自动省电.有单一电源供电( + 5v) ;静态电流典型值 0. 5uA,最大值2uA;工作电流典型值15mA,最大值30mA. 2. 2 单片机语音录放系统本电路使用了四片 ISD1490, 每片都如图 3 所示接成基本的录放电路,最后用单片机将四个基本录放电路连接成一个整体. 因为每片录音芯片可录音 90 秒,四片共可录音 360 秒, 用单片微处理器 MCS89C51 进行控制, 当录音时间在 90秒之内时,只用 1# 芯片, 如录音时间超过90 秒时,启用2# 芯片, 在录音时间超过 180 秒时, 启用3# 芯片, 这样,用微处理器来完成定时和芯片自动选择,就可实现360 秒内任何时间长度 的语音录制与回放, 从而实现录音放音功能. 系统结构如图4.图 4 单片机语音录放系统结构图3 系统的软件设计 本系统软件设计较为简单, 主要是定时选片控制,每片语音电路的地址端均接地,录放控制端受MCS89C51 控制, 根据微处理器的定时, 当需要某一芯片录放时, 单片机相应的控制端起作用,即启动语音电路工作,部分程序框图如图5 所示.图 5 部分程序框图4 结束语 单片机语音录放系统解决了传统录放机体积大、 扩展不方便的缺点.本系统所设计的电路可实现360 秒内任意长时间的语音录放. 在此基础上对硬件和软件稍作改动, 便可完成其他的功能,如语音报警器,智能语音控制器等,为各种智能仪器仪表扩展语音功能奠定了基础, 具有广泛的发展前景。
是哈尔滨的么?如果是哈尔滨的可以在工大一区图书馆借,如果没有的话就查其所在期刊吧,或者可以去万方数据库下
这是让谁参考呢?
不知道你要的结束与是论文里的结论还是致谢,都附上了请参考致 谢四年的读书生活在这个季节即将划上一个句号,而于我的人生却只是一个逗号,我将面对又一次征程的开始。四年的求学生涯在师长、亲友的大力支持下,走得辛苦却也收获满囊,在论文即将付梓之际,思绪万千,心情久久不能平静。 伟人、名人为我所崇拜,可是我更急切地要把我的敬意和赞美献给一位平凡的人,我的导师。我不是您最出色的学生,而您却是我最尊敬的老师。您治学严谨,学识渊博,思想深邃,视野雄阔,为我营造了一种良好的精神氛围。授人以鱼不如授人以渔,置身其间,耳濡目染,潜移默化,使我不仅接受了全新的思想观念,树立了宏伟的学术目标,领会了基本的思考方式,从论文题目的选定到论文写作的指导,经由您悉心的点拨,再经思考后的领悟,常常让我有“山重水复疑无路,柳暗花明又一村”。感谢我的爸爸妈妈,焉得谖草,言树之背,养育之恩,无以回报,你们永远健康快乐是我最大的心愿。在论文即将完成之际,我的心情无法平静,从开始进入课题到论文的顺利完成,有多少可敬的师长、同学、朋友给了我无言的帮助,在这里请接受我诚挚谢意!同时也感谢学院为我提供良好的做毕业设计的环境。最后再一次感谢所有在毕业设计中曾经帮助过我的良师益友和同学,以及在设计中被我引用或参考的论著的作者。这可是我自己论文里写的奥,老师说我致谢写的很好终于不是千篇一律了结论:经过两个多月的努力,企业职位分析面临的问题及策略论文终于完成 在整个设计过程中,出现过很多的难题,但都在老师和同学的帮助下顺利解决了,在不断的学习过程中我体会到:写论文是一个不断学习的过程,从最初刚写论文时对企业职位面临的问题的模糊认识到最后能够对该问题有深刻的认识,我体会到实践对于学习的重要性,以前只是明白理论,没有经过实践考察,对知识的理解不够明确,通过这次的做,真正做到林论时间相结合。总之,通过毕业设计,我深刻体会到要做好一个完整的事情,需要有系统的思维方式和方法,对待要解决的问题,要耐心、要善于运用已有的资源来充实自己。同时我也深刻的认识到,在对待一个新事物时,一定要从整体考虑,完成一步之后再作下一步,这样才能更加有效。我不知道你论文的具体结构所以结束与你还要根据你的论文稍加润色。。。。希望能帮到你~祝答辩顺利通过~呵呵
弗里茨·哈伯(Fritz Haber,1868年12月9日-1934年1月29日),德国化学家,出生在德国西里西亚布雷斯劳(现为波兰的弗罗茨瓦夫)的一个犹太人家庭。从小就对化学工业有极浓厚的兴趣。高中毕业后,哈伯先后到柏林、海德堡、苏黎世上大学。上学期间,他还在几个工厂中实习,得到了许多实践的经验。他喜爱德国农业化学之父李比希的伟大职业——化学工业。读大学期间,哈伯在柏林大学霍夫曼教授的指导下,写了一篇关于有机化学的论文,并因此获得博士学位。1904年,哈伯在两位企业家答应给予大力支持开始研究合成氨的工业化生产,并于1909年获得成功,成为第一个从空气中制造出氨的科学家。使人类从此摆脱了依靠天然氮肥的被动局面,加速了世界农业的发展。哈伯也从此成了世界闻名的大科学家。为表彰哈伯的这一贡献,瑞典皇家科学院把1918年的诺贝尔化学奖颁给了哈伯。由于在第一次世界大战中,哈伯担任化学兵工厂厂长时负责研制、生产氯气、芥子气等毒气,并使用于战争之中,造成近百万人伤亡。虽然按照他自己的说法,这是“为了尽早结束战争”,但哈伯这一行径,仍然遭到了美、英、法、中等国科学家们的谴责,哈伯的妻子伊美娃也以自杀的方式以示抗议。一战结束后,哈伯又做了从海水中提取黄金的试验,但最后宣告失败。1934年初被派遣去巴勒斯坦德理化学研究所任职。1934年1月29日哈伯因突发心脏病逝世于瑞士的巴塞尔。
生产能力和产量:合成氨是化学工业中产量很大的化工产品。消费和用途:合成氨主要消费部门为化肥工业,用于其他领域的(主要是高分子化工、火炸药工业等)非化肥用氨,统称为工业用氨。原料:合成氨主要原料有天然气、石脑油、重质油和煤等。生产方法:生产合成氨的方法主要区别在原料气的制造,其中最广泛采用的为蒸汽转化法和部分氧化法(见合成氨原料气)。
首先需要概括研究目标,然后按照问题和假说来概括主要的研究发现,最后概括论文的研究思路和方法。要写明创新点在哪里,是什么;为何要提出这个创新点,它的意义何在;这个创新点是否成立,提出证据和论据来支持论文的创新点。
论文结束语就是论文的结尾,是要围绕这篇论文的所创作的结束语,需要基本概括全文的要点部分,加深题目意义、论文结语,就是要对绪论中提出的,分析或者论证的问题加以解释概括,从而引出的出的结论。
毕业论文结束语写作思路首先需要概括研究目标,然后按照问题和假说来概括主要的研究发现,最后概括论文的研究思路和方法。毕业论文结束语当中有一个重要的目的就是论证文章的创新点,一般而言,论述这些创新点是需要表明三个重要问题:
1.创新点在哪里,是什么;
2.为何要提出这个创新点,它的意义何在;
3.这个创新点是否成立,提出证据和论据来支持论文的创新点。
另外毕业论文的结束语通常都是把问题的结论上升,联系到该领域的重大问题上,或者使用抽象层级更高的概念来描述研究发现。