信源编码的研究背景和意义论文

摘要：香农于1948年10月发表于《贝尔系统技术学报》上的论文《A Mathematical Theory of Communication》（通信的数学理论）作为现代信息论研究的开端。1984年贝尔研究所的香农在题为《通讯的数学理论》的论文中系统地提出了关于信息的论述，创立了信息论。信息论主要研究信息的本质和度量方法。它是系统论和控制论的理论基础，也是信息科学的理论基础。关键字：信息概念，熵，美国数学家香农参考书目：1。《信息论》 南丰公益书院； 2．《安全科学技术百科全书》（中国劳动社会保障出版社，2003年6月出版）；3．《安全工程大辞典》（化学工业出版社，1995年11月出版）(安全文化网)；4．部分资料摘取自互联网。（一）信息的内涵1948—1949年，美国数学家香农（）发表了《通信的数学理论》和《在噪声中的通信》两篇论文，提出了度量信息的数学公式，标志着信息论这门学科的诞生。信息论主要研究信息的本质和度量方法。它是系统论和控制论的理论基础，也是信息科学的理论基础。它是关于事物运动状态的规律的表征，其特点是： （1）信息源于物质运动，又不是物质和运动；（2）信息具有知识的秉性，是任何一个系统的组织程度和有序程度的标志；（3）只有变化着的事物和运动着的客体才会有信息，孤立静止的客体或永不改变的事物不会有信息；（4）信息不遵守物质和能量的“守恒与转化定律”, 同样的信息，大家可以共同使用，信息不会减少，相同的信息，能够用不同物质载体进行传播，同一种物质，也可以携带不同的信息，信息不会变化。信息论是一门研究信息传输和信息处理系统中一般规律的学科。香农在他的《通讯的数学理论》中明确提出：“通讯的基本问题是在通讯的一端精确地或近似地复现另一端所挑选的消息。”信息是“人们在选择一条消息时选择的自由度的量度”。消息所带的信息可以解释为负熵，即概率的负对数。威沃尔指出，‘信息’一词在此理论中只在一种专门的意义上加以使用，我们一定不要把它和其通常用法混淆起来”。也就是说，这里的信息不是我们通常使用的概念（各种消息、情报和资料的总称），而是一个变量，它表示信息量的大小。而信息量则是某种不确定性趋向确定的一种量度，消息的可能性越大，信息就越少。如果一个系统是有序的，它不具有很高的混乱度或选择度，其信息（或熵）是低的。信息论是一门用数理统计方法来研究信息的度量、传递和变换规律的科学。它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。 信息论的研究范围极为广阔。一般把信息论分成三种不同类型： (1)狭义信息论是一门应用数理统计方法来研究信息处理和信息传递的科学。它研究存在于通讯和控制系统中普遍存在着的信息传递的共同规律，以及如何提高各信息传输系统的有效性和可靠性的一门通讯理论。 (2)一般信息论主要是研究通讯问题，但还包括噪声理论、信号滤波与预测、调制与信息处理等问题。(3)广义信息论不仅包括狭义信息论和一般信息论的问题，而且还包括所有与信息有关的领域，如心理学、语言学、神经心理学、语义学等。信息有以下性质：客观性、广泛性、完整性、专一性。首先，信息是客观存在的，它不是由意志所决定的，但它与人类思想有着必然联系。同时，信息又是广泛存在的，四维空间被大量信息子所充斥。信息的一个重要性质是完整性，每个信息子不能决定任何事件，须有两个或两个以上的信息子规则排布为完整的信息，其释放的能量才足以使确定事件发生。信息还有专一性,每个信息决定一个确定事件，但相似事件的信息也有相似之处，其原因的解释需要信息子种类与排布密码理论的进一步发现。信息论是一门具有高度概括性、综合性，应用广泛的边缘学科。信息论是信息科学的理论基础，它是一门应用数理统计方法研究信息传输和信息处理的科学，是利用数学方法来研究信息的计量、传递、交换和储存的科学。随着科学技术的发展，信息论研究范围远远超出了通信及类似的学科，已延伸到生物学、生理学、人类学、物理学、化学、电子学、语言学、经济学和管理学等学科。（二）信息论发展历史香农被称为是“信息论之父”。人们通常将香农于1948年10月发表于《贝尔系统技术学报》上的论文《A Mathematical Theory of Communication》（通信的数学理论）作为现代信息论研究的开端。1984年贝尔研究所的香农在题为《通讯的数学理论》的论文中系统地提出了关于信息的论述，创立了信息论。维纳提出的关于度量信息量的数学公式开辟了信息论的广泛应用前景。1951年美国无线电工程学会承认信息论这门学科，此后得到迅速发展。20世纪50年代是信息论向各门学科冲击的时期，60年代信息论不是重大的创新时期，而是一个消化、理解的时期，是在已有的基础上进行重大建设的时期。研究重点是信息和信源编码问题。到70年代，由于数字计算机的广泛应用，通讯系统的能力也有很大提高，如何更有效地利用和处理信息，成为日益迫切的问题。人们越来越认识到信息的重要性，认识到信息可以作为与材料和能源一样的资源而加以充分利用和共享。信息的概念和方法已广泛渗透到各个科学领域，它迫切要求突破香农信息论的狭隘范围，以便使它能成为人类各种活动中所碰到的信息问题的基础理论，从而推动其他许多新兴学科进一步发展。目前，人们已把早先建立的有关信息的规律与理论广泛应用于物理学、化学、生物学等学科中去。一门研究信息的产生、获取、变换、传输、存储、处理、显示、识别和利用的信息科学正在形成。香农把“熵”这个概念引入信息的度量。1965年法国物理学家克劳修斯首次提出这一概念，后来这一概念由19世纪奥地利物理学家L.玻尔茨曼正式提出。信息论和控制论又赋予了“熵”更新更宽的含义。 熵是一个系统的不确定性或无序的程度，系统的紊乱程度越高，熵就越大；反之，系统越有序，熵就越小。控制论创始人维纳曾说：“一个系统的熵就是它的无组织程度的度量。”熵这个概念与信息联系在一起后，获得这样的思路：信息的获得永远意味着熵的减少，要使紊乱的系统（熵大的系统）有序化（减少熵）就需要有信息，当一个系统获得信息后，无序状态减少或消除（熵减少）；而如果信息丢失了，则系统的紊乱程度增加。一个系统有序程度越高，则熵就越小，所含信息量就越大，反之无序程度越高，则熵越大，信息量就越小，信息与熵是互补的，信息就是负熵，两者互为负值。 信息量=系统状态原有的熵-系统状态确定后的熵 电讯系统不存在功能性因素，即人的主观能动因素，因此不能照搬，但对计算社会信息的量，仍有参考价值。如研究新闻的信息量时就非常有意义。一则新闻讯息中所含信息量的大小是不确定程度的大小决定的，能够最大限度地消除人们对新闻事件认识上的不确定性的讯息，信息量就大，而不能减少受众对新闻事件的认识的不确定的，信息量就小，这与讯息的长度、字数和篇幅无关，不是版面大小、字数多寡、“本报讯”多少就能说明信息的大小的。信息科学是人们在对信息的认识与利用不断扩大的过程中，在信息论、电子学、计算机科学、人工智能、系统工程学、自动化技术等多学科基础上发展起来的一门边缘性新学科。它的任务主要是研究信息的性质，研究机器、生物和人类关于各种信息的获取、变换、传输、处理、利用和控制的一般规律，设计和研制各种信息机器和控制设备，实现操作自动化，以便尽可能地把人脑从自然力的束缚下解放出来，提高人类认识世界和改造世界的能力。信息科学在安全问题的研究中也有着重要应用。1949年，香农和韦弗提出了有关传播的数学模式。 信源—>消息—>编码—>信号—>信道—>信号+噪声—>译码—>消息—>信宿 噪声—>信道 对上图的概念解释如下： 信源：信源就是信息的来源，可以是人、机器、自然界的物体等等。信源发出信息的时候，一般以某种讯息的方式表现出来，可以是符号，如文字、语言等，也可以是信号，如图像、声响等等。 编码：编码就是把信息变换成讯息的过程，这是按一定的符号、信号规则进行的。按规则将信息的意义用符码编排起来的过程就是编码过程，这种编码通常被认为是编码的第一部分。编码的第二部分则是针对传播的信道，把编制好的符码又变换成适于信道中传输的信号序列，以便于在信道中传递，如声音信号、电信号、光信号等等。如信息源产生的原始讯息是一篇文章，用电报传递的时候，就要经过编码，转换成电报密码的信号，然后才能经过信道传播。 信道：就是信息传递的通道，是将信号进行传输、存储和处理的媒介。信道的关键问题是它的容量大小，要求以最大的速率传送最大的信息量。 噪音：是指信息传递中的干扰，将对信息的发送与接受产生影响，使两者的信息意义发生改变。 译码：是对信息进行与编码过程相反的变换过程，就是把信号转换为讯息，如文字、语言等，这是第一步。第二步译码则是指将讯息还原为信息意义的过程。 信宿：是信息的接受者，可以是人也可以是机器，如收音机、电视机等。作为方法论，香农的这一信息系统模式可以被适用于许多系统，如通信系统、管理系统、社会系统等。传播学学者对这一模式进行改造之后，成为表述人类信息传播的基本模式之一，成为传播学领域最基本的研究范式，而信源、编码、译码、信宿等概念也成为传播学研究的基本概念。 香农的信息论为传播学领域提供了基本的范式，它使以前模糊的信息概念变得在数学上可以操纵。香农的信息论与维纳的控制论是相互影响的，维纳也是最早认识信息论价值的学者，并与香农共同发明了有关信息的熵度量法则。

摘 要:随着技术革新的不断发展，产业融合正日益成为产业经济发展中的重要现象。产业融合产生的前提是技术融合、业务融合、市场融合以及产业管制环境的变化。按照技术发展的方向，产业融合有产业渗透、产业交叉和产业重组三种形式。由于信息技术的渗透性、带动性、倍增性、网络性和系统性等特征，信息产业的产业融合呈现加速发展的趋势。

中国信息技术发展的现状和创新 编者按在中国工程院第八次院士大会举行的学术报告会上，中国工程院院士和中国工程院外籍院士先后作了学术报告。围绕世界工程科技发展的前沿开展学术交流活动是中国工程院的一项重要工作。通过学术交流，可以促进我国广大科技人员迅速把握当前世界的工程科技现状及水平，推动我国工程科技的进步和发展。今天，我们选登中国工程院副院长邬贺铨的报告《中国信息技术发展的现状和创新》，同时，我们还摘登了三位新当选中国工程院外籍院士的报告：美国国家工程院院长威廉•沃尔夫的报告《21世纪国际工程面临的挑战》、英国皇家工程院院长亚历克•布鲁斯的报告《培养未来技术专家的大学课程》和日本北里大学教授大村智的报告《来自微观世界的神奇礼物———阿维菌素》。 进入新世纪，世界上创新型国家几乎都将发展信息技术作为国家战略重点。随着信息技术的迅速发展和应用的普及，信息产业已成为我国的支柱产业，其规模已居世界第二位，但产业大而不强，需尽快改变我国信息产业核心技术受控于人的局面。以建设创新型国家为目标，我国把掌握装备制造业和信息产业核心技术的自主知识产权作为提高国家竞争力的突破口。虽然我国信息技术的总体水平与国际先进水平仍有不少差距，但近年来我国在一些有较大影响的关键信息技术领域有了可喜的突破。本报告分别就先进集成电路芯片与光电子器件、高性能计算机与软件、下一代互联网与信息安全、第三代移动通信与无线通信、数字电视与音视频编码，信息技术在产业中应用等六方面介绍中国在这些领域取得的进展和创新。 在微电子技术方面，几十年来其发展一直遵循摩尔定律，即集成度平均每18个月翻一番，30年时间内尺寸减小1000倍，性能提高1万倍。由于CMOS（金属氧化物半导体）的技术极限被不断突破，在可预见的十多年内，摩尔定律仍将持续起作用。我国经济长时间高速发展，使中国成为全球第二大集成电路（IC）市场，但目前国内市场自给率不到25%%，尤其是在代表IC水平的计算机中央处理器（CPU）方面，国内的技术差距就更大。近年来我国微电子取得关键技术的突破，成功开发出863众志、龙芯等CPU。可喜的是以64位通用高性能CPU为代表，以龙芯（Goodson）为例，相同主频下Goodson-2的性能已经明显超过PII，Goodson-2E则相当于P4水平，但在自主产权的核心技术方面仍然落后国际先进水平几年。目前，微电子技术进入纳米尺寸和System-on-Chip时代，CPU时钟进入GHz。中国具有较强整机系统设计能力，SOC时代的到来是我国IC产业跨越发展的机遇。 我国在光电子技术方面也有所突破，在国际上独立提出并实现了优于现有其它结构性能的40Gb/sDFB+EA（带电吸收的分布反馈激光器）和SOA+EA（带电吸收的半导体光放大器）。研制出国际领先的可调谐长波长探测器，包括Si基和GaAs基垂直腔RCE（共振腔增强型）和WDM（波分复用）光纤通信系统用的OMITMiC（一镜斜置三镜腔）探测器。在全固态激光器技术方面，我国在国际上首次研制成功具有自主知识产权的深紫外六倍频全固态激光器和宽调谐全固态激光器。 计算机模型/仿真与理论研究和实验并列为分析复杂系统的三大支柱，高性能计算越来越受到重视。其技术发展呈现四大趋势，大量采用商业现货供应（COTS）技术同时发展定制技术，高性能计算机与网格计算共存，从“高性能”走向“高效能”，从高性能计算（HPC）走向高性能服务（HPS）。目前代表国际水平的是2005年IBM研制的367万亿次/秒大规模并行机“蓝色基因”。我国近年来在高端计算机的研制方面取得了较好的成绩，出现了神威、银河、曙光、深腾等知名产品。在全球超级计算机TOP500的排名中，2004年曙光4000A排名第10，中国成为继美国、日本之后第三个能制造和应用十万亿次级商用高性能计算机的国家。 随着计算机的发展，软件变得越来越复杂，如果说在1971年软件为10万行代码，2001年为700万行，软件的高可信已成为新环境下软件系统开发和运行的关键和着眼点。2002年全球软件产业为7000亿美元，中国仅占，在中国市场的系统软件中，国外品牌占。这一状况目前有所改变，中文处理软件保持国际领先，我们自行开发了服务器操作系统，实现了桌面Linux操作系统的基本功能，国产Office办公软件产品取得进步，但应用软件的开发和移植不足。今后电子政务的推开和开放源代码将为我国软件发展带来前所未有的机遇。 互联网从数据业务进入到承载如电话等实时业务，面对业务质量保证（QOS）和可扩展性、安全性等挑战，传统电信网也承受来自宽带业务的压力，网络技术处在换代的前夜。在最近几年，下一代互联网（NGI）和下一代网（NGN）成为网络发展的热点。中国也开展了NGI和NGN的研究和试验，其中最重要的是CNGI项目（中国下一代互联网示范工程），该项目已建成目前世界上最大规模的IPv6试验网。与国外进行的NGI试验不同，由于我国电信运营商的积极参与，CN鄄GI重视支持QOS的体系和技术的研究;在意对无线和移动业务的支持;以走向商业应用为目标关注网络和业务的可控可管。CNGI项目在国际上第一次提出鼓励开展旨在促进NGI与NGN在技术发展方向上协调的研究试验，开发支持NGI并有可能向NGN发展的网络软、硬件和应用，CNGI在探索NGI与NGN融合之路。 随着社会和经济发展及人们生活对网络的依赖越来越大，信息安全的重要性和紧迫性日益突出，密码理论、密码算法、安全协议、网络安全和信息隐藏等技术发展很快。我国专家在这些方面取得了一些创新成果。如被国际同行称之为“肖-Massey定理”的相关免疫布尔函数的频谱特征。又如环导出二元伪随机序列，揭示了密码设计一类新的非线性资源的密码学性质。我国学者提出了一种新的分析Hash函数的方法———比特跟踪方法，在国际上产生了重大影响。在国内电子政务市场，国产PKI系统已占主流。 中国有用户规模全球最大的移动通信网，目前普及率也仅是世界平均水平，还有很大的发展空间。但现有网上使用的移动通信设备和终端的关键技术基本依赖国外。第三代移动通信（3G）时代的到来给我们提供了难得的机会，由中国提议并得到国际电信联盟（ITU）和3G标准化组织3GPP通过的TD-SCDMA（时分—同步码分多址）成为国际3G三大主流标准之一，它采用时分双工（TDD）模式和有自主知识产权的智能天线技术，目前正在进行的规模应用技术试验已表明，其频谱效率优于采用频分双工（FDD）的另外两个3G标准（WCDMA和CD鄄MA2000）。 互联网和移动通信的普及应用推动了无线技术的发展，从无线局域网（WLAN）扩展到无线城域网（WMAN），而WLAN/WMAN应用的一个值得关注的问题是认证与安全。我国提出的WAPI（无线局域网鉴别和保密基础结构）标准较好地解决了这一问题，性能上优于国际标准。此外，我国提出的SCDMA技术以其优良的性能价格比领先于其他无线接入技术，成为我国农村“村通工程”的首选方式。 在新世纪，广播电视数字化兴起，有线电视、卫星电视和地面无线广播电视的数字化都发展很快，有线数字电视的另一个发展趋势是利用IP技术的IPTV，数字电视地面无线广播技术新的应用领域是手机电视。我国数字电视地面无线广播系统技术研究较早，提出了多种方案，其中采用伪随机序列（PN）的时域同步频域处理技术等构成了基础性发明专利，所实现的性能优于按照ITU已有的三项国际标准实现的系统。不仅在信道处理技术上而且在信源编码技术上我国也有可喜的创新，我国发布了AVS音视频编码标准，它的压缩效率与国际标准MPEG4/AVC相当，但复杂度低，AVS的部分技术已被吸纳进相应的国际标准。 在信息技术的应用方面，我国在CIMS（计算机集成制造系统）技术的推广获得了国际大学奖和企业奖，农业信息化示范系统及其应用获得了联合国的奖励。我国开发了“用于测量与控制系统的EPA系统结构和通信规范”，被列入国际标准，标志着我国在工业自动化的现场总线领域有了国际认可的核心技术。信息技术在产业的应用能够渗透到从设备控制、过程管理、生产制造到企业资源优化和决策支撑的各个环节，有很大的开发和应用空间，在这方面，鞍钢是一个应用信息技术改造老企业提高市场竞争力的很好的例子。 作为近代科技革命重要标志的信息技术发展方兴未艾，正在渗透到社会、经济和人们生活的方方面面，信息技术成为新一轮竞争的重要手段，信息化对我国来说也是难得的机遇，正视在信息科学和技术方面的差距，加大自主创新力度，大力发展信息产业并重视推动信息技术在产业的应用，进一步提高我国的国际竞争力。