理论创立阶段。1948年克劳德·香农（ClaudeShannon）发表的论文“通信的数学理论”是世界上首次将通讯过程建立了数学模型的论文，属于理论创立阶段。信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。
《通讯的数学原理》香农在普林斯顿高级研究所（The Institute for Advanced Study at Princeton）期间，开始思考信息论与有效通信系统的问题。从1948年6月到10月，香农在《贝尔系统技术杂志》（Bell System Technical Journal）上连载发表了影像深远的论文《通讯的数学原理》。1949年，香农又在该杂志上发表了另一著名论文《噪声下的通信》。在这两篇论文中，香农解决了过去许多悬而未决的问题：阐明了通信的基本问题，给出了通信系统的模型，提出了信息量的数学表达式，并解决了信道容量、信源统计特性、信源编码、信道编码等一系列基本技术问题。两篇论文成为了信息论的基础性理论著作。那时，他才不过刚刚三十出头。 香农的成就轰动了世界，激起了人们对信息论的巨大热情，它向各门学科冲击，研究规模像滚雪球一样越来越大。不仅在电子学的其他领域，如计算机、自动控制等方面大显身手，而且遍及物理学、化学、生物学、心理学、医学、经济学、人类学、语音学、统计学、管理学……等学科。它已远远地突破了香衣本人所研究和意料的范畴，即从香农的所谓“狭义盾息论”发展到了“广义信息论”。 香农一鸣惊人，成了这门新兴学科的奠基人。20世纪80年代以来，当人们在议论未来的时候，人们的注意力又异口同声的集中到信息领域。按照国际一种流行的说法，未来将是一个高度信息化的社会。信息工业将发展成头号工业，社会上大多数的人将是在从事后息的生产、加工和流通。这时，人们才能更正确地估价香农工作的全部含义。信息论这个曾经只在专家们中间流传的学说，将来到更广大的人群之中。香农这个名字也飞出了专家的书斋和实验室，为更多的人所熟悉和了解。香农被尊称为是“信息论之父”。人们通常将香农于1948年10月发表于《贝尔系统技术学报》上的论文《通信的数学原理》作为现代信息论研究的开端。这一文章部分基于哈里·奈奎斯特和拉尔夫·哈特利先前克劳德·香农 这一定义可以用来推算传递经二进制编码后的原信息所需的信道带宽。熵的概念量度的是消息中所含的信息量，而去除了消息中固有结构所决定的部分，比如，语言结构的冗余性以及语言中字母、词的使用频度等统计特性。信息论中熵的概念与物理学中的熵有着紧密的联系。玻耳兹曼与吉布斯在统计物理学中对熵做了很多的工作。信息论中的熵也正是受之启发。
香农创立了信息论克劳德·香农（Claude Elwood Shannon，1916-2001）于1916年4月30日出生在美国密西根州的伽娄德（Gaylord）小镇，当时镇里只有三千居民。香农的父亲是该镇的法官，母亲是镇里的中学校长。他生长在一个有良好教育的环境，不过父母给他的科学影响好像还不如祖父的影响大。香农的祖父是一位农场主兼发明家，发明过洗衣机和许多农业机械，这对香农的影响比较直接。此外，香农的家庭与大发明家爱迪生(Thomas Alva Edison，1847-1931)还有远亲关系。香农的两大贡献：一是信息理论、信息熵的概念；另一是符号逻辑和开关理论。香农的信息论为明确什么是信息量概念作出决定性的贡献。1936年香农在密西根大学获得数学与电气工程学士学位，然后进入MIT念研究生。1938年香农在MIT获得电气工程硕士学位，硕士论文题目是《继电器与开关电路的符号分析》。当时他已经注意到电话交换电路与布尔代数之间的类似性，即把布尔代数的“真”与“假”和电路系统的“开”与“关”对应起来，并用1和0表示。于是他用布尔代数分析并优化开关电路，这就奠定了数字电路的理论基础。哈佛大学的Howard Gardner教授说，“这可能是本世纪最重要、最著名的一篇硕士论文。1940年香农在MIT获得数学博士学位，而他的博士论文却是关于人类遗传学的，题目是《理论遗传学的代数学》。说明香农的兴趣十分广泛，后来他在不同的学科方面发表过许多有影响的文章。在读学位的同时，他还用部分时间跟温尼法·布什教授进行微分分析器的研究。这种分析器是早期的机械模拟计算机，用于获得常微分方程的数值解。1941年香农发表了《微分分析器的数学理论》，他写道：“大多数结果通过证明的定理形式给出。最重要的是处理了一些条件，有些条件可以生成一个或多个变量的函数，有些条件可使常微分方程得到解。还给出了一些注意事项，给出求函数的近似值、求调整率的近似值以及自动控制速率的方法。”1941年香农以数学研究员的身份进入新泽西州的AT&T贝尔电话公司，并在贝尔实验室工作到1972年，从24岁到55岁，整整31年。香农与John Riordan一起工作，1942年发表了一篇关于串并联网络的双终端数的论文。这篇论文扩展了麦克马洪1892年在Electrician上发表的论文理论。1948年香农在发表了《通讯的数学理论 》，创立了信息论。在二次世界大战时，香农博士也是一位著名的密码破译者（这使人联想到比他大4岁的图灵博士）。他在贝尔的破译团队主要是追踪德国飞机和火箭，尤其是在德国火箭对英国进行闪电战时起了很大作用。1949年香农发表了另外一篇重要论文《保密系统的通信理论》，正是基于这种工作实践，它的意义是使保密通信由艺术变成科学。熵的概念香农理论的重要特征是熵(entropy)的概念，他证明熵与信息内容的不确定程度有等价关系。熵曾经是波尔兹曼在热力学第二定律引入的概念，我们可以把它理解为分子运动的混乱度。信息熵也有类似意义，例如在中文信息处理时，汉字的静态平均信息熵比较大，中文是9.65比特，英文是4.03比特。这表明中文的复杂程度高于英文，反映了中文词义丰富、行文简练，但处理难度也大。信息熵大，意味着不确定性也大。因此我们应该深入研究，以寻求中文信息处理的深层突破。不能盲目认为汉字是世界上最优美的文字，从而引申出汉字最容易处理的错误结论。众所周知，质量、能量和信息量是三个非常重要的量。人们很早就知道用秤或者天平计量物质的质量，而热量和功的关系则是到了19世纪中叶，随着热功当量的明确和能量守恒定律的建立才逐渐清楚。能量一词就是它们的总称，而能量的计量则通过“卡、焦耳”等新单位的出现而得到解决。然而，关于文字、数字、图画、声音的知识已有几千年历史了。但是它们的总称是什么，它们如何统一地计量，直到19世纪末还没有被正确地提出来，更谈不上如何去解决了。20世纪初期，随着电报、电话、照片、电视、无线电、雷达等的发展，如何计量信号中信息量的问题被隐约地提上日程。1928年哈特利(R.V. H. Harley)考虑到从D个彼此不同的符号中取出N个符号并且组成一个“词”的问题。如果各个符号出现的概率相同，而且是完全随机选取的，就可以得到DN个不同的词。从这些词里取了特定的一个就对应一个信息量I。哈特利建议用N log D这个量表示信息量，即I=N log D 。这里的log表示以10为底的对数。后来，1949年控制论的创始人维纳也研究了度量信息的问题，还把它引向热力学第二定律。但是就信息传输给出基本数学模型的核心人物是香农。1948年香农长达数十页的论文《通信的数学理论》成了信息论正式诞生的里程碑。在他的通信数学模型中，清楚地提出信息的度量问题，他把哈特利的公式扩大到概率pi不同的情况，得到了著名的计算信息熵H的公式：H=∑-pi log pi如果计算中的对数log是以2为底的，那么计算出来的信息熵就以比特（bit）为单位。今天在计算机和通信中广泛使用的字节(Byte)、KB、MB、GB等词都是从比特演化而来。“比特”的出现标志着人类知道了如何计量信息量。香农最初的动机是把电话中的噪音除掉，他给出通信速率的上限，这个结论首先用在电话上，后来用到光纤，现在又用在无线通信上。我们今天能够清晰地打越洋电话或卫星电话，都与通信信道质量的改善密切相关。香农的大部分时间是在贝尔实验室和MIT(麻省理工学院)度过的。人们描述香农的生活，白天他总是关起门来工作，晚上则骑着他的独轮车来到贝尔实验室。他的同事D. Slepian说：“我们大家都带着午饭来上班，饭后在黑板上玩玩数学游戏，但克劳德很少过来。他总是关起门来工作。但是，如果你要找他，他会非常耐心地帮助你。他能立刻抓住问题的本质。他真是一位天才，在我认识的人中，我只对他一人使用这个词。”克劳德·香农在公众中并不特别知名，但他是使我们的世界能进行即时通信的少数科学家之一。他是美国科学院院士、美国工程院院士、英国皇家学会会员、美国哲学学会会员。他获得过许多荣誉和奖励。例如1949年Morris奖、1955年Ballantine奖、1962年Kelly奖、1966年的国家科学奖章、IEEE的荣誉奖章、1978年Jaquard奖、1983年Fritz奖、1985年基础科学京都奖。他获得的荣誉学位不胜枚举。贝尔实验室和MIT都尊崇香农为信息论及数字通信时代的奠基人。是他将布尔代数的“真”与“假” 电路的“开”与“关”对应起来，并用1和0表示。这是从理论转换到实际产品设计的一个重要的环节。
“通信的基本问题就是在一点重新准确地或近似地再现另一点所选择的消息”。这是数学家香农（Claude E.Shanon）在他的惊世之著《通信的数学理论》中的一句铭言。正是沿着这一思路他应用数理统计的方法来研究通信系统，从而创立了影响深远的信息论。——香农，1816年生于美国密执安州的加洛德。在大学中他就表现出了对数理问题的高度敏感。他的硕士论文就是关于布尔代数在逻辑开关理论中的应用。后来，他就职于贝尔电话研究所。在这个世界上最大的通信公司（美国电话电报公司）的研究基地里，他受着前辈的工作的启示，其中最具代表性的是《贝尔系统技术杂志》上所披露的奈奎斯特的《影响电报速率的一些因素》和哈特莱的《信息的传输》。正是他们最早研究了通信系统的信息传输能力，第一次提出了信息量的概念，并试图用教学公式予以描述。而香衣则创造性地继承了他们的事业，在信息论的领域中钻研了8年之久，终于在1948年也在《贝尔系统技术杂志》上发表了244页的长篇论著，这就是上面提到的那篇《通信的数学理论》。次年，他又在同一杂志上发表了另一篇名著《噪声下的通信》。在这两篇文章中，他解决了过去许多悬而未决的问题：经典地阐明了通信的基本问题，提出了通信系统的模型，给出了信息量的数学表达式，解决了信道容量、信源统计特性、信源编码、信道编码等有关精确地传送通信符号的基本技术问题。两篇文章成了现在信息论的寞基著作。而香农，也一鸣惊人，成了这门新兴学科的寞基人。那时，他才不过刚刚三十出头。—— 他的成就轰动了世界，激起了人们对信息论的巨大热情，它向各门学科冲击，研究规模象浪雪球一样越来越大。不仅在电子学的其他领域，如计算机、自动控制等方面大显身手，而且遍及物理学、化学、生物学、心理学、医学、经济学、人类学、语音学、统计学、管理学……等学科。它已远远地突破了香衣本人所研究和意料的范畴，即从香农的所谓“狭义盾息论”发展到了“广义信息论”。 —— 进入80年代以来，当人们在议论未来的时候，人们的注意力又异口同声的集中到信息领域。按照国际一种流行的说法，未来将是一个高度信息化的社会。信息工业将发展成头号工业，社会上大多数的人将是在从事后息的生产、加工和流通。这时，人们才能更正确地估价香农工作的全部含义。信息论这个曾经只在专家们中间流传的学说，将来到更广大的人群之中。香农这个名字也飞出了专家的书斋和实验室，为更多的人所熟悉和了解。
克劳德·艾尔伍德·香农克劳德·艾尔伍德·香农（Claude Elwood Shannon ，1916年4月30日—2001年2月26日）美国数学家、信息论的创始人。 香农于1916年4月30日出生于美国密歇根州的Petoskey，并且是爱迪生的远亲戚。1936年毕业于密歇根大学并获得数学和电子工程学士学位，在那里他遇到了布尔，上过他的课程。1940年获得麻省理工学院（MIT）数学博士学位和电子工程硕士学位。1941年他加入贝尔实验室数学部，工作到1972年。1956年他成为麻省理工学院（MIT）客座教授，并于1958年成为终生教授，1978年成为名誉教授。香农博士于2001年2月26日去世，享年84岁。 香农于1940年在普林斯顿高级研究所（The Institute for Advanced Study at Princeton）期间开始思考信息论与有效通信系统的问题。经过8年的努力，香农在1948年6月和10月在《贝尔系统技术杂志》（Bell System Technical Journal）上连载发表了他影像深远的论文《通讯的数学原理》。1949年，香农又在该杂志上发表了另一著名论文《噪声下的通信》。在这两篇论文中，香农阐明了通信的基本问题，给出了通信系统的模型，提出了信息量的数学表达式，并解决了信道容量、信源统计特性、信源编码、信道编码等一系列基本技术问题。两篇论文成为了信息论的奠基性著作。 获奖与荣誉： 美国Alfred Noble协会美国工程师奖 1940年 Morris Liebmann 无线电工程师协会Memorial奖章 1949年 耶鲁大学 (首席科学家) 1954年 Stuart Ballantine弗兰克林协会奖章 1955年 研究合作奖 1956年 密歇根大学, 荣誉博士 1961年 莱斯大学 荣誉奖章1962年 普林斯顿大学, 荣誉博士 1962年 Marvin J. Kelly Award 1962年 爱丁堡大学 荣誉博士 1964年 匹兹堡大学 荣誉博士 1964年 电子电气工程师协会 荣誉奖章 1966年 美国国家科学奖章 1966年, 由前总统Lyndon B. 约翰逊颁发 Golden Plate Award 1967年 美国西北大学, 荣誉博士 1970年 Harvey Prize, the Technion of Haifa, 以色列 1972年 牛津大学 荣誉博士 1978年 Joseph Jacquard奖 1978年 Harold Pender奖 1978年 东英格伦大学, 荣誉博士 1982年 卡内基梅隆大学 荣誉博士 1984年 美国声频技术协会 金奖 1985年 Kyoto Prize 1985年 塔夫斯大学 荣誉博士 1987年 宾西法尼亚大学 荣誉博士 1991年 Eduard Rhein Prize 1991年 是这位吧,百科就有啊.
1948年克劳德·香农（ClaudeShannon）发表的论文“通信的数学理论”是世界上首次将通讯过程建立了数学模型的论文，这篇论文和1949年发表的另一篇论文一起奠定了现代信息论的基础
摘 要:随着技术革新的不断发展，产业融合正日益成为产业经济发展中的重要现象。产业融合产生的前提是技术融合、业务融合、市场融合以及产业管制环境的变化。按照技术发展的方向，产业融合有产业渗透、产业交叉和产业重组三种形式。由于信息技术的渗透性、带动性、倍增性、网络性和系统性等特征，信息产业的产业融合呈现加速发展的趋势。信息产业的融合有助于提高信息产业的生产效率，改善信息产业的管制方式，加速传统产业的升级改造以及促进信息技术的扩散和渗透。因此，深入研究产业融合理论以及产业融合对于我国信息产业发展的影响，对推动我国的信息化进程，促进产业结构的优化升级具有重要的理论和现实意义。
摘要：香农于1948年10月发表于《贝尔系统技术学报》上的论文《A Mathematical Theory of Communication》（通信的数学理论）作为现代信息论研究的开端。1984年贝尔研究所的香农在题为《通讯的数学理论》的论文中系统地提出了关于信息的论述，创立了信息论。信息论主要研究信息的本质和度量方法。它是系统论和控制论的理论基础，也是信息科学的理论基础。关键字：信息概念，熵，美国数学家香农参考书目：1。《信息论》 南丰公益书院； 2．《安全科学技术百科全书》（中国劳动社会保障出版社，2003年6月出版）；3．《安全工程大辞典》（化学工业出版社，1995年11月出版）(安全文化网)；4．部分资料摘取自互联网。（一）信息的内涵1948—1949年，美国数学家香农（C.E.Shannon）发表了《通信的数学理论》和《在噪声中的通信》两篇论文，提出了度量信息的数学公式，标志着信息论这门学科的诞生。信息论主要研究信息的本质和度量方法。它是系统论和控制论的理论基础，也是信息科学的理论基础。它是关于事物运动状态的规律的表征，其特点是： （1）信息源于物质运动，又不是物质和运动；（2）信息具有知识的秉性，是任何一个系统的组织程度和有序程度的标志；（3）只有变化着的事物和运动着的客体才会有信息，孤立静止的客体或永不改变的事物不会有信息；（4）信息不遵守物质和能量的“守恒与转化定律”, 同样的信息，大家可以共同使用，信息不会减少，相同的信息，能够用不同物质载体进行传播，同一种物质，也可以携带不同的信息，信息不会变化。信息论是一门研究信息传输和信息处理系统中一般规律的学科。香农在他的《通讯的数学理论》中明确提出：“通讯的基本问题是在通讯的一端精确地或近似地复现另一端所挑选的消息。”信息是“人们在选择一条消息时选择的自由度的量度”。消息所带的信息可以解释为负熵，即概率的负对数。威沃尔指出，‘信息’一词在此理论中只在一种专门的意义上加以使用，我们一定不要把它和其通常用法混淆起来”。也就是说，这里的信息不是我们通常使用的概念（各种消息、情报和资料的总称），而是一个变量，它表示信息量的大小。而信息量则是某种不确定性趋向确定的一种量度，消息的可能性越大，信息就越少。如果一个系统是有序的，它不具有很高的混乱度或选择度，其信息（或熵）是低的。信息论是一门用数理统计方法来研究信息的度量、传递和变换规律的科学。它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。 信息论的研究范围极为广阔。一般把信息论分成三种不同类型： (1)狭义信息论是一门应用数理统计方法来研究信息处理和信息传递的科学。它研究存在于通讯和控制系统中普遍存在着的信息传递的共同规律，以及如何提高各信息传输系统的有效性和可靠性的一门通讯理论。 (2)一般信息论主要是研究通讯问题，但还包括噪声理论、信号滤波与预测、调制与信息处理等问题。(3)广义信息论不仅包括狭义信息论和一般信息论的问题，而且还包括所有与信息有关的领域，如心理学、语言学、神经心理学、语义学等。信息有以下性质：客观性、广泛性、完整性、专一性。首先，信息是客观存在的，它不是由意志所决定的，但它与人类思想有着必然联系。同时，信息又是广泛存在的，四维空间被大量信息子所充斥。信息的一个重要性质是完整性，每个信息子不能决定任何事件，须有两个或两个以上的信息子规则排布为完整的信息，其释放的能量才足以使确定事件发生。信息还有专一性,每个信息决定一个确定事件，但相似事件的信息也有相似之处，其原因的解释需要信息子种类与排布密码理论的进一步发现。信息论是一门具有高度概括性、综合性，应用广泛的边缘学科。信息论是信息科学的理论基础，它是一门应用数理统计方法研究信息传输和信息处理的科学，是利用数学方法来研究信息的计量、传递、交换和储存的科学。随着科学技术的发展，信息论研究范围远远超出了通信及类似的学科，已延伸到生物学、生理学、人类学、物理学、化学、电子学、语言学、经济学和管理学等学科。（二）信息论发展历史香农被称为是“信息论之父”。人们通常将香农于1948年10月发表于《贝尔系统技术学报》上的论文《A Mathematical Theory of Communication》（通信的数学理论）作为现代信息论研究的开端。1984年贝尔研究所的香农在题为《通讯的数学理论》的论文中系统地提出了关于信息的论述，创立了信息论。维纳提出的关于度量信息量的数学公式开辟了信息论的广泛应用前景。1951年美国无线电工程学会承认信息论这门学科，此后得到迅速发展。20世纪50年代是信息论向各门学科冲击的时期，60年代信息论不是重大的创新时期，而是一个消化、理解的时期，是在已有的基础上进行重大建设的时期。研究重点是信息和信源编码问题。到70年代，由于数字计算机的广泛应用，通讯系统的能力也有很大提高，如何更有效地利用和处理信息，成为日益迫切的问题。人们越来越认识到信息的重要性，认识到信息可以作为与材料和能源一样的资源而加以充分利用和共享。信息的概念和方法已广泛渗透到各个科学领域，它迫切要求突破香农信息论的狭隘范围，以便使它能成为人类各种活动中所碰到的信息问题的基础理论，从而推动其他许多新兴学科进一步发展。目前，人们已把早先建立的有关信息的规律与理论广泛应用于物理学、化学、生物学等学科中去。一门研究信息的产生、获取、变换、传输、存储、处理、显示、识别和利用的信息科学正在形成。香农把“熵”这个概念引入信息的度量。1965年法国物理学家克劳修斯首次提出这一概念，后来这一概念由19世纪奥地利物理学家L.玻尔茨曼正式提出。信息论和控制论又赋予了“熵”更新更宽的含义。 熵是一个系统的不确定性或无序的程度，系统的紊乱程度越高，熵就越大；反之，系统越有序，熵就越小。控制论创始人维纳曾说：“一个系统的熵就是它的无组织程度的度量。”熵这个概念与信息联系在一起后，获得这样的思路：信息的获得永远意味着熵的减少，要使紊乱的系统（熵大的系统）有序化（减少熵）就需要有信息，当一个系统获得信息后，无序状态减少或消除（熵减少）；而如果信息丢失了，则系统的紊乱程度增加。一个系统有序程度越高，则熵就越小，所含信息量就越大，反之无序程度越高，则熵越大，信息量就越小，信息与熵是互补的，信息就是负熵，两者互为负值。 信息量=系统状态原有的熵-系统状态确定后的熵 电讯系统不存在功能性因素，即人的主观能动因素，因此不能照搬，但对计算社会信息的量，仍有参考价值。如研究新闻的信息量时就非常有意义。一则新闻讯息中所含信息量的大小是不确定程度的大小决定的，能够最大限度地消除人们对新闻事件认识上的不确定性的讯息，信息量就大，而不能减少受众对新闻事件的认识的不确定的，信息量就小，这与讯息的长度、字数和篇幅无关，不是版面大小、字数多寡、“本报讯”多少就能说明信息的大小的。信息科学是人们在对信息的认识与利用不断扩大的过程中，在信息论、电子学、计算机科学、人工智能、系统工程学、自动化技术等多学科基础上发展起来的一门边缘性新学科。它的任务主要是研究信息的性质，研究机器、生物和人类关于各种信息的获取、变换、传输、处理、利用和控制的一般规律，设计和研制各种信息机器和控制设备，实现操作自动化，以便尽可能地把人脑从自然力的束缚下解放出来，提高人类认识世界和改造世界的能力。信息科学在安全问题的研究中也有着重要应用。1949年，香农和韦弗提出了有关传播的数学模式。 信源—>消息—>编码—>信号—>信道—>信号+噪声—>译码—>消息—>信宿 噪声—>信道 对上图的概念解释如下： 信源：信源就是信息的来源，可以是人、机器、自然界的物体等等。信源发出信息的时候，一般以某种讯息的方式表现出来，可以是符号，如文字、语言等，也可以是信号，如图像、声响等等。 编码：编码就是把信息变换成讯息的过程，这是按一定的符号、信号规则进行的。按规则将信息的意义用符码编排起来的过程就是编码过程，这种编码通常被认为是编码的第一部分。编码的第二部分则是针对传播的信道，把编制好的符码又变换成适于信道中传输的信号序列，以便于在信道中传递，如声音信号、电信号、光信号等等。如信息源产生的原始讯息是一篇文章，用电报传递的时候，就要经过编码，转换成电报密码的信号，然后才能经过信道传播。 信道：就是信息传递的通道，是将信号进行传输、存储和处理的媒介。信道的关键问题是它的容量大小，要求以最大的速率传送最大的信息量。 噪音：是指信息传递中的干扰，将对信息的发送与接受产生影响，使两者的信息意义发生改变。 译码：是对信息进行与编码过程相反的变换过程，就是把信号转换为讯息，如文字、语言等，这是第一步。第二步译码则是指将讯息还原为信息意义的过程。 信宿：是信息的接受者，可以是人也可以是机器，如收音机、电视机等。作为方法论，香农的这一信息系统模式可以被适用于许多系统，如通信系统、管理系统、社会系统等。传播学学者对这一模式进行改造之后，成为表述人类信息传播的基本模式之一，成为传播学领域最基本的研究范式，而信源、编码、译码、信宿等概念也成为传播学研究的基本概念。 香农的信息论为传播学领域提供了基本的范式，它使以前模糊的信息概念变得在数学上可以操纵。香农的信息论与维纳的控制论是相互影响的，维纳也是最早认识信息论价值的学者，并与香农共同发明了有关信息的熵度量法则。
分类: 社会/文化 >> 历史人物 问题描述: 香农的身世和他所做出的贡献 解析: 这里的资料是我看下来比较全的 香农 克劳德·香农(Claude Elwood Shannon，1916-2001)1916年4月30日诞生于美国密西根州的Petoskey。在Gaylord小镇长大，当时镇里只有三千居民。父亲是该镇的法官，他们父子的姓名完全相同，都是Claude Elwood Shannon。母亲是镇里的中学校长，姓名是Mabel Wolf Shannon。他生长在一个有良好教育的环境，不过父母给他的科学影响好像还不如祖父的影响大。香农的祖父是一位农场主兼发明家，发明过洗衣机和许多农业机械，这对香农的影响比较直接。此外，香农的家庭与大发明家爱迪生(Thomas Alva Edison，1847-1931)还有远亲关系。香农的大部分时间是在贝尔实验室和MIT(麻省理工学院)度过的。在“功成名就”后，香农与玛丽(Mary Elizabeth Moore)1949年3月27日结婚，他们是在贝尔实验室相识的，玛丽当时是数据分析员。他们共有四个孩子：三个儿子Robert、James、Andrew Moore和一个女儿Margarita Catherine。后来身边还有两个可爱的孙女。 2001年2月24日，香农在马萨诸塞州Medford辞世，享年85岁。贝尔实验室和MIT发表的讣告都尊崇香农为信息论及数字通信时代的奠基之父。 1936年香农在密西根大学获得数学与电气工程学士学位，然后进入MIT念研究生。 1938年香农在MIT获得电气工程硕士学位，硕士论文题目是《A Symbolic Analysis of Relay and Switching Circuits》(继电器与开关电路的符号分析)。当时他已经注意到电话交换电路与布尔代数之间的类似性，即把布尔代数的“真”与“假”和电路系统的“开”与“关”对应起来，并用1和0表示。于是他用布尔代数分析并优化开关电路，这就奠定了数字电路的理论基?9鸫笱У馁さ悄?Howard Gardner)教授说，“这可能是本世纪最重要、最著名的一篇硕士论文。” 1940年香农在MIT获得数学博士学位，而他的博士论文却是关于人类遗传学的，题目是《An Algebra for Theoretical Geics》(理论遗传学的代数学)。这说明香农的科学兴趣十分广泛，后来他在不同的学科方面发表过许多有影响的文章。 在读学位的同时，他还用部分时间跟温尼法·布什(Vannevar Bush)教授进行微分分析器的研究。这种分析器是早期的机械模拟计算机，用于获得常微分方程的数值解。1941年香农发表了《Mathematical theory of the differential *** yzer》(微分分析器的数学理论)，他写道：“大多数结果通过证明的定理形式给出。最重要的是处理了一些条件，有些条件可以生成一个或多个变量的函数，有些条件可使常微分方程得到解。还给出了一些注意事项，给出求函数的近似值(不能产生精确值)、求调整率的近似值以及自动控制速率的方法。” 1941年香农以数学研究员的身份进入新泽西州的AT&T贝尔电话公司，并在贝尔实验室工作到1972年，从24岁到55岁，整整31年。1956年他当了MIT的访问教授，1958年成为正式教授，1978年退休。 人们描述香农的生活，白天他总是关起门来工作，晚上则骑着他的独轮车来到贝尔实验室。他的同事D. Slepian写到：“我们大家都带着午饭来上班，饭后在黑板上玩玩数学游戏，但克劳德很少过来。他总是关起门来工作。但是，如果你要找他，他会非常耐心地帮助你。他能立刻抓住问题的本质。他真是一位天才，在我认识的人中，我只对他一人使用这个词。” 香农与John Riordan一起工作，1942年发表了一篇关于串并联网络的双终端数的论文。这篇论文扩展了麦克马洪(Percy A. MacMahon，1854-1929)1892年在Electrician上发表的论文理论。1948年则创立了信息论(information theory)。 在漫长的岁月，他思考过许多问题。除在普林斯顿高等研究院工作过一年外，主要都在MIT和Bell Lab度过。需要说明的是，在二次世界大战时，香农博士也是一位著名的密码破译者(这使笔者想到比他大4岁的图灵博士)。他在Bell Lab的破译团队主要是追踪德国飞机和火箭，尤其是在德国火箭对英国进行闪电战时起了很大作用。1949年香农发表了另外一篇重要论文《Communication Theory of Secrecy Systems》(保密系统的通信理论)，正是基于这种工作实践，它的意义是使保密通信由艺术变成科学。 1948年香农在Bell System Technical Journal上发表了《A Mathematical Theory of Communication 》。论文由香农和威沃共同署名。前辈威沃(Warren Weaver，1894-1978)当时是洛克菲勒基金会自然科学部的主任，他为文章写了序言。后来，香农仍然从事技术工作，而威沃则研究信息论的哲学问题。顺便提一句，该论文刚发表时，使用的是不定冠词A，收入论文集时改为定冠词The。 熵的概念 香农理论的重要特征是熵(entropy)的概念，他证明熵与信息内容的不确定程度有等价关系。熵曾经是波尔兹曼在热力学第二定律引入的概念，我们可以把它理解为分子运动的混乱度。信息熵也有类似意义，例如在中文信息处理时，汉字的静态平均信息熵比较大，中文是9.65比特，英文是4.03比特。这表明中文的复杂程度高于英文，反映了中文词义丰富、行文简练，但处理难度也大。信息熵大，意味着不确定性也大。因此我们应该深入研究，以寻求中文信息处理的深层突破。不能盲目认为汉字是世界上最优美的文字，从而引申出汉字最容易处理的错误结论。 众所周知，质量、能量和信息量是三个非常重要的量。 人们很早就知道用秤或者天平计量物质的质量大?H欢颐枪赜谌取⑷剂稀⒐τ肽艿募屏课侍猓僦?9世纪中叶，随着热功当量的明确和能量守恒定律的建立才逐渐清楚。能量一词就是它们的总称，而能量的计量则通过“卡、焦耳”等新单位的出现而得到解决。 然而，关于文字、数字、图画、声音的知识已有几千年历史了。但是它们的总称是什么，它们如何统一地计量，直到19世纪末还没有被正确地提出来，更谈不上如何去解决了。20世纪初期，随着电报、电话、照片、电视、无线电、雷达等的发展，如何计量信号中信息量的问题被隐约地提上日程。 1928年哈特利(R.V. H. Harley)考虑到从D个彼此不同的符号中取出N个符号并且组成一个“词”的问题。如果各个符号出现的概率相同，而且是完全随机选取的，就可以得到DN个不同的词。从这些词里取了特定的一个就对应一个信息量I。哈特利建议用N log D这个量表示信息量，即I=N log D 。这里的log表示以10为底的对数。后来，1949年控制论的创始人维纳也研究了度量信息的问题，还把它引向热力学第二定律。 但是就信息传输给出基本数学模型的核心人物还是香农。1948年香农长达数十页的论文“通信的数学理论”成了信息论正式诞生的里程碑。在他的通信数学模型中，清楚地提出信息的度量问题，他把哈特利的公式扩大到概率pi不同的情况，得到了著名的计算信息熵H的公式： H=∑-pi log pi 如果计算中的对数log是以2为底的，那么计算出来的信息熵就以比特(bit)为单位。今天在电脑和通信中广泛使用的字节(Byte)、KB、MB、GB等词都是从比特演化而来。“比特”的出现标志着人类知道了如何计量信息量。香农的信息论为明确什么是信息量概念作出决定性的贡献。 事实上，香农最初的动机是把电话中的噪音除掉，他给出通信速率的上限，这个结论首先用在电话上，后来用到光纤，现在又用在无线通信上。我们今天能够清晰地打越洋电话或卫星电话，都与通信信道质量的改善密切相关。 克劳德·香农在公众中并不特别知名，但他是使我们的世界能进行立即通信的少数科学家和思想家之一。他是美国科学院院士、美国工程院院士、英国皇家学会会员、美国哲学学会会员。他获得过许多荣誉和奖励。例如1949年Morris奖、1955年Ballantine奖、1962年Kelly奖、1966年的国家科学奖章、IEEE的荣誉奖章、1978年Jaquard奖、1983年Fritz奖、1985年基础科学京都奖。他接受的荣誉学位不胜枚举，不再赘述。 今天，我们怀念香农，要熟悉他的两大贡献：一是信息理论、信息熵的概念；另一是符号逻辑和开关理论。我们更应该学习他好奇心强、重视实践、追求完美、永不满足的科学精神，这是他获得成功的重要经验。
信息论的创始人香农，1916年生于美国，大学时代在美国密执安大学和麻省理工学院学习，修过布尔代数课，并曾在发明微分分析仪的数学家布什的指导下使用微分分析仪，这使他对继电器电路的分析产生兴趣。他认为这些电路的设计可用符号逻辑来实现，并意识到分析继电器的有效数学工具正是布尔代数。1938年，香农发表了著名的论文《继电器和开关电路的符号分析》，首次用布尔代数进行开关电路分析，并证明布尔代数的逻辑运算，可以通过继电器电路来实现，明确地给出了实现加、减、乘、除等运算的电子电路的设计方法。这篇论文成为开关电路理论的开端。后来，香农到贝尔实验室工作，他进一步证明了可以采用能实现布尔代数运算的继电器或电子元件来制造计算机，香农的理论还为计算机具有逻辑功能奠定了基础，从而使电子计算机既能用于数值计算，又具有各种非数值应用功能，使得以后的计算机在几乎任何领域中都得到了广泛的应用。相片传真机
相片传真机是一种用于传送包括黑和白在内的全部光密度范围的连续色调图像，并用照相记录法复制出符合一定色调密度要求的副本的传真机。相片传真机主要适合于新闻、公安、部队、医疗等部门使用。
这帖子里自己看
伯尔赫斯·弗雷德里克·斯金纳（Burrhus Frederic Skinner，1904—1990），美国心理学家，新行为主义学习理论的创始人，也是新行为主义的主要代表。1904年3月20日出生于美国宾夕法尼亚州萨斯奎汉纳，1990年8月18日逝世于马萨诸塞州坎布里奇。斯金纳引入了操作条件性刺激。著有《沃尔登第二》（Walden Two，也译《桃源二村》）、《超越自由与尊严》（Beyond Freedom and Dignity）等。斯金纳（B.F.Skinner.1904-1990)，美国行为主义心理学家，新行为主义的代表人物，操作性条件反射理论的奠基者。他创制了研究动物学习活动的仪器――斯金纳箱。1950年当选为国家科学院院士，1958年获美国心理学会颁发的杰出科学贡献奖，1968年获美国总统颁发的最高科学荣誉――国家科学奖。斯金纳1904年生于宾夕法尼亚州的一个小镇，父亲是当地的律师，他从小就爱制作各种小玩艺，成为行为主义心理学家后，又发明并改造了很多动物实验的装置。在中学和大学期间，他曾立志当一名作家，并曾获得希腊文特别奖，他曾经试图进行文学创作，但很快，他就发现无论是自己还是其他作家对人的行为的理解都少得可怜，为了更深入的理解人的行为，他转向了心理学。在哈佛大学攻读心理学硕士的时候，他受到了行为主义心理学的吸引，成为了一名彻头彻尾的行为主义者，从此开始了他一生的心理学家生涯。他在华生等人的基础上向前迈进了一大步，提出了有别于巴甫洛夫的条件反射的另一种条件反射行为，并将二者做了区分，在此基础上提出了自己的行为主义理论——操作性条件反射理论。他长期致力于研究鸽子和老鼠的操作性条件反射行为，提出了“及时强化”的概念以及强化的时间规律，形成了自己的一套理论。斯金纳的签名斯金纳在美国公众中的名声远比在心理学界的名声大得多，一位崇拜者写道：“（斯金纳）是一个神话中的著名人物......科学家英雄，普罗米修斯式的播火者，技艺高超的技术专家......敢于打破偶像的人，不畏权威的人，他解放了我们的思想，从而脱离了古代的局限。”这些话虽然有些夸张，但斯金纳在心理学界的贡献仍然是不可磨灭的。斯金纳（Burrhus Frederic Skinner，1904—1990）是新行为主义心理学的创始人之一。他1904年3月20日生于美国宾夕法尼亚州东北部的一个车站小镇。斯金纳从小喜爱发明创造，富有冒险精神。他15岁时曾与几个小伙伴驾独木舟沿河而下，漂流300英里。他还试制过简易滑翔机，曾把一台废锅炉改造成一门蒸汽炮，把土豆和萝卜当炮弹射到邻居的屋顶上。1922年斯金纳进入汉密尔顿学院主修英国文学并开始从事写作。由于他对动物和人类的行为深感兴趣，因此他曾选修过生物学、胚胎学和猫体解剖等学科。在生物学教师的指导下他阅读了洛布的《脑生理学和比较心理学》、巴甫洛夫的《条件反射》等科学著作，还阅读了罗素的《哲学原理》、华生的《行为主义》。这些著作对他日后的学术成就产生了巨大影响。1926年斯金纳从汉密尔顿学院毕业，转入哈佛大学心理系。在哈佛大学学习期间，他为自己制定了一张极严格的日程表，从早晨6点至晚上9点的分分秒秒几乎都用来钻研心理学和生理学。他不看电影不看戏，谢绝一切约会。功夫不负有心人，斯金纳于1930年获哈佛大学心理学硕士学位，1931年又获心理学博士学位。此后他在该校研究院任研究员。1937～1945年他在明尼苏达州立大学教心理学，1945～1947年任印第安那大学心理系主任。1947年他重返哈佛大学，担任心理学系的终身教授，从事行为及其控制的实验研究。伯尔赫斯·弗雷德里克·斯金纳斯金纳在纽约读中学，到1926伯尔赫斯·弗雷德里克·斯金纳年为止他在大学里学艺术和语言学。本来他想成为作家，但他只在报纸中发表了约十多篇文章。按他的女儿写的传记他是在这个时候读了伊万·巴甫洛夫和约翰·华生的著作的。因此他于1928年赴哈佛大学学心理学。当时哈佛大学刚刚建立了一个行为心理学的专业，这个专业的导师将动物看作是一个完整的整体，而不研究其内部。斯金纳被鼓励进行他自己的实验研究，他后来研制了一个非常简单而有效的研究动物行为的装置。直到今天心理学家依然使用这个装置来研究动物行为。斯金纳盒是一个笼子，笼子里有一个开关。试验动物需要学会一个技能，比如灯亮了就拨动开关。开关连到一支笔上，开关每被开一次，笔就向上方动一格，笔下是一个不断向前运动的纸，因此开关的位置决定纸上的曲线的倾斜度。假如纸上画的曲线的倾斜度非常大的话，则说明动物学得非常快。心理学研究伯尔赫斯·弗雷德里克·斯金纳斯金纳在心理学研究方面的成就卓著。他发展了巴甫洛夫和桑代克的研究，揭示了操作性条件反射的规律。他设计的用来研究操作性条件反射的实验装置 “斯金纳箱”，被世界各国心理学家和生物学家广泛采用。他在哈佛大学的鸽子实验室名垂青史。他根据对操作性条件反射和强化作用的研究发明了“教学机器”并设计 了“程序教学”方案，对美国教育产生过深刻影响，被誉为“教学机器之父”。为表彰斯金纳在心理科学方面作出的重大贡献，1958年美国心理学会授予他 “卓越科学贡献奖”，1968年他荣获美国国家科学奖章，这是美国最高级别的科学奖励。1971年美国心理学基金会授予他一枚金质奖章。1990年8月 10日美国心理学会授予他“心理学毕生贡献奖”荣誉证书。8天后，即8月18日斯金纳去世。主要著作斯金纳一生著作很多。自1930年以来发表了百余篇论文和12本专著。他的主要著作有：《有机体的行为：一种实验的分析》 《科学与人类行为》《言语行为》《学习的科学和教学的艺术》《教学机器》《强化时间表》。这些著作全面阐述了操作行为主义理论和这种理论在教学领域中的应用。他还用操作行为主义理论阐述社会生活问题，出版了小说《沃尔登第二》 以及《自由与人类的控制》《超越自由与尊严》。这些作品曾在美国社会中引起巨大反响和激烈争论。
这里的资料是我看下来比较全的香农克劳德·香农(Claude Elwood Shannon，1916-2001)1916年4月30日诞生于美国密西根州的Petoskey。在Gaylord小镇长大，当时镇里只有三千居民。父亲是该镇的法官，他们父子的姓名完全相同，都是Claude Elwood Shannon。母亲是镇里的中学校长，姓名是Mabel Wolf Shannon。他生长在一个有良好教育的环境，不过父母给他的科学影响好像还不如祖父的影响大。香农的祖父是一位农场主兼发明家，发明过洗衣机和许多农业机械，这对香农的影响比较直接。此外，香农的家庭与大发明家爱迪生(Thomas Alva Edison，1847-1931)还有远亲关系。香农的大部分时间是在贝尔实验室和MIT(麻省理工学院)度过的。在“功成名就”后，香农与玛丽(Mary Elizabeth Moore)1949年3月27日结婚，他们是在贝尔实验室相识的，玛丽当时是数据分析员。他们共有四个孩子：三个儿子Robert、James、Andrew Moore和一个女儿Margarita Catherine。后来身边还有两个可爱的孙女。2001年2月24日，香农在马萨诸塞州Medford辞世，享年85岁。贝尔实验室和MIT发表的讣告都尊崇香农为信息论及数字通信时代的奠基之父。1936年香农在密西根大学获得数学与电气工程学士学位，然后进入MIT念研究生。1938年香农在MIT获得电气工程硕士学位，硕士论文题目是《A Symbolic Analysis of Relay and Switching Circuits》(继电器与开关电路的符号分析)。当时他已经注意到电话交换电路与布尔代数之间的类似性，即把布尔代数的“真”与“假”和电路系统的“开”与“关”对应起来，并用1和0表示。于是他用布尔代数分析并优化开关电路，这就奠定了数字电路的理论基?9�鸫笱У馁さ悄?Howard Gardner)教授说，“这可能是本世纪最重要、最著名的一篇硕士论文。”1940年香农在MIT获得数学博士学位，而他的博士论文却是关于人类遗传学的，题目是《An Algebra for Theoretical Genetics》(理论遗传学的代数学)。这说明香农的科学兴趣十分广泛，后来他在不同的学科方面发表过许多有影响的文章。在读学位的同时，他还用部分时间跟温尼法·布什(Vannevar Bush)教授进行微分分析器的研究。这种分析器是早期的机械模拟计算机，用于获得常微分方程的数值解。1941年香农发表了《Mathematical theory of the differential analyzer》(微分分析器的数学理论)，他写道：“大多数结果通过证明的定理形式给出。最重要的是处理了一些条件，有些条件可以生成一个或多个变量的函数，有些条件可使常微分方程得到解。还给出了一些注意事项，给出求函数的近似值(不能产生精确值)、求调整率的近似值以及自动控制速率的方法。”1941年香农以数学研究员的身份进入新泽西州的AT&T贝尔电话公司，并在贝尔实验室工作到1972年，从24岁到55岁，整整31年。1956年他当了MIT的访问教授，1958年成为正式教授，1978年退休。人们描述香农的生活，白天他总是关起门来工作，晚上则骑着他的独轮车来到贝尔实验室。他的同事D. Slepian写到：“我们大家都带着午饭来上班，饭后在黑板上玩玩数学游戏，但克劳德很少过来。他总是关起门来工作。但是，如果你要找他，他会非常耐心地帮助你。他能立刻抓住问题的本质。他真是一位天才，在我认识的人中，我只对他一人使用这个词。”香农与John Riordan一起工作，1942年发表了一篇关于串并联网络的双终端数的论文。这篇论文扩展了麦克马洪(Percy A. MacMahon，1854-1929)1892年在Electrician上发表的论文理论。1948年则创立了信息论(information theory)。在漫长的岁月，他思考过许多问题。除在普林斯顿高等研究院工作过一年外，主要都在MIT和Bell Lab度过。需要说明的是，在二次世界大战时，香农博士也是一位著名的密码破译者(这使笔者想到比他大4岁的图灵博士)。他在Bell Lab的破译团队主要是追踪德国飞机和火箭，尤其是在德国火箭对英国进行闪电战时起了很大作用。1949年香农发表了另外一篇重要论文《Communication Theory of Secrecy Systems》(保密系统的通信理论)，正是基于这种工作实践，它的意义是使保密通信由艺术变成科学。1948年香农在Bell System Technical Journal上发表了《A Mathematical Theory of Communication 》。论文由香农和威沃共同署名。前辈威沃(Warren Weaver，1894-1978)当时是洛克菲勒基金会自然科学部的主任，他为文章写了序言。后来，香农仍然从事技术工作，而威沃则研究信息论的哲学问题。顺便提一句，该论文刚发表时，使用的是不定冠词A，收入论文集时改为定冠词The。熵的概念香农理论的重要特征是熵(entropy)的概念，他证明熵与信息内容的不确定程度有等价关系。熵曾经是波尔兹曼在热力学第二定律引入的概念，我们可以把它理解为分子运动的混乱度。信息熵也有类似意义，例如在中文信息处理时，汉字的静态平均信息熵比较大，中文是9.65比特，英文是4.03比特。这表明中文的复杂程度高于英文，反映了中文词义丰富、行文简练，但处理难度也大。信息熵大，意味着不确定性也大。因此我们应该深入研究，以寻求中文信息处理的深层突破。不能盲目认为汉字是世界上最优美的文字，从而引申出汉字最容易处理的错误结论。众所周知，质量、能量和信息量是三个非常重要的量。人们很早就知道用秤或者天平计量物质的质量大?H欢��颐枪赜谌取⑷剂稀⒐τ肽艿募屏课侍猓�僦?9世纪中叶，随着热功当量的明确和能量守恒定律的建立才逐渐清楚。能量一词就是它们的总称，而能量的计量则通过“卡、焦耳”等新单位的出现而得到解决。然而，关于文字、数字、图画、声音的知识已有几千年历史了。但是它们的总称是什么，它们如何统一地计量，直到19世纪末还没有被正确地提出来，更谈不上如何去解决了。20世纪初期，随着电报、电话、照片、电视、无线电、雷达等的发展，如何计量信号中信息量的问题被隐约地提上日程。1928年哈特利(R.V. H. Harley)考虑到从D个彼此不同的符号中取出N个符号并且组成一个“词”的问题。如果各个符号出现的概率相同，而且是完全随机选取的，就可以得到DN个不同的词。从这些词里取了特定的一个就对应一个信息量I。哈特利建议用N log D这个量表示信息量，即I=N log D 。这里的log表示以10为底的对数。后来，1949年控制论的创始人维纳也研究了度量信息的问题，还把它引向热力学第二定律。但是就信息传输给出基本数学模型的核心人物还是香农。1948年香农长达数十页的论文“通信的数学理论”成了信息论正式诞生的里程碑。在他的通信数学模型中，清楚地提出信息的度量问题，他把哈特利的公式扩大到概率pi不同的情况，得到了著名的计算信息熵H的公式：H=∑-pi log pi如果计算中的对数log是以2为底的，那么计算出来的信息熵就以比特(bit)为单位。今天在电脑和通信中广泛使用的字节(Byte)、KB、MB、GB等词都是从比特演化而来。“比特”的出现标志着人类知道了如何计量信息量。香农的信息论为明确什么是信息量概念作出决定性的贡献。事实上，香农最初的动机是把电话中的噪音除掉，他给出通信速率的上限，这个结论首先用在电话上，后来用到光纤，现在又用在无线通信上。我们今天能够清晰地打越洋电话或卫星电话，都与通信信道质量的改善密切相关。克劳德·香农在公众中并不特别知名，但他是使我们的世界能进行立即通信的少数科学家和思想家之一。他是美国科学院院士、美国工程院院士、英国皇家学会会员、美国哲学学会会员。他获得过许多荣誉和奖励。例如1949年Morris奖、1955年Ballantine奖、1962年Kelly奖、1966年的国家科学奖章、IEEE的荣誉奖章、1978年Jaquard奖、1983年Fritz奖、1985年基础科学京都奖。他接受的荣誉学位不胜枚举，不再赘述。今天，我们怀念香农，要熟悉他的两大贡献：一是信息理论、信息熵的概念；另一是符号逻辑和开关理论。我们更应该学习他好奇心强、重视实践、追求完美、永不满足的科学精神，这是他获得成功的重要经验。
科学在论创始人是美贝尔电话研究所的数学家香农（C.E.Shannon1916——），他为解决通讯技术中的信息编码问题，突破老框框，把发射信息和接收信息作为一个整体的通讯过程来研究，提出通讯系统的一般模型；同时建立了信息量的统计公式，奠定了信息论的理论基础。1948年申农发表的《通讯的数学理论》一文，成为信息论诞生的标志。 申农创立信息论，是在前人研究的基础上完成的。 在信息论的发展中，还有许多科学家对它做出了卓越的贡献。法国物理学家L.布里渊（L.Brillouin）1956年发表《科学与信息论》专著，从热力学和生命等许多方面探讨信息论，把热力学熵与信息熵直接联系起来，使热力学中争论了一个世纪之久的“麦克斯韦尔妖”的佯谬问题得到了满意的解释。英国神经生理学家（W.B.Ashby）1964年发表的《系统与信息》等文章，还把信息论推广应用于生物学和神经生理学领域，也成为信息论的重要著作。这些科学家们的研究，以及后来从经济、管理和社会的各个部门对信息论的研究，使信息论远远地超越了通讯的范围。因此，信息论可以分成两种：狭义信息论与广义信息论。 狭义信息论是关于通讯技术的理论，它是以数学方法研究通讯技术中关于信息的传输和变换规律的一门科学。广义信息论，则超出了通讯技术的范围来研究信息问题，它以各种系统、各门科学中的信息为对象，广泛地研究信息的本质和特点，以及信息的取得、计量、传输、储存、处理、控制和利用的一般规律。显然，广义信息论包括了狭义信息论的内容，但其研究范围却比通讯领域广泛得多，是狭义信息论在各个领域的应用和推广，因此，它的规律也更一般化，适用于各个领域，所以它是一门横断学科。广义信息论，人们也称它为信息科学。关于信息的本质和特点，是信息论研究的首要内容和解决其它问题的前提。信息是什么？迄今为止还没有一个公认的定义。 英文信息一词（Information）的含义是情报、资料、消息、报导、知识的意思。所以长期以来人们就把信息看作是消息的同义语，简单地把信息定义为能够带来新内容、新知识的消息。但是后来发现信息的含义要比消息、情报的含义广泛得多，不仅消息、情报是信息，指令、代码、符号语言、文字等，一切含有内容的信号都是信息。哈特莱第一次把消息、情报、信号、语言等等都是信息的载体，而信息则是它们荷载着的内容。但是信息到底是什么呢？申农的狭义信息论第一个给予信息以科学定义：信息是人们对事物了解的不确定性的消除或减少。这是从通讯角度上下的定义，即信源发出了某种情况的不了解的状态，即消除了不定性。并且用概率统计数学方法，来度量为定性被消除的量的大小：H（x）为信息熵，是信源整体的平均不定度。而信息I（p）是从信宿角度代表收到信息后消除不定性的程度，也就是获得新知识的量，所以它只不在信源发出的信息熵被信宿收到后才有意义。在排除干扰的理想情况下，信源发出的信号与信宿接收的信号一一对应，H（x）与I（p）二者相等。所以信息熵的公式也就是信息量的分式。式中的k是一个选择单位的常数，当对数以2为底时，单位称比特（bit）,信息熵是l0g2=1比特。 在申农寻信息量定名称时，数学家冯.诺依曼建议称为熵，理由是不定性函数在统计力学中已经用在熵下面了。在热力学中熵是物质系统状态的一个函数，它表示微观粒子之间无规则的排列程度，即表示系统的紊乱度，维纳说：“信息量的概念非常自然地从属于统计学的一个古典概念——熵。正如一个系统中的信息量是它的组织化程度的度量，一个系统的熵就是它的无组织程度的度量；这一个正好是那一个的负数。”这说明信息与熵是一个相反的量，信息是负熵，所以在信息熵的公式中有负号，它表示系统获得后无序状态的减少或消除，即消除不定性的大小。 信息一般具有如下一些特征：1可识别；2可转换；3可传递；4可加工处理；5可多次利用（无损耗性）；6在流通中扩充；7主客体二重性。信息是物质相互作用的一种属性，涉及主客体双方；信息表征信源客体存在方式和运动状态的特性，所以它具有客体性，绝对性；但接收者所获得的信息量和价值的大小，与信宿主体的背景有关表现了信息的主体性和相对性。8信息的能动性。信息的产生、存在和流通，依赖于物质和能量，没有物质和能量就没有能动作用。信息可以控制和支配物质与能量的流动。 信息论还研究信道的容量、消息的编码与调制的问题以及噪声与滤波的理论等方面的内容。信息论还研究语义信息、有效信息和模糊信息等方面的问题。广义信息论则把信息定义为物质在相互作用中表征外部情况的一种普遍属性，它是一种物质系统的特性以一定形式在另一种物质系统中的再现。信息概念具有普遍意义，它已经广泛地渗透到各个领域，信息科学是具有方法论性质的一门科学。信息方法具有普适性。 所谓信息方法就是运用信息观点，把事物看做是一个信息流动的系统，通过对信息流程的分析和处理，达到对事物复杂运动规律认识的一种科学方法。它的特点是撇开对象的具体运动形态，把它作为一个信息流通过程加以分析。信息方法着眼于信息，揭露了事物之间普遍存在的信息联系，对过去难于理解的现象从信息观点作出了科学的说明。信息论为控制论、自动化技术和现代化通讯技术奠定了理论基础，为研究大脑结构、遗传密码、生命系统和神经病理象开辟了新的途径，为管理的科学化和决策的科学批提供了思想武器。信息方法为认识当代以电子计算机和现代通讯技术为中心的新技术革命的浪潮，为认识论的研究和发展，将进一步提高人类认识与改造自然界的能力。