摘要：香农于1948年10月发表于《贝尔系统技术学报》上的论文《A Mathematical Theory of Communication》（通信的数学理论）作为现代信息论研究的开端。1984年贝尔研究所的香农在题为《通讯的数学理论》的论文中系统地提出了关于信息的论述，创立了信息论。信息论主要研究信息的本质和度量方法。它是系统论和控制论的理论基础，也是信息科学的理论基础。关键字：信息概念，熵，美国数学家香农参考书目：1。《信息论》 南丰公益书院； 2．《安全科学技术百科全书》（中国劳动社会保障出版社，2003年6月出版）；3．《安全工程大辞典》（化学工业出版社，1995年11月出版）(安全文化网)；4．部分资料摘取自互联网。（一）信息的内涵1948—1949年，美国数学家香农（C.E.Shannon）发表了《通信的数学理论》和《在噪声中的通信》两篇论文，提出了度量信息的数学公式，标志着信息论这门学科的诞生。信息论主要研究信息的本质和度量方法。它是系统论和控制论的理论基础，也是信息科学的理论基础。它是关于事物运动状态的规律的表征，其特点是： （1）信息源于物质运动，又不是物质和运动；（2）信息具有知识的秉性，是任何一个系统的组织程度和有序程度的标志；（3）只有变化着的事物和运动着的客体才会有信息，孤立静止的客体或永不改变的事物不会有信息；（4）信息不遵守物质和能量的“守恒与转化定律”, 同样的信息，大家可以共同使用，信息不会减少，相同的信息，能够用不同物质载体进行传播，同一种物质，也可以携带不同的信息，信息不会变化。信息论是一门研究信息传输和信息处理系统中一般规律的学科。香农在他的《通讯的数学理论》中明确提出：“通讯的基本问题是在通讯的一端精确地或近似地复现另一端所挑选的消息。”信息是“人们在选择一条消息时选择的自由度的量度”。消息所带的信息可以解释为负熵，即概率的负对数。威沃尔指出，‘信息’一词在此理论中只在一种专门的意义上加以使用，我们一定不要把它和其通常用法混淆起来”。也就是说，这里的信息不是我们通常使用的概念（各种消息、情报和资料的总称），而是一个变量，它表示信息量的大小。而信息量则是某种不确定性趋向确定的一种量度，消息的可能性越大，信息就越少。如果一个系统是有序的，它不具有很高的混乱度或选择度，其信息（或熵）是低的。信息论是一门用数理统计方法来研究信息的度量、传递和变换规律的科学。它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。 信息论的研究范围极为广阔。一般把信息论分成三种不同类型： (1)狭义信息论是一门应用数理统计方法来研究信息处理和信息传递的科学。它研究存在于通讯和控制系统中普遍存在着的信息传递的共同规律，以及如何提高各信息传输系统的有效性和可靠性的一门通讯理论。 (2)一般信息论主要是研究通讯问题，但还包括噪声理论、信号滤波与预测、调制与信息处理等问题。(3)广义信息论不仅包括狭义信息论和一般信息论的问题，而且还包括所有与信息有关的领域，如心理学、语言学、神经心理学、语义学等。信息有以下性质：客观性、广泛性、完整性、专一性。首先，信息是客观存在的，它不是由意志所决定的，但它与人类思想有着必然联系。同时，信息又是广泛存在的，四维空间被大量信息子所充斥。信息的一个重要性质是完整性，每个信息子不能决定任何事件，须有两个或两个以上的信息子规则排布为完整的信息，其释放的能量才足以使确定事件发生。信息还有专一性,每个信息决定一个确定事件，但相似事件的信息也有相似之处，其原因的解释需要信息子种类与排布密码理论的进一步发现。信息论是一门具有高度概括性、综合性，应用广泛的边缘学科。信息论是信息科学的理论基础，它是一门应用数理统计方法研究信息传输和信息处理的科学，是利用数学方法来研究信息的计量、传递、交换和储存的科学。随着科学技术的发展，信息论研究范围远远超出了通信及类似的学科，已延伸到生物学、生理学、人类学、物理学、化学、电子学、语言学、经济学和管理学等学科。（二）信息论发展历史香农被称为是“信息论之父”。人们通常将香农于1948年10月发表于《贝尔系统技术学报》上的论文《A Mathematical Theory of Communication》（通信的数学理论）作为现代信息论研究的开端。1984年贝尔研究所的香农在题为《通讯的数学理论》的论文中系统地提出了关于信息的论述，创立了信息论。维纳提出的关于度量信息量的数学公式开辟了信息论的广泛应用前景。1951年美国无线电工程学会承认信息论这门学科，此后得到迅速发展。20世纪50年代是信息论向各门学科冲击的时期，60年代信息论不是重大的创新时期，而是一个消化、理解的时期，是在已有的基础上进行重大建设的时期。研究重点是信息和信源编码问题。到70年代，由于数字计算机的广泛应用，通讯系统的能力也有很大提高，如何更有效地利用和处理信息，成为日益迫切的问题。人们越来越认识到信息的重要性，认识到信息可以作为与材料和能源一样的资源而加以充分利用和共享。信息的概念和方法已广泛渗透到各个科学领域，它迫切要求突破香农信息论的狭隘范围，以便使它能成为人类各种活动中所碰到的信息问题的基础理论，从而推动其他许多新兴学科进一步发展。目前，人们已把早先建立的有关信息的规律与理论广泛应用于物理学、化学、生物学等学科中去。一门研究信息的产生、获取、变换、传输、存储、处理、显示、识别和利用的信息科学正在形成。香农把“熵”这个概念引入信息的度量。1965年法国物理学家克劳修斯首次提出这一概念，后来这一概念由19世纪奥地利物理学家L.玻尔茨曼正式提出。信息论和控制论又赋予了“熵”更新更宽的含义。 熵是一个系统的不确定性或无序的程度，系统的紊乱程度越高，熵就越大；反之，系统越有序，熵就越小。控制论创始人维纳曾说：“一个系统的熵就是它的无组织程度的度量。”熵这个概念与信息联系在一起后，获得这样的思路：信息的获得永远意味着熵的减少，要使紊乱的系统（熵大的系统）有序化（减少熵）就需要有信息，当一个系统获得信息后，无序状态减少或消除（熵减少）；而如果信息丢失了，则系统的紊乱程度增加。一个系统有序程度越高，则熵就越小，所含信息量就越大，反之无序程度越高，则熵越大，信息量就越小，信息与熵是互补的，信息就是负熵，两者互为负值。 信息量=系统状态原有的熵-系统状态确定后的熵 电讯系统不存在功能性因素，即人的主观能动因素，因此不能照搬，但对计算社会信息的量，仍有参考价值。如研究新闻的信息量时就非常有意义。一则新闻讯息中所含信息量的大小是不确定程度的大小决定的，能够最大限度地消除人们对新闻事件认识上的不确定性的讯息，信息量就大，而不能减少受众对新闻事件的认识的不确定的，信息量就小，这与讯息的长度、字数和篇幅无关，不是版面大小、字数多寡、“本报讯”多少就能说明信息的大小的。信息科学是人们在对信息的认识与利用不断扩大的过程中，在信息论、电子学、计算机科学、人工智能、系统工程学、自动化技术等多学科基础上发展起来的一门边缘性新学科。它的任务主要是研究信息的性质，研究机器、生物和人类关于各种信息的获取、变换、传输、处理、利用和控制的一般规律，设计和研制各种信息机器和控制设备，实现操作自动化，以便尽可能地把人脑从自然力的束缚下解放出来，提高人类认识世界和改造世界的能力。信息科学在安全问题的研究中也有着重要应用。1949年，香农和韦弗提出了有关传播的数学模式。 信源—>消息—>编码—>信号—>信道—>信号+噪声—>译码—>消息—>信宿 噪声—>信道 对上图的概念解释如下： 信源：信源就是信息的来源，可以是人、机器、自然界的物体等等。信源发出信息的时候，一般以某种讯息的方式表现出来，可以是符号，如文字、语言等，也可以是信号，如图像、声响等等。 编码：编码就是把信息变换成讯息的过程，这是按一定的符号、信号规则进行的。按规则将信息的意义用符码编排起来的过程就是编码过程，这种编码通常被认为是编码的第一部分。编码的第二部分则是针对传播的信道，把编制好的符码又变换成适于信道中传输的信号序列，以便于在信道中传递，如声音信号、电信号、光信号等等。如信息源产生的原始讯息是一篇文章，用电报传递的时候，就要经过编码，转换成电报密码的信号，然后才能经过信道传播。 信道：就是信息传递的通道，是将信号进行传输、存储和处理的媒介。信道的关键问题是它的容量大小，要求以最大的速率传送最大的信息量。 噪音：是指信息传递中的干扰，将对信息的发送与接受产生影响，使两者的信息意义发生改变。 译码：是对信息进行与编码过程相反的变换过程，就是把信号转换为讯息，如文字、语言等，这是第一步。第二步译码则是指将讯息还原为信息意义的过程。 信宿：是信息的接受者，可以是人也可以是机器，如收音机、电视机等。作为方法论，香农的这一信息系统模式可以被适用于许多系统，如通信系统、管理系统、社会系统等。传播学学者对这一模式进行改造之后，成为表述人类信息传播的基本模式之一，成为传播学领域最基本的研究范式，而信源、编码、译码、信宿等概念也成为传播学研究的基本概念。 香农的信息论为传播学领域提供了基本的范式，它使以前模糊的信息概念变得在数学上可以操纵。香农的信息论与维纳的控制论是相互影响的，维纳也是最早认识信息论价值的学者，并与香农共同发明了有关信息的熵度量法则。
作为从业出版行业7年的人士，从我的经验来看；最容易发表这个问题就提得不对，为什么，因为不存在最容易发表的，每个期刊都有它的征稿范围、收稿方向，你的稿件如果研究有亮点、有干活，被这个期刊拒了，可能是它的收稿方向不符合，不是你文章不好，你只能找适合你的文章方向的期刊再投；所以是不存在容易发表的核心；核心期刊编辑每天会收到大量作者的投稿，中国学术研究的人这么多，作者投稿多，编辑的时间有限，所以首先会看你文章的题目和摘要是否有亮点、学术创新、以及是否符合本刊的收稿方向；如果不适合，就不会往下看了，直接pass ；另外有的期刊对作者单位、学历也有要求，例如必须硕士或副教授以上，否则也pass ；每个期刊都有它的规矩；还有很多很多审稿要求，不一一列举；但是万变不离其宗，你的稿子需要有创新点，比较新的知识，否则到哪里都会被嫌弃；包括我们推荐发表的稿子，或指导的稿子，质量都是很干活，给对应期刊的编辑打招呼，才能及时发表；所以如果你的稿子质量很差，即使走关系稿渠道也发不了的；打铁还需自身硬；当然还有一种，就是有的作者自己的稿子转让成果的，这种可以直接署名过来；目前计算机 发的比较多的，当然不一定是最好发的有 ；《计算机XX仿真》、《激光XX》、《现代电子技术XX》、计算机EI、计算机的 三区 四区的SCI等；祝你早日顺利发表，回答如果有用，可以给个赞，谢谢
有肯定是有的，因为别人文章好，当然好通过，但是核心可是最难发表的呢
核心 很好发，发了很多 计算机比如说，计算机仿真 这一本期刊
比较容易发的省级期刊：
1、医学类比较好发的省级期刊：《齐齐哈尔医学院学报》、《现代临床医学》、《大家健康》、《实用中西医结合临床》、《现代诊断与治疗》、《实用中医内科杂志》《岭南心血管病杂志》、《菏泽医学专科学校学报》、《中国民族民间医药》、《内蒙古中医药》、《医学信息》、《按摩与康复医学》。
2、经济类比较好发的省级期刊：《中外企业家》、《经济师》、《中国农业银行武汉培训学院学报》、《北方经贸》、《企业改革与管理》、《沿海科技与企业》、《北方经济》、《经营管理者》、《现代经济信息》、《商业经济》、《金融经济》、《投资与合作》、《时代经贸》、《新财经》等。
快速发表期刊论文
1、确定发表的期刊：期刊选择的时候可以通过查看CN/ISSN/邮发代号，还有数据库的收录、影响因子、期刊的级别等方面来参考，只有这些才能确保自己的论文是选择在正规期刊上发表的。
2、弄清楚期刊发表的时间：在期刊上发表论文时有的需要在规定的时间内发表才有效果，所以这个时候需要作者注意时间，毕竟有的学校或者单位需要论文录用证明，而有的则需要论文见刊或者在数据库中检索到才可以。
3、怎么快点发表自己的论文：自己发表的话可以到知网或者万方等数据库中找期刊，这些数据库中找到的期刊都是正规的，而且期刊中也含有一些联系方式，点进去可以查看，非常的简单方便。
找论文发表机构发表论文的话一定要核实清楚机构的信息是否真实，切莫去淘宝等地方选机构，否则一旦发生问题，最后自己得不偿失。总的来说，选择论文机构投稿是非常省心的，可以帮匹配到最合适的期刊，而且在找刊还有审核的速度上也都要快很多。
核心期刊，尽可能自己投，不要找中介，除非有确认的有关系才行。像一个中介一做做几十本核心期刊，不用考虑，100%是。我认识一个C刊的编辑，是经济类的，可以去杂志社直接和主编见面沟通或通过杂志社的主办的培训班才能发表，但需要有人引荐。当然了，其它的要求也比较高，要求副教授或博士，最好有省级以上课题。
我整理了一些热门期刊介绍；
一、 影响因子通过历年影响因子的变化，可以看出一本期刊稳定的水平区间。
二、发文量发文量的多少反应了期刊投稿的难度。而且，发文量还是影响因子的分母，如果没有特殊原因，发文量突然变大的期刊，后年的影响因子基本都会受影响。
三、版面费虽然可以报销，但对于一些资金较少的课题组，版面费的多少也是个重要的期刊选择指标。
四、论文发表网站不是万能很多作者想发表核心期刊，时间上卡得比较死，但是实在没办法通过正常投稿发表出去，于是想到了通过论文发表网站发表论文，且不说现在网上有很多，即便你找到了靠谱的论文发表网站，也并不是说，你给他们钱他们就能给你办好，一个是即便走特别渠道，也是要看论文质量，即便他们上手给你改稿子，也要审核，也是有退稿的可能。
所以，如果不是万不得已，不要找论文网站，尤其是学生，找他们发表费用比较贵，学生又没钱。如果实在避不开，没有其他办法了，那么建议你去淘淘论文网上阅读一些论文发表防知识，然后再去选择靠谱的机构发表论文。
大学生论文投稿的比较好的期刊如下：
1、意林杂志，是中国目前有影响力的杂志之一，意林的内容风格现实温暖，通常用一些故事和生活经历来吸引读者，在价值观的宣传上，意林强调励志和人文关怀。
2、读者杂志，是甘肃人民出版社主办的一份综合类文摘杂志，读者杂志发掘人性中的真善美，体现人文关怀，在刊物内容及形式方面与时俱进。
3、青年文摘杂志，由共青团中央主管、中国青年出版总社主办，是中国发行量最大的青年杂志，青年文摘杂志是一本以青少年为核心读者群的文摘类综合刊物。
投稿论文的好处：
1、首先就是在评职称的时候需要去发表论文，这是非常重要的一个环节，所以发表论文之后才能够去评职称，这也是最普遍的一种方式。
2、研究生毕业也需要发表论文，只有发表论文才能够完成学业，还有博士生都需要发表论文才可以。
3、医护人员，教师，还有科研院的一些工作人员企业员工等等，晋升高一级的职称都必须要通过发表期刊才能够完成，这也是一个必须要有的参考指标。
4、还有申报基金以及开新课题进行教育研究科技研究，等等很多的项目在开设之前都是需要去发表论文的。
国内物理电子学类期刊 2008-05-10 12:38:59 1、传感器技术（月刊） 本刊是信息产业部电子第四十九研究所主办的国家级综合技术刊物。该刊是中文核心期刊，是中国国际图书贸易总公司对外推荐的中文期刊，是《中国科学引文数据库》、《计量测试文摘》、《中国电子科技文摘》等的收录期刊。荣获第二届全国优秀科技期刊奖，中国期刊方阵双效期刊奖、电子工业部优秀科技期刊奖，信息产业部优秀科技期刊奖，黑龙江省优秀科技期刊奖。主要报道国内各类敏感元件，传感器及电子技术，科研成果及产品等，同时报道企业概况、人物介绍、行业活动、市场信息、技术信息、经济信息等。 主管单位：信息产业部 主办单位：信息产业部电子第四十九研究所 编辑单位：《传感器技术》编辑部 主 编：范茂军 主 任： 地 址：哈尔滨市南岗区一曼街29号（哈尔滨44信箱信息中心） 邮政编码：150001 电 话： 传 真： 电子邮件： 国内刊号：23-1300/TN 国际刊号：1000-9787 邮发代号：14-203 定 价：7.5 2、光学技术（双月刊） 本刊由国防科工委主管，中国兵工学会，北京理工大学，中国北方光电工业总公司联合主办，北京理工大学光电工程系和中国兵工学会光学学会承办，光学技术杂志社编辑出版的中央级学术类和技术类期刊。1975年创刊，现为双月刊，96页，大16开版本，每单月20日出版。国内邮发号为2-830，国外邮发号为4127BM。本刊杂志从1990年开始一直被美国工程索引（EI）列为固定的收录期刊，文章收录率一直为87%左右。本惠的发行范围较广，基本上覆盖了国内的整个光电行业。 主管单位：国防科工委 主办单位：中国兵工学会，北京理工大学，中国北方光电工业部公司 编辑单位：光学技术杂志编辑部 主 编：揭德尔 主 任： 地 址：北京市海淀区中关村南大街5号 邮政编码：100081 电 话：68471784 传 真：68412867 电子邮件： 国内刊号：11-1879/O4 国际刊号：1002-1582 邮发代号：2-830 定 价：15 3、电子显微学报（双月刊） 本刊由中国物理学会主办，电子显微镜分会承办。是国内惟一一份报道电子显微学和其它显微学新的研究成果和应用成果、新仪器研制生产及实验技术的双月刊。本学报及时反映电子显微学和其他显微学的新动态、新进展，及时报道利用电子显微学研究诸如生命科学（生物学、医学），材料科学（特别是新兴的纳米材料、薄膜材料）、化学化工、地质科学等所取得的高科技成果。《电子显微学报》报道的内容涵盖自然科学领域之广，为自然科学类期刊中仅见的学术期刊。 主管单位：中国科协 主办单位：中国物理学会 编辑单位：《电子显微学报》编辑部 主 编：姚骏恩 主 任：李宁春 地 址：北京2724信箱电子显微学报编辑部 邮政编码：100080 电 话： 传 真： 电子邮件： 国内刊号：11-2295/TN 国际刊号：1000-6281 邮发代号： 定 价：20 4、激光与红外（双月刊） 本刊是中国光学光电子行业协会、电子部激光与红外专业情报网、中国电子学会量子与光电子学分会的联合刊物，报道光电子技术领域的科技进展、新技术成果等。设有综述与评论、激光技术、红外技术、光电器件、光电材料、市场动态和文献信息等栏目。 主管单位：中华人民共和国信息产业部 主办单位：华北光电技术研究所 编辑单位：《激光与红外》编辑部 主 编：袁继俊 主 任：所洪涛 地 址：北京8511信箱（北京朝阳区、酒仙桥路4号） 邮政编码：100015 电 话：64362211-310 传 真： 电子邮件： 国内刊号：11-2436/TN 国际刊号：1001-5078 邮发代号：2-312 定 价：8 5、激光杂志（双月刊） 本刊是国家新闻出版局批准的国内外公开发行的刊物，以报导光电与激光技术为主的科技期刊。从1992上起被列为中国科技论文统计源刊物，所刊登论文被美国《EI》检索。 主管单位：重庆市科学技术委员会 主办单位：重庆市光学机械研究所 编辑单位：《激光杂志》编委会 主 编：程正学 主 任：刘凌云 地 址：重庆市石桥铺渝州路35号 邮政编码：400039 电 话： 传 真： 电子邮件： 国内刊号：50-1085/TN 国际刊号：0253-2743 邮发代号：78-9 定 价：10 6、激光技术（双月刊） 本刊是国家新委批准出版的全国性自然科学技术期刊，属国家级科学技术刊物。本刊从科学技术的角度反映激光在我国国防、工业、农业、生物、医学、通信及人们生活相应用，进展及成果，跟踪国外高技术发展；密切注视各国激光技术的研制状况和动态，为我国科研、教学、生产和应用提供最新信息。 主管单位：中国兵器工业总公司 主办单位：西南技术物理研究所 编辑单位：激光技术编委会 主 编：侯天晋 主 任：於祖兰 地 址：成都市238信箱209分箱 邮政编码：610041 电 话：-291 传 真： 电子邮件： 国内刊号：51-1125/TN 国际刊号：1001-3806 邮发代号：62-74 定 价：15 7、红外与毫米波学报（双月刊） 本学报由中国科学院主管，中科院上海技术物理研究所主办。主要刊登在红外物理、凝聚态光学地质、非线性光学、红外光电子学、红外与毫米波技术等方面有创新的论文、具有国内外先进水平的研究报告。并设置了交叉学科研究专栏。 主管单位：中国科学院 主办单位：中国光学学会 中国科学院上海技术物理所 编辑单位：《红外与毫米波学报》编辑委员会 主 编：褚君浩 主 任：糜正瑜 地 址：上海中山北一路420号 邮政编码：200083 电 话：-36323或36307 传 真： 电子邮件： 国内刊号：31-1577/TN 国际刊号：1001-9014 邮发代号：4-335 定 价：10 8、 光电工程（月刊） 本刊刊登内容包括工程光学和光电技术方面的学术论文和技术报告，主要有自适应光学，应用光学，微光学，光电捕获跟踪测量技术，光学设计，薄膜光学，自动控制，电视技术，激光技术，光刻，精密刻划和光电传感技术，光通信，光计算，以及光学方面的其它高新技术。 主管单位：中国科学院 主办单位：中国科学院光电技术研究所 编辑单位：《光电工程》编辑部 主 编：马佳光 主 任： 地 址：四川省成都市双流350信箱29分箱 邮政编码：610209 电 话： 传 真： 电子邮件： 国内刊号：51-1346/O4 国际刊号：1003-501X 邮发代号： 定 价：11 9、 激光与光电子学进展（月刊） 本刊由中科院上海光学精密机械研究所和国家惯性约束聚变委员会联合主办。旨在关注科技发展热点，报道高新技术前沿，追踪科技研发动态，介绍科学探索历程；展示最新科技产品，汇萃时尚科技讯息。 主管单位：中国科学院 主办单位：中国光学学会 中国科学院上海光学精密机械研究所 编辑单位：《激光与光电子学进展》编辑部 主 编：范滇元 主 任：陈秀娥 地 址：上海市嘉定清河路390号（上海市800-211信箱） 邮政编码：201800 电 话：,69918166 传 真： 电子邮件： 国内刊号：31-1690/TN 国际刊号：1006-4125 邮发代号：4-179 定 价：20 10、 光电子技术与信息（双月刊） 本刊为光电子学、光电子技术类科技双月刊。主要报道范围有激光技术(如激光加工、激光医学及其他激光应用技术)、红外技术、大气光学与环境光学、光学与光电探测技术、光纤通信与传感技术,以及光电子新材料、新器件和新技术探索等国内外光电子技术领域的研究现状、应用水平及最新进展。 主管单位：中国科学院 主办单位：中国科学院安徽光学精密机械研究所、中国光学学会光电技术专业委员会 编辑单位：《光电子技术与信息》编辑部 主 编：余吟山 主 任： 地 址：合肥市1125信箱 邮政编码：230031 电 话： 传 真： 电子邮件： 国内刊号：34-1138/TN 国际刊号：1006-1231 邮发代号：26-145 定 价：6 11、 中国光学快报（英文版）（月刊） 本刊是我国唯一全面反映激光领域最新成就的英文版专业学报类期刊。主要发表我国在激光、光学、材料应用及激光医学方面卓有成就的科学家的研究论文。 主管单位：中国科学院 主办单位：中国光学学会 编辑单位：《中国光学快报》编辑部 主 编：徐至展 主 任：颜严 地 址： 上海800-211信箱（上海喜定区清河路390号） 邮政编码：201800 电 话： 传 真： 电子邮件： 国内刊号：31-1890/O3 国际刊号：1671-7694 邮发代号：4-644 定 价：35 12、 中国激光（月刊） 本刊是我国唯一全面反映激光领域最新成就的专业学报类期刊。主要发表我国在激光、光学、材料应用及激光医学方面卓有成就的科学家的研究论文。涉及领域包括激光器件、新型激光器、非成性光学、激光在材料中的应用、激光及光纤技术在医学中的使用，锁模超短脉冲技术、精密光谱学、强光物理、量子光学、全息技术及光信息处理。 主管单位：中国科学院 主办单位：中国光学学会 编辑单位：《中国激光》编辑委员会 主 编：周炳琨 主 任：雷仕湛 地 址：上海市嘉定区清河路390号（上海800-211信箱） 邮政编码：201800 电 话： 传 真： 电子邮件： 国内刊号：31-1339/TN 国际刊号：0258-7025 邮发代号：4-201 定 价：25 13、量子电子学报（双月刊） 本刊主要刊登光学、激光以及光学的电子学交叉学科等量子电子学领域具有创新意义的研究成果。刊 物曾多次获搣中国光学期刊攠、搣华东地区优秀期刊攠及、搣安徽省优秀期刊攍och 奖。已被国际权威检索期刊《科学文摘》（SA）、《化学文摘》（CA）以及国内《中国科学引文数据库》、《中国期刊网》等收录。 主管单位：中国科学院 主办单位：中国光学学会基础光学专业委员会 编辑单位：《量子电子学报》编委会 主 编：龚和本 主 任：王广昌 地 址：合肥市1125邮政信箱 邮政编码：230031 电 话： 传 真： 电子邮件： 国内刊号：34-1163/TN 国际刊号：1007-5461 邮发代号：26-89 定 价：12 14、 光学与光电技术（双月刊） 本刊属无线电电子学电信技术类学术型刊物，是民用与军用相结合怕综合性光电技术信息载体，由中国船舶重工集团公司华中光电技术研究所与湖北省光学学会联合主办。 主管单位：湖北省科学技术协会 主办单位：华中光电技术研究所 湖北省光学学会 编辑单位：《光学与光电技术》编辑部 主 编：潘德彬 主 任：刘爱东 地 址：武汉市雄楚大街981号 邮政编码：430073 电 话：-2351 传 真： 电子邮件： 国内刊号：42-1696/O3 国际刊号：1672-3392 邮发代号： 定 价：10 15、 光电子技术（季刊） 本刊是由国家科委批准公开发行的学术类刊物，主要刊登国内外光电子技术领域的学术论文、研究报告和综述文章，及时报道该领域的新技术、新产品、新材料、新工艺及有关器件、整机的应用。 主管单位：信息产业部 主办单位：南京电子器件研究所 编辑单位：《光电子技术》编辑部 主 编：陈向真 主 任：刘广荣 地 址：南京中山东路524号（南京1601信箱） 邮政编码：210016 电 话：-5864 传 真： 电子邮件： 国内刊号：32-1347/TN 国际刊号：1005-488X 邮发代号： 定 价：8 16、 光电子穧激光（月刊） 本刊为专业技术性刊物。报道光电子、激光技术领域的研究成果，内容包括新型光电子器件、装置和材料、光电控制和检测、光存贮和光电信息处理、通讯和光纤应用技术光电集成技术、光计算和光学神经网络、激光加工和激光应用、光电生物医学等方面。 主管单位：天津市教育委员会 主办单位：国家自然科学基金委员会信息科学部 中国光学学会光电技术专业委员会 天津理工学院 编辑单位：《光电子穧激光》编辑部 主 编：巴恩旭 主 任：汪美林 地 址：天津杨南开区红旗南路263号 邮政编码：300191 电 话： 传 真： 电子邮件： 国内刊号：12-1182 国际刊号：1005-0086 邮发代号：6-123 定 价：10 17、应用激光（双月刊） 本刊1981年创刊，刊登激光技术在我国工业、农业、科研、医学等领域的应用文章，深受广大读者欢迎，1985年发行量达到4250册/期。成为同类刊物中发行量最大的期刊。《应用激光》论文被搣中国科技引文数据库攠选为引文源期刊，并被美国EI、德车FIZ选用。1996年《应用激光》列入全国搣影响因子攠最大的前五十种刊物之一。 管单位：上海科学院 主办单位：中国光学学会激光加工专业委员会 编辑单位：《应用激光》杂志社 主 编：王之江 主 任： 地 址：上海市宜山路770号 邮政编码：200233 电 话：-3401 传 真： 电子邮件： 国内刊号：31-1375 国际刊号：1000-372X 邮发代号：4-376 定 价：7.5 18、 西安电子科技大学学报（自然科学版）（双月刊） 本学报是信处科学与电子科学的学术理论刊物。被国内外多种重要检索系统收录，2000年再次被列为中文核心期刊。报道范围包括通信与信息工程，信号与信息处理，计算机科学与技术，机械制造与自动化，物理电子学，微电子学与固体电子学，电磁场与微波技术，应用数学，密码学，管理科学与工程等。 主管单位：教育部 主办单位：西安电子科技大学 编辑单位：《西安电子科技大学学报》编辑部 主 编：梁昌洪 主 任：李维东 地 址：西安市太白南路2号349信箱西安电子科技大学学报编辑部 邮政编码：710071 电 话： 传 真： 电子邮件： 国内刊号：61-1076/TN 国际刊号：1001-2400 邮发代号： 定 价：10 19、 电子科技大学学报（双月刊） 本学报是电子科技大学主办的由国家教育部主管的自然科学类期刊，是集创造性、学术性、科学性为一体的电子综合性刊物。主要刊登电子通信、电子测量、电视技术、生物电子学、雷达、电子对抗、遥感遥测、信息论、电磁场工程、天线、微波理论与技术、半导体物理与器件、电子材料与元件、电子机械、自动控制、电子物理与器件、激光与光纤技术、计算机科学与技术、管理科学、系统工程、数理化等基础科学理论和应用技术的学术论文；科研成果的学术性总结；新技术、新工艺的论述；国内外科技动态的综合评述；不同学术观点的争鸣等。 主管单位：国家教育部 主办单位：电子科技大学 编辑单位：《电子科技大学学报》编辑部 主 编：林为干 主 任：徐安玉 地 址：成都东郊建设北路 邮政编码：610054 电 话： 传 真： 电子邮件： 国内刊号：51-1207/T 国际刊号：1001-0548 邮发代号：62-34 定 价：5 20、光通信技术（月刊） 本刊为专业技术性刊物。报道光通信、光纤维传感技术在公用通信、专用通信和国防通信中的应用研究成果，包括系统与网络、光纤光缆与器件、光通信相关技术的开发及新技术新产品介绍等，还刊登专题讲座、厂商简介、书刊评价、人物专访、重大活动报道。读者对象为相关专业及部门的工程技术人员和管理人员。 主管单位：信息产业部 主办单位：信息产业部电子第34研究所 编辑单位：《光通信技术》编辑部 主 编：汤志强 主 任： 地 址：广西桂林市5号信箱 邮政编码：541004 电 话： 传 真： 电子邮件： 国内刊号：45-1160/TN 国际刊号：1002-5561 邮发代号：48-126 定 价：7 21、 光学精密工程（双月刊） 本杂志是中国科学院长春光学精密机械与物理研究所和中国仪器仪表学会精密机械分会主办的专业性学术期刊，由科学出版社出版。著名光学专家王大珩院士、唐九华院士担任顾问，陈星旦院士任编委会主任，中国科学院百人计划首批入选者、长春光机所所长，青年科学家曹建林博士担任主编。《光学精密工程》辟有综合评述、空间光学、图像处理、信息处理、纤维光学、微纳技术、精密机械、激光与技术、光学检验设备、光学以其余技术、测试技术及设备、信息光学、光电跟踪与自动控制、摄像技术及装置、光电技术及器件、光学工艺及设备、计算机应用与软件工程、光谱分析与光谱测量、激光测距与跟踪、摄像技术与装置、计算机辅助设计、薄膜光学、光衍射仪器与器件等专栏。 主管单位：中国科学院 主办单位：中国科学院长春光学精密机械与物理研究所 中国仪器仪表学会 编辑单位：《光学 精密工程》编辑委员会 主 编：曹健林 主 任：白雨虹 地 址：长春市东南湖大路16号 邮政编码：130033 电 话： 传 真： 电子邮件： 国内刊号：22-1198/TH 国际刊号：1004-924X 邮发代号：12-166 定 价：18 22、 光通信研究（双月刊） 本刊是武汉邮电科学研究院和烽火通信科技股份有限公司合办的技术类期刊。是我国最早的以高新科技光纤通信为内容的科技期刊，全国电信技术类中文核心期刊。主要刊载光纤通信网络、系统、设备、光纤光缆、光有源器件、光无源器件、仪器、仪表等领域的科研成果、应用等方面的学术论文以及与其有关的前沿学科。 主管单位：武汉邮电科学研究院 主办单位：武汉邮电科学研究院 编辑单位：烽火科技学院《光通信研究》编辑部 主 编：毛谦 主 任：程晓红 地 址：武汉市洪山区邮科院路88号 邮政编码：430074 电 话： 传 真： 电子邮件： 国内刊号：42-1266/TN 国际刊号：1005-8788 邮发代号： 定 价：8 23、 红外与激光工程（双月刊） 本刊由航天机电集团主管，国内外公开发行，是无线电电子学、电信技术类核心期刊。本刊主要包括红外、激光和光电技术在航天、卫星和战术导弹武器系统研究、设计和应用上有创见的学术论文和科研报告，各种新的光电技术实验方法和结果，新工艺、新材料、国内外先进光电技术方面的优秀论文及信息报导，本刊栏目多，内容丰富，可供从事光学与应用专业方面的科研、厂矿、企事业单位、各大专院校及部队有关人员阅读参考，亦可供国内外各大图书馆及信息部门收藏。 主管单位：中国航天科工集团 主办单位：中国宇航学会光电技术专业委员会 编辑单位：《红外与激光工程》编辑部 主 编：孙再龙 主 任：赵雪艳 地 址：天津市225信箱32分箱 邮政编码：300192 电 话： 传 真： 电子邮件： 国内刊号：12-1261/TN 国际刊号：1007-2276 邮发代号：6-133 定 价：10 24、华中科技大学学报（自然科学版）（月刊） 本刊为科学技术综合性学术刊物，国内外公开发行。主要刊登机械工程、电子技术、信息科学、材料 科学、能源技术、船舶与海洋工程、土木建筑、生物医学、管理科学、基础理论等学科的最新科研成果，其中，以机械科学、电子技术、计算机技术等为优势专业。 本刊为中国自然科学核心期刊和中国科学技术论文统计用刊源之一。目前，已被国内外30余家权威文摘期刊和重要数据库收录。 本刊先后荣获首届国家期刊奖、第二届国家期刊奖提名奖、第二届全国优秀科技期刊评比一等奖、全国高校自然科学学报系统及教育部优秀科技期刊评比一等奖、湖北省十大名刊等多项荣誉称号。 管单位：教育部 主办单位：华中科技大学 编辑单位：《华中科技大学学报》编辑部 主 编：樊明武 主 任： 地 址：武汉喻家山华中科技大学校内 邮政编码：430074 电 话： 传 真： 电子邮件： 国内刊号：42-1658/N 国际刊号：1671-4512 邮发代号：38-9 定 价：6 25、强激光与粒子束（月刊） 本刊主要报道我国激光与粒子束技术领域的基础理论、实验与应用研究的成果和最新进展。 内容涉及高功率激光（含高功率微波）与粒子束的产生、传输及其与物质的相互作。主要学科包括：强激光与粒子束物理，激光器与加速器技术，等离子体物理及惯性约束聚变等。 主管单位：四川省科协 主办单位：中国工程物理研究院 四川核学会 编辑单位：《强激光与粒子束》编辑部 主 编：杜祥琬 主 任： 地 址：四川绵阳919-805信箱 邮政编码：621900 电 话： 传 真： 电子邮件： 国内刊号：51-1311/O4 国际刊号：1001-4322 邮发代号：62-76 定 价：10 26、光学学报（月刊） 本学报是国内外公开发行的光学学术刊物，反映中国光学科技的新概念、新成果、新进展。内容主要包括量子光学、非线性光学、适应光学、纤维光学、激光与物质相互作用、激光器件、全息和信息处理、光学元件和材料等。为我国光学科技人员与国内外同行进行学术交流、开展学术讨论以跟踪学科前沿和发展我国光学事业服务。 主管单位：中国科学技术协会 主办单位：中国光学学会 编辑单位：中国光学学会《光学学报》编辑委员会 主 编：徐至展 主 任： 地 址：上海市嘉定区清河路390号（上海800-211信箱） 邮政编码：201800 电 话： 传 真： 电子邮件： 国内刊号：31-1252/04 国际刊号：0253-2239 邮发代号：4-293 定 价：25 上面可能有你感兴趣的
信息论 开放分类： 哲学、信息总述 （来源: 信息论 南丰公益书院 ）信息论 信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。香农被称为是“信息论之父”。人们通常将香农于1948年10月发表于《贝尔系统技术学报》上的论文《A Mathematical Theory of Communication》（通信的数学理论）作为现代信息论研究的开端。这一文章部分基于哈里·奈奎斯特和拉尔夫·哈特利先前的成果。在该文中，香农给出了信息熵（以下简称为“熵”）的定义：H = - ∑ pilogpi i 这一定义可以用来推算传递经二进制编码后的原信息所需的信道带宽。熵度量的是消息中所含的信息量，其中去除了由消息的固有结构所决定的部分，比如，语言结构的冗余性以及语言中字母、词的使用频度等统计特性。南丰公益书院信息论中熵的概念与物理学中的热力学熵有着紧密的联系。玻耳兹曼与吉布斯在统计物理学中对熵做了很多的工作。信息论中的熵也正是受之启发。互信息(Mutual Information)是另一有用的信息度量，它是指两个事件集合之间的相关性。两个事件X和Y的互信息定义为：I(X,Y) = H(X) + H(Y) - H(X,Y) 其中 H(X,Y) 是联合熵(Joint Entropy)，其定义为：H(X,Y) = - ∑ p(x,y)logp(x,y) x,y 互信息与多元对数似然比检验以及皮尔森χ2校验有着密切的联系。应用信息论被广泛应用在：南丰公益书院编码学 密码学与密码分析学 数据传输 数据压缩 检测理论 估计理论 信息论第一定律信息论是一门用数理统计方法来研究信息的度量、传递和变换规律的科学。它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。 信息论的研究范围极为广阔。一般把信息论分成三种不同类型： (1)狭义信息论是一门应用数理统计方法来研究信息处理和信息传递的科学。它研究存在于通讯和控制系统中普遍存在着的信息传递的共同规律，以及如何提高各信息传输系统的有效性和可靠性的一门通讯理论。 (2)一般信息论主要是研究通讯问题，但还包括噪声理论、信号滤波与预测、调制与信息处理等问题。 (3)广义信息论不仅包括狭义信息论和一般信息论的问题，而且还包括所有与信息有关的领域，如心理学、语言学、神经心理学、语义学等。 信息就是一种消息，它与通讯问题密切相关。1984年贝尔研究所的申农在题为《通讯的数学理论》的论文中系统地提出了关于信息的论述，创立了信息论。维纳提出的关于度量信息量的数学公式开辟了信息论的广泛应用前景。1951年美国无线电工程学会承认信息论这门学科，此后得到迅速发展。20世纪50年代是信息论向各门学科冲击的时期，60年代信息论不是重大的创新时期，而是一个消化、理解的时期，是在已有的基础上进行重大建设的时期。研究重点是信息和信源编码问题。到70年代，由于数字计算机的广泛应用，通讯系统的能力也有很大提高，如何更有效地利用和处理信息，成为日益迫切的问题。人们越来越认识到信息的重要性，认识到信息可以作为与材料和能源一样的资源而加以充分利用和共享。信息的概念和方法已广泛渗透到各个科学领域，它迫切要求突破申农信息论的狭隘范围，以便使它能成为人类各种活动中所碰到的信息问题的基础理论，从而推动其他许多新兴学科进一步发展。目前，人们已把早先建立的有关信息的规律与理论广泛应用于物理学、化学、生物学等学科中去。一门研究信息的产生、获取、变换、传输、存储、处理、显示、识别和利用的信息科学正在形成。 信息科学是人们在对信息的认识与利用不断扩大的过程中，在信息论、电子学、计算机科学、人工智能、系统工程学、自动化技术等多学科基础上发展起来的一门边缘性新学科。它的任务主要是研究信息的性质，研究机器、生物和人类关于各种信息的获取、变换、传输、处理、利用和控制的一般规律，设计和研制各种信息机器和控制设备，实现操作自动化，以便尽可能地把人脑从自然力的束缚下解放出来，提高人类认识世界和改造世界的能力。信息科学在安全问题的研究中也有着重要应用。 ——摘自《安全科学技术百科全书》（中国劳动社会保障出版社，2003年6月出版）
摘要：香农于1948年10月发表于《贝尔系统技术学报》上的论文《A Mathematical Theory of Communication》（通信的数学理论）作为现代信息论研究的开端。1984年贝尔研究所的香农在题为《通讯的数学理论》的论文中系统地提出了关于信息的论述，创立了信息论。信息论主要研究信息的本质和度量方法。它是系统论和控制论的理论基础，也是信息科学的理论基础。关键字：信息概念，熵，美国数学家香农参考书目：1。《信息论》 南丰公益书院； 2．《安全科学技术百科全书》（中国劳动社会保障出版社，2003年6月出版）；3．《安全工程大辞典》（化学工业出版社，1995年11月出版）(安全文化网)；4．部分资料摘取自互联网。（一）信息的内涵1948—1949年，美国数学家香农（C.E.Shannon）发表了《通信的数学理论》和《在噪声中的通信》两篇论文，提出了度量信息的数学公式，标志着信息论这门学科的诞生。信息论主要研究信息的本质和度量方法。它是系统论和控制论的理论基础，也是信息科学的理论基础。它是关于事物运动状态的规律的表征，其特点是： （1）信息源于物质运动，又不是物质和运动；（2）信息具有知识的秉性，是任何一个系统的组织程度和有序程度的标志；（3）只有变化着的事物和运动着的客体才会有信息，孤立静止的客体或永不改变的事物不会有信息；（4）信息不遵守物质和能量的“守恒与转化定律”, 同样的信息，大家可以共同使用，信息不会减少，相同的信息，能够用不同物质载体进行传播，同一种物质，也可以携带不同的信息，信息不会变化。信息论是一门研究信息传输和信息处理系统中一般规律的学科。香农在他的《通讯的数学理论》中明确提出：“通讯的基本问题是在通讯的一端精确地或近似地复现另一端所挑选的消息。”信息是“人们在选择一条消息时选择的自由度的量度”。消息所带的信息可以解释为负熵，即概率的负对数。威沃尔指出，‘信息’一词在此理论中只在一种专门的意义上加以使用，我们一定不要把它和其通常用法混淆起来”。也就是说，这里的信息不是我们通常使用的概念（各种消息、情报和资料的总称），而是一个变量，它表示信息量的大小。而信息量则是某种不确定性趋向确定的一种量度，消息的可能性越大，信息就越少。如果一个系统是有序的，它不具有很高的混乱度或选择度，其信息（或熵）是低的。信息论是一门用数理统计方法来研究信息的度量、传递和变换规律的科学。它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。 信息论的研究范围极为广阔。一般把信息论分成三种不同类型： (1)狭义信息论是一门应用数理统计方法来研究信息处理和信息传递的科学。它研究存在于通讯和控制系统中普遍存在着的信息传递的共同规律，以及如何提高各信息传输系统的有效性和可靠性的一门通讯理论。 (2)一般信息论主要是研究通讯问题，但还包括噪声理论、信号滤波与预测、调制与信息处理等问题。(3)广义信息论不仅包括狭义信息论和一般信息论的问题，而且还包括所有与信息有关的领域，如心理学、语言学、神经心理学、语义学等。信息有以下性质：客观性、广泛性、完整性、专一性。首先，信息是客观存在的，它不是由意志所决定的，但它与人类思想有着必然联系。同时，信息又是广泛存在的，四维空间被大量信息子所充斥。信息的一个重要性质是完整性，每个信息子不能决定任何事件，须有两个或两个以上的信息子规则排布为完整的信息，其释放的能量才足以使确定事件发生。信息还有专一性,每个信息决定一个确定事件，但相似事件的信息也有相似之处，其原因的解释需要信息子种类与排布密码理论的进一步发现。信息论是一门具有高度概括性、综合性，应用广泛的边缘学科。信息论是信息科学的理论基础，它是一门应用数理统计方法研究信息传输和信息处理的科学，是利用数学方法来研究信息的计量、传递、交换和储存的科学。随着科学技术的发展，信息论研究范围远远超出了通信及类似的学科，已延伸到生物学、生理学、人类学、物理学、化学、电子学、语言学、经济学和管理学等学科。（二）信息论发展历史香农被称为是“信息论之父”。人们通常将香农于1948年10月发表于《贝尔系统技术学报》上的论文《A Mathematical Theory of Communication》（通信的数学理论）作为现代信息论研究的开端。1984年贝尔研究所的香农在题为《通讯的数学理论》的论文中系统地提出了关于信息的论述，创立了信息论。维纳提出的关于度量信息量的数学公式开辟了信息论的广泛应用前景。1951年美国无线电工程学会承认信息论这门学科，此后得到迅速发展。20世纪50年代是信息论向各门学科冲击的时期，60年代信息论不是重大的创新时期，而是一个消化、理解的时期，是在已有的基础上进行重大建设的时期。研究重点是信息和信源编码问题。到70年代，由于数字计算机的广泛应用，通讯系统的能力也有很大提高，如何更有效地利用和处理信息，成为日益迫切的问题。人们越来越认识到信息的重要性，认识到信息可以作为与材料和能源一样的资源而加以充分利用和共享。信息的概念和方法已广泛渗透到各个科学领域，它迫切要求突破香农信息论的狭隘范围，以便使它能成为人类各种活动中所碰到的信息问题的基础理论，从而推动其他许多新兴学科进一步发展。目前，人们已把早先建立的有关信息的规律与理论广泛应用于物理学、化学、生物学等学科中去。一门研究信息的产生、获取、变换、传输、存储、处理、显示、识别和利用的信息科学正在形成。香农把“熵”这个概念引入信息的度量。1965年法国物理学家克劳修斯首次提出这一概念，后来这一概念由19世纪奥地利物理学家L.玻尔茨曼正式提出。信息论和控制论又赋予了“熵”更新更宽的含义。 熵是一个系统的不确定性或无序的程度，系统的紊乱程度越高，熵就越大；反之，系统越有序，熵就越小。控制论创始人维纳曾说：“一个系统的熵就是它的无组织程度的度量。”熵这个概念与信息联系在一起后，获得这样的思路：信息的获得永远意味着熵的减少，要使紊乱的系统（熵大的系统）有序化（减少熵）就需要有信息，当一个系统获得信息后，无序状态减少或消除（熵减少）；而如果信息丢失了，则系统的紊乱程度增加。一个系统有序程度越高，则熵就越小，所含信息量就越大，反之无序程度越高，则熵越大，信息量就越小，信息与熵是互补的，信息就是负熵，两者互为负值。 信息量=系统状态原有的熵-系统状态确定后的熵 电讯系统不存在功能性因素，即人的主观能动因素，因此不能照搬，但对计算社会信息的量，仍有参考价值。如研究新闻的信息量时就非常有意义。一则新闻讯息中所含信息量的大小是不确定程度的大小决定的，能够最大限度地消除人们对新闻事件认识上的不确定性的讯息，信息量就大，而不能减少受众对新闻事件的认识的不确定的，信息量就小，这与讯息的长度、字数和篇幅无关，不是版面大小、字数多寡、“本报讯”多少就能说明信息的大小的。信息科学是人们在对信息的认识与利用不断扩大的过程中，在信息论、电子学、计算机科学、人工智能、系统工程学、自动化技术等多学科基础上发展起来的一门边缘性新学科。它的任务主要是研究信息的性质，研究机器、生物和人类关于各种信息的获取、变换、传输、处理、利用和控制的一般规律，设计和研制各种信息机器和控制设备，实现操作自动化，以便尽可能地把人脑从自然力的束缚下解放出来，提高人类认识世界和改造世界的能力。信息科学在安全问题的研究中也有着重要应用。1949年，香农和韦弗提出了有关传播的数学模式。 信源—>消息—>编码—>信号—>信道—>信号+噪声—>译码—>消息—>信宿 噪声—>信道 对上图的概念解释如下： 信源：信源就是信息的来源，可以是人、机器、自然界的物体等等。信源发出信息的时候，一般以某种讯息的方式表现出来，可以是符号，如文字、语言等，也可以是信号，如图像、声响等等。 编码：编码就是把信息变换成讯息的过程，这是按一定的符号、信号规则进行的。按规则将信息的意义用符码编排起来的过程就是编码过程，这种编码通常被认为是编码的第一部分。编码的第二部分则是针对传播的信道，把编制好的符码又变换成适于信道中传输的信号序列，以便于在信道中传递，如声音信号、电信号、光信号等等。如信息源产生的原始讯息是一篇文章，用电报传递的时候，就要经过编码，转换成电报密码的信号，然后才能经过信道传播。 信道：就是信息传递的通道，是将信号进行传输、存储和处理的媒介。信道的关键问题是它的容量大小，要求以最大的速率传送最大的信息量。 噪音：是指信息传递中的干扰，将对信息的发送与接受产生影响，使两者的信息意义发生改变。 译码：是对信息进行与编码过程相反的变换过程，就是把信号转换为讯息，如文字、语言等，这是第一步。第二步译码则是指将讯息还原为信息意义的过程。 信宿：是信息的接受者，可以是人也可以是机器，如收音机、电视机等。作为方法论，香农的这一信息系统模式可以被适用于许多系统，如通信系统、管理系统、社会系统等。传播学学者对这一模式进行改造之后，成为表述人类信息传播的基本模式之一，成为传播学领域最基本的研究范式，而信源、编码、译码、信宿等概念也成为传播学研究的基本概念。 香农的信息论为传播学领域提供了基本的范式，它使以前模糊的信息概念变得在数学上可以操纵。香农的信息论与维纳的控制论是相互影响的，维纳也是最早认识信息论价值的学者，并与香农共同发明了有关信息的熵度量法则。
We propose a new learning paradigm, Local to Global Learning (LGL), for Deep Neural Networks (DNNs) to improve the performance of classification problems. The core of LGL is to learn a DNN model from fewer categories (local) to more categories (global) gradually within the entire training set. LGL is most related to the Self-Paced Learning (SPL) algorithm but its formulation is different from SPL.SPL trains its data from simple to complex, while LGL from local to global. In this paper, we incorporate the idea of LGL into the learning objective of DNNs and explain why LGL works better from an information-theoretic perspective. Experiments on the toy data, CIFAR-10, CIFAR-100,and ImageNet dataset show that LGL outperforms the baseline and SPL-based algorithms. 我们为深度神经网络（DNN）提出了一种新的学习范式，即从局部到全局学习（LGL），以提高分类问题的性能。LGL的核心是在整个培训集中逐步从更少的类别（本地）学习更多的类别（全局）DNN模型。LGL与自定进度学习（SPL）算法最相关，但其形式与SPL不同。SPL将数据从简单训练到复杂，而将LGL从本地训练到全局。在本文中，我们将LGL的思想纳入了DNN的学习目标，并从信息论的角度解释了LGL为什么表现更好。对玩具数据，CIFAR-10，CIFAR-100和ImageNet数据集的实验表明，LGL优于基线和基于SPL的算法。 Researchers have spent decades to develop the theory and techniques of Deep Neural Networks (DNNs). Now DNNs are very popular in many areas including speech recognition [9], computer vision [16, 20], natural language processing [30] etc. Some techniques have been proved to be effective, such as data augmentation [32, 29] and identity mapping between layers [10, 11]. Recently, some researchers have focused on how to improve the performance of DNNs by selecting training data in a certain order, such as curriculum learning [3] and self-paced learning [17]. Curriculum learning (CL) was first introduced in 2009 by Bengio et al [3]. CL is inspired by human and animal learning which suggests that a model should learn samples gradually from a simple level to a complex level. However, the curriculum often involves prior man-made knowledge that is independent of the subsequent learning process. To alleviate the issues of CL, Self-Paced Learning (SPL) [17] was proposed to automatically generate the curriculum during the training process. SPL assigns a binary weight to each training sample. Whether or not to choose a sample is decided based on the sample’s loss at each iteration of training. Since [17], many modifications of the basic SPL algorithm have emerged. Moreover, [13] introduces a new regularization term incorporating both easiness and diversity in learning. [12] designs soft weighting (instead of binary weight) methods such as linear soft weighting and logarithmic soft weighting. [14] proposes a framework called self-paced curriculum learning (SPCL) which can exploit both prior knowledge before the training and information extracted dynamically during the training. 研究人员花费了数十年的时间来开发深度神经网络（DNN）的理论和技术。现在，DNN在很多领域都非常流行，包括语音识别[9]，计算机视觉[16、20]，自然语言处理[30]等。一些技术已被证明是有效的，例如数据增强[32、29]和层之间的身份映射[10，11]。近来，一些研究人员致力于通过按特定顺序选择训练数据来提高DNN的性能，例如课程学习[3]和自定进度学习[17]。课程学习（CL）由Bengio等人于2009年首次提出[3]。CL受人类和动物学习的启发，这表明模型应该从简单的层次逐步学习到复杂的层次。但是，课程通常涉及先前的人造知识，而这些知识与后续的学习过程无关，为了缓解CL的问题，提出了自定进度学习（SPL）[17]在培训过程中自动生成课程表。SPL将二进制权重分配给每个训练样本。是否选择样本取决于每次训练迭代时样本的损失。自[17]以来，已经出现了对基本SPL算法的许多修改。此外，[13]引入了一个新的正规化术语，在学习中兼顾了易用性和多样性。[12]设计了软加权（而不是二进制加权）方法，例如线性软加权和对数软加权。[14]提出了一种称为自定进度课程学习（SPCL）的框架，该框架可以利用训练之前的先验知识和训练期间动态提取的信息。 However, some SPL-based challenges still remain: 1) It is hard to define simple and complex levels. CL defines these levels according to prior knowledge, which needs to be annotated by human. This process is extremely complicated and time consuming, especially when the number of categories is large. Another solution is to choose simple samples according to the loss like SPL. However, the samples’ losses are related to the choice of different models and hyper-parameters, since it is likely that the loss of a sample is large for one model but small for another; 2) SPL4748 based algorithms always bring additional hyper-parameters. One must tune hyper-parameters very carefully to generate a good curriculum, which increases the difficulty of training the model. 但是，仍然存在一些基于SPL的挑战：1）很难定义简单和复杂的级别。CL根据需要由人类注释的先验知识定义这些级别。此过程极其复杂且耗时，尤其是类别数量很大时。另一种解决方案是根据损耗（如SPL）选择简单样本。但是，样本损失与选择不同的模型和超参数有关，因为一个模型的样本损失可能很大，而另一模型的损失却很小。2）基于SPL4748的算法总是带来附加的超参数。必须非常仔细地调整超参数以生成好的课程表，这增加了训练模型的难度。 To address the above two problems, we propose a new learning paradigm called Local to Global Learning (LGL). LGL learns the neural network model from fewer categories (local) to more categories (global) gradually within the entire training set, which brings only one hyper-parameter ( inverse proportional to how many classes to add at each time) to DNN. This new hyper-parameter is also easy to be tuned. Generally, we can improve the performance of DNN by increasing the value of the new hyper-parameter. The intuition behind LGL is that the network is usually better to memorize fewer categories1 and then gradually learns from more categories, which is consistent with the way people learn. The formulation of LGL can be better understood by comparing it with transfer learning shown in Figure 1. In transfer learning, the initial weights of DNNs are transferred from another dataset. But in LGL, the initial weights of DNNs are transferred from the self-domain without knowledge of other datasets. The traditional methods randomly initialize the weights, which do not consider the distributions of the training data and may end up with a bad local minimum; whereas LGL initializes the weights which capture the distributions of the trained data. So LGL can be also seen as an initialization strategy of DNNs. In this paper, we explain the methodology of LGL from the mathematical formulation in detail. Instead of concentrating on sample loss (as in SPL), we pay attention to training DNN effectively by continually adding a new class to DNN. There are three main contributions from this paper: 为了解决上述两个问题，我们提出了一种新的学习范式，称为本地到全球学习（LGL）。LGL在整个训练集中逐渐从较少的类别（局部）到更多的类别（全局）学习神经网络模型，这仅给DNN带来一个超参数（与每次添加多少个类成反比）。这个新的超参数也很容易调整。通常，我们可以通过增加新的超参数的值来提高DNN的性能。LGL的直觉是，网络通常可以更好地记住较少的类别1，然后逐渐从更多的类别中学习，这与人们的学习方式是一致的。通过将LGL的公式与图1所示的转移学习进行比较，可以更好地理解LGL的公式。在转移学习中，DNN的初始权重是从另一个数据集中转移的。但是在LGL中，DNN的初始权重是在不了解其他数据集的情况下从自域传递的。传统方法是随机初始化权重，这些权重不考虑训练数据的分布，最终可能会导致不良的局部最小值。而LGL会初始化权重，以捕获训练数据的分布。因此，LGL也可以视为DNN的初始化策略。在本文中，我们将从数学公式详细解释LGL的方法。我们不专注于样本丢失（如SPL），而是通过不断向DNN添加新类来关注有效地训练DNN。本文主要有三点贡献： We propose a new learning paradigm called Local to Global Learning (LGL) and incorporate the idea of LGL into the learning objective of DNN. Unlike SPL, LGL guides DNN to learn from fewer categories (local) to more categories (global) gradually within the entire training set. • From an information-theoretic perspective (conditional entropy), we confirm that LGL can make DNN more stable to train from the beginning. • We perform the LGL algorithm on the toy data, CIFAR-10, CIFAR-100, and ImageNet dataset. The experiments on toy data show that the loss curve of LGL is more stable and the algorithm converges faster than the SPL algorithm when the model or data distributions vary. The experiments on CIFAR-10, CIFAR100 and ImageNet show that the classification accuracy of LGL outperforms the baseline and SPL-based algorithms. 我们提出了一种新的学习范式，称为本地到全球学习（LGL），并将LGL的思想纳入DNN的学习目标。与SPL不同，LGL指导DNN在整个培训集中逐步从较少的类别（本地）学习到更多的类别（全局）。•从信息理论的角度（条件熵），我们确认LGL可以使DNN从一开始就更稳定地进行训练。•我们对玩具数据，CIFAR-10，CIFAR-100和ImageNet数据集执行LGL算法。对玩具数据的实验表明，当模型或数据分布变化时，LGL的损失曲线更稳定，并且收敛速度比SPL算法快。在CIFAR-10，CIFAR100和ImageNet上进行的实验表明，LGL的分类精度优于基线和基于SPL的算法。 SPL has been applied to many research fields. [24] uses SPL for long-term tracking problems to automatically select right frames for the model to learn. [28] integrates the SPL method into multiple instances learning framework for selecting efficient training samples. [27] proposes multi-view SPL for clustering which overcomes the drawback of stuck in bad local minima during the optimization. [31] introduces a new matrix factorization framework by incorporating SPL methodology with traditional factorization methods. [8] proposes a framework named self-paced sparse coding by incorporating self-paced learning methodology with sparse coding as well as manifold regularization. The proposed method can effectively relieve the effect of nonconvexity. [21] designs a new co-training algorithm called self-paced co-training. The proposed algorithm differs from the standard co-training algorithm that does not remove false labelled instances from training. [18] brings the ideaof SPL into multi-task learning and proposes a frameworkthat learns the tasks by simultaneously taking into consideration the complexity of both tasks and instances per task. Recently, some researchers have combined SPL withmodern DNNs. [19] proposes self-paced convolutional network (SPCN) which improves CNNs with SPL for enhancing the learning robustness. In SPCN, each sample is assigned a weight to reflect the easiness of the sample. A dynamic self-paced function is incorporated into the learning objective of CNNs to jointly learn the parameters ofCNNs and latent weight variable. However, SPCN seemsto only work well on simple dataset like MNIST. [2] showsthat CNNs with the SPL strategy do not show actual improvement on the CIFAR dataset. [15] shows that whenthere are fewer layers in the CNN, an SPL-based algorithmmay work better on CIFAR. But when the number of layers increases, like for VGG [23], the SPL algorithm performs almost equal to that of traditional CNN training. [25]proposes a variant form of self-paced learning to improvethe performance of neural networks. However, the methodis complicated and can not be applied to large dataset likeImageNet. Based on the above analysis of SPL’s limitations, we develop a new data selection method for CNNscalled Local to Global Learning (LGL). LGL brings onlyone hyper-parameter (easy to be tuned) to the CNN and performs better than the SPL-based algorithms. SPL已应用于许多研究领域。[24]使用SPL解决长期跟踪问题，以自动选择合适的框架供模型学习。[28]将SPL方法集成到多个实例学习框架中，以选择有效的训练样本。[27]提出了一种用于聚类的多视图SPL，它克服了优化过程中卡在不良局部极小值中的缺点。[31]通过将SPL方法与传统因式分解方法相结合，引入了新的矩阵因式分解框架。文献[8]提出了一种框架，该框架通过将自定进度的学习方法与稀疏编码以及流形正则化相结合，提出了自定进度的稀疏编码。所提出的方法可以有效地缓解不凸性的影响。[21]设计了一种新的协同训练算法，称为自定步距协同训练。提出的算法与标准的协同训练算法不同，后者不会从训练中删除错误标记的实例。[18]将SPL的思想带入了多任务学习，并提出了一个通过同时考虑任务和每个任务实例的复杂性来学习任务的框架。 最近，一些研究人员将SPL与现代DNN相结合。文献[19]提出了一种自定速度的卷积网络（SPCN），它利用SPL改进了CNN，从而增强了学习的鲁棒性。在SPCN中，为每个样本分配了权重以反映样本的难易程度。动态自定步函数被纳入CNN的学习目标，以共同学习CNN的参数和潜在权重变量。但是，SPCN似乎只能在像MNIST这样的简单数据集上很好地工作。[2]显示，采用SPL策略的CNN在CIFAR数据集上并未显示出实际的改进。[15]表明，当CNN中的层数较少时，基于SPL的算法在CIFAR上可能会更好地工作。但是，当层数增加时，例如对于VGG [23]，SPL算法的性能几乎与传统CNN训练的性能相同。[25]提出了一种自定进度学习的变体形式，以提高神经网络的性能。但是，该方法很复杂，不能应用于像ImageNet这样的大型数据集。基于以上对SPL局限性的分析，我们为CNN开发了一种新的数据选择方法，称为本地到全球学习（LGL）。LGL仅给CNN带来一个超参数（易于调整），并且比基于SPL的算法性能更好。 There are still two learning regimes similar to our workcalled Active Learning [6] and Co-training [4] which also select the data according to some strategies. But in active learning, the labels of all the samples are not known when the samples are chosen. Co-training deals with semisupervised learning in which some labels are missing. Thus,these two learning regimes differ in our setting where the labels of all the training data are known. 仍然有两种与我们的工作类似的学习方式称为主动学习[6]和联合训练[4]，它们也根据某些策略选择数据。但是在主动学习中，选择样本时不知道所有样本的标签。联合培训涉及缺少某些标签的半监督学习。因此，这两种学习方式在我们设置所有训练数据的标签的环境中是不同的。 3.self-Paces Learning Let us first briefly review SPL before introducing LGL. Let L(yi, g(xi, w)) denote the loss of the ground truth label yi and estimated label g(xi, w), where w represents theparameters of the model. The goal of SPL is to jointlylearn the model parameters w and latent variable v =[vi, . . . , vn]T by minimizing: 在介绍LGL之前，让我们首先简要回顾一下SPL。令L（yi，g（xi，w））表示地面真值标签yi和估计标签g（xi，w）的损失，其中w表示模型的参数。SPL的目标是共同学习模型参数w和潜在变量v = [vi，...，vn] T通过最小化： In the above, v denotes the weight variables reflecting the samples’ importance; λ is a parameter for controlling the learning pace; f is called the self-paced function which controls the learning scheme. SPL-based algorithms are about to modify f to automatically generate a good curriculum during the learning process.In the original SPL algorithm [17], v ∈ {0, 1}^n, and fis chosen as: Another popular algorithm is called SPLD (self-paced learning with diversity) [13] which considers both ||v||1 and the sum of group-wise ||v||2. In SPLD, f is chosen as: In general, iterative methods like Alternate Convex Search (ACS) are used to solve (1), where w and v are optimized alternately. When v is fixed, we can use existing supervised learning methods to minimize the first term in (1) to obtain the optimal w∗. Then when w is fixed,and suppose f is adopted from (2), the global optimum v∗= [vi∗, . . . , vn*]T can be explicitly calculated as: 通常，使用迭代方法（如交替凸搜索（ACS））求解（1），其中w和v交替优化。当v固定时，我们可以使用现有的有监督学习方法来最小化（1）中的第一项，以获得最佳w ∗。然后，当w固定时，假设从（2）中采用f，则全局最优v ∗ = [v ∗ i，。。。，v ∗ n] T可以明确地计算为： From (4), λ is a parameter that determines the difficulty of sampling the training data: When λ is small, ‘easy’ samples with small losses are sent into the model to train; When we gradually increase λ, the ‘complex’ samples will be provided to the model until the entire training set is processed.From the above analysis, the key step in an SPL algorithm is to adjust the hyper-parameter λ at each iteration of training. In reality, however, we do not know the loss of each sample before training. Therefore sometimes one needs to run a baseline (a training algorithm without SPL) first to observe the average loss at each iteration and then set an empirical value for λ to increase. For more complex algorithms like SPLD from (3), researchers must control two parameters λ and γ, which makes the training difficult. To avoid the difficulty of tuning parameters in the SPL-based algorithms, we introduce our easy-to-train LGL algorithm. 从（4）中，λ是一个参数，它确定对训练数据进行采样的难度：当λ较小时，将损失较小的“简单”样本发送到模型中进行训练；当我们逐渐增加λ时，将向模型提供“复杂”样本，直到处理完整个训练集为止。根据以上分析，SPL算法中的关键步骤是在每次训练迭代时调整超参数λ。但是，实际上，我们不知道训练前每个样本的损失。因此，有时需要先运行基线（无SPL的训练算法）以观察每次迭代的平均损耗，然后为λ设置一个经验值以增加。对于（3）中的SPLD等更复杂的算法，研究人员必须控制两个参数λ和γ，这使训练变得困难。为了避免在基于SPL的算法中调整参数的困难，我们引入了易于训练的LGL算法。
We propose a new learning paradigm, Local to Global Learning (LGL), for Deep Neural Networks (DNNs) to improve the performance of classification problems. The core of LGL is to learn a DNN model from fewer categories (local) to more categories (global) gradually within the entire training set. LGL is most related to the Self-Paced Learning (SPL) algorithm but its formulation is different from SPL.SPL trains its data from simple to complex, while LGL from local to global. In this paper, we incorporate the idea of LGL into the learning objective of DNNs and explain why LGL works better from an information-theoretic perspective. Experiments on the toy data, CIFAR-10, CIFAR-100,and ImageNet dataset show that LGL outperforms the baseline and SPL-based algorithms. 我们为深度神经网络（DNN）提出了一种新的学习范式，即从局部到全局学习（LGL），以提高分类问题的性能。LGL的核心是在整个培训集中逐步从更少的类别（本地）学习更多的类别（全局）DNN模型。LGL与自定进度学习（SPL）算法最相关，但其形式与SPL不同。SPL将数据从简单训练到复杂，而将LGL从本地训练到全局。在本文中，我们将LGL的思想纳入了DNN的学习目标，并从信息论的角度解释了LGL为什么表现更好。对玩具数据，CIFAR-10，CIFAR-100和ImageNet数据集的实验表明，LGL优于基线和基于SPL的算法。 Researchers have spent decades to develop the theory and techniques of Deep Neural Networks (DNNs). Now DNNs are very popular in many areas including speech recognition [9], computer vision [16, 20], natural language processing [30] etc. Some techniques have been proved to be effective, such as data augmentation [32, 29] and identity mapping between layers [10, 11]. Recently, some researchers have focused on how to improve the performance of DNNs by selecting training data in a certain order, such as curriculum learning [3] and self-paced learning [17]. Curriculum learning (CL) was first introduced in 2009 by Bengio et al [3]. CL is inspired by human and animal learning which suggests that a model should learn samples gradually from a simple level to a complex level. However, the curriculum often involves prior man-made knowledge that is independent of the subsequent learning process. To alleviate the issues of CL, Self-Paced Learning (SPL) [17] was proposed to automatically generate the curriculum during the training process. SPL assigns a binary weight to each training sample. Whether or not to choose a sample is decided based on the sample’s loss at each iteration of training. Since [17], many modifications of the basic SPL algorithm have emerged. Moreover, [13] introduces a new regularization term incorporating both easiness and diversity in learning. [12] designs soft weighting (instead of binary weight) methods such as linear soft weighting and logarithmic soft weighting. [14] proposes a framework called self-paced curriculum learning (SPCL) which can exploit both prior knowledge before the training and information extracted dynamically during the training. 研究人员花费了数十年的时间来开发深度神经网络（DNN）的理论和技术。现在，DNN在很多领域都非常流行，包括语音识别[9]，计算机视觉[16、20]，自然语言处理[30]等。一些技术已被证明是有效的，例如数据增强[32、29]和层之间的身份映射[10，11]。近来，一些研究人员致力于通过按特定顺序选择训练数据来提高DNN的性能，例如课程学习[3]和自定进度学习[17]。课程学习（CL）由Bengio等人于2009年首次提出[3]。CL受人类和动物学习的启发，这表明模型应该从简单的层次逐步学习到复杂的层次。但是，课程通常涉及先前的人造知识，而这些知识与后续的学习过程无关，为了缓解CL的问题，提出了自定进度学习（SPL）[17]在培训过程中自动生成课程表。SPL将二进制权重分配给每个训练样本。是否选择样本取决于每次训练迭代时样本的损失。自[17]以来，已经出现了对基本SPL算法的许多修改。此外，[13]引入了一个新的正规化术语，在学习中兼顾了易用性和多样性。[12]设计了软加权（而不是二进制加权）方法，例如线性软加权和对数软加权。[14]提出了一种称为自定进度课程学习（SPCL）的框架，该框架可以利用训练之前的先验知识和训练期间动态提取的信息。 However, some SPL-based challenges still remain: 1) It is hard to define simple and complex levels. CL defines these levels according to prior knowledge, which needs to be annotated by human. This process is extremely complicated and time consuming, especially when the number of categories is large. Another solution is to choose simple samples according to the loss like SPL. However, the samples’ losses are related to the choice of different models and hyper-parameters, since it is likely that the loss of a sample is large for one model but small for another; 2) SPL4748 based algorithms always bring additional hyper-parameters. One must tune hyper-parameters very carefully to generate a good curriculum, which increases the difficulty of training the model. 但是，仍然存在一些基于SPL的挑战：1）很难定义简单和复杂的级别。CL根据需要由人类注释的先验知识定义这些级别。此过程极其复杂且耗时，尤其是类别数量很大时。另一种解决方案是根据损耗（如SPL）选择简单样本。但是，样本损失与选择不同的模型和超参数有关，因为一个模型的样本损失可能很大，而另一模型的损失却很小。2）基于SPL4748的算法总是带来附加的超参数。必须非常仔细地调整超参数以生成好的课程表，这增加了训练模型的难度。 To address the above two problems, we propose a new learning paradigm called Local to Global Learning (LGL). LGL learns the neural network model from fewer categories (local) to more categories (global) gradually within the entire training set, which brings only one hyper-parameter ( inverse proportional to how many classes to add at each time) to DNN. This new hyper-parameter is also easy to be tuned. Generally, we can improve the performance of DNN by increasing the value of the new hyper-parameter. The intuition behind LGL is that the network is usually better to memorize fewer categories1 and then gradually learns from more categories, which is consistent with the way people learn. The formulation of LGL can be better understood by comparing it with transfer learning shown in Figure 1. In transfer learning, the initial weights of DNNs are transferred from another dataset. But in LGL, the initial weights of DNNs are transferred from the self-domain without knowledge of other datasets. The traditional methods randomly initialize the weights, which do not consider the distributions of the training data and may end up with a bad local minimum; whereas LGL initializes the weights which capture the distributions of the trained data. So LGL can be also seen as an initialization strategy of DNNs. In this paper, we explain the methodology of LGL from the mathematical formulation in detail. Instead of concentrating on sample loss (as in SPL), we pay attention to training DNN effectively by continually adding a new class to DNN. There are three main contributions from this paper: 为了解决上述两个问题，我们提出了一种新的学习范式，称为本地到全球学习（LGL）。LGL在整个训练集中逐渐从较少的类别（局部）到更多的类别（全局）学习神经网络模型，这仅给DNN带来一个超参数（与每次添加多少个类成反比）。这个新的超参数也很容易调整。通常，我们可以通过增加新的超参数的值来提高DNN的性能。LGL的直觉是，网络通常可以更好地记住较少的类别1，然后逐渐从更多的类别中学习，这与人们的学习方式是一致的。通过将LGL的公式与图1所示的转移学习进行比较，可以更好地理解LGL的公式。在转移学习中，DNN的初始权重是从另一个数据集中转移的。但是在LGL中，DNN的初始权重是在不了解其他数据集的情况下从自域传递的。传统方法是随机初始化权重，这些权重不考虑训练数据的分布，最终可能会导致不良的局部最小值。而LGL会初始化权重，以捕获训练数据的分布。因此，LGL也可以视为DNN的初始化策略。在本文中，我们将从数学公式详细解释LGL的方法。我们不专注于样本丢失（如SPL），而是通过不断向DNN添加新类来关注有效地训练DNN。本文主要有三点贡献： We propose a new learning paradigm called Local to Global Learning (LGL) and incorporate the idea of LGL into the learning objective of DNN. Unlike SPL, LGL guides DNN to learn from fewer categories (local) to more categories (global) gradually within the entire training set. • From an information-theoretic perspective (conditional entropy), we confirm that LGL can make DNN more stable to train from the beginning. • We perform the LGL algorithm on the toy data, CIFAR-10, CIFAR-100, and ImageNet dataset. The experiments on toy data show that the loss curve of LGL is more stable and the algorithm converges faster than the SPL algorithm when the model or data distributions vary. The experiments on CIFAR-10, CIFAR100 and ImageNet show that the classification accuracy of LGL outperforms the baseline and SPL-based algorithms. 我们提出了一种新的学习范式，称为本地到全球学习（LGL），并将LGL的思想纳入DNN的学习目标。与SPL不同，LGL指导DNN在整个培训集中逐步从较少的类别（本地）学习到更多的类别（全局）。•从信息理论的角度（条件熵），我们确认LGL可以使DNN从一开始就更稳定地进行训练。•我们对玩具数据，CIFAR-10，CIFAR-100和ImageNet数据集执行LGL算法。对玩具数据的实验表明，当模型或数据分布变化时，LGL的损失曲线更稳定，并且收敛速度比SPL算法快。在CIFAR-10，CIFAR100和ImageNet上进行的实验表明，LGL的分类精度优于基线和基于SPL的算法。 SPL has been applied to many research fields. [24] uses SPL for long-term tracking problems to automatically select right frames for the model to learn. [28] integrates the SPL method into multiple instances learning framework for selecting efficient training samples. [27] proposes multi-view SPL for clustering which overcomes the drawback of stuck in bad local minima during the optimization. [31] introduces a new matrix factorization framework by incorporating SPL methodology with traditional factorization methods. [8] proposes a framework named self-paced sparse coding by incorporating self-paced learning methodology with sparse coding as well as manifold regularization. The proposed method can effectively relieve the effect of nonconvexity. [21] designs a new co-training algorithm called self-paced co-training. The proposed algorithm differs from the standard co-training algorithm that does not remove false labelled instances from training. [18] brings the ideaof SPL into multi-task learning and proposes a frameworkthat learns the tasks by simultaneously taking into consideration the complexity of both tasks and instances per task. Recently, some researchers have combined SPL withmodern DNNs. [19] proposes self-paced convolutional network (SPCN) which improves CNNs with SPL for enhancing the learning robustness. In SPCN, each sample is assigned a weight to reflect the easiness of the sample. A dynamic self-paced function is incorporated into the learning objective of CNNs to jointly learn the parameters ofCNNs and latent weight variable. However, SPCN seemsto only work well on simple dataset like MNIST. [2] showsthat CNNs with the SPL strategy do not show actual improvement on the CIFAR dataset. [15] shows that whenthere are fewer layers in the CNN, an SPL-based algorithmmay work better on CIFAR. But when the number of layers increases, like for VGG [23], the SPL algorithm performs almost equal to that of traditional CNN training. [25]proposes a variant form of self-paced learning to improvethe performance of neural networks. However, the methodis complicated and can not be applied to large dataset likeImageNet. Based on the above analysis of SPL’s limitations, we develop a new data selection method for CNNscalled Local to Global Learning (LGL). LGL brings onlyone hyper-parameter (easy to be tuned) to the CNN and performs better than the SPL-based algorithms. SPL已应用于许多研究领域。[24]使用SPL解决长期跟踪问题，以自动选择合适的框架供模型学习。[28]将SPL方法集成到多个实例学习框架中，以选择有效的训练样本。[27]提出了一种用于聚类的多视图SPL，它克服了优化过程中卡在不良局部极小值中的缺点。[31]通过将SPL方法与传统因式分解方法相结合，引入了新的矩阵因式分解框架。文献[8]提出了一种框架，该框架通过将自定进度的学习方法与稀疏编码以及流形正则化相结合，提出了自定进度的稀疏编码。所提出的方法可以有效地缓解不凸性的影响。[21]设计了一种新的协同训练算法，称为自定步距协同训练。提出的算法与标准的协同训练算法不同，后者不会从训练中删除错误标记的实例。[18]将SPL的思想带入了多任务学习，并提出了一个通过同时考虑任务和每个任务实例的复杂性来学习任务的框架。 最近，一些研究人员将SPL与现代DNN相结合。文献[19]提出了一种自定速度的卷积网络（SPCN），它利用SPL改进了CNN，从而增强了学习的鲁棒性。在SPCN中，为每个样本分配了权重以反映样本的难易程度。动态自定步函数被纳入CNN的学习目标，以共同学习CNN的参数和潜在权重变量。但是，SPCN似乎只能在像MNIST这样的简单数据集上很好地工作。[2]显示，采用SPL策略的CNN在CIFAR数据集上并未显示出实际的改进。[15]表明，当CNN中的层数较少时，基于SPL的算法在CIFAR上可能会更好地工作。但是，当层数增加时，例如对于VGG [23]，SPL算法的性能几乎与传统CNN训练的性能相同。[25]提出了一种自定进度学习的变体形式，以提高神经网络的性能。但是，该方法很复杂，不能应用于像ImageNet这样的大型数据集。基于以上对SPL局限性的分析，我们为CNN开发了一种新的数据选择方法，称为本地到全球学习（LGL）。LGL仅给CNN带来一个超参数（易于调整），并且比基于SPL的算法性能更好。 There are still two learning regimes similar to our workcalled Active Learning [6] and Co-training [4] which also select the data according to some strategies. But in active learning, the labels of all the samples are not known when the samples are chosen. Co-training deals with semisupervised learning in which some labels are missing. Thus,these two learning regimes differ in our setting where the labels of all the training data are known. 仍然有两种与我们的工作类似的学习方式称为主动学习[6]和联合训练[4]，它们也根据某些策略选择数据。但是在主动学习中，选择样本时不知道所有样本的标签。联合培训涉及缺少某些标签的半监督学习。因此，这两种学习方式在我们设置所有训练数据的标签的环境中是不同的。 3.self-Paces Learning Let us first briefly review SPL before introducing LGL. Let L(yi, g(xi, w)) denote the loss of the ground truth label yi and estimated label g(xi, w), where w represents theparameters of the model. The goal of SPL is to jointlylearn the model parameters w and latent variable v =[vi, . . . , vn]T by minimizing: 在介绍LGL之前，让我们首先简要回顾一下SPL。令L（yi，g（xi，w））表示地面真值标签yi和估计标签g（xi，w）的损失，其中w表示模型的参数。SPL的目标是共同学习模型参数w和潜在变量v = [vi，...，vn] T通过最小化： In the above, v denotes the weight variables reflecting the samples’ importance; λ is a parameter for controlling the learning pace; f is called the self-paced function which controls the learning scheme. SPL-based algorithms are about to modify f to automatically generate a good curriculum during the learning process.In the original SPL algorithm [17], v ∈ {0, 1}^n, and fis chosen as: Another popular algorithm is called SPLD (self-paced learning with diversity) [13] which considers both ||v||1 and the sum of group-wise ||v||2. In SPLD, f is chosen as: In general, iterative methods like Alternate Convex Search (ACS) are used to solve (1), where w and v are optimized alternately. When v is fixed, we can use existing supervised learning methods to minimize the first term in (1) to obtain the optimal w∗. Then when w is fixed,and suppose f is adopted from (2), the global optimum v∗= [vi∗, . . . , vn*]T can be explicitly calculated as: 通常，使用迭代方法（如交替凸搜索（ACS））求解（1），其中w和v交替优化。当v固定时，我们可以使用现有的有监督学习方法来最小化（1）中的第一项，以获得最佳w ∗。然后，当w固定时，假设从（2）中采用f，则全局最优v ∗ = [v ∗ i，。。。，v ∗ n] T可以明确地计算为： From (4), λ is a parameter that determines the difficulty of sampling the training data: When λ is small, ‘easy’ samples with small losses are sent into the model to train; When we gradually increase λ, the ‘complex’ samples will be provided to the model until the entire training set is processed.From the above analysis, the key step in an SPL algorithm is to adjust the hyper-parameter λ at each iteration of training. In reality, however, we do not know the loss of each sample before training. Therefore sometimes one needs to run a baseline (a training algorithm without SPL) first to observe the average loss at each iteration and then set an empirical value for λ to increase. For more complex algorithms like SPLD from (3), researchers must control two parameters λ and γ, which makes the training difficult. To avoid the difficulty of tuning parameters in the SPL-based algorithms, we introduce our easy-to-train LGL algorithm. 从（4）中，λ是一个参数，它确定对训练数据进行采样的难度：当λ较小时，将损失较小的“简单”样本发送到模型中进行训练；当我们逐渐增加λ时，将向模型提供“复杂”样本，直到处理完整个训练集为止。根据以上分析，SPL算法中的关键步骤是在每次训练迭代时调整超参数λ。但是，实际上，我们不知道训练前每个样本的损失。因此，有时需要先运行基线（无SPL的训练算法）以观察每次迭代的平均损耗，然后为λ设置一个经验值以增加。对于（3）中的SPLD等更复杂的算法，研究人员必须控制两个参数λ和γ，这使训练变得困难。为了避免在基于SPL的算法中调整参数的困难，我们引入了易于训练的LGL算法。
摘 要:随着技术革新的不断发展，产业融合正日益成为产业经济发展中的重要现象。产业融合产生的前提是技术融合、业务融合、市场融合以及产业管制环境的变化。按照技术发展的方向，产业融合有产业渗透、产业交叉和产业重组三种形式。由于信息技术的渗透性、带动性、倍增性、网络性和系统性等特征，信息产业的产业融合呈现加速发展的趋势。信息产业的融合有助于提高信息产业的生产效率，改善信息产业的管制方式，加速传统产业的升级改造以及促进信息技术的扩散和渗透。因此，深入研究产业融合理论以及产业融合对于我国信息产业发展的影响，对推动我国的信息化进程，促进产业结构的优化升级具有重要的理论和现实意义。
摘 要:随着技术革新的不断发展，产业融合正日益成为产业经济发展中的重要现象。产业融合产生的前提是技术融合、业务融合、市场融合以及产业管制环境的变化。按照技术发展的方向，产业融合有产业渗透、产业交叉和产业重组三种形式。由于信息技术的渗透性、带动性、倍增性、网络性和系统性等特征，信息产业的产业融合呈现加速发展的趋势。
《信息论与编码》，专业基础课，4学时/周；四届，180人 《信息论基础》，专业必修课，4学时/周；五届，1000人 《电子信息工程专业导论》，专业必修课，4学时/周；二届，400人 《信息论与编码》（研究生），专业必修课，4学时/周；五届，200人 《多媒体信息压缩与编码》（博士研究生），专业必修课，2学时/周；二届，12人 承担的实践性教学 本科课程设计，45人/年 本科生毕业设计，5人/年 硕士生毕业论文，6人/年 博士生毕业论文，2人/年 主持的教学研究课题 考试成绩评定方法研究，合肥工业大学教学研究项目，2005-2006，主持 信息安全专业的教学与实践研究，安徽省教育厅教学重点研究项目，2003-2006，第二主持 计算机科学与技术专业实践教学与创新体系研究，安徽省教育厅教学重点研究项目，2007-2009，主要参与 计算机科学与技术专业本科教学课程体系建设与改革研究，安徽省教育厅省级教学研究项目，2005-2007，主要参与 发表的教学相关论文培养具有高尚道德的拔尖人才，研究生教育，2001年 卷积编码原理的解释，电气电子教学学报，2007年 一种BCH/CRC混合差错控制编码方法，第17届计算机科学与技术应用学术会议论文集，2006年 一种改进的等范数最近邻码本矢量搜索算法，合肥工业大学学报(自然科学版)，2007年 部分国外电子信息类教材编写特点，合肥工业大学学报(社会科学版)，2007年 获得的教学表彰/奖励 安徽省教学名师，安徽省教育厅，2007年 安徽省优秀教师，安徽省教育厅，2004年 国家政府特殊津贴，国务院，1997年 第二届TI中国DSP大奖赛“特殊贡献奖”，竞赛组织委员会，2006年 第二届TI中国DSP大奖赛算法组一等奖的指导教师，2006年 第三届TI中国DSP大奖赛系统组一等奖的指导教师，2008年 第五届“挑战杯”全国大学生课外学术科技作品竞赛“园丁奖”，竞赛组织委员会，1997年 首届安徽省大学生挑战杯课外学术科技作品竞赛一等奖的指导教师，2005年 合肥工业大学本科毕业设计（论文）优秀指导教师，合肥工业大学，2006年
通信工程方面的论文发表有一个期刊貌似就叫《信息通信》，不过自己找期刊社投稿会比较麻烦，而且也不确定就会搭理你，很多期刊社档期都是满满的，要排上最近的期刊时段很难，可以去壹品优刊网发表你的论文，什么样的要求只要跟客服说，就会跟你介绍。
你看看应用光学吧。
计算机科学与应用
几乎没有好投中的