此文算是对Google Research这篇 A Gentle Introduction to Graph Neural Networks 神作的阅读笔记.十多年来，研究人员开发了一种称之为图神经网络（Graph Neural Networks，GNNs）的技术，旨在将如今在深度学习的诸多任务中摧枯拉朽的神经网络，应用到图结构之上，从而让神经网络捕捉到更错综复杂的交叉特征，以期待在一些任务上取得更佳的效果。鉴于操作图数据结构的复杂性，尽管已经发展了十几年，它在实际应用中却刚刚起步，即时是google也才开始研究将其被应用到药品研发、物理模拟、假新闻检测、交通预测和推荐系统等领域。 尽管GNN是一个新兴的研究领域，但图结构的数据其实在我们身边无处不在。那么什么是图呢？ 这个理科生应该都清楚，图有点(Vertex)和边(Edge)两部分组成，一个图就代表了各个实体节点（node）之间的关系（edge）： 每个节点或者边都可以包含它的一些属性信息，比如如果一个节点表示一个人，那么就可以包含这个人的姓名、性别、身高、体重之类的..我们研究需要的信息。 而这些信息，都可以用通用的向量的形式存入其中： 还有别忘了一点，边是可以有方向的，按此我们还能分为有向图或是无向图。边的方向代表了信息的传递方向，例如a是b的微信好友，那b也是a的微信好友，好友关系自然是没方向的，而比如a是b的爹，那显然b就不是a的爹，此时叫爹的关系就是有有方向的。 图结构的构建是非常灵活的，可以根据个人的设计构建出各种不一样的图。而作为开发者显然要结合实际解决的问题来构建合适的图。 正如前面所提到的，图无处不在。你可能已经熟悉例如知识图谱、社交网络之类的图数据。当时显然，图是一种极其强大的通用数据表示，传统神经网络中用到的欧式空间的数据，同样可以用图来表示，例如可以将图像和文本建模为图结构数据。 比如，我们可以将一张图片的每个像素作为图的节点，再将相邻的像素用边连接起来，就构造了一个该图像的图。 如上图展示了一个5*5的图片的邻接矩阵表示和图表示。 我们将每个单词作为节点，并将每个节点连接到下一个节点，就得到了一个文本的图： 当然，在实践中我们并不会这样来编码文本和图像，因为所有的图和文本都是非常规则的结构，表示成图就多此一举了。 我们再来看一些例子，这些数据的结构更加复杂，除了图之外很难用其他方式来表达。 分子是构成物质的基石，我们可以用节点来表示它的原子和电子，用边来表示共价键，这样便将一个分子表示成了一个图： 不同的图可以表示出不同的分子结构： 都说社会是一个大熔炉，身处其中的人和事物之间会发生极其复杂的关系。这种关系的表示用普通的表格数据是很难表示的，而图却能很好的展现。 下图是将莎士比亚歌剧《奥赛罗》中的任务关系表示成图： 怎么样，如果没看过歌剧能推测出那些是主角吗？ 下面是将一个空手道竞标赛的对战关系构建为图： 类似的可以表示为图的数据还有很多很多，比如论文的引用之类统统都可以表示为图，下面是现实世界中不同规模的数据图表示的统计数据： 可见，各种各样规模的数据都可以轻松的用图来表示。 在上面我们列举了这么多的图，那么我们该对这些图数据执行什么任务呢？ 图上的预测任务一般分为三类： 下面我们通过具体的示例来说明GNN怎么来解决上述的三个级别的预测问题。 在图级别的任务中，我们的目标是预测整个图的属性。例如我们通过分子图，来预测该分子的气味或是者它是否是与某些疾病有关的受体。 它的输入是完整的图： 输出是图的分类： 节点级任务一般就是预测每个节点的类型。 一个经典的例子就是Zach的空手道俱乐部。该数据集市一个单一的社交网络图，犹豫政治分歧，讲师Hi先生和管理员John之间不和导致空手道俱乐部分裂，其中的学员一部分效忠于Hi先生，一部分效忠于John。每个节点代表空手道联系着，边代表空手道之外这些成员的互动，预测问题就是判断这些节点是效忠于谁的。 边级任务其实就是预测每个边的属性. 在目标检测的语义分割任务中,我们也许不止要识别每个目标的类型,还需要预测各个目标之间的关系.我们可以将其描述为边级别的分类任务:给定表示图像中的对象的节点，我们希望预测哪些节点共享一条边，或者该边的值是多少。如果我们希望发现实体之间的连接，我们可以考虑图是完全连通的，并根据它们的预测值修剪边来得到一个稀疏图。 用图表示就是这样的过程: 那么我们要如何使用神经网络来处理上述各种类型的任务呢? 首先要考虑的是如何将图结构数据适配到神经网络. 回想一下啊,传统的神经网络输入的往往是矩阵形式的数据,那么要如何把图作为输入呢? 图表示有四种类型的信息:节点(nodes),边(edges),全局上下文(global-context),联通性(connectivity).对于前三种信息,有一个非常简单的方案,比如将节点排序,然后每个节点表示为一个向量,所有节点就得到了一个节点的矩阵,同理,边和上下文也可以这么搞. 但是要标识连通性就没有这么简单了,也许你会想到用临街矩阵来表示,但是这样表示会有明显的缺陷,因为节点数的规模往往是巨大的,对于一个数百万节点的图,那将耗费大量的空间,而且得到的矩阵往往也十分的稀疏,可以说空间利用率会很低. 当然,你也许会想,可以用稀疏矩阵来存储,这样就只需要存储连通的情况,空间利用率将大大提升,但是我们还要考虑到一点,就是稀疏矩阵的高性能计算一直是个艰难的,尤其是在用到GPU的情况. 并且,使用邻接矩阵还有一个问题就是各种不同的邻接矩阵可以标识相同的连通性,而这些矩阵并不能保证在神经网络中取的相同的效果.比如,同样的连通性,通过调换列的顺序,就能得到不同的邻接矩阵:现在，我们成功的将图结构成功表示成了置换不变的矩阵格式，终于可以使用图形神经网络（GNN）来做图形预测任务了。 GNN是对保持图对称性(置换不变性)的图的所有属性(节点、边、全局上下文)的可优化变换。 我们将使用Gilmer等人提出的“消息传递神经网络”框架构建GNN,并使用Battaglia等人介绍的图网络网络架构示意图。GNNS采用“图输入，图输出”架构，这意味着这些模型类型接受图作为输入，其中包含节点，边和全局上下文的信息，并逐步地转换这些图嵌入，而不会更改输入的连接图结构。 我们使用最开始提到的那个图来构建一个最简单的GNN,输入的图是相应节点,边,全局信息的向量,我们针对每个向量使用一个MLP层来作变换,于是得到一个新的图. 针对上述构建的最简单的GNN，我们如何在上面描述的任何任务中进行预测呢?这里我们仅仅考虑二进制分类的情况，但这个框架可以很容易地扩展到多类或回归的情况。 如果是对节点分类,我们只要在最后一层接一个线性类器就可以了: 但是上面的预测过程有点过于简单了,完全没有用到图的结构信息,我们在此基础上增加一个pooling操作,以增加它的边缘信息: 具体操作是把待预测节点的邻居节点以及全局的信息进行聚合再做预测,即将这些embedding向量加到一起得到一个新的向量,再输入到最后的线性分类器. 同理,如果我们只有节点相应边的信息的话,也可以用类似的方式pooling,然后得到节点的向量表示再输入分类器: 反之,如果我们只有节点的信息,那么也可以用边所连接的两个节点来pooling出边的向量,然后将器输入到分类器预测边的类型: 显然,不管是哪种任务,整个GNN的推理过程都是一样的,可以表示为这样一个端到端的过程: 不过,显而易见的,这个简单的GNN在分类前只是对每个向量进行了一个变换,而没有用到图结构的任何信息,虽然在最后做预测的时候做了一些pooling的聚合,但也始终没有用到adjacency的信息,因此这个GNN的作用相当有限,但是它为我们提供了一个图结构层变换和堆叠的基本思路. 针对上面最简单GNN的不足,我们可以在其中根据连通性增加更加复杂的变换从而引入整个图结构的信息,我们将这个过程称之为信息传递. 信息传递包含三个步骤: 这个过程有点类似于卷积操作,每个节点汇聚了其邻居的节点,经过多个层的变换,它将涵盖全图的信息. 于是我们可以将这个节点信息传递应用到上述的图变换过程中: 然后,我们发现它并没用用上边的信息,于是可以把边信息也加上,变成这样: 既然把边的信息加上了,那怎么可以漏掉全局信息呢,于是完整的信息传递就可以表示成这样: 以上,我们梳理了最简单的GNNs是怎么完成的,你应该已经对GNN有了一个基本的了解,就像学会了传统神经网络中最简单的全连接网络类似,关于GNN还有更多不同种类的更复杂的图需要取了解和学习,但你只要掌握了以上的思想,学习起来也是十分容易的.
论文:论文地址： 论文题目:《Session-based Recommendation with Graph Neural Networks》SR-GNN github: 基于会话的推荐一般是将序列会话建模，将整个session进行编码，变成一个隐向量，然后利用这个隐向量进行下一个点击预测。但是这种方法没有考虑到item直接复杂的转换(transitions)关系，也就是item之间在点击的session中除了时间顺序外还有复杂的有向图内的节点指向关系，所以之前的方法不足以很好的对点击序列进行建模。 现有基于会话的推荐，方法主要集中于循环神经网络和马尔可夫链，论文提出了现有方法的两个缺点： 1）当一个session中用户的行为数量十分有限时，这些方法难以获取准确的用户行为表示。如当使用RNN模型时，用户行为的表示即最后一个单元的输出，论文认为只有这样并非十分准确。 2）根据先前的工作发现，物品之间的转移模式在会话推荐中是十分重要的特征，但RNN和马尔可夫过程只对相邻的两个物品的 单向转移关系 进行建模，而忽略了会话中其他的物品。 为了克服上述缺陷，本文提出了用图神经网络对方法对用户对session进行建模：下面具体介绍怎么进行图序列推荐 V = {v1,v2...vm}为全部的item，S = { }为一个session里面按时间顺序的点击物品，论文的目标是预测用户下一个要点击的物品vs,n+1，模型的任务是输出所有item的预测概率，并选择top-k进行推荐。 我们为每一个Session构建一个子图，并获得它对应的出度和入度矩阵。 假设一个点击序列是v1->v2->v4->v3，那么它得到的子图如下图中红色部分所示：另一个例子，一个点击序列是v1->v2->v3->v2->v4，那么它得到的子图如下：同时，我们会为每一个子图构建一个出度和入度矩阵，并对出度和入度矩阵的每一行进行归一化，如我们序列v1->v2->v3->v2->v4对应的矩阵如下：这个矩阵里面的值是怎么计算的呢？下面讲一下： 看左边的出度矩阵，第一行为 0 1 0 0 ，代表着v1->v2，因为v1，只有一个指向的item，所以为1；看第二行，0 0 1/2 1/2，因为v2有指向v3和v4的边，所以进行归一化后每一个值都变成了1/2。入度矩阵的计算方法也是一样的，就不再说了。 本文采用的是GRU单元进行序列建模，将图信息嵌入到神经网络中，让GRU充分学习到item之间的关系，传统的GRU只能学到相邻的两个物品之间的关系，加入图信息后就能学到整个session子图的信息。 计算公式如下：为了刚好的理解这个计算过程，我们还是使用之前那个例子：v1->v2->v3->v2->v4来一步步分析输入到输出的过程。 （1） 是t时刻，会话s中第i个点击对应的输入， 是n✖️2n的矩阵，也就是会话子图的完整矩阵，而 是其中一行，即物品vi所对应的那行，大小为1✖️2n，n代表序列中不同物品的数量。 如果按照例子来看，如果i取2，那么 为 [0 0 1/2 1/2 1/2 0 1/2 0] 进一步的，可以把 :拆解为[ , ] （2） 可以理解为序列中第i个物品，在训练过程中对应的嵌入向量，这个向量随着模型的训练不断变化，可以理解为隐藏层的状态，是一个d维向量。 (3) H是d*2d的权重向量，也可以看作是一个分块的矩阵，可以理解为H=[Hin|Hout]，每一块都是d*d的向量。 那么我们来看看计算过程： 1）[ ..., ] ，结果是d * n的矩阵，转置之后是n*d的矩阵，计作 2） : H相当于[ ]，即拆开之后相乘再拼接，因此结果是一个1 * 2d的向量。 上面就是完整的第i个点击的输入的计算过程，可以看到，在进入GRU计算之前，通过跟As,i矩阵相乘，把图信息嵌入到了神经网络中取，加深了神经网络学习到的item之间的交互信息。 此外，就是GRU的计算过程了，跟原始的GRU不一样的地方在于输入从xt变成了嵌入了图信息的as,i。 通样也有更新门和重置门，计算方法跟原始GRU一模一样。 这里的 其实就是相当于原始gru中的 ，只不过在SR-GNN里面，进行一轮运算的时候i是没有变化，相当于每个物品单独进去GRU进行计算，得到自己的向量，也就是说在GRU的计算过程中， 是不断变化的，看一下源码更易于理解： hidden就是公式里面的 ,在gru的每一个step计算中都会进行更新，这里我有个疑问，如果所有item的hidden都更新的话，那么应该是整个序列中所有的item并行进入GRU中进行计算，每一个step都得到自己的vector，当每个item的vector更新后，下一个step就重新根据新的 计算 ，接着计算下一个step。 计算过程大概就是下面这样：这里有四个GRU并行计算，没次更新自己的hidden状态，输入则考虑所有的hidden和图信息。 从上面的图看来，每一个item都要进行T个step得到自己的item-vec，所以经过T个step后，我们就得到了序列中所有item的向量，即：图中用蓝色框框画出来的向量，有了这些向量后，我们怎么得到预测结果呢？这就引入了下一个问题。 观察上面的模型结构，我们看到attention，没错，我们认为一个session中的这些item-vec并不都对预测结果产生影响，有些item对结果影响很大，有些影响很小，所以我们进行了加权求和。同时，论文认为session对最后一个item-vec，s1=vn是重要的，所以单独拿出来：公式(6)就是简单的attention操作，其实从公式上来看就是计算每个vi跟最后一个向量vn的权值，然后进行加权求和。 在最后的输出层，使用sh和每个物品的embedding进行内积计算，这里vi应该是item的embedding层出来的向量，而不是后面一直更新的hidden：最后通过一个softmax得到最终每个物品的点击概率： 损失函数为交叉熵损失函数：从数据上来看，SR-GNN超过了经典的GRU4REC，这也说明了图信息的嵌入能带来更好的推荐效果。 本论文很巧妙的将图信息嵌入的神经网络中，更高地让GRU学习到每个item之间的关系，不再局限于相邻的物品之间进行学习。近年来，图神经网络的思想和方法屡屡被用在推荐系统中，学好图神经网络应该是推荐系统的下一个热潮。
华中科技大学论文格式
导语：论文常用来指进行各个学术领域的研究和描述学术研究成果的文章。下面是由我整理的关于华中科技大学论文格式。欢迎阅读！
一、毕业论文成果的组成
A、封面；
B、毕业论文任务书；
C、毕业设计（论文）评语；
D、标题；
E、中文摘要和关键词；
F、目录；
G、正文；
H、参考文献；
I、谢辞；
L、附录附件。
二、毕业论文及有关资料的装订
毕业论文要按顺序装订，将封面、任务书、评语表、中文摘要和目录、正文、参考文献、谢辞、附录装订在一起。装订时，超出纸张规定尺寸的要折叠。
三、撰写的内容
撰写的内容应包括以下几个方面：
1、标题。标题字数要适当，不宜超过20个字，如果有些细节必须放进标题，可以分成主标题和副标题。
2、论文摘要和关键词。论文中文摘要在300字左右，关键词一般以3～5个为妥。
3、目录。按三级标题编写（即：1……、 1.1……、1.1.1……），附录也应依次列入目录。
4、正文。包括绪论、正文主体与结束语。
5、参考文献。应列入主要的文献可在10篇以内，不宜过多。
6、谢辞。应对在论文撰写过程中曾直接给予指导和帮助的人员表示自己的谢意。
7、附录。对于一些不宜放在正文中，但有参考价值的内容，可编入附录中。
四、毕业论文的写作细则
1、书写。要求用A4纸打印成册，格式要规范。
2、标点符号。应按新闻出版署公布的“标点符号用法”使用。
3、名词、名称。科学技术名词术语尽量采用全国自然科学名词审定委员会公布的规范词或国家标准、部标准中规定的名称，尚未统一规定或叫法有争议的名称术语，可采用惯用的名称。使用外文缩写代替某一名词术语时，首次出现时应在括号内注明其含义。外国人名一般采用英文原名。一般很熟知的外国人名（如牛顿、达尔文、马克思等）可按通常标准译法写译名。
4、量和单位。量和单位必须采用中华人民共和国的国家标准GB3100～GB3102-93，它是以国际单位制（SI）为基础的。非物理量的单位，可用汉字与符号构成组合形式的单位。
5、数字。测量统计数据一律用阿拉伯数字，但在叙述不很大的`数目时，一般不用阿拉伯数字。大约的数字可以用中文数字，也可以用阿拉伯数字。
6、标题层次。全部标题层次应有条不紊，整齐清晰。相同的层次应采用统一的表示体例，正文中各级标题下的内容应同各自的标题对应，不应有与标题无关的内容。各章单独另起一页书写。
标题两级之间用下角圆点隔开，每一级的末尾不加标点。前三层标题均单独占行书写。第一级标题居中书写，序数与标题间空一个汉字；第二级、第三级标题序数顶格书写，后空一格接写标题，末尾不加标点，另起一行书写内容。第四级标题空两汉字书写序数，后空一格书写标题，标题后根据情况可以直接书写内容，也可以另起一行书写内容。此形式尽量避免使用，尽可能采用(1)、(2)……形式作为四级写作内容。第四级以下单独占行的标题可采用①②③…或第一、第二……等形式表示，标题均空两汉字书写序数，后直接书写标题及内容。
7、注释。有个别名词或情况需要解释时，可加注说明，注释可用页末注或篇末注，而不可行中注。页末注释只限于写在注释符号出现的同页，不得隔页。
8、公式。公式号以章分组编号，如（2·4）表示第2章的第4个公式。公式应采用公式编辑程序录入，选择默认格式，公式号右对齐，公式和编号之间不加虚线，公式调整至基本居中。
9、表格。每个表格应有表序和表题，表序以章分组编号。表序和表题应写在表格上方正中，表序后空一格书写表题。表格允许下页接写，表题可省略，表头应重复写，并在右上方写“续表××”。
10、插图。毕业设计的插图必须精心制作，线条粗细要合适，图面要整洁美观。每幅插图应有图序和图题，图序以章分组编号，图序和图题应放在图位下方居中处。图应在描图纸或在白纸上用墨线绘成，也可以用计算机绘图。
11、排版打印格式
（1）中文摘要：采用三号黑体居中打印“摘要”两字，段前段后均设为1行；采用小四号宋体书写内容，格式参照正文。中间空一行书写关键词，“关键词：”空两个汉字书写，采用小四号黑体，后直接书写内容，内容采用小四号宋体书写，格式参照正文。
（2）目录：采用三号黑体居中打印“目录”两字，段前段后均设为1行；采用小四号宋体书写内容，章标题用黑体，其他参照正文格式。
（3）页面设置：A4纸，单面打印。上3cm，下2.5cm，左2.5cm，右2cm，装订线0.5cm，选择“不对称页边距”，页眉1.8cm，页脚1.5cm。
（4）页眉设置：居中以小五号宋体字键入“成人高等教育专升本（专科）毕业设计（论文）”。
（5）页脚设置：插入页码，居中。目录不设页码；正文、参考文献、致谢以阿拉伯数字插入页码。
（6）正文文字：汉字一律采用宋体，标题加黑，章节题目用小三号字，内容采用小四号字汉字宋体，数字和英文采用小四号Times New Roman，
（7）正文段落格式：行距固定值20磅，段前、段后均为0行。标题可适当加宽，设置为段前、段后均为0.5行。
12、参考文献。列出作者直接阅读过、在正文中被引用过的文献资料，一律放在文后，参考文献的书写格式要按国家标准GB7714－87规定。参考文献按在文中出现的先后统一用阿拉伯数字进行连续自然编号，序码宜用方括号括起。
参考文献的第一页编排是采用三号黑体居中打印“参考文献”四字，段前段后均设为1行，采用5号宋体、左起、悬挂缩进、依次打印参考文献。
参考文献的著录格式示例
1、连续出版物
序号 作者. 题名. 刊名，出版年份，卷号（期号）：引文所在的起始或起止页码
2、著作
序号 作者. 书名. 版本(第1版不标注). 出版地：出版者，出版年. 引文所在的起始或起止页码
3、论文集
序号 作者. 题名. 见(英文用In)：主编. 论文集名. 出版地：出版者，出版年. 引文所在的起始或起止页码
4、学位论文
序号 作者. 题名：[博士或硕士学位论文](英文用[Dissertation]). 保存地点： 保存单位，年份
文献著录举例：
[1] 李清雪，张丹，王冬云. 生物滤池净化废气生物膜的培养过程研究. 河北建筑科技学院学报，2003，20（1）：1－3
[2] 丁述理. 煤系高岭石及深加工技术. 北京：中国建材工业出版社，2001. 58－62
[3] Pettersen J, et al. Heat transfer and pressure drop characteristics of supercritical carbon dioxide in microchannel tubes under cooling. In： 4th IIR Gustav Lorentzen conference on natural working fluids, Purdue University, USA. 2000： 99-106
[4] 张明. 基于粗集－神经网络的施工项目安全控制研究：[硕士学位论文].河北：河北工程学院，2004
13、致谢。致谢应实事求是，简洁明了，切忌浮夸与庸俗之词。限一页。编排是采用三号黑体居中打印“致谢”两字，段前段后均设为1行；，采用小四号宋体书写致谢内容，格式参照正文。
14、附录。内容一般包括正文内不便列出的冗长公式推导、辅助性数学工具、符号说明（含缩写）、计算程序、说明等。附在论文最后，超出纸张规定尺寸的要折叠。
在word文件里，怎么设置论文的引用？
深度神经网络（DNNs）是 AI 领域的重要成果，但它的 “存在感” 已经不仅仅限于该领域。 一些前沿生物医学研究，也正被这一特别的概念所吸引。特别是计算神经科学家。 在以前所未有的任务性能彻底改变计算机视觉之后，相应的 DNNs 网络很快就被用以试着解释大脑信息处理的能力，并日益被用作灵长类动物大脑神经计算的建模框架。经过任务优化的深度神经网络，已经成为预测灵长类动物视觉皮层多个区域活动的最佳模型类型之一。 用神经网络模拟大脑或者试图让神经网络更像大脑正成为主流方向的当下，有研究小组却选择用神经生物学的方法重新审视计算机学界发明的DNNs。 而他们发现，诸如改变初始权重等情况就能改变网络的最终训练结果。这对使用单个网络来窥得生物神经信息处理机制的普遍做法提出了新的要求：如果没有将具有相同功能的深度神经网络具有的差异性纳入考虑的话，借助这类网络进行生物大脑运行机制建模将有可能出现一些随机的影响。要想尽量避免这种现象，从事 DNNs 研究的计算神经科学家，可能需要将他们的推论建立在多个网络实例组的基础上，即尝试去研究多个相同功能的神经网络的质心，以此克服随机影响。 而对于 AI 领域的研究者，团队也希望这种表征一致性的概念能帮助机器学习研究人员了解在不同任务性能水平下运行的深度神经网络之间的差异。 人工神经网络由被称为 “感知器”、相互连接的单元所建立，感知器则是生物神经元的简化数字模型。人工神经网络至少有两层感知器，一层用于输入层，另一层用于输出层。在输入和输出之间夹上一个或多个 “隐藏” 层，就得到了一个 “深层” 神经网络，这些层越多，网络越深。 深度神经网络可以通过训练来识别数据中的特征，就比如代表猫或狗图像的特征。训练包括使用一种算法来迭代地调整感知器之间的连接强度（权重系数），以便网络学会将给定的输入（图像的像素）与正确的标签（猫或狗）相关联。理想状况是，一旦经过训练，深度神经网络应该能够对它以前没有见过的同类型输入进行分类。 但在总体结构和功能上，深度神经网络还不能说是严格地模仿人类大脑，其中对神经元之间连接强度的调整反映了学习过程中的关联。 一些神经科学家常常指出深度神经网络与人脑相比存在的局限性：单个神经元处理信息的范围可能比 “失效” 的感知器更广，例如，深度神经网络经常依赖感知器之间被称为反向传播的通信方式，而这种通信方式似乎并不存在于人脑神经系统。 然而，计算神经科学家会持不同想法。有的时候，深度神经网络似乎是建模大脑的最佳选择。 例如，现有的计算机视觉系统已经受到我们所知的灵长类视觉系统的影响，尤其是在负责识别人、位置和事物的路径上，借鉴了一种被称为腹侧视觉流的机制。 对人类来说，腹侧神经通路从眼睛开始，然后进入丘脑的外侧膝状体，这是一种感觉信息的中继站。外侧膝状体连接到初级视觉皮层中称为 V1 的区域，在 V1 和 V4 的下游是区域 V2 和 V4，它们最终通向下颞叶皮层。非人类灵长类动物的大脑也有类似的结构（与之相应的背部视觉流是一条很大程度上独立的通道，用于处理看到运动和物体位置的信息）。 这里所体现的神经科学见解是，视觉信息处理的分层、分阶段推进的：早期阶段先处理视野中的低级特征（如边缘、轮廓、颜色和形状），而复杂的表征，如整个对象和面孔，将在之后由颞叶皮层接管。 如同人的大脑，每个 DNN 都有独特的连通性和表征特征，既然人的大脑会因为内部构造上的差异而导致有的人可能记忆力或者数学能力更强，那训练前初始设定不同的神经网络是否也会在训练过程中展现出性能上的不同呢？ 换句话说，功能相同，但起始条件不同的神经网络间究竟有没有差异呢？ 这个问题之所以关键，是因为它决定着科学家们应该在研究中怎样使用深度神经网络。 在之前 Nature 通讯发布的一篇论文中，由英国剑桥大学 MRC 认知及脑科学研究组、美国哥伦比亚大学 Zuckerman Institute 和荷兰拉德堡大学的 Donders 脑科学及认知与行为学研究中心的科学家组成的一支科研团队，正试图回答这个问题。论文题目为《Individual differences among deep neural network models》。 根据这篇论文，初始条件不同的深度神经网络，确实会随着训练进行而在表征上表现出越来越大的个体差异。 此前的研究主要是采用线性典范相关性分析（CCA，linear canonical correlation analysis）和 centered-kernel alignment（CKA）来比较神经网络间的内部网络表征差异。 这一次，该团队的研究采用的也是领域内常见的分析手法 —— 表征相似性分析（RSA，representational similarity analysis）。 该分析法源于神经科学的多变量分析方法，常被用于将计算模型生产的数据与真实的大脑数据进行比较，在原理上基于通过用 “双（或‘对’）” 反馈差异表示系统的内部刺激表征（Inner stimulus representation）的表征差异矩阵（RDMs，representational dissimilarity matrices），而所有双反馈组所组成的几何则能被用于表示高维刺激空间的几何排布。 两个系统如果在刺激表征上的特点相同（即表征差异矩阵的相似度高达一定数值），就被认为是拥有相似的系统表征。 表征差异矩阵的相似度计算在有不同维度和来源的源空间（source spaces）中进行，以避开定义 “系统间的映射网络”。本研究的在这方面上的一个特色就是，使用神经科学研究中常用的网络实例比较分析方法对网络间的表征相似度进行比较，这使得研究结果可被直接用于神经科学研究常用的模型。 最终，对比的结果显示，仅在起始随机种子上存在不同的神经网络间存在明显个体差异。 该结果在采用不同网络架构，不同训练集和距离测量的情况下都成立。团队分析认为，这种差异的程度与 “用不同输入训练神经网络” 所产生的差异相当。 如上图所示，研究团队通过计算对应 RDM 之间的所有成对距离，比较 all-CNN-C 在所有网络实例和层、上的表示几何。 再通过 MDS 将 a 中的数据点（每个点对应一个层和实例）投影到二维。各个网络实例的层通过灰色线连接。虽然早期的代表性几何图形高度相似，但随着网络深度的增加，个体差异逐渐显现。 在证明了深度神经网络存在的显著个体差异之后，团队继续探索了这些差异存在的解释。 随后，研究者再通过在训练和测试阶段使用 Bernoulli dropout 方法调查了网络正则化（network regularization）对结果能造成的影响，但发现正则化虽然能在一定程度上提升 “采用不同起始随机种子的网络之表征” 的一致性，但并不能修正这些网络间的个体差异。 最后，通过分析网络的训练轨迹与个体差异出现的过程并将这一过程可视化，团队在论文中表示，神经网络的性能与表征一致性间存在强负相关性，即网络间的个体差异会在训练过程中被加剧。 总而言之，这项研究主要调查了多个神经网络在最少的实验干预条件下是否存在个体差异，即在训练开始前为网络设置不同权重的随机种子，但保持其他条件一致，并以此拓展了此前与 “神经网络间相关性” 有关的研究。 除了这篇 这篇 研究以外，“深度学习三巨头” 之一、著名 AI 学者 Hinton 也有过与之相关的研究，论文名为《Similarity of Neural Network Representations Revisited》，文章探讨了测量深度神经网络表示相似性的问题，感兴趣的读者可以一并进行阅读。 Refrence： [1] [2]
国家标准《文后参考文献著录规则》(GB7714-87)、《科学技术期刊编排格式》(GB/T3179-92)以及《中国学术期刊(光盘版)检索与评价数据规范》，并采用顺序编码标注制。1. 引用的文献在文内标注格式对论文所引用的文献，要按它们在文中出现的先后，在文献的著者或成果叙述文字的右上角用方括号标注序号，或者作为语句的组成部分。例如：·1981年日本仅给出了扁平车轮冲击钢轨的垂直冲击速度公式［1］，……·薛杜普等［2］指出棉酚从体内排泄缓慢。·文献［2］指出，棉酚从体内排泄缓慢。·定理的证明见文献［3］。引用多篇文献或同一著者多篇文献时，只需将各篇文献的序号在方括号内全部列出，各序号间用“，”分开；如遇连续序号，可用“~”连接，略去中间序号。例如：·早期的研究结果［2，4，6-9］表明，……2. 文后参考文献著录格式及示例(1) 书或专著［序号］著者.书名[M].版本(第1版不标注).出版地：出版者，出版年．引文所在的起始或起止页码．［1］翟婉明.车辆-轨道耦合动力学[M].北京：中国铁道出版社，1997.74—80．［2］纳霍德金M Д牵引电机设计[M]李忠武，樊俊杰，李铁元译.北京：中国铁道出版社，1983.21-25.［3］Eisson H N.Immunology:an introduction to molecular and cellular principles of the immune respones［M］.5th ed. New York:Harper and Row,1974.3-6． (2)期刊(连续出版物)［序号］著者.题(篇)名[J].刊名，出版年，卷号(期号)：引文所在的起始或起止页码．［1］史峰，李致中.铁路车流路径的优选算法[J]．铁道学报，1993，15(3)：70．［2］You C H, Lee K Y,Chey R F, et al. Electrogastrographic study of patients with unexplained nausea, bloating and vomiting[J]. Gastroenterology,1980,79:311-314．(3)会议录、论文集、论文汇编中的析出文献［序号］析出文献著者.题(篇)名[A].见(英文用In)：原文献著者.论文集名[C].出版地：出版者，出版年.引文所在起始或起止页码．［1］张玉心.重载货车高摩擦系数合成闸瓦的研制和应用[A].见：中国铁道学会编译.国际重载运输协会制动专题讨论会论文集[C].北京：中国铁道学会，1988.242．［2］Hunninghaks G W,Gadek J B,Szapiel S V ,et al.The human alveolar macrophage[A].In:Harris C C ed.Cultured human cells and issues in biomedical research[C].New York:Academic Press,1980.54-56．(4)学位论文［序号］著者.题(篇)名[D].保存地点：保存单位，年份.引文所在起始或起止页码．［1］党建武.神经网络方法求解组合优化问题的研究[D].成都：西南交通大学，1996.20-25． (5)专利文献［序号］专利所有者.题名[P].专利国别：专利号，出版日期．［1］曾德超.常速高速通用优化犁[P].中国专利：85203720.1，1986-11-13．(6)技术标准［序号］标准编号(标准顺序号-发布年)，标准名称[S].［1］GBJ111-87，铁路工程抗震设计规范[S].(7)报纸［序号］主要责任者.文献题名[N].报纸名，年-月-日(版次)．［1］李四光.中国地震的特点[N].人民日报，1988-08-02(4)．(8)科学技术报告［序号］著者.报告题名[R].出版地：出版者，出版年．页码．［1］朱家荷，韩调.铁路区间通过能力计算方法的研究[R].北京：铁道部科学研究院运输及经济研究所，1989.34．(9)电子文献［序号］主要责任者.电子文献题名[电子文献及载体类型标识].电子文献的出处或可获得地址,发表或更新日期/引用日期(任选). ［1］王明亮.关于中国学术期刊标准化数据库系统工程的进展[EB/OL].http://www.cajcd.edu.cn/pub/wml.txt/980810-2.html,1998-08-16/1998-10-04.［2］万锦坤.中国大学学报论文文载(1983-1993).英文版［DB/CD］.北京:中国大百科全书出版社,1996.(10)其他未定义类型的文献［序号］主要责任者.文献题名［Z］.出版地:出版者,出版年. a.主要责任者（专著作者、论文集主编、学位申报人、专利申请人、报告撰写人、期刊文章作者、析出文章作者）。多个责任者间用“，”分隔，只列姓名，不加“著”、“编”、“主编”等责任说明；责任者超过3人时著录前3人姓名，后加等(英文加 et al)，等前加“,”；人名一律采用姓前名后的著录格式(包含外国人姓名)，姓氏字母全部大写,人名是多字时，全部用单词的第一个大写字母，字母间不加标点。b.文献题名及版本（第一版省略）；c.文献类型及载体标识；d.出版项（出版地、出版者、出版年）；e.文献出处或电子文献的获得地址；f.文献起止页码(起止页码间用短横线“－”标示)；g.文献标准编号（标准号、专利号等）。 2 参考文献类型及标识2.1 纸张型载体参考文献类型和标识专著：M 论文集：C 期刊文章：J 报纸文章：N 学术论文：D 报告：R标准：S 专利：P 析出文献：A 其它文献：Z2.2 电子参考文献类型和标识电子参考文献的标识由文献类型标识和载体类型标识两部分组成，标识为[文献类型标识/载体类型标识]a.文献类型及标识数据库：db 计算机程序：cp 电子公告：ebb.载体类型及标识磁带：mt 磁盘：dk 光盘：cd 联机网络：ol3 参考文献编排格式及示例3.1 编排格式参考文献按照顺序编码制编排，标识“参考文献：”左顶格编排。参考文献序号用数字加方括号表示，左顶格编排，与正文中指示序号一致，参考文献每一条目的最后以“.”结束。 3.2 编排示例3.2.1专著(书)、论文集、学位论文、报告[序号]主要责任者.文献题名[文献类型标识].出版地:出版社(者),出版年.起止页码(任选).[1]朱松然.蓄电池手册[m].天津:天津大学出版社,1998.200-215.[2]kordesh karl v.电池组 第一卷二氧化锰[m].夏熙,袁光钰译.北京:轻工业出版社,1981.20-23.[3]vanmusz k. pattern recognition in chemistry[m].berlin:springer-verlag,1980.5-45.[4]王金良.全国电池无汞化技术交流会论文集[c].苏州:电池工业杂志社,2001.[5]倪佩.氢氧化镍电极的添加剂作用及其机理[d].天津:天津大学,1997.40-42.[6]王敬忠.wto对我国电池行业的影响及对策[r].张家界:中国电池工业协会,2002.[7]ferreira t.battery additives:any influence on separator behavior？[r].ireland:the 7th european lead battery conference,2000-09. 3.2.2期刊（连续出版物）[序号]主要作者.题名[j].刊名，出版年，卷（期）：起止页码.[8]夏熙,木合塔尔?依米提.γ-mno2结构模型现状与emd的性能[j].电池工业,2002,7(3):169-173.[9]guo jin,li chong-he, chen hong-lin,et al.effect of rare earth compositions on the hydrogen storage properties of ab5 type alloys and pattern recognition analysis[j].j electrochemical soc,1997,144:2276.3.2.3论文集中析出的文献[序号]析出文献主要作者.析出文献题名[a].论文集主编(任选).论文集名称[c].出版地：出版者，出版年,析出文献起止页码.[10]冯熙康,王伯良,陈爱松,等.电动汽车用锂离子蓄电池进展[a].上海ev-8会议论文集[c].上海:中国电工技术委员会,2000.10-13.[11]robinson robert s.on-line battery testing:a reliable method for determining battery health?[a].proc intelec ＇96[c].ieee,1996.654-660. 3.2.4报纸文章[序号]作者.题名[n].报纸名,出版日期(版次).[12]毕道治.电动车电池的开发现状及展望[n].中国轻工业报,1999-11-22(6).[13]mcgee k.chemical llc[n].press release,2001-05-14.3.2.5标准[序号]标准编号,标准名称[s].[14]gb/t 7112-1998,r03、r1、r6、r14、r20型锌-锰干电池lr03、lr1、lr6、lr14、lr20型碱性锌-锰干电池[s].[15]iec 60086-2,primary part2:physical and electrical specifications[s].3.2.6专利[序号]专利所有者.专利题名[p].专利国别:专利号,出版日期.[16]许凤山.铅酸蓄电池保护器[p].中国专利:2 473 757,2002-01-23.[17]alber g,migliaro m w.what is really necessary for stationary battery maintenance[p].us：5 744 962,1998.[18]黑河宏史,上原真弓.非水系二次电池[p].日本专利:特开平6-243 871,1994-07-01. 3.2.7电子文献[序号]作者.电子文献题名[电子文献及载体类型标识].出处或可获得地址,发表或更新日期/引用日期(任选).[19]中国电池工业协会.赴台湾交流、考察情况总结[eb/ol].http://www.chnbia.com/00004.doc.[20]izu h.photovoltaic micro-devices[db/ol].http://未定义类型的文献[序号]主要责任者.文献题名[z].出版地:出版者,出版年.[21]中国轻工总会.轻总行管[1997]4号关于限制电池产品汞含量的规定[z].北京:中国轻工总会,1997.
对于初学者来说，了解了一个算法的重要意义，往往会引起他对算法本身的重视。BP(Back Propagation，后向传播)算法，具有非凡的历史意义和重大的现实意义。 1969年,作为人工神经网络创始人的明斯基(Marrin M insky)和佩珀特(Seymour Papert)合作出版了《感知器》一书,论证了简单的线性感知器功能有限,不能解决如“异或”(XOR )这样的基本问题,而且对多层网络也持悲观态度。这些论点给神经网络研究以沉重的打击,很多科学家纷纷离开这一领域,神经网络的研究走向长达10年的低潮时期。[1] 1974年哈佛大学的Paul Werbos发明BP算法时，正值神经外网络低潮期，并未受到应有的重视。[2] 1983年，加州理工学院的物理学家John Hopfield利用神经网络，在旅行商这个NP完全问题的求解上获得当时最好成绩，引起了轰动[2]。然而,Hopfield的研究成果仍未能指出明斯基等人论点的错误所在,要推动神经网络研究的全面开展必须直接解除对感知器——多层网络算法的疑虑。[1] 真正打破明斯基冰封魔咒的是，David Rumelhart等学者出版的《平行分布处理:认知的微观结构探索》一书。书中完整地提出了BP算法,系统地解决了多层网络中隐单元连接权的学习问题,并在数学上给出了完整的推导。这是神经网络发展史上的里程碑，BP算法迅速走红，掀起了神经网络的第二次高潮。[1,2] 因此，BP算法的历史意义：明确地否定了明斯基等人的错误观点，对神经网络第二次高潮具有决定性意义。 这一点是说BP算法在神经网络领域中的地位和意义。 BP算法是迄今最成功的神经网络学习算法，现实任务中使用神经网络时，大多是在使用BP算法进行训练[2],包括最近炙手可热的深度学习概念下的卷积神经网络(CNNs)。 BP神经网络是这样一种神经网络模型，它是由一个输入层、一个输出层和一个或多个隐层构成，它的激活函数采用sigmoid函数，采用BP算法训练的多层前馈神经网络。 BP算法全称叫作误差反向传播(error Back Propagation，或者也叫作误差逆传播)算法。其算法基本思想为：在2.1所述的前馈网络中，输入信号经输入层输入，通过隐层计算由输出层输出，输出值与标记值比较，若有误差，将误差反向由输出层向输入层传播，在这个过程中，利用梯度下降算法对神经元权值进行调整。 BP算法中核心的数学工具就是微积分的 链式求导法则 。BP算法的缺点，首当其冲就是局部极小值问题。 BP算法本质上是梯度下降，而它所要优化的目标函数又非常复杂，这使得BP算法效率低下。[1]、《BP算法的哲学思考》，成素梅、郝中华著 [2]、《机器学习》，周志华著 [3]、 Deep Learning论文笔记之（四）CNN卷积神经网络推导和实现 2016-05-13 第一次发布 2016-06-04 较大幅度修改，完善推导过程，修改文章名2016-07-23 修改了公式推导中的一个错误，修改了一个表述错误
一、BP模型概述
误差逆传播(Error Back-Propagation)神经网络模型简称为BP(Back-Propagation)网络模型。
Pall Werbas博士于1974年在他的博士论文中提出了误差逆传播学习算法。完整提出并被广泛接受误差逆传播学习算法的是以Rumelhart和McCelland为首的科学家小组。他们在1986年出版“Parallel Distributed Processing，Explorations in the Microstructure of Cognition”(《并行分布信息处理》)一书中，对误差逆传播学习算法进行了详尽的分析与介绍，并对这一算法的潜在能力进行了深入探讨。
BP网络是一种具有3层或3层以上的阶层型神经网络。上、下层之间各神经元实现全连接，即下层的每一个神经元与上层的每一个神经元都实现权连接，而每一层各神经元之间无连接。网络按有教师示教的方式进行学习，当一对学习模式提供给网络后，神经元的激活值从输入层经各隐含层向输出层传播，在输出层的各神经元获得网络的输入响应。在这之后，按减小期望输出与实际输出的误差的方向，从输入层经各隐含层逐层修正各连接权，最后回到输入层，故得名“误差逆传播学习算法”。随着这种误差逆传播修正的不断进行，网络对输入模式响应的正确率也不断提高。
BP网络主要应用于以下几个方面：
1)函数逼近：用输入模式与相应的期望输出模式学习一个网络逼近一个函数；
2)模式识别：用一个特定的期望输出模式将它与输入模式联系起来；
3)分类：把输入模式以所定义的合适方式进行分类；
4)数据压缩：减少输出矢量的维数以便于传输或存储。
在人工神经网络的实际应用中，80%～90%的人工神经网络模型采用BP网络或它的变化形式，它也是前向网络的核心部分，体现了人工神经网络最精华的部分。
二、BP模型原理
下面以三层BP网络为例，说明学习和应用的原理。
1.数据定义
P对学习模式(xp，dp)，p=1，2，…，P；
输入模式矩阵X[N][P]=(x1，x2，…，xP)；
目标模式矩阵d[M][P]=(d1，d2，…，dP)。
三层BP网络结构
输入层神经元节点数S0=N，i=1，2，…，S0；
隐含层神经元节点数S1，j=1，2，…，S1；
神经元激活函数f1[S1]；
权值矩阵W1[S1][S0]；
偏差向量b1[S1]。
输出层神经元节点数S2=M，k=1，2，…，S2；
神经元激活函数f2[S2]；
权值矩阵W2[S2][S1]；
偏差向量b2[S2]。
学习参数
目标误差ϵ；
初始权更新值Δ0；
最大权更新值Δmax；
权更新值增大倍数η+；
权更新值减小倍数η-。
2.误差函数定义
对第p个输入模式的误差的计算公式为
中国矿产资源评价新技术与评价新模型
y2kp为BP网的计算输出。
3.BP网络学习公式推导
BP网络学习公式推导的指导思想是，对网络的权值W、偏差b修正，使误差函数沿负梯度方向下降，直到网络输出误差精度达到目标精度要求，学习结束。
各层输出计算公式
输入层
y0i=xi，i=1，2，…，S0；
隐含层
中国矿产资源评价新技术与评价新模型
y1j=f1(z1j)，
j=1，2，…，S1；
输出层
中国矿产资源评价新技术与评价新模型
y2k=f2(z2k)，
k=1，2，…，S2。
输出节点的误差公式
中国矿产资源评价新技术与评价新模型
对输出层节点的梯度公式推导
中国矿产资源评价新技术与评价新模型
E是多个y2m的函数，但只有一个y2k与wkj有关，各y2m间相互独立。
其中
中国矿产资源评价新技术与评价新模型
则
中国矿产资源评价新技术与评价新模型
设输出层节点误差为
δ2k=(dk-y2k)·f2′(z2k)，
则
中国矿产资源评价新技术与评价新模型
同理可得
中国矿产资源评价新技术与评价新模型
对隐含层节点的梯度公式推导
中国矿产资源评价新技术与评价新模型
E是多个y2k的函数，针对某一个w1ji，对应一个y1j，它与所有的y2k有关。因此，上式只存在对k的求和，其中
中国矿产资源评价新技术与评价新模型
则
中国矿产资源评价新技术与评价新模型
设隐含层节点误差为
中国矿产资源评价新技术与评价新模型
则
中国矿产资源评价新技术与评价新模型
同理可得
中国矿产资源评价新技术与评价新模型
4.采用弹性BP算法(RPROP)计算权值W、偏差b的修正值ΔW，Δb
1993年德国 Martin Riedmiller和Heinrich Braun 在他们的论文“A Direct Adaptive Method for Faster Backpropagation Learning：The RPROP Algorithm”中，提出Resilient Backpropagation算法——弹性BP算法(RPROP)。这种方法试图消除梯度的大小对权步的有害影响，因此，只有梯度的符号被认为表示权更新的方向。
权改变的大小仅仅由权专门的“更新值” 确定
中国矿产资源评价新技术与评价新模型
其中 表示在模式集的所有模式(批学习)上求和的梯度信息，(t)表示t时刻或第t次学习。
权更新遵循规则：如果导数是正(增加误差)，这个权由它的更新值减少。如果导数是负，更新值增加。
中国矿产资源评价新技术与评价新模型
RPROP算法是根据局部梯度信息实现权步的直接修改。对于每个权，我们引入它的
各自的更新值 ，它独自确定权更新值的大小。这是基于符号相关的自适应过程，它基
于在误差函数E上的局部梯度信息，按照以下的学习规则更新
中国矿产资源评价新技术与评价新模型
其中0＜η-＜1＜η+。
在每个时刻，如果目标函数的梯度改变它的符号，它表示最后的更新太大，更新值 应由权更新值减小倍数因子η-得到减少；如果目标函数的梯度保持它的符号，更新值应由权更新值增大倍数因子η+得到增大。
为了减少自由地可调参数的数目，增大倍数因子η+和减小倍数因子η–被设置到固定值
η+=1.2，
η-=0.5，
这两个值在大量的实践中得到了很好的效果。
RPROP算法采用了两个参数：初始权更新值Δ0和最大权更新值Δmax
当学习开始时，所有的更新值被设置为初始值Δ0，因为它直接确定了前面权步的大小，它应该按照权自身的初值进行选择，例如，Δ0=0.1(默认设置)。
为了使权不至于变得太大，设置最大权更新值限制Δmax，默认上界设置为
Δmax=50.0。
在很多实验中，发现通过设置最大权更新值Δmax到相当小的值，例如
Δmax=1.0。
我们可能达到误差减小的平滑性能。
5.计算修正权值W、偏差b
第t次学习，权值W、偏差b的的修正公式
W(t)=W(t-1)+ΔW(t)，
b(t)=b(t-1)+Δb(t)，
其中，t为学习次数。
6.BP网络学习成功结束条件每次学习累积误差平方和
中国矿产资源评价新技术与评价新模型
每次学习平均误差
中国矿产资源评价新技术与评价新模型
当平均误差MSE＜ε，BP网络学习成功结束。
7.BP网络应用预测
在应用BP网络时，提供网络输入给输入层，应用给定的BP网络及BP网络学习得到的权值W、偏差b，网络输入经过从输入层经各隐含层向输出层的“顺传播”过程，计算出BP网的预测输出。
8.神经元激活函数f
线性函数
f(x)=x，
f′(x)=1，
f(x)的输入范围(-∞，+∞)，输出范围(-∞，+∞)。
一般用于输出层，可使网络输出任何值。
S型函数S(x)
中国矿产资源评价新技术与评价新模型
f(x)的输入范围(-∞，+∞)，输出范围(0，1)。
f′(x)=f(x)[1-f(x)]，
f′(x)的输入范围(-∞，+∞)，输出范围(0， ]。
一般用于隐含层，可使范围(-∞，+∞)的输入，变成(0，1)的网络输出，对较大的输入，放大系数较小；而对较小的输入，放大系数较大，所以可用来处理和逼近非线性的输入/输出关系。
在用于模式识别时，可用于输出层，产生逼近于0或1的二值输出。
双曲正切S型函数
中国矿产资源评价新技术与评价新模型
f(x)的输入范围(-∞，+∞)，输出范围(-1，1)。
f′(x)=1-f(x)·f(x)，
f′(x)的输入范围(-∞，+∞)，输出范围(0，1]。
一般用于隐含层，可使范围(-∞，+∞)的输入，变成(-1，1)的网络输出，对较大的输入，放大系数较小；而对较小的输入，放大系数较大，所以可用来处理和逼近非线性的输入/输出关系。
阶梯函数
类型1
中国矿产资源评价新技术与评价新模型
f(x)的输入范围(-∞，+∞)，输出范围{0，1}。
f′(x)=0。
类型2
中国矿产资源评价新技术与评价新模型
f(x)的输入范围(-∞，+∞)，输出范围{-1，1}。
f′(x)=0。
斜坡函数
类型1
中国矿产资源评价新技术与评价新模型
f(x)的输入范围(-∞，+∞)，输出范围[0，1]。
中国矿产资源评价新技术与评价新模型
f′(x)的输入范围(-∞，+∞)，输出范围{0，1}。
类型2
中国矿产资源评价新技术与评价新模型
f(x)的输入范围(-∞，+∞)，输出范围[-1，1]。
中国矿产资源评价新技术与评价新模型
f′(x)的输入范围(-∞，+∞)，输出范围{0，1}。
三、总体算法
1.三层BP网络(含输入层，隐含层，输出层)权值W、偏差b初始化总体算法
(1)输入参数X[N][P]，S0，S1，f1[S1]，S2，f2[S2]；
(2)计算输入模式X[N][P]各个变量的最大值，最小值矩阵 Xmax[N]，Xmin[N]；
(3)隐含层的权值W1，偏差b1初始化。
情形1：隐含层激活函数f( )都是双曲正切S型函数
1)计算输入模式X[N][P]的每个变量的范围向量Xrng[N]；
2)计算输入模式X的每个变量的范围均值向量Xmid[N]；
3)计算W，b的幅度因子Wmag；
4)产生[-1，1]之间均匀分布的S0×1维随机数矩阵Rand[S1]；
5)产生均值为0，方差为1的正态分布的S1×S0维随机数矩阵Randnr[S1][S0]，随机数范围大致在[-1，1]；
6)计算W[S1][S0]，b[S1]；
7)计算隐含层的初始化权值W1[S1][S0]；
8)计算隐含层的初始化偏差b1[S1]；
9))输出W1[S1][S0]，b1[S1]。
情形2：隐含层激活函数f( )都是S型函数
1)计算输入模式X[N][P]的每个变量的范围向量Xrng[N]；
2)计算输入模式X的每个变量的范围均值向量Xmid[N]；
3)计算W，b的幅度因子Wmag；
4)产生[-1，1]之间均匀分布的S0×1维随机数矩阵Rand[S1]；
5)产生均值为0，方差为1的正态分布的S1×S0维随机数矩阵Randnr[S1][S0]，随机数范围大致在[-1，1]；
6)计算W[S1][S0]，b[S1]；
7)计算隐含层的初始化权值W1[S1][S0]；
8)计算隐含层的初始化偏差b1[S1]；
9)输出W1[S1][S0]，b1[S1]。
情形3：隐含层激活函数f( )为其他函数的情形
1)计算输入模式X[N][P]的每个变量的范围向量Xrng[N]；
2)计算输入模式X的每个变量的范围均值向量Xmid[N]；
3)计算W，b的幅度因子Wmag；
4)产生[-1，1]之间均匀分布的S0×1维随机数矩阵Rand[S1]；
5)产生均值为0，方差为1的正态分布的S1×S0维随机数矩阵Randnr[S1][S0]，随机数范围大致在[-1，1]；
6)计算W[S1][S0]，b[S1]；
7)计算隐含层的初始化权值W1[S1][S0]；
8)计算隐含层的初始化偏差b1[S1]；
9)输出W1[S1][S0]，b1[S1]。
(4)输出层的权值W2，偏差b2初始化
1)产生[-1，1]之间均匀分布的S2×S1维随机数矩阵W2[S2][S1]；
2)产生[-1，1]之间均匀分布的S2×1维随机数矩阵b2[S2]；
3)输出W2[S2][S1]，b2[S2]。
2.应用弹性BP算法(RPROP)学习三层BP网络(含输入层，隐含层，输出层)权值W、偏差b总体算法
函数：Train3BP_RPROP(S0，X，P，S1，W1，b1，f1，S2，W2，b2，f2，d，TP)
(1)输入参数
P对模式(xp，dp)，p=1，2，…，P；
三层BP网络结构；
学习参数。
(2)学习初始化
1) ；
2)各层W，b的梯度值 ， 初始化为零矩阵。
(3)由输入模式X求第一次学习各层输出y0，y1，y2及第一次学习平均误差MSE
(4)进入学习循环
epoch=1
(5)判断每次学习误差是否达到目标误差要求
如果MSE＜ϵ，
则，跳出epoch循环，
转到(12)。
(6)保存第epoch-1次学习产生的各层W，b的梯度值 ，
(7)求第epoch次学习各层W，b的梯度值 ，
1)求各层误差反向传播值δ；
2)求第p次各层W，b的梯度值 ， ；
3)求p=1，2，…，P次模式产生的W，b的梯度值 ， 的累加。
(8)如果epoch=1，则将第epoch-1次学习的各层W，b的梯度值 ， 设为第epoch次学习产生的各层W，b的梯度值 ， 。
(9)求各层W，b的更新
1)求权更新值Δij更新；
2)求W，b的权更新值 ， ；
3)求第epoch次学习修正后的各层W，b。
(10)用修正后各层W、b，由X求第epoch次学习各层输出y0，y1，y2及第epoch次学习误差MSE
(11)epoch=epoch+1，
如果epoch≤MAX_EPOCH，转到(5)；
否则，转到(12)。
(12)输出处理
1)如果MSE＜ε，
则学习达到目标误差要求，输出W1，b1，W2，b2。
2)如果MSE≥ε，
则学习没有达到目标误差要求，再次学习。
(13)结束
3.三层BP网络(含输入层，隐含层，输出层)预测总体算法
首先应用Train3lBP_RPROP( )学习三层BP网络(含输入层，隐含层，输出层)权值W、偏差b，然后应用三层BP网络(含输入层，隐含层，输出层)预测。
函数：Simu3lBP( )。
1)输入参数：
P个需预测的输入数据向量xp，p=1，2，…，P；
三层BP网络结构；
学习得到的各层权值W、偏差b。
2)计算P个需预测的输入数据向量xp(p=1，2，…，P)的网络输出 y2[S2][P]，输出预测结果y2[S2][P]。
四、总体算法流程图
BP网络总体算法流程图见附图2。
五、数据流图
BP网数据流图见附图1。
六、实例
实例一 全国铜矿化探异常数据BP 模型分类
1.全国铜矿化探异常数据准备
在全国铜矿化探数据上用稳健统计学方法选取铜异常下限值33.1，生成全国铜矿化探异常数据。
2.模型数据准备
根据全国铜矿化探异常数据，选取7类33个矿点的化探数据作为模型数据。这7类分别是岩浆岩型铜矿、斑岩型铜矿、矽卡岩型、海相火山型铜矿、陆相火山型铜矿、受变质型铜矿、海相沉积型铜矿，另添加了一类没有铜异常的模型(表8-1)。
3.测试数据准备
全国化探数据作为测试数据集。
4.BP网络结构
隐层数2，输入层到输出层向量维数分别为14，9、5、1。学习率设置为0.9，系统误差1e-5。没有动量项。
表8-1 模型数据表
续表
5.计算结果图
如图8-2、图8-3。
图8-2
图8-3 全国铜矿矿床类型BP模型分类示意图
实例二 全国金矿矿石量品位数据BP 模型分类
1.模型数据准备
根据全国金矿储量品位数据，选取4类34个矿床数据作为模型数据，这4类分别是绿岩型金矿、与中酸性浸入岩有关的热液型金矿、微细浸染型型金矿、火山热液型金矿(表8-2)。
2.测试数据准备
模型样本点和部分金矿点金属量、矿石量、品位数据作为测试数据集。
3.BP网络结构
输入层为三维，隐层1层，隐层为三维，输出层为四维，学习率设置为0.8，系统误差1e-4，迭代次数5000。
表8-2 模型数据
4.计算结果
结果见表8-3、8-4。
表8-3 训练学习结果
表8-4 预测结果(部分)
续表
神经网络的是我的毕业论文的一部分4．人工神经网络人的思维有逻辑性和直观性两种不同的基本方式。逻辑性的思维是指根据逻辑规则进行推理的过程；它先将信息化成概念，并用符号表示，然后，根据符号运算按串行模式进行逻辑推理。这一过程可以写成串行的指令，让计算机执行。然而，直观性的思维是将分布式存储的信息综合起来，结果是忽然间产生想法或解决问题的办法。这种思维方式的根本之点在于以下两点:1.信息是通过神经元上的兴奋模式分布在网络上;2.信息处理是通过神经元之间同时相互作用的动态过程来完成的。 人工神经网络就是模拟人思维的第二种方式。这是一个非线性动力学系统，其特色在于信息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单，功能有限，但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。4.1人工神经网络学习的原理人工神经网络首先要以一定的学习准则进行学习，然后才能工作。现以人工神经网络对手写“A”、“B”两个字母的识别为例进行说明，规定当“A”输入网络时，应该输出“1”，而当输入为“B”时，输出为“0”。 所以网络学习的准则应该是：如果网络做出错误的判决，则通过网络的学习，应使得网络减少下次犯同样错误的可能性。首先，给网络的各连接权值赋予(0，1)区间内的随机值，将“A”所对应的图像模式输入给网络，网络将输入模式加权求和、与门限比较、再进行非线性运算，得到网络的输出。在此情况下，网络输出为“1”和“0”的概率各为50%，也就是说是完全随机的。这时如果输出为“1”(结果正确)，则使连接权值增大，以便使网络再次遇到“A”模式输入时，仍然能做出正确的判断。 如果输出为“0”(即结果错误)，则把网络连接权值朝着减小综合输入加权值的方向调整，其目的在于使网络下次再遇到“A”模式输入时，减小犯同样错误的可能性。如此操作调整，当给网络轮番输入若干个手写字母“A”、“B”后，经过网络按以上学习方法进行若干次学习后，网络判断的正确率将大大提高。这说明网络对这两个模式的学习已经获得了成功，它已将这两个模式分布地记忆在网络的各个连接权值上。当网络再次遇到其中任何一个模式时，能够做出迅速、准确的判断和识别。一般说来，网络中所含的神经元个数越多，则它能记忆、识别的模式也就越多。4.2人工神经网络的优缺点人工神经网络由于模拟了大脑神经元的组织方式而具有了人脑功能的一些基本特征，为人工智能的研究开辟了新的途径，神经网络具有的优点在于:（1）并行分布性处理因为人工神经网络中的神经元排列并不是杂乱无章的，往往是分层或以一种有规律的序列排列，信号可以同时到达一批神经元的输入端，这种结构非常适合并行计算。同时如果将每一个神经元看作是一个小的处理单元，则整个系统可以是一个分布式计算系统，这样就避免了以往的“匹配冲突”，“组合爆炸”和“无穷递归”等题，推理速度快。（2）可学习性一个相对很小的人工神经网络可存储大量的专家知识，并且能根据学习算法，或者利用样本指导系统来模拟现实环境(称为有教师学习)，或者对输入进行自适应学习(称为无教师学习)，不断地自动学习，完善知识的存储。（3）鲁棒性和容错性由于采用大量的神经元及其相互连接，具有联想记忆与联想映射能力，可以增强专家系统的容错能力，人工神经网络中少量的神经元发生失效或错误，不会对系统整体功能带来严重的影响。而且克服了传统专家系统中存在的“知识窄台阶”问题。（4）泛化能力人工神经网络是一类大规模的非线形系统，这就提供了系统自组织和协同的潜力。它能充分逼近复杂的非线形关系。当输入发生较小变化，其输出能够与原输入产生的输出保持相当小的差距。（5）具有统一的内部知识表示形式，任何知识规则都可以通过对范例的学习存储于同一个神经网络的各连接权值中，便于知识库的组织管理，通用性强。虽然人工神经网络有很多优点，但基于其固有的内在机理，人工神经网络也不可避免的存在自己的弱点:（1）最严重的问题是没能力来解释自己的推理过程和推理依据。（2）神经网络不能向用户提出必要的询问，而且当数据不充分的时候，神经网络就无法进行工作。（3）神经网络把一切问题的特征都变为数字，把一切推理都变为数值计算，其结果势必是丢失信息。（4）神经网络的理论和学习算法还有待于进一步完善和提高。4.3神经网络的发展趋势及在柴油机故障诊断中的可行性神经网络为现代复杂大系统的状态监测和故障诊断提供了全新的理论方法和技术实现手段。神经网络专家系统是一类新的知识表达体系，与传统专家系统的高层逻辑模型不同，它是一种低层数值模型，信息处理是通过大量的简单处理元件(结点) 之间的相互作用而进行的。由于它的分布式信息保持方式，为专家系统知识的获取与表达以及推理提供了全新的方式。它将逻辑推理与数值运算相结合，利用神经网络的学习功能、联想记忆功能、分布式并行信息处理功能，解决诊断系统中的不确定性知识表示、获取和并行推理等问题。通过对经验样本的学习，将专家知识以权值和阈值的形式存储在网络中，并且利用网络的信息保持性来完成不精确诊断推理，较好地模拟了专家凭经验、直觉而不是复杂的计算的推理过程。但是，该技术是一个多学科知识交叉应用的领域，是一个不十分成熟的学科。一方面，装备的故障相当复杂;另一方面，人工神经网络本身尚有诸多不足之处:（1）受限于脑科学的已有研究成果。由于生理实验的困难性，目前对于人脑思维与记忆机制的认识还很肤浅。（2）尚未建立起完整成熟的理论体系。目前已提出了众多的人工神经网络模型，归纳起来，这些模型一般都是一个由结点及其互连构成的有向拓扑网，结点间互连强度所构成的矩阵，可通过某种学习策略建立起来。但仅这一共性，不足以构成一个完整的体系。这些学习策略大多是各行其是而无法统一于一个完整的框架之中。（3）带有浓厚的策略色彩。这是在没有统一的基础理论支持下，为解决某些应用，而诱发出的自然结果。（4）与传统计算技术的接口不成熟。人工神经网络技术决不能全面替代传统计算技术，而只能在某些方面与之互补，从而需要进一步解决与传统计算技术的接口问题，才能获得自身的发展。虽然人工神经网络目前存在诸多不足，但是神经网络和传统专家系统相结合的智能故障诊断技术仍将是以后研究与应用的热点。它最大限度地发挥两者的优势。神经网络擅长数值计算，适合进行浅层次的经验推理;专家系统的特点是符号推理，适合进行深层次的逻辑推理。智能系统以并行工作方式运行，既扩大了状态监测和故障诊断的范围，又可满足状态监测和故障诊断的实时性要求。既强调符号推理，又注重数值计算，因此能适应当前故障诊断系统的基本特征和发展趋势。随着人工神经网络的不断发展与完善，它将在智能故障诊断中得到广泛的应用。根据神经网络上述的各类优缺点，目前有将神经网络与传统的专家系统结合起来的研究倾向，建造所谓的神经网络专家系统。理论分析与使用实践表明，神经网络专家系统较好地结合了两者的优点而得到更广泛的研究和应用。离心式制冷压缩机的构造和工作原理与离心式鼓风机极为相似。但它的工作原理与活塞式压缩机有根本的区别，它不是利用汽缸容积减小的方式来提高汽体的压力，而是依靠动能的变化来提高汽体压力。离心式压缩机具有带叶片的工作轮，当工作轮转动时，叶片就带动汽体运动或者使汽体得到动能，然后使部分动能转化为压力能从而提高汽体的压力。这种压缩机由于它工作时不断地将制冷剂蒸汽吸入，又不断地沿半径方向被甩出去，所以称这种型式的压缩机为离心式压缩机。其中根据压缩机中安装的工作轮数量的多少，分为单级式和多级式。如果只有一个工作轮，就称为单级离心式压缩机，如果是由几个工作轮串联而组成，就称为多级离心式压缩机。在空调中，由于压力增高较少，所以一般都是采用单级，其它方面所用的离心式制冷压缩机大都是多级的。单级离心式制冷压缩机的构造主要由工作轮、扩压器和蜗壳等所组成。 压缩机工作时制冷剂蒸汽由吸汽口轴向进入吸汽室，并在吸汽室的导流作用引导由蒸发器(或中间冷却器)来的制冷剂蒸汽均匀地进入高速旋转的工作轮3(工作轮也称叶轮，它是离心式制冷压缩机的重要部件，因为只有通过工作轮才能将能量传给汽体)。汽体在叶片作用下，一边跟着工作轮作高速旋转，一边由于受离心力的作用，在叶片槽道中作扩压流动，从而使汽体的压力和速度都得到提高。由工作轮出来的汽体再进入截面积逐渐扩大的扩压器4(因为汽体从工作轮流出时具有较高的流速，扩压器便把动能部分地转化为压力能，从而提高汽体的压力)。汽体流过扩压器时速度减小，而压力则进一步提高。经扩压器后汽体汇集到蜗壳中，再经排气口引导至中间冷却器或冷凝器中。 二、离心式制冷压缩机的特点与特性 离心式制冷压缩机与活塞式制冷压缩机相比较，具有下列优点： (1)单机制冷量大，在制冷量相同时它的体积小，占地面积少，重量较活塞式轻5～8倍。 (2)由于它没有汽阀活塞环等易损部件，又没有曲柄连杆机构，因而工作可靠、运转平稳、噪音小、操作简单、维护费用低。 (3)工作轮和机壳之间没有摩擦，无需润滑。故制冷剂蒸汽与润滑油不接触，从而提高了蒸发器和冷凝器的传热性能。 (4)能经济方便的调节制冷量且调节的范围较大。 (5)对制冷剂的适应性差，一台结构一定的离心式制冷压缩机只能适应一种制冷剂。 (6)由于适宜采用分子量比较大的制冷剂，故只适用于大制冷量，一般都在25～30万大卡／时以上。如制冷量太少，则要求流量小，流道窄，从而使流动阻力大，效率低。但近年来经过不断改进，用于空调的离心式制冷压缩机，单机制冷量可以小到10万大卡／时左右。 制冷与冷凝温度、蒸发温度的关系。 由物理学可知，回转体的动量矩的变化等于外力矩，则 T=m(C2UR2-C1UR1) 两边都乘以角速度ω，得 Tω=m(C2UωR2-C1UωR1) 也就是说主轴上的外加功率N为： N=m(U2C2U-U1C1U) 上式两边同除以m则得叶轮给予单位质量制冷剂蒸汽的功即叶轮的理论能量头。 U2 C2 ω2 C2U R1 R2 ω1 C1 U1 C2r β 离心式制冷压缩机的特性是指理论能量头与流量之间变化关系，也可以表示成制冷 W=U2C2U-U1C1U≈U2C2U （因为进口C1U≈0） 又C2U=U2-C2rctgβ C2r=Vυ1/(A2υ2) 故有 W= U22(1- Vυ1 ctgβ) A2υ2U2 式中：V—叶轮吸入蒸汽的容积流量（m3/s） υ1υ2 ——分别为叶轮入口和出口处的蒸汽比容（m3/kg） A2、U2—叶轮外缘出口面积(m2)与圆周速度(m/s) β—叶片安装角 由上式可见，理论能量头W与压缩机结构、转速、冷凝温度、蒸发温度及叶轮吸入蒸汽容积流量有关。对于结构一定、转速一定的压缩机来说，U2、A2、β皆为常量，则理论能量头W仅与流量V、蒸发温度、冷凝温度有关。 按照离心式制冷压缩机的特性，宜采用分子量比较大的制冷剂，目前离心式制冷机所用的制冷剂有F—11、F—12、F—22、F—113和F—114等。我国目前在空调用离心式压缩机中应用得最广泛的是F—11和F—12，且通常是在蒸发温度不太低和大制冷量的情况下，选用离心式制冷压缩机。此外，在石油化学工业中离心式的制冷压缩机则采用丙烯、乙烯作为制冷剂，只有制冷量特别大的离心式压缩机才用氨作为制冷剂。 三、离心式制冷压缩机的调节 离心式制冷压缩机和其它制冷设备共同构成一个能量供给与消耗的统一系统。制冷机组在运行时，只有当通过压缩机的制冷剂的流量与通过设备的流量相等时，以及压缩机所产生的能量头与制冷设备的阻力相适应时，制冷系统的工况才能保持稳定。但是制冷机的负荷总是随外界条件与用户对冷量的使用情况而变化的，因此为了适应用户对冷负荷变化的需要和安全经济运行，就需要根据外界的变化对制冷机组进行调节，离心式制冷机组制冷量的调节有：1°改变压缩机的转速；2°采用可转动的进口导叶；3°改变冷凝器的进水量；4°进汽节流等几种方式，其中最常用的是转动进口导叶调节和进汽节流两种调节方法。所谓转动进口导叶调节，就是转动压缩机进口处的导流叶片以使进入到叶轮去的汽体产生旋绕，从而使工作轮加给汽体的动能发生变化来调节制冷量。所谓进汽节流调节，就是在压缩机前的进汽管道上安装一个调节阀，如要改变压缩机的工况时，就调节阀门的大小，通过节流使压缩机进口的压力降低，从而实现调节制冷量。离心式压缩机制冷量的调节最经济有效的方法就是改变进口导叶角度，以改变蒸汽进入叶轮的速度方向(C1U)和流量V。但流量V必须控制在稳定工作范围内，以免效率下降。
计算机论文计算机网络在电子商务中的应用摘要：随着计算机网络技术的飞进发展，电子商务正得到越来越广泛的应用。由于电子商务中的交易行为大多数都是在网上完成的， 因此电子商务的安全性是影响趸易双方成败的一个关键因素。本文从电子商务系统对计算机网络安全，商务交易安全性出发，介绍利用网络安全枝术解决安全问题的方法。关键词：计算机网络，电子商务安全技术一． 引言近几年来．电子商务的发展十分迅速 电子商务可以降低成本．增加贸易机会，简化贸易流通过程，提高生产力，改善物流和金流、商品流．信息流的环境与系统 虽然电子商务发展势头很强，但其贸易额所占整个贸易额的比例仍然很低。影响其发展的首要因素是安全问题．网上的交易是一种非面对面交易，因此“交易安全“在电子商务的发展中十分重要。可以说．没有安全就没有电子商务。电子商务的安全从整体上可分为两大部分．计算机网络安全和商务交易安全。计算机网络安全包括计算机网络设备安全、计算机网络系统安全、数据库安全等。其特征是针对计算机网络本身可能存在的安全问题，实施网络安全增强方案．以保证计算机网络自身的安全性为目标。商务安全则紧紧围绕传统商务在Interne'(上应用时产生的各种安全问题．在计算机网络安全的基础上．如何保障电子商务过程的顺利进行。即实现电子商务的保密性．完整性．可鉴别性．不可伪造性和不可依赖性。二、电子商务网络的安全隐患1窃取信息：由于未采用加密措施．数据信息在网络上以明文形式传送．入侵者在数据包经过的网关或路由器上可以截获传送的信息。通过多次窃取和分析，可以找到信息的规律和格式，进而得到传输信息的内容．造成网上传输信息泄密2．篡改信息：当入侵者掌握了信息的格式和规律后．通过各种技术手段和方法．将网络上传送的信息数据在中途修改 然后再发向目的地。这种方法并不新鲜．在路由器或者网关上都可以做此类工作。3假冒由于掌握了数据的格式，并可以篡改通过的信息，攻击者可以冒充合法用户发送假冒的信息或者主动获取信息，而远端用户通常很难分辨。4恶意破坏：由于攻击者可以接入网络．则可能对网络中的信息进行修改．掌握网上的机要信息．甚至可以潜入网络内部．其后果是非常严重的。三、电子商务交易中应用的网络安全技术为了提高电子商务的安全性．可以采用多种网络安全技术和协议．这些技术和协议各自有一定的使用范围，可以给电子商务交易活动提供不同程度的安全保障。1．防火墙技术。防火墙是目前主要的网络安全设备。防火墙通常使用的安全控制手段主要有包过滤、状态检测、代理服务 由于它假设了网络的边界和服务，对内部的非法访问难以有效地控制。因此．最适合于相对独立的与外部网络互连途径有限、网络服务种类相对集中的单一网络(如常见的企业专用网) 防火墙的隔离技术决定了它在电子商务安全交易中的重要作用。目前．防火墙产品主要分为两大类基于代理服务方式的和基于状态检测方式的。例如Check Poim Fi rewalI-1 4 0是基于Unix、WinNT平台上的软件防火墙．属状态检测型 Cisco PIX是硬件防火墙．也属状态检测型。由于它采用了专用的操作系统．因此减少了黑客利用操作系统G)H攻击的可能性：Raptor完全是基于代理技术的软件防火墙 由于互联网的开放性和复杂性．防火墙也有其固有的缺点(1)防火墙不能防范不经由防火墙的攻击。例如．如果允许从受保护网内部不受限制地向外拨号．一些用户可以形成与Interne'(的直接连接．从而绕过防火墙：造成一个潜在的后门攻击渠道，所以应该保证内部网与外部网之间通道的唯一性。(2)防火墙不能防止感染了病毒的软件或文件的传输．这只能在每台主机上装反病毒的实时监控软件。(3)防火墙不能防止数据驱动式攻击。当有些表面看来无害的数据被邮寄或复制到Interne'(主机上并被执行而发起攻击时．就会发生数据驱动攻击．所以对于来历不明的数据要先进行杀毒或者程序编码辨证，以防止带有后门程序。2．数据加密技术。防火墙技术是一种被动的防卫技术．它难以对电子商务活动中不安全的因素进行有效的防卫。因此．要保障电子商务的交易安全．就应当用当代密码技术来助阵。加密技术是电子商务中采取的主要安全措施， 贸易方可根据需要在信息交换的阶段使用。目前．加密技术分为两类．即对称加密／对称密钥加密／专用密钥加密和非对称加密／公开密钥加密。现在许多机构运用PKI(punickey nfrastructur)的缩写．即 公开密钥体系”)技术实施构建完整的加密／签名体系．更有效地解决上述难题．在充分利用互联网实现资源共享的前提下从真正意义上确保了网上交易与信息传递的安全。在PKI中．密钥被分解为一对(即一把公开密钥或加密密钥和一把专用密钥或解密密钥)。这对密钥中的任何一把都可作为公开密钥(加密密钥)通过非保密方式向他人公开．而另一把则作为专用密钥{解密密钥)加以保存。公开密钥用于对机密�6�11生息的加密．专用密钥则用于对加信息的解密。专用密钥只能由生成密钥对的贸易方掌握．公开密钥可广泛发布．但它只对应用于生成该密钥的贸易方。贸易方利用该方案实现机密信息交换的基本过程是 贸易方甲生成一对密钥并将其中的一把作为公开密钥向其他贸易方公开：得到该公开密钥的贸易方乙使用该密钥对机密信息进行加密后再发送给贸易方甲 贸易方甲再用自己保存的另一把专用密钥对加密后的信息进行解密。贸易方甲只能用其专用密钥解密由其公开密钥加密后的任何信息。3．身份认证技术。身份认证又称为鉴别或确认，它通过验证被认证对象的一个或多个参数的真实性与有效性 来证实被认证对象是否符合或是否有效的一种过程，用来确保数据的真实性。防止攻击者假冒 篡改等。一般来说。用人的生理特征参数f如指纹识别、虹膜识别)进行认证的安全性很高。但目前这种技术存在实现困难、成本很高的缺点。目前，计算机通信中采用的参数有口令、标识符 密钥、随机数等。而且一般使用基于证书的公钥密码体制(PK I)身份认证技术。要实现基于公钥密码算法的身份认证需求。就必须建立一种信任及信任验证机制。即每个网络上的实体必须有一个可以被验证的数字标识 这就是 数字证书(Certifi2cate)”。数字证书是各实体在网上信息交流及商务交易活动中的身份证明。具有唯一性。证书基于公钥密码体制．它将用户的公开密钥同用户本身的属性(例如姓名，单位等)联系在一起。这就意味着应有一个网上各方都信任的机构 专门负责对各个实体的身份进行审核，并签发和管理数字证书，这个机构就是证书中心(certificate authorities．简称CA}。CA用自己的私钥对所有的用户属性、证书属性和用户的公钥进行数字签名，产生用户的数字证书。在基于证书的安全通信中．证书是证明用户合法身份和提供用户合法公钥的凭证．是建立保密通信的基础。因此，作为网络可信机构的证书管理设施 CA主要职能就是管理和维护它所签发的证书 提供各种证书服务，包括：证书的签发、更新 回收、归档等。4．数字签名技术。数字签名也称电子签名 在信息安全包括身份认证，数据完整性、不可否认性以及匿名性等方面有重要应用。数字签名是非对称加密和数字摘要技术的联合应用。其主要方式为：报文发送方从报文文本中生成一个1 28b it的散列值(或报文摘要)，并用自己的专用密钥对这个散列值进行加密 形成发送方的数字签名：然后 这个数字签名将作为报文的附件和报文一起发送给报文的接收方 报文接收方首先从接收到的原始报文中计算出1 28bit位的散列值(或报文摘要)．接着再用发送方的公开密钥来对报文附加的数字签名进行解密 如果两个散列值相同 那么接收方就能确认该数字签名是发送方的．通过数字签名能够实现对原始报文的鉴别和不可抵赖性。四、结束语电子商务安全对计算机网络安全与商务安全提出了双重要求．其复杂程度比大多数计算机网络都高。在电子商务的建设过程中涉及到许多安全技术问题 制定安全技术规则和实施安全技术手段不仅可以推动安全技术的发展，同时也促进安全的电子商务体系的形成。当然，任何一个安全技术都不会提供永远和绝对的安全，因为网络在变化．应用在变化，入侵和破坏的手段也在变化，只有技术的不断进步才是真正的安全保障。参考文献：[1]肖满梅 罗兰娥：电子商务及其安全技术问题．湖南科技学院学报，2006，27[2]丰洪才 管华 陈珂：电子商务的关键技术及其安全性分析．武汉工业学院学报 2004，2[3]阎慧 王伟：宁宇鹏等编著．防火墙原理与技术[M]北京：机械工业出版杜 2004
网络会计论文参考文献
现如今，许多人都有过写论文的经历，对论文都不陌生吧，借助论文可以有效提高我们的写作水平。你知道论文怎样才能写的好吗？以下是我精心整理的网络会计论文参考文献，仅供参考，欢迎大家阅读。
[1]邢赢文.基于BP神经网络的电子元件行业上市公司财务风险预警研究[D].辽宁师范大学,2015.
[2]吕岳林.基于时间阈值的SF公司快递超网络优化研究[D].燕山大学,2015.
[3]林楠.O2O背景下传统零售业的盈利模式创新研究[D].中国海洋大学,2015.
[4]崔欢欢.公众网络诉求与政府会计信息质量相关性的实证研究[D].山东财经大学,2016.
[5]吴小满.ST跨境电商企业物流运输成本控制研究[D].湘潭大学,2014.
[6]周姣岚.服务型制造业网络的成本控制及优化[D].广西科技大学,2015.
[7]赵广坤.可优宝贝网络商城融资方案研究[D].河北工业大学,2015.
[8]赵圆.电商网络融资模式优化及风险管控研究[D].北方工业大学,2016.
[9]宋杨.远程教育环境下多模式财务管理系统研究与应用[D].北京理工大学,2015.
[10]钟文韬.肉类加工企业销售物流成本问题研究[D].吉林大学,2016.
[11]张婉婷.我国P2P网络借贷平台内部风险控制机制研究[D].吉林大学,2016.
[12]范超群.芜湖市电子商务企业融资模式研究[D].安徽大学,2016.
[13]汪灏.中国P2P网络借贷平台财务风险研究[D].安徽大学,2016.
[14]蔡翠.B2C网上超市成本管理研究[D].江苏大学,2016.
[15]章锦华.J电子商务企业成本控制研究[D].江苏大学,2016.
[16]张妍.服装网络定制个性化服务成本及定价模型研究[D].上海工程技术大学,2016.
[17]李佳琦.电子商务下B2C企业会计收入确认时点研究[D].吉林财经大学,2016.
[18]杨洁.第三方互联网交易平台服务费定价机制研究[D].重庆理工大学,2016.
[19]黄义成.CQ公司XBRL网络财务报告应用问题研究[D].西安石油大学,2016.
[20]罗浩.O2O商业模式下的交易成本问题研究[D].兰州财经大学,2016.
[21]张婷.“互联网+”神州租车的盈利模式及财务效果研究[D].兰州财经大学,2016.
[22]陈沈升.网络交易C2C模式的税收征管问题研究[D].黑龙江大学,2016.
[23]钟明君.高维因果网与高校资产管理的模糊推理研究[D].华南理工大学,2016.
[24]文勇堂.基于贝叶斯网络方法的通信设备企业财务风险预警研究[D].辽宁大学,2016.
[25]徐文静.电商环境下协同配送模式的协同效率及成本节约值分配研究[D].西南交通大学,2016.
[26]陈维煌.基于灰色神经网络的农业上市公司财务预警实证研究[D].湖南农业大学,2015.
[27]苏伟.市场竞争环境下供电企业购售电风险分析及应对研究[D].华北电力大学,2016.
[28]张文梦.C2C模式电子商务的税收征管问题与对策研究[D].首都经济贸易大学,2016.
[29]纪彩峰.B2C电商零售企业成本控制研究[D].首都经济贸易大学,2016.
[30]胡芳.基于B2C模式下D电子商务企业内部控制研究[D].北京林业大学,2016.
[31]熊亚楠.电子商务平台企业价值创造驱动因素与传导机理研究[D].广西大学,2016.
[32]何珊.基于RBF神经网络的高端装备制造业财务风险预警研究[D].湖南大学,2016.
[33]江楠.考呀呀线上会计培训的品牌营销策略研究[D].江西师范大学,2016.
[34]杨芬.互联网金融对商业银行盈利能力及风险影响的实证研究[D].湖南大学,2016.
[35]沈威.互联网金融对商业银行盈利能力的影响研究[D].湖南大学,2015.
[36]黄诚.苏宁云商营运资金管理的OPM策略分析[D].安徽工业大学,2016.
[37]戴宙松.P2P网络借贷相关会计核算问题研究[D].长安大学,2015.
[38]贺书品.B2C电子商务经营模式下的.W公司财务分析与评价[D].长沙理工大学,2015.
[39]饶萌.网络环境下差异化会计信息披露系统构建研究[D].长沙理工大学,2015.
[40]李芳.煤炭资源开发项目融资决策研究[D].中国矿业大学,2016.
[41]郝震.B2C电子商务企业盈利模式分析[D].河北经贸大学,2015.
[42]彭菁菁.Black-Scholes与DCF模型在B2B商务企业价值评估中的互补应用[D].云南大学,2015.
[43]张腾.电子商务环境下的财务风险控制[D].云南大学,2015.
[44]张美琳.电子商务平台上的个体商铺价值评估[D].云南大学,2015.
[45]高喆.基于BP神经网络模型的制造业上市公司财务预警研究[D].北京交通大学,2015.
[46]康爱冰.中国第三方网络支付对商业银行盈利影响研究[D].北京交通大学,2015.
[47]贺璐.基于XBRL网络财务报告持续审计研究[D].山西财经大学,2015.
[48]李祖福.我国生物医药上市企业盈利能力评价研究[D].华南理工大学,2015.
[49]樊华.基于BP神经网络的矿业上市公司财务风险预警研究[D].中国地质大学,2015.
[50]安校良.基于灰色神经网络的制造业上市公司财务危机预警研究[D].兰州大学,2015.
[51]顾永明.电子商务零售企业价值评估[D].昆明理工大学,2015.
[52]邬蕊竹.基于复杂网络的云会计AIS可信需求演化传播影响[D].重庆理工大学,2015.
[53]陈诚.基于复杂网络的云会计AIS产品可信性结构及其演化研究[D].重庆理工大学,2015.
[54]王涛.通信工程项目施工的成本管理[D].西安建筑科技大学,2015.
[55]冯康进.电网企业集团财务报表自动生成及数据挖掘应用研究[D].华北电力大学,2015.
[56]李玉.跨境电子商务创业企业绩效影响因素实证分析[D].江西师范大学,2015.
[57]李博泉.人民币升值背景下上市外贸企业财务风险预警体系研究[D].江苏科技大学,2015.
[58]邵欣欣.顾客视角的网络品牌资产影响因素研究[D].西安工程大学,2015.
[59]赵伟.基于BP神经网络的电力企业上市公司财务风险管理研究[D].华北电力大学,2015.
[60]李砚砚.基于无标度网络的制造网格资源配置研究[D].南京邮电大学,2015.
[61]彭一俫.中国B2C电子商务企业的交易成本研究[D].华北电力大学,2015.
[62]黄勇军.知识管理理论视野下网络课程设计探索[D].湖南师范大学,2015.
[63]邹松庆.基于作业成本法的烟草物流企业的成本控制[D].陕西科技大学,2014.
[64]王骏海.电动汽车充换电网络规划的技术经济评价研究[D].华北电力大学,2014.
[65]郝青.遗传算法优化BP神经网络的制造业上市公司财务预警研究[D].河北大学,2014.
[66]刘魏星.网络时代我国电子商务企业财务模式研究[D].陕西科技大学,2014.
[67]孙卓琳.网络零售企业财务风险控制研究[D].财政部财政科学研究所,2014.
[68]刘振坤.云会计环境下基于社会网络的会计信息失真影响研究[D].重庆理工大学,2014.
[69]曹彤.山东省制造业上市公司财务风险预警研究[D].西北农林科技大学,2014.
[70]王威.基于F2C的物流配送网络成本优化理论与方法研究[D].中南大学,2014.
[71]黄良润.县域小微企业的融资方案设计[D].安徽财经大学,2014.
[72]蒋蔚.基于供应链的电子商务企业成本控制研究[D].西南石油大学,2014.
[73]王培培.基于商业银行复杂资金网络富节点同配性及弱连接强度机制研究[D].中国海洋大学,2014.
[74]陈锡江.企业社会责任成本研究[D].西南财经大学,2010.
[75]邵露.网络环境下的会计凭证研究[D].石河子大学,2014.
[76]马雪萍.基于网络DEA的河北省煤炭企业绩效评价研究[D].河北工程大学,2014.
[77]陈丹萍.B2C电子商务企业物流成本控制探析[D].江西财经大学,2014.
[78]冯元勇.电子商务环境下家电行业资产结构与经营绩效关系研究[D].广东工业大学,2014.
[79]孟爽.高技术服务创新网络发展视角下的中国南车税收负担研究[D].湖南大学,2014.
[80]程姗姗.复杂贸易网络对外贸交易成本的影响[D].湖南大学,2014.
[81]何婷.基于XBRL的网络财务报告应用研究[D].新疆财经大学,2014.
[82]刘聪.会计网络培训需求研究[D].浙江财经大学,2015.
[83]刘艳红.运营能力对O2O初创企业融资的影响分析[D].华南理工大学,2015.
[84]杨燕.网络会计信息系统构建相关问题的研究[D].中国海洋大学,2012.
[85]邢婧.基于XBRL的网络财务报告应用问题研究[D].山西财经大学,2014.
[86]王培培.网络会计信息系统安全对策研究[D].山西财经大学,2014.
[87]卢建勋.基于XBRL网络财务报告的持续审计研究[D].山东财经大学,2013.
[88]张泽南.基于XBRL网络财务报告及其在我国应用研究[D].兰州大学,2013.
[89]郑保生.基于XBRL的网络财务报告的应用效果评价研究[D].河南理工大学,2013.
[90]马菁.XBRL网络财务报告的应用研究[D].西南财经大学,2013.
[91]陈秀伟.基于XBRL的网络财务报告模式研究[D].安徽财经大学,2012.
[92]李梦.基于XBRL的网络财务报告在我国的应用研究[D].沈阳大学,2012.
[93]焦珊珊.基于网络环境下的会计信息披露研究[D].长安大学,2013.
[94]陈治奎.企业逆向物流网络成本优化与决策研究[D].山东理工大学,2012.
[95]秦晓静.“银行-企业”资金融通网络演化机理分析[D].太原科技大学,2012.
[96]陈敏.基于偏最小二乘BP神经网络的财务预警研究[D].黑龙江八一农垦大学,2012.
[97]刘凯.网络财务报告决定因素研究[D].兰州商学院,2012.
[98]张书娟.网络财务信息披露对公司财务绩效作用研究[D].首都经济贸易大学,2012.
[99]付冉冉.我国XBRL网络财务报告应用研究[D].山东财经大学,2012.
[100]彭翎.基于生产实践和神经网络相结合的醋纤企业制造成本分析[D].云南大学,2012.
[101]郑园.基于价值网络的经济型酒店战略成本管理研究[D].武汉理工大学,2012.
[102]钟灵芝.基于神经网络模型的我国外贸上市企业财务预警的研究[D].天津大学,2012.
[103]毛建.川投化工网络费用报销系统的设计与实现[D].电子科技大学,2013.
[104]薛婷.网络财务报告的决策导向特征及其实现路径研究[D].西安石油大学,2012.
[105]姜博.网络环境下会计信息系统内部控制架构研究[D].东北财经大学,2012.
[106]邵丽.基于新通道的中国进口原油运输网络优化研究[D].大连海事大学,2012.
[107]余姝纬.XBRL网络财务报告模式应用评价研究[D].陕西科技大学,2012.
[108]王丹丹.基于BP神经网络中国医药行业上市公司财务危机预警研究[D].安徽大学,2012.
[109]孙祖妮.基于成本动因BP神经网络的铁路物流货运成本预测[D].北京交通大学,2012.
[1]徐静.我国企业社会责任会计信息披露探析[J].企业导报.2012(15):22-25.
[2]张明霞.李云鹏.企业社会责任会计信息披露问题研究[J].经济研究导刊.2011(20):40-43.
[3]路秀平.任会来.我国社会责任会计信息披露模式现实选择[J].会计之友(上旬刊).2012(12):89-92.
[4]马海波.英美社会责任会计信息披露特色比较研究[J].财会学习.2012(10):18-22.
[5]陈长宏.陈环.张科.论食品质量与食品安全性[J].现代农业科技.2013(12):112-114.
[6]黎勇平.企业社会责任会计信息披露与企业市场价值的相关性研究[J].南华大学2012:33-34.
[7]刘勇.我国企业社会责任会计信息披露研究[D].西北大学,2013.
[8]周新颖.我国煤炭行业上市公司社会责任会计信息披露研究[D].南华大学,2011.
[9]刘尚林.公梅.企业社会责任会计信息披露模式的选择[J].财会月刊.2009(36):68-71.
[10]金曼.我国社会责任会计核算体系的研究[D].上海海事大学,2013.
基于MATLAB的数字识别计算机与信息工程学院 本科生毕业论文 基于BP神经网络的手写数字识别算法的设计与实现 班 级： 13汉班 学 号： 姓 名： 江晓雪 指导教师： 李艳玲 2017 年 3 月 31 日 毕 业 论 文 目 录 1 绪论1 1.1 图像识别的提出1 1.2 图像识别的现状与发展趋势1 2 BP神经网络的概述2 3 手写体数字识别的实现过程4 3.1 整体线路图4 3.2 算法流程5 3.3 图像预处理10 3.4 结果分析10 4 结论11 参考文献12 全文共 13 页 4834 字 基于BP神经网络的手写数字识别算法的设计与实现 计算机与信息工程学院 2013级汉班 江晓雪 指导教师 李艳玲 副教授 摘要 本文实现了基于MATLAB关于神经网络的手写数字识别算法的设计过程，采用神经网络中反向传播神经网络(即BP神经网络)对手写数字的识别，由MATLAB对图片进行读入、灰度化以及二值化等处理，通过神经网络进行训练和测试。实验证明：该神经网络对手写数字的识别可以达到95.65%。 关键词 手写数字识别；BP神经网络；MATLAB语言 1 绪论 1.1 图像识别的提出 图像识别在信息技术发达的今天已经占据了很重要的地位，在我们实际生活中也有很多应用。所谓的图像识别，就是指通过计算机对图像进行相应的处理、分析，来达到识别不同模型的目标和任务的一种技术。对于它的提出，简单的来说，它的发展经历了三个阶段：第一个是文字识别 、第二个是数字图像处理与识别、第三个是物体识别。第一种相对来说比较简单，它的研究是从1950年开始的，一般情况是识别字母、符号和数字，无论是印刷体识别还是手写体识别，它的应用都非常广泛，但是也伴随着，这个识别的过程会更加的耗时、费力，无论是人力还是物力，都会有很大的损失；第二种就是我们所说的数字图像处理与识别，在图片的识别过程中，图片识别会有一定的误差，也会带来小小的麻烦；第三就是物体识别，而物体的识别主要指的是：在三维世界中，对于个体、环境的感知和认识进行识别，这不同于二维世界的认知，相对来说是更高级的计算机图像识别，它是以二维世界中对数字图像和模拟图像处理的办法为依据，进行更高一级的，并且结合了现代人工智能技术等学科的研究目标，研究成果已经被广泛的应用在各种工业探测机器人上，为人们的安全提供了很大的帮助。 1.2 图像识别的现状与发展趋势 随着网络的发达、电子的信息化，图像识别的应用已经非常广泛，而主要的研究工作也包括各行各业，整理以下几点对其应用的广泛度进行说明： ⒈在生物学中，对生物的原型进行研究。从生物的脑细胞结构、物体解剖等其他科学研究的方向对生物的体系结构、神经结构、神经细胞组织等生物的原型结构及其功能机理进行研究，增强对生物学更加全面的理解。 ⒉在实际应用中，建立我们需要的理论模型。根据需要应用的信息在生物学中的应用，建立需要的生物原型，也可以建立类似神经元、神经网络这样不可见的理论模型，以便可以让其更加有效的应用在生活中。建立我们生活中不能直观表现的事物模型，以便我们可以更方便的、更直观的理解事物的本质。 ⒊在信息时代中，建立网络模型以及算法研究。就是通过上面所说的，建立相应的理论模型，在这个基础上加以理解，建立我们所需要的网络模型，实现计算机应用，主要应用在网络学习算法的研究，这方面的研究工作也被人们称为技术模型研究。 ⒋信息时代的发展，让我们在生活中有很多的应用，例如：完成某种函数图像的绘制以及对其变化的形式进行分析、对图片信号的处理、模式识别等功能，建立需要的应用系统、制造机器人等等。 通过上面的说明，也就是说从开始根据生物学原理的应用，直到建立需要的神经网络模型，最后应用到图像识别当中，可以看出其模型的建立是在生活中实例的基础上，其可靠性和准确性是显而易见的，这样就大大的增加了可信度，与此同时，也减少了工作中不必要的麻烦与困扰。而在网络信息发达的今天，人类在基本粒子、宇宙空间、生命起源等科学领域方面都已经显现出很高的兴趣度，而这其中难免会有图像提取后的处理工作，所以图像识别的应用就会越来越广泛。 2 BP神经网络的概述 反向传播(Back-Propagation，BP)学习算法简称BP算法，采用BP算法的前馈型神经网络简称BP网络。BP网络是多层感知器的一种，它具备多层感知器的特点，同时也有自己的特点。多层感知器包括输入层、隐藏层、输出层，其中隐藏层可以有多个，而我们BP网络中隐藏层只有一个，其简单构造如图所示： 图1 多层感知器结构图 而我们用到的BP网络中的具体信号流如图所示，它有一个反向传播的过程，这也是对传播进行调整，使精确度更高的一种办法。如图所示，其中有两种信号流通： 图2 多层感知器的信号流 第一：函数信号 简单来说就是信号进入输入层，然后通过隐藏层到达输入层，通过输出层输出所得值，就可以完成一个函数信号。 第二：误差信号 误差信号就是在逆向的传播的过程中传输的信号。其中，有两个重要参数。一个是函数信号即sigmoid函数，还有一个就是权值的梯度运算即梯度向量。(注：sigmoid函数、权重的修正函数，如图所示。) (1) (2) 通过对两个参数的调整，完成整个算法的应用。 3 手写体数字识别的实现过程 3.1 整体线路图 整体流程图如图3所示： 图像测试 损失函数的设计与应用 可视化测试数据 神经网络的设计与训练 sigmoid函数 图3 整体流程图 部分文件调用流程图如图4所示： sigmoid checkNNGradients nnCostFunction 第八部分：实现正规化 第八部分：训练NN fmincg nnCostFunction sigmoidGradient sigmoid nnCostFunction sigmoidGradient randInitializeWeights checkNNGradients debugInitializeWeights nnCostFunction computeNumericalGradient 第五部分：sigmoid函数 第六部分：初始化参数 第七部分：实现反向传播 第三部分：前馈网络 第四部分：前馈正规化 图4 整体流程图 3.2 算法流程
感受野（receptive field或者field of view）是卷积神经网络中的一个基本概念。与全连接层中每个输出值都与全部输入特征值有关不同的是，卷积层的一个输出值只与一部分的输入特征值有关。输入特征值中与输出特征值有关的部分就是它的感受野。 对于处于中心位置的特征值，对于输出的影响会更大，根据实验结果在一个接受野的影响分布是高斯分布。由此也引入了一个 有效感受野 的概念，因为高斯分布在中心位置强度更高，然后逐渐向周围递减。
我们想用数学的方法来描述一个接收野中的每个输入像素对网络上一个单元层的输出的影响程度，并研究这种影响是如何在输出单元的接收野内分布的。为了简化符号，我们只考虑每层上的一个信道，但是对于具有更多输入和输出的卷积层，可以很容易地得到类似的结果通道。 假设每层上的像素用（i，j）索引，其中心位于（0,0）。表示第层的第（i，j）个像素为 ，其中 作为网络的输入， 作为第n层的输出。我们要测量每个 对 贡献了多少。我们将这个中央输出单元的有效感受野（ERF）定义为包含任何输入像素且对其影响不可忽略的区域单位。 本文采用偏导数 ，j来度量 随 有多大的变化；因此，它是 相对于 重要性的自然度量。然而，这种度量不仅取决于网络的权值，而且在大多数情况下也依赖于输入，因此我们的大多数结果都是期望值大于输入分布。 偏导数 可以用反向传播法计算。在标准设置中，反向传播传播相对于某个损耗函数的误差梯度。假设我们有一个任意的损失函数l，根据链式规则，我们有 我们可以设置误差梯度 和 ，然后将这个梯度从那里传播回网络。得到的 ，相当于期望的\partial{y_{0,0}}}{\partial {x^0_{i,j}}。这里我们使用无显式损失函数的反向传播过程，并且该过程可以用标准神经网络轻松实现工具。 在下面我们首先考虑线性网络，其中这个导数不依赖于输入，而纯粹是网络权重和（i，j），它清楚地显示了感受野中像素的影响是如何分布的。然后我们继续考虑更现代的架构设计，并讨论非线性激活、dropout、子采样、空洞卷积和跳跃连接对ERF的影响。 2.1最简单的情况：权值都等于1的卷积层 考虑使用k×k卷积核的步长为1的卷积层的情况，每层一个单通道，无非线性，叠加成一个深线性CNN。在这个分析中，我们忽略了所有层上的偏差。我们首先分析权值都等于1的卷积核。（推理过程公式好多，看原文吧……）
在本节中，我们将实证研究各种深层CNN架构的ERF。我们首先使用人工构造的CNN模型来验证我们分析中的理论结果。然后，我们提出了在实际数据集上训练深层cnn时ERF如何变化的观察结果。对于所有ERF研究，我们在输出平面的中心放置一个梯度信号1，在其他任何地方放置0，然后通过网络反向传播该梯度，得到输入的梯度。 3.1验证理论结果 我们首先在人工构建的CNN中验证我们的理论结果。为了计算ERF我们使用随机输入，对于所有随机权重网络，我们进行适当的随机初始化。在本节中，我们验证以下内容结果：
ERF是高斯分布的 。如图所示在图1中，我们可以观察到均匀加权卷积核和随机加权，没有非线性激活卷积核的完美高斯形状，以及随机加权非线性激活的卷积核的近似高斯形状。加上ReLU非线性使得分布的高斯性变小，因为ERF的分布也取决于输入。另一个原因是ReLU单元的一半输入输出正好为零，而且很容易为输出平面上的中心像素设置零输出，这意味着感受野的路径无法到达输出，因此梯度都为零。在这里，ERF在不同的传输种子下平均运行20次。下图显示了具有20层随机权值、具有不同非线性的网络的ERF。在这里，结果是不同的随机权重以及不同的随机输入平均运行的100次的结果。在这种情况下，感受野更像高斯分布。
绝对增长和 相对收缩 。图2中，我们给出了ERF尺寸的改变和ERF相对于理论RF的比例随卷积层数的变化。ERF大小的最佳拟合线在对数域的斜率为0.56，而ERF比值的拟合线斜率为-0.43。这表明ERF大小对于 呈线性增长，ERF比率对于 呈线性缩小。注意这里我们使用2个标准偏差作为ERF大小的测量值，即任何大于中心点1−95.45%的像素都被视为ERF。ERF大小由ERF中像素数目的平方根表示，而理论RF大小是平方的边长，在该边长中，所有像素对输出像素的影响都是非零的，无论多么小。所有实验是在超过20次的结果上平均得到的。
3.2在训练过程中ERF是如何演变的 在这一部分中，我们将研究分类CNN和语义分割CNN最顶层的单元ERF在训练过程中是如何演变的。对于这两个任务，我们采用了 ResNet架构，它广泛地使用了skip-connection。分析表明，该网络的ERF应明显小于理论感受野。这是我们最初观察到的。有趣的是，随着网络的学习，ERF变得更大，并且在训练结束时，ERF明显大于初始ERF。 对于分类任务，我们在CIFAR-10数据集上训练了一个包含17个残差块的ResNet。在训练结束时，该网络的测试准确率达到89%。请注意，在这个实验中，我们没有使用池或降采样，而是专门关注具有跳过连接的体系结构。网络的精确度虽然不是最先进的，但仍然相当高。在图3中，我们显示了在训练开始时（随机初始化权重）和训练结束时，当达到最佳验证精度时，32×32图像空间上的有效感受野。请注意，我们网络的理论接收场实际上是74×74，大于图像大小，但是ERF仍然可以完全填充图像。比较训练前后的结果，我们发现有效感受野有所增加很明显。 对于语义分割任务利用CamVid数据集进行城市场景分割。我们训练了一个“前端”模型，它是一个纯粹的卷积网络，它预测输出的分辨率略低。该网络与VGG网络在许多以前的著作中所起的作用相同。我们训练了一个ResNet，16个残差块交错，每个子采样操作的因子为2。由于这些子采样操作，输出是输入大小的1/16。对于这个模型，顶层卷积层单元的理论感受野为505×505。然而，如图3所示，在训练开始时，ERF只得到直径为100的部分。我们再次观察到，在训练过程中，ERF的尺寸增大，最后达到直径约为150的直径。
上述分析表明ERF只占理论接收野的一小部分，这对于需要较大接收能力的任务是不可取的领域。 新的初始化。 一增加有效感受野的简单方法是控制初始权重。我们提出了一种新的随机权值初始化方案，使得卷积核中心的权值具有较小的尺度，而外部的权值较大，这使得中心的集中度向外围扩散。实际上，我们可以用任何初始化方法对网络进行初始化，然后根据中心低标度、外标度高的分布来调整权重。 在极端情况下，我们可以优化w（m）以使ERF大小最大化，或者等价地使等式（前面推公式部分里的公式）中的方差最大化。解决这个优化问题的结果是在卷积核的4个角上平均地设置权重，而其他地方都是0。但是，使用此解决方案进行随机权重初始化过于激进，并且将大量权重保留为0会使学习变慢。这种想法的温和版本通常是有效的更好。 我们用这种初始化方法训练了一个用于CIFAR-10分类任务的CNN，使用了几种随机种子。在一些情况下，与更标准的初始化相比，我们的训练速度提高了30%。但总的来说，这种方法的好处并不总是如此很重要。 我们请注意，无论我们如何改变w（m），有效感受野仍然是高斯分布的，因此上述建议只解决了问题部分。 改变构架。 一个潜在的更好的方法是对cnn进行架构上的更改，这可能会改变在更基本的方面。例如，我们不用将CNN中的每个单元连接到本地矩形卷积窗口，而是可以使用相同的连接数将每个单元稀疏地连接到下层的一个较大区域。空洞卷积属于这一类，但我们可以进一步推进，并使用不类似网格的稀疏连接。
与生物神经的联系网络。 在我们的分析表明，深部CNN中的有效接收场实际上比我们以前想象的要慢得多。这表明即使经过许多卷积层，仍然保留了许多局部信息。这一发现与深层生物网络中一些长期持有的相关概念相矛盾。哺乳动物视觉系统的一个普遍特征是分为“什么”和“哪里”路径。沿着what或where路径进行，连通性的性质逐渐改变：感受野大小增加，空间组织变得松散，直到没有明显的视网膜色素组织；视网膜脱离意味着单个神经元对视野中的面部等物体做出反应。然而，如果ERF比RF小，这表明表示可以保留位置信息，同时也提出了一个有趣的问题，即这些区域在发育过程中的大小变化。 我们的分析的第二个相关影响是，它表明卷积网络可能会自动地产生一种中心凹表现形式。人类视网膜中央凹只在中心像素附近提取高分辨率信息。等分辨率的子场的排列使得它们的大小随着距中心的距离而增大固定。在视网膜的外围，低分辨率的信息是从图像的较大区域提取的。一些神经网络已经明确地构造了这种形式的表示。然而，由于卷积网络形成高斯感受野，其底层表示自然会有这种感受野特性。 与之前研究的联系。 虽然CNN中的感受野尚未得到深入研究，一些人在计算方差如何通过网络演化方面进行了类似的分析。他们开发了一个很好的卷积层初始化方案，遵循的原则是方差在经过网络。 研究人员为了理解神经网络是如何工作的，我们还利用了可视化技术。[14] 展示了使用自然图像先验的重要性，以及卷积层的激活将代表什么。[22]使用反褶积网络来显示图像中像素点与被激活神经元之间的关系。[23]对感受野进行了实证研究，并将其作为定位的提示。也有可视化研究使用梯度上升技术[4]产生有趣的图像，如[15]。这些都集中在单位激活或特征图上，而不是我们在这里研究的有效感受野。
本文对CNN的感受野进行了细致的研究，并对有效感受野大小进行了初步探讨。特别地，我们已经证明了在感受野内的影响分布是渐近高斯的，有效感受野只占整个理论感受野的一小部分。实证结果与我们建立的理论相呼应。我们认为这只是有效感受野研究的一个开始，它为深入了解CNN提供了一个新的视角。在未来的研究中，我们希望更多地研究在实践中影响有效感受野的因素以及如何更好地控制这些因素。
这两天在公司做PM实习，主要是自学一些CV的知识，以了解产品在解决一些在图像识别、图像搜索方面的问题，学习的主要方式是在知网检索了6.7篇国内近3年计算机视觉和物体识别的硕博士论文。由于时间关系，后面还会继续更新图片相似度计算（以图搜图）等方面的学习成果 将这两天的学习成果在这里总结一下。你将会看到计算机视觉在解决特定物体识别问题（主要是卷积神经网络CNNs）的基础过程和原理，但这里不会深入到技术的实现层面。
计算机视觉（Computer vision）是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和计算机代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图像处理，用计算机处理成为更适合人眼观察或传送给仪器检测的图像。 ————维基百科 通常而言，计算机视觉的研究包括三个层次： （1）底层特征的研究： 这一层次的研究主要聚焦如何高效提取出图像对象具有判别性能的特征，具体的研究内容通常包括：物体识别、字符识别等 （2）中层语义特征的研究： 该层次的研究在于在识别出对象的基础上，对其位置、边缘等信息能够准确区分。现在比较热门的：图像分割；语义分割；场景标注等，都属于该领域的范畴 （3）高层语义理解： 这一层次建立在前两层的基础上，其核心在于“理解”一词。 目标在于对复杂图像中的各个对象完成语义级别的理解。这一层次的研究常常应用于：场景识别、图像摘要生成及图像语义回答等。 而我研究的问题主要隶属于底层特征和中层语义特征研究中的物体识别和场景标注问题。
人类的视觉工作模式是这样的： 首先，我们大脑中的神经元接收到大量的信息微粒，但我们的大脑还并不能处理它们。 于是接着神经元与神经元之间交互将大量的微粒信息整合成一条又一条的线。 接着，无数条线又整合成一个个轮廓。 最后多个轮廓累加终于聚合我们现在眼前看到的样子。 计算机科学受到神经科学的启发，也采用了类似的工作方式。具体而言，图像识别问题一般都遵循下面几个流程
（1）获取底层信息。获取充分且清洁的高质量数据往往是图像识别工作能否成功的关键所在 （2）数据预处理工作，在图像识别领域主要包括四个方面的技术：去噪处理（提升信噪比）、图像增强和图像修复（主要针对不够清晰或有破损缺失的图像）；归一化处理（一方面是为了减少开销、提高算法的性能，另一方面则是为了能成功使用深度学习等算法，这类算法必须使用归一化数据）。 （3）特征提取，这一点是该领域的核心，也是本文的核心。图像识别的基础是能够提取出足够高质量，能体现图像独特性和区分度的特征。 过去在10年代之前我们主要还是更多的使用传统的人工特征提取方法，如PCA\LCA等来提取一些人工设计的特征，主要的方法有（HOG、LBP以及十分著名的SIFT算法）。但是这些方法普遍存在（a）一般基于图像的一些提层特征信息（如色彩、纹理等）难以表达复杂的图像高层语义，故泛化能力普遍比较弱。（b）这些方法一般都针对特定领域的特定应用设计，泛化能力和迁移的能力大多比较弱。 另外一种思路是使用BP方法，但是毕竟BP方法是一个全连接的神经网络。这以为这我们非常容易发生过拟合问题（每个元素都要负责底层的所有参数），另外也不能根据样本对训练过程进行优化，实在是费时又费力。 因此，一些研究者开始尝试把诸如神经网络、深度学习等方法运用到特征提取的过程中，以十几年前深度学习方法在业界最重要的比赛ImageNet中第一次战胜了SIFT算法为分界线，由于其使用权重共享和特征降采样，充分利用了数据的特征。几乎每次比赛的冠军和主流都被深度学习算法及其各自改进型所占领。其中，目前使用较多又最为主流的是CNN算法，在第四部分主要也研究CNN方法的机理。
上图是一个简易的神经网络，只有一层隐含层，而且是全连接的（如图，上一层的每个节点都要对下一层的每个节点负责。）具体神经元与神经元的作用过程可见下图。
在诸多传统的神经网络中，BP算法可能是性能最好、应用最广泛的算法之一了。其核心思想是：导入训练样本、计算期望值和实际值之间的差值，不断地调整权重，使得误差减少的规定值的范围内。其具体过程如下图：
一般来说，机器学习又分成浅层学习和深度学习。传统的机器学习算法，如SVM、贝叶斯、神经网络等都属于浅层模型，其特点是只有一个隐含层。逻辑简单易懂、但是其存在理论上缺乏深度、训练时间较长、参数很大程度上依赖经验和运气等问题。 如果是有多个隐含层的多层神经网络（一般定义为大于5层），那么我们将把这个模型称为深度学习，其往往也和分层训练配套使用。这也是目前AI最火的领域之一了。如果是浅层模型的问题在于对一个复杂函数的表示能力不够，特别是在复杂问题分类情况上容易出现分类不足的弊端，深度网络的优势则在于其多层的架构可以分层表示逻辑，这样就可以用简单的方法表示出复杂的问题，一个简单的例子是： 如果我们想计算sin(cos(log(exp(x))))， 那么深度学习则可分层表示为exp(x)—>log(x)—>cos(x)—>sin(x)
图像识别问题是物体识别的一个子问题，其鲁棒性往往是解决该类问题一个非常重要的指标，该指标是指分类结果对于传入数据中的一些转化和扭曲具有保持不变的特性。这些转化和扭曲具体主要包括了： （1）噪音（2）尺度变化（3）旋转（4）光线变化（5）位移
该部分具体的内容，想要快速理解原理的话推荐看[知乎相关文章] ( )， 特别是其中有些高赞回答中都有很多动图和动画，非常有助于理解。 但核心而言，CNN的核心优势在于 共享权重 以及 感受野 ，减少了网络的参数，实现了更快的训练速度和同样预测结果下更少的训练样本，而且相对于人工方法，一般使用深度学习实现的CNN算法使用无监督学习，其也不需要手工提取特征。
CNN算法的过程给我的感觉，个人很像一个“擦玻璃”的过程。其技术主要包括了三个特性：局部感知、权重共享和池化。
CNN中的神经元主要分成了两种： （a）用于特征提取的S元，它们一起组成了卷积层，用于对于图片中的每一个特征首先局部感知。其又包含很关键的阈值参数（控制输出对输入的反映敏感度）和感受野参数（决定了从输入层中提取多大的空间进行输入，可以简单理解为擦玻璃的抹布有多大） （b）抗形变的C元，它们一起组成了池化层，也被称为欠采样或下采样。主要用于特征降维，压缩数据和参数的数量，减小过拟合，同时提高模型的容错性。 （c*）激活函数，及卷积层输出的结果要经过一次激励函数才会映射到池化层中，主要的激活函数有Sigmoid函数、Tanh函数、ReLU、Leaky ReLU、ELU、Maxout等。
也许你会抱有疑问，CNN算法和传统的BP算法等究竟有什么区别呢。这就会引出区域感受野的概念。在前面我们提到，一个全连接中，较高一层的每个神经元要对低层的每一个神经元负责，从而导致了过拟合和维度灾难的问题。但是有了区域感受野和，每个神经元只需要记录一个小区域，而高层会把这些信息综合起来，从而解决了全连接的问题。
了解区域感受野后，你也许会想，区域感受野的底层神经元具体是怎么聚合信息映射到上一层的神经元呢，这就要提到重要的卷积核的概念。这个过程非常像上面曾提到的“神经元与神经元的联系”一图，下面给大家一个很直观的理解。
上面的这个过程就被称为一个卷积核。在实际应用中，单特征不足以被系统学习分类，因此我们往往会使用多个滤波器，每个滤波器对应1个卷积核，也对应了一个不同的特征。比如：我们现在有一个人脸识别应用，我们使用一个卷积核提取出眼睛的特征，然后使用另一个卷积核提取出鼻子的特征，再用一个卷积核提取出嘴巴的特征，最后高层把这些信息聚合起来，就形成了分辨一个人与另一个人不同的判断特征。
现在我们已经有了区域感受野，也已经了解了卷积核的概念。但你会发现在实际应用中还是有问题： 给一个100 100的参数空间，假设我们的感受野大小是10 10，那么一共有squar（1000-10+1）个，即10的六次方个感受野。每个感受野中就有100个参数特征，及时每个感受野只对应一个卷积核，那么空间内也会有10的八次方个次数，，更何况我们常常使用很多个卷积核。巨大的参数要求我们还需要进一步减少权重参数，这就引出了权重共享的概念。 用一句话概括就是，对同一个特征图，每个感受野的卷积核是一样的，如这样操作后上例只需要100个参数。
池化是CNN技术的最后一个特性，其基本思想是： 一块区域有用的图像特征，在另一块相似的区域中很可能仍然有用。即我们通过卷积得到了大量的边缘EDGE数据，但往往相邻的边缘具有相似的特性，就好像我们已经得到了一个强边缘，再拥有大量相似的次边缘特征其实是没有太大增量价值的，因为这样会使得系统里充斥大量冗余信息消耗计算资源。 具体而言，池化层把语义上相似的特征合并起来，通过池化操作减少卷积层输出的特征向量，减少了参数，缓解了过拟合问题。常见的池化操作主要包括3种： 分别是最大值池化（保留了图像的纹理特征）、均值池化（保留了图像的整体特征）和随机值池化。该技术的弊端是容易过快减小数据尺寸，目前趋势是用其他方法代替池化的作用,比如胶囊网络推荐采用动态路由来代替传统池化方法，原因是池化会带来一定程度上表征的位移不变性，传统观点认为这是一个优势，但是胶囊网络的作者Hinton et al.认为图像中位置信息是应该保留的有价值信息，利用特别的聚类评分算法和动态路由的方式可以学习到更高级且灵活的表征，有望冲破目前卷积网络构架的瓶颈。
CNN总体来说是一种结构，其包含了多种网络模型结构，数目繁多的的网络模型结构决定了数据拟合能力和泛化能力的差异。其中的复杂性对用户的技术能力有较高的要求。此外，CNN仍然没有很好的解决过拟合问题和计算速度较慢的问题。
该部分的核心参考文献： 《深度学习在图像识别中的应用研究综述》郑远攀,李广阳,李晔.[J].计算机工程与应用,2019,55(12):20-36. 深度学习技术在计算机图像识别方面的领域应用研究是目前以及可预见的未来的主流趋势，在这里首先对深度学习的基本概念作一简介，其次对深度学习常用的结构模型进行概述说明，主要简述了深度信念网络（DBN）、卷积神经网络（CNN）、循环神经网络（RNN）、生成式对抗网络（GAN）、胶囊网络（CapsNet）以及对各个深度模型的改进模型做一对比分析。
深度学习按照学习架构可分为生成架构、判别架构及混合架构。 其生成架构模型主要包括： 受限波尔兹曼机、自编码器、深层信念网络等。判别架构模型主要包括：深层前馈网络、卷积神经网络等。混合架构模型则是这两种架构的集合。深度学习按数据是否具有标签可分为非监督学习与监督学习。非监督学习方法主要包括：受限玻尔兹曼机、自动编码器、深层信念网络、深层玻尔兹曼机等。 监督学习方法主要包括：深层感知器、深层前馈网络、卷积神经网络、深层堆叠网络、循环神经网络等。大量实验研究表明，监督学习与非监督学习之间无明确的界限，如：深度信念网络在训练过程中既用到监督学习方法又涉及非监督学习方法。
[1]周彬. 多视图视觉检测关键技术及其应用研究[D].浙江大学,2019. [2]郑远攀,李广阳,李晔.深度学习在图像识别中的应用研究综述[J].计算机工程与应用,2019,55(12):20-36. [3]逄淑超. 深度学习在计算机视觉领域的若干关键技术研究[D].吉林大学,2017. [4]段萌. 基于卷积神经网络的图像识别方法研究[D].郑州大学,2017. [5]李彦冬. 基于卷积神经网络的计算机视觉关键技术研究[D].电子科技大学,2017. [6]李卫. 深度学习在图像识别中的研究及应用[D].武汉理工大学,2014. [7]许可. 卷积神经网络在图像识别上的应用的研究[D].浙江大学,2012. [8]CSDN、知乎、机器之心、维基百科