神经网络论文格式

在word文件里，怎么设置论文的引用？

深度神经网络（DNNs）是 AI 领域的重要成果，但它的 “存在感” 已经不仅仅限于该领域。 一些前沿生物医学研究，也正被这一特别的概念所吸引。特别是计算神经科学家。 在以前所未有的任务性能彻底改变计算机视觉之后，相应的 DNNs 网络很快就被用以试着解释大脑信息处理的能力，并日益被用作灵长类动物大脑神经计算的建模框架。经过任务优化的深度神经网络，已经成为预测灵长类动物视觉皮层多个区域活动的最佳模型类型之一。 用神经网络模拟大脑或者试图让神经网络更像大脑正成为主流方向的当下，有研究小组却选择用神经生物学的方法重新审视计算机学界发明的DNNs。 而他们发现，诸如改变初始权重等情况就能改变网络的最终训练结果。这对使用单个网络来窥得生物神经信息处理机制的普遍做法提出了新的要求：如果没有将具有相同功能的深度神经网络具有的差异性纳入考虑的话，借助这类网络进行生物大脑运行机制建模将有可能出现一些随机的影响。要想尽量避免这种现象，从事 DNNs 研究的计算神经科学家，可能需要将他们的推论建立在多个网络实例组的基础上，即尝试去研究多个相同功能的神经网络的质心，以此克服随机影响。 而对于 AI 领域的研究者，团队也希望这种表征一致性的概念能帮助机器学习研究人员了解在不同任务性能水平下运行的深度神经网络之间的差异。 人工神经网络由被称为 “感知器”、相互连接的单元所建立，感知器则是生物神经元的简化数字模型。人工神经网络至少有两层感知器，一层用于输入层，另一层用于输出层。在输入和输出之间夹上一个或多个 “隐藏” 层，就得到了一个 “深层” 神经网络，这些层越多，网络越深。 深度神经网络可以通过训练来识别数据中的特征，就比如代表猫或狗图像的特征。训练包括使用一种算法来迭代地调整感知器之间的连接强度（权重系数），以便网络学会将给定的输入（图像的像素）与正确的标签（猫或狗）相关联。理想状况是，一旦经过训练，深度神经网络应该能够对它以前没有见过的同类型输入进行分类。 但在总体结构和功能上，深度神经网络还不能说是严格地模仿人类大脑，其中对神经元之间连接强度的调整反映了学习过程中的关联。 一些神经科学家常常指出深度神经网络与人脑相比存在的局限性：单个神经元处理信息的范围可能比 “失效” 的感知器更广，例如，深度神经网络经常依赖感知器之间被称为反向传播的通信方式，而这种通信方式似乎并不存在于人脑神经系统。 然而，计算神经科学家会持不同想法。有的时候，深度神经网络似乎是建模大脑的最佳选择。 例如，现有的计算机视觉系统已经受到我们所知的灵长类视觉系统的影响，尤其是在负责识别人、位置和事物的路径上，借鉴了一种被称为腹侧视觉流的机制。 对人类来说，腹侧神经通路从眼睛开始，然后进入丘脑的外侧膝状体，这是一种感觉信息的中继站。外侧膝状体连接到初级视觉皮层中称为 V1 的区域，在 V1 和 V4 的下游是区域 V2 和 V4，它们最终通向下颞叶皮层。非人类灵长类动物的大脑也有类似的结构（与之相应的背部视觉流是一条很大程度上独立的通道，用于处理看到运动和物体位置的信息）。 这里所体现的神经科学见解是，视觉信息处理的分层、分阶段推进的：早期阶段先处理视野中的低级特征（如边缘、轮廓、颜色和形状），而复杂的表征，如整个对象和面孔，将在之后由颞叶皮层接管。 如同人的大脑，每个 DNN 都有独特的连通性和表征特征，既然人的大脑会因为内部构造上的差异而导致有的人可能记忆力或者数学能力更强，那训练前初始设定不同的神经网络是否也会在训练过程中展现出性能上的不同呢？ 换句话说，功能相同，但起始条件不同的神经网络间究竟有没有差异呢？ 这个问题之所以关键，是因为它决定着科学家们应该在研究中怎样使用深度神经网络。 在之前 Nature 通讯发布的一篇论文中，由英国剑桥大学 MRC 认知及脑科学研究组、美国哥伦比亚大学 Zuckerman Institute 和荷兰拉德堡大学的 Donders 脑科学及认知与行为学研究中心的科学家组成的一支科研团队，正试图回答这个问题。论文题目为《Individual differences among deep neural network models》。 根据这篇论文，初始条件不同的深度神经网络，确实会随着训练进行而在表征上表现出越来越大的个体差异。 此前的研究主要是采用线性典范相关性分析（CCA，linear canonical correlation analysis）和 centered-kernel alignment（CKA）来比较神经网络间的内部网络表征差异。 这一次，该团队的研究采用的也是领域内常见的分析手法 —— 表征相似性分析（RSA，representational similarity analysis）。 该分析法源于神经科学的多变量分析方法，常被用于将计算模型生产的数据与真实的大脑数据进行比较，在原理上基于通过用 “双（或‘对’）” 反馈差异表示系统的内部刺激表征（Inner stimulus representation）的表征差异矩阵（RDMs，representational dissimilarity matrices），而所有双反馈组所组成的几何则能被用于表示高维刺激空间的几何排布。 两个系统如果在刺激表征上的特点相同（即表征差异矩阵的相似度高达一定数值），就被认为是拥有相似的系统表征。 表征差异矩阵的相似度计算在有不同维度和来源的源空间（source spaces）中进行，以避开定义 “系统间的映射网络”。本研究的在这方面上的一个特色就是，使用神经科学研究中常用的网络实例比较分析方法对网络间的表征相似度进行比较，这使得研究结果可被直接用于神经科学研究常用的模型。 最终，对比的结果显示，仅在起始随机种子上存在不同的神经网络间存在明显个体差异。 该结果在采用不同网络架构，不同训练集和距离测量的情况下都成立。团队分析认为，这种差异的程度与 “用不同输入训练神经网络” 所产生的差异相当。 如上图所示，研究团队通过计算对应 RDM 之间的所有成对距离，比较 all-CNN-C 在所有网络实例和层、上的表示几何。 再通过 MDS 将 a 中的数据点（每个点对应一个层和实例）投影到二维。各个网络实例的层通过灰色线连接。虽然早期的代表性几何图形高度相似，但随着网络深度的增加，个体差异逐渐显现。 在证明了深度神经网络存在的显著个体差异之后，团队继续探索了这些差异存在的解释。 随后，研究者再通过在训练和测试阶段使用 Bernoulli dropout 方法调查了网络正则化（network regularization）对结果能造成的影响，但发现正则化虽然能在一定程度上提升 “采用不同起始随机种子的网络之表征” 的一致性，但并不能修正这些网络间的个体差异。 最后，通过分析网络的训练轨迹与个体差异出现的过程并将这一过程可视化，团队在论文中表示，神经网络的性能与表征一致性间存在强负相关性，即网络间的个体差异会在训练过程中被加剧。 总而言之，这项研究主要调查了多个神经网络在最少的实验干预条件下是否存在个体差异，即在训练开始前为网络设置不同权重的随机种子，但保持其他条件一致，并以此拓展了此前与 “神经网络间相关性” 有关的研究。 除了这篇 这篇 研究以外，“深度学习三巨头” 之一、著名 AI 学者 Hinton 也有过与之相关的研究，论文名为《Similarity of Neural Network Representations Revisited》，文章探讨了测量深度神经网络表示相似性的问题，感兴趣的读者可以一并进行阅读。 Refrence： [1] [2]

国家标准《文后参考文献著录规则》(GB7714-87)、《科学技术期刊编排格式》(GB/T3179-92)以及《中国学术期刊(光盘版)检索与评价数据规范》，并采用顺序编码标注制。1. 引用的文献在文内标注格式对论文所引用的文献，要按它们在文中出现的先后，在文献的著者或成果叙述文字的右上角用方括号标注序号，或者作为语句的组成部分。例如：·1981年日本仅给出了扁平车轮冲击钢轨的垂直冲击速度公式［1］，……·薛杜普等［2］指出棉酚从体内排泄缓慢。·文献［2］指出，棉酚从体内排泄缓慢。·定理的证明见文献［3］。引用多篇文献或同一著者多篇文献时，只需将各篇文献的序号在方括号内全部列出，各序号间用“，”分开；如遇连续序号，可用“~”连接，略去中间序号。例如：·早期的研究结果［2，4，6-9］表明，……2. 文后参考文献著录格式及示例(1) 书或专著［序号］著者.书名[M].版本(第1版不标注).出版地：出版者，出版年．引文所在的起始或起止页码．［1］翟婉明.车辆-轨道耦合动力学[M].北京：中国铁道出版社，1997.74—80．［2］纳霍德金M Д牵引电机设计[M]李忠武，樊俊杰，李铁元译.北京：中国铁道出版社，1983.21-25.［3］Eisson H N.Immunology:an introduction to molecular and cellular principles of the immune respones［M］.5th ed. New York:Harper and Row,1974.3-6． (2)期刊(连续出版物)［序号］著者.题(篇)名[J].刊名，出版年，卷号(期号)：引文所在的起始或起止页码．［1］史峰，李致中.铁路车流路径的优选算法[J]．铁道学报，1993，15(3)：70．［2］You C H, Lee K Y,Chey R F, et al. Electrogastrographic study of patients with unexplained nausea, bloating and vomiting[J]. Gastroenterology,1980,79:311-314．(3)会议录、论文集、论文汇编中的析出文献［序号］析出文献著者.题(篇)名[A].见(英文用In)：原文献著者.论文集名[C].出版地：出版者，出版年.引文所在起始或起止页码．［1］张玉心.重载货车高摩擦系数合成闸瓦的研制和应用[A].见：中国铁道学会编译.国际重载运输协会制动专题讨论会论文集[C].北京：中国铁道学会，1988.242．［2］Hunninghaks G W,Gadek J B,Szapiel S V ,et al.The human alveolar macrophage[A].In:Harris C C ed.Cultured human cells and issues in biomedical research[C].New York:Academic Press,1980.54-56．(4)学位论文［序号］著者.题(篇)名[D].保存地点：保存单位，年份.引文所在起始或起止页码．［1］党建武.神经网络方法求解组合优化问题的研究[D].成都：西南交通大学，1996.20-25． (5)专利文献［序号］专利所有者.题名[P].专利国别：专利号，出版日期．［1］曾德超.常速高速通用优化犁[P].中国专利：85203720.1，1986-11-13．(6)技术标准［序号］标准编号(标准顺序号-发布年)，标准名称[S].［1］GBJ111-87，铁路工程抗震设计规范[S].(7)报纸［序号］主要责任者.文献题名[N].报纸名，年-月-日(版次)．［1］李四光.中国地震的特点[N].人民日报，1988-08-02(4)．(8)科学技术报告［序号］著者.报告题名[R].出版地：出版者，出版年．页码．［1］朱家荷，韩调.铁路区间通过能力计算方法的研究[R].北京：铁道部科学研究院运输及经济研究所，1989.34．(9)电子文献［序号］主要责任者.电子文献题名[电子文献及载体类型标识].电子文献的出处或可获得地址,发表或更新日期/引用日期(任选). ［1］王明亮.关于中国学术期刊标准化数据库系统工程的进展[EB/OL].http://www.cajcd.edu.cn/pub/wml.txt/980810-2.html,1998-08-16/1998-10-04.［2］万锦坤.中国大学学报论文文载(1983-1993).英文版［DB/CD］.北京:中国大百科全书出版社,1996.(10)其他未定义类型的文献［序号］主要责任者.文献题名［Z］.出版地:出版者,出版年. a.主要责任者（专著作者、论文集主编、学位申报人、专利申请人、报告撰写人、期刊文章作者、析出文章作者）。多个责任者间用“，”分隔，只列姓名，不加“著”、“编”、“主编”等责任说明；责任者超过3人时著录前3人姓名，后加等(英文加 et al)，等前加“,”；人名一律采用姓前名后的著录格式(包含外国人姓名)，姓氏字母全部大写,人名是多字时，全部用单词的第一个大写字母，字母间不加标点。b.文献题名及版本（第一版省略）；c.文献类型及载体标识；d.出版项（出版地、出版者、出版年）；e.文献出处或电子文献的获得地址；f.文献起止页码(起止页码间用短横线“－”标示)；g.文献标准编号（标准号、专利号等）。 2 参考文献类型及标识2.1 纸张型载体参考文献类型和标识专著：M 论文集：C 期刊文章：J 报纸文章：N 学术论文：D 报告：R标准：S 专利：P 析出文献：A 其它文献：Z2.2 电子参考文献类型和标识电子参考文献的标识由文献类型标识和载体类型标识两部分组成，标识为[文献类型标识/载体类型标识]a.文献类型及标识数据库：db 计算机程序：cp 电子公告：ebb.载体类型及标识磁带：mt 磁盘：dk 光盘：cd 联机网络：ol3 参考文献编排格式及示例3.1 编排格式参考文献按照顺序编码制编排，标识“参考文献：”左顶格编排。参考文献序号用数字加方括号表示，左顶格编排，与正文中指示序号一致，参考文献每一条目的最后以“.”结束。 3.2 编排示例3.2.1专著(书)、论文集、学位论文、报告[序号]主要责任者.文献题名[文献类型标识].出版地:出版社(者),出版年.起止页码(任选).[1]朱松然.蓄电池手册[m].天津:天津大学出版社,1998.200-215.[2]kordesh karl v.电池组 第一卷二氧化锰[m].夏熙,袁光钰译.北京:轻工业出版社,1981.20-23.[3]vanmusz k. pattern recognition in chemistry[m].berlin:springer-verlag,1980.5-45.[4]王金良.全国电池无汞化技术交流会论文集[c].苏州:电池工业杂志社,2001.[5]倪佩.氢氧化镍电极的添加剂作用及其机理[d].天津:天津大学,1997.40-42.[6]王敬忠.wto对我国电池行业的影响及对策[r].张家界:中国电池工业协会,2002.[7]ferreira t.battery additives:any influence on separator behavior？[r].ireland:the 7th european lead battery conference,2000-09. 3.2.2期刊（连续出版物）[序号]主要作者.题名[j].刊名，出版年，卷（期）：起止页码.[8]夏熙,木合塔尔?依米提.γ-mno2结构模型现状与emd的性能[j].电池工业,2002,7(3):169-173.[9]guo jin,li chong-he, chen hong-lin,et al.effect of rare earth compositions on the hydrogen storage properties of ab5 type alloys and pattern recognition analysis[j].j electrochemical soc,1997,144:2276.3.2.3论文集中析出的文献[序号]析出文献主要作者.析出文献题名[a].论文集主编(任选).论文集名称[c].出版地：出版者，出版年,析出文献起止页码.[10]冯熙康,王伯良,陈爱松,等.电动汽车用锂离子蓄电池进展[a].上海ev-8会议论文集[c].上海:中国电工技术委员会,2000.10-13.[11]robinson robert s.on-line battery testing:a reliable method for determining battery health?[a].proc intelec ＇96[c].ieee,1996.654-660. 3.2.4报纸文章[序号]作者.题名[n].报纸名,出版日期(版次).[12]毕道治.电动车电池的开发现状及展望[n].中国轻工业报,1999-11-22(6).[13]mcgee k.chemical llc[n].press release,2001-05-14.3.2.5标准[序号]标准编号,标准名称[s].[14]gb/t 7112-1998,r03、r1、r6、r14、r20型锌-锰干电池lr03、lr1、lr6、lr14、lr20型碱性锌-锰干电池[s].[15]iec 60086-2,primary part2:physical and electrical specifications[s].3.2.6专利[序号]专利所有者.专利题名[p].专利国别:专利号,出版日期.[16]许凤山.铅酸蓄电池保护器[p].中国专利:2 473 757,2002-01-23.[17]alber g,migliaro m w.what is really necessary for stationary battery maintenance[p].us：5 744 962,1998.[18]黑河宏史,上原真弓.非水系二次电池[p].日本专利:特开平6-243 871,1994-07-01. 3.2.7电子文献[序号]作者.电子文献题名[电子文献及载体类型标识].出处或可获得地址,发表或更新日期/引用日期(任选).[19]中国电池工业协会.赴台湾交流、考察情况总结[eb/ol].http://www.chnbia.com/00004.doc.[20]izu h.photovoltaic micro-devices[db/ol].http://未定义类型的文献[序号]主要责任者.文献题名[z].出版地:出版者,出版年.[21]中国轻工总会.轻总行管[1997]4号关于限制电池产品汞含量的规定[z].北京:中国轻工总会,1997.