初夏红豆冰
©
导语
从感知机模型,到深度神经网络的发明,都受到了生物神经系统的启发。在本周Science的一篇评论文章中,研究者认为,将深度学习与类似人脑的先天结构相结合,能够让神经网络模型更接近人类学习模型。
1950年,数学家艾伦图灵在他的论文开头提出了一个重要的问题:机器能思考吗?就此,人类展开了对人工智能的 探索 。
而目前唯一已知的、能进行复杂计算的系统就是 生物神经系统 ,这也就不奇怪——为什么人工智能领域的科学家们会将大脑神经回路视作灵感的来源。
在人工智能领域发展的早期,科学家就研究过使用类似大脑结构的电路进行智能计算。近些年,这一研究方法诞生的最伟大成果就是一个高度精简的大脑皮层回路模型: 神经网络 。
这个模型受到了大脑神经网络模型的启发。神经网络模型由多层神经元构成,可以通过调节参数权重的大小来调节这些神经元之间连接的强弱,这种结构与神经科学中的突触相对应。
深度神经网络以及相关的方法在人工智能系统的应用中已经带来了深远的变革。在计算机视觉、语音识别以及 游戏 博弈等人工智能的核心领域,神经网络都有着举足轻重的影响力,相较其它模型更甚。在应用领域,语音文本翻译以及计算机视觉这些问题中都广泛应用神经网络方法。
本文我们将会讨论,大脑神经元回路如何为神经网络方法提供新的指引和洞见,使得神经网络能够成为一种强人工智能方法。
从深度学习到强化学习
深度神经网络
深度神经网络的关键问题就是学习问题:如何通过调整神经元之间连接的权重,使得输入的数据能够得到期望的输出,方法是通过对样本的训练自动调整权重。训练样本提供了一套输入数据以及与之所对应的输出数据。深度神经网络通过调整神经元之间的权重,使得输入数据能够产生与期望相对应的输出。
一个好的学习过程,不仅仅是记住了输入样本,同时能够泛化模型,使得模型在遇到没有学习过的样本数据时,也能够得到正确的输出结果。
我们将深度神经网络模型与核磁共振成像以及生物行为数据等实证生理学方法提供的结果相比较,会发现大脑与深度神经网络模型的异同之处。与灵长类生物的视觉系统相比,这两种神经模型的早期神经反应阶段比后期阶段更为接近。这表明我们人造的深度神经网络,能够更好的处理早期神经反应阶段,后期认知过程的处理能力还比较差。
强化学习
除了深度神经网络以外,人工智能模型近期还增添了一员“大将”: 强化学习 ——大脑收到了奖励信号就能够改变行为的机制。强化学习能够表征人或者动物在全世界范围内的行为,并且接收奖励信号。研究者们已经广泛地研究了这种学习模型的大脑反应机制,并且应用到人工智能领域,特别是机器人领域。
强化学习的目标是学习一个最优策略,构建一种从状态到行动的映射,以此来优化所有时间内能获得的收益。近期的人工智能研究中已经将强化学习与深度学习相结合,特别是在诸如视频 游戏 、棋类 游戏 (国际象棋、围棋和日本将棋)等复杂的 游戏 活动中。
深度神经网络和强化学习相结合的模型产生了应为惊讶的结果:人工智能已经击败了国际围棋大师,并且仅需要4小时的训练就能够达到大师级的水平,而且并没有依赖于人类的棋谱,而是通过自我博弈达到这样的结果。
大脑神经回路(左)与深度神经网络(右)
神经网络:人工 VS. 生物
一个悬而未决的问题是:与大脑神经回路相比,当前我们所使用的深度神经网络模型结构极其简单,这样的简化是否能够捕捉到人类学习与认知的全部能力?
从神经科学引领人工智能的视角来看,我们必须承认目前取得的结果令人惊讶。与大脑皮层的神经回路相比,神经网络模型做了许多简化,同时也加入了另外一些受到脑神经科学启发的结构,比如归一化处理以及注意力模型。但是一般来说,我们所熟知的关于神经元的所有东西(结构、类型以及关联性等等特征)都被排除在了神经网络模型之外。
目前科学家们并不清楚,对于神经网络这个人工智能模型而言,哪些生物神经结构是必不可少且能发挥作用的。但是生物神经结构和深度神经网络结构的差异已经非常明显了,比如说生物神经元在形态结构、生理特征以及神经化学方面千差万别且结构复杂。典型的例子有,兴奋性椎体神经元的输入分布在复杂树突的顶部和底部;抑制性皮质神经元具有多种不同的形态,且能执行不同的功能。
神经网络模型不仅没有包含这种异质性以及其它复杂的特征,相反,人工神经网络使用了高度精简且一致统一的数学函数作为神经元。就神经元之间的连接方式而言,生物神经元也比神经网络要复杂许多,同层神经元之间的连接,局部连接与远程连接,以及皮层区不同层级之间自上而下的连接,以及可能存在局部的“规范电路”。
深度神经网络主要的成绩还是在处理现实世界中诸如语音信息和视觉信息等感知数据上。在图像视觉领域,神经网络模型最初是用来处理感知问题,例如对图像进行分割以及分类。
在这些工作的基础上加上一些扩展,我们就能够让神经网络模型处理更加复杂的问题。
例如为图像提供说明文字,利用一段简短的语言描述图片的内容,或者识别图片的内容并回答人类的提问。
非视觉问题,比如理解图片的潜在含义:幽默还是讽刺?或者通过图片理解其中的物理结构以及 社会 现象等。不仅如此,科学家们也在努力让这样的神经网络应用在自动翻译、个人辅助、医疗诊断、高级机器人以及自动驾驶等其它领域。
人们在人工智能领域的研发投入以及资金投入都与日俱增,但这同时也带来了一些的疑难问题——人工智能到底能否带来真实?能否产生和人类类似的理解能力?甚至人工智能是否会和人类智能走向完全不同的方向?这些问题都是未知的,并且人类在该领域的科学研究以及商业实践上都下了重注。
倘若当前的神经网络模型在认知能力方面被证明是有限的,那么自然研究者还需要到神经科学中去寻找启示。目前被人们所忽略的大脑神经中的种种细节是否能为构建强人工智能提供一把钥匙?我们人类大脑中哪些结构是特别重要的,这一点并没有定论。
认知能力取决于
先天结构还是后天学习?
虽然我们人类对自己大脑神经回路的理解还很有限,但我们仍然可以正视一个常见的问题——人脑神经和深度神经网络模型有着根本的不同,这种不同可能在寻找类似人类的强人工智能的道路上起到至关重要的作用。
这涉及到了一个古老的认知问题,是经验主义还是先天主义?换句话说就是:先天的认知结构和一般的学习机制二者的相互作用问题。
婴儿期视觉学习带来的启示
目前的智能模型倾向于经验主义,使用相对简单统一的网络结构,主要依靠学习过程以及大量的训练数据来提高认知能力。相比而言,生物体往往是在经过很有限的训练就能够完成复杂的任务,许多的学习任务是由先天的神经结构来完成的。换句话说,生物的学习是举一反三,而神经网络是举三反一。
比如说许多物种,诸如昆虫、鱼类、鸟类都有着一套复杂且独特的机制来执行导航任务。就人类而言,人类的婴儿出生几个月就能够进行复杂的认知工作,而这时的人类并不能接受具体的训练,相反婴儿能够本能的去识别物体,抓握物体。在视觉上,婴儿能够识别一个动画角色是否友善,这些任务显示出了一个婴儿对这个物理世界以及人类 社会 的初步理解。
大量的研究表明,快速的非监督学习是可行的,因为人类的认知系统中已经先天地具备了基本结构,这些结构有助于人类获得有意义的概念,并且增进认知技能。
与现有的深度神经网络模型相比,人类认知学习和理解能力所具有的优越性很可能是因为人类认知系统中包含着大量的先天结构。通过对婴儿期视觉学习过程的建模,体现出了先天的结构以及后天学习过程的有效结合,并且人们发现那些含义复杂的概念,既不是先天存在的也不是后天学会的。
在这个“中间路线”中,先天概念并不是被开发出来的,而是通过一些简单的原型概念随着人类的学习过程一步一步演化成复杂概念的,这个模式很难说存在明确的学习训练过程。
比如说婴儿能够注意到人的视线以及人的动作之间的关联,当人的视线以及动作朝向相反方向的时候,能够察觉到其中的错误。大脑皮层先天的特定结构能够实现这一功能,并且能对输入的信息输出报错反馈。
“中间路线”助力人工智能
我们也可以把这种先天的结构构建于人工神经网络中,使得人工神经网络的学习过程更加类似于人类。人们可以通过理解并模仿大脑的相关机制来完成这样的一个研究任务,或者从零开始开发一个全新的高效的计算学习方法。
科学家已经在这个方向上做了一些尝试。但总的来说,学习一个先天的结构与当前的学习任务并不相同,在这个问题上人类还是知之甚少。把先天结构与后天学习结合在一起,可能给神经科学和通用人工智能这两个学科都带来好处,并且能将二者结合为智能处理理论。
推荐阅读
人工智能助力神经科学:大脑空间导航方式
Nature 评论:走出实验室的神经科学
Nature人类行为:最大程度发挥神经网络认知潜力
动物如何学习?线虫神经连接组里有答案!
加入集智,一起复杂!
集智俱乐部QQ群|877391004
商务合作及投稿转载|
搜索公众号:集智俱乐部
加入“没有围墙的研究所”
让苹果砸得更猛烈些吧!
麻辣土豆56
随着科学技术的发展,人工神经网络技术得到了空前的发展,并且在诸多领域得到了广泛的应用,为人工智能化的发展提供了强大的动力。以下是我整理分享的人工智能神经网络论文的相关资料,欢迎阅读!
人工神经网络的发展及应用
摘要随着科学技术的发展,人工神经网络技术得到了空前的发展,并且在诸多领域得到了广泛的应用,为人工智能化的发展提供了强大的动力。人工神经网络的发展经历了不同的阶段,是人工智能的重要组成部分,并且在发展过程中形成了自身独特的特点。文章对人工神经网络的发展历程进行回顾,并对其在各个领域的应用情况进行探讨。
关键词人工神经网络;发展;应用
随着科学技术的发展,各个行业和领域都在进行人工智能化的研究工作,已经成为专家学者研究的热点。人工神经网络就是在人工智能基础上发展而来的重要分支,对人工智能的发展具有重要的促进作用。人工神经网络从形成之初发展至今,经历了不同的发展阶段,并且在经济、生物、医学等领域得到了广泛的应用,解决了许多技术上的难题。
1人工神经网络概述
关于人工神经网络,到目前为止还没有一个得到广泛认可的统一定义,综合各专家学者的观点可以将人工神经网络简单的概括为是模仿人脑的结构和功能的计算机信息处理系统[1]。人工神经网络具有自身的发展特性,其具有很强的并行结构以及并行处理的能力,在实时和动态控制时能够起到很好的作用;人工神经网络具有非线性映射的特性,对处理非线性控制的问题时能给予一定的帮助;人工神经网络可以通过训练掌握数据归纳和处理的能力,因此在数学模型等难以处理时对问题进行解决;人工神经网络的适应性和集成性很强,能够适应不同规模的信息处理和大规模集成数据的处理与控制;人工神经网络不但在软件技术上比较成熟,而且近年来在硬件方面也得到了较大发展,提高了人工神经网络系统的信息处理能力。
2人工神经网络的发展历程
萌芽时期
在20世纪40年代,生物学家McCulloch与数学家Pitts共同发表文章,第一次提出了关于神经元的模型M-P模型,这一理论的提出为神经网络模型的研究和开发奠定了基础,在此基础上人工神经网络研究逐渐展开。1951年,心理学家Hebb提出了关于连接权数值强化的法则,为神经网络的学习功能开发进行了铺垫。之后生物学家Eccles通过实验证实了突触的真实分流,为神经网络研究突触的模拟功能提供了真实的模型基础以及生物学的依据[2]。随后,出现了能够模拟行为以及条件反射的处理机和自适应线性网络模型,提高了人工神经网络的速度和精准度。这一系列研究成果的出现为人工神经网络的形成和发展提供了可能。
低谷时期
在人工神经网络形成的初期,人们只是热衷于对它的研究,却对其自身的局限进行了忽视。Minskyh和Papert通过多年对神经网络的研究,在1969年对之前所取得的研究成果提出了质疑,认为当前研究出的神经网络只合适处理比较简单的线性问题,对于非线性问题以及多层网络问题却无法解决。由于他们的质疑,使神经网络的发展进入了低谷时期,但是在这一时期,专家和学者也并没有停止对神经网络的研究,针对他们的质疑也得出一些相应的研究成果。
复兴时期
美国的物理学家Hopfield在1982年提出了新的神经网络模型,并通过实验证明在满足一定的条件时,神经网络是能够达到稳定的状态的。通过他的研究和带动,众多专家学者又重新开始了对人工神经网络方面的研究,推动了神经网络的再一次发展[3]。经过专家学者的不断努力,提出了各种不同的人工神经网络的模型,神经网络理论研究不断深化,新的理论和方法层出不穷,使神经网络的研究和应用进入了一个崭新的时期。
稳步发展时期
随着人工神经网络研究在世界范围内的再次兴起,我国也迎来了相关理论研究的热潮,在人工神经网络和计算机技术方面取得了突破性的进展。到20世纪90年代时,国内对于神经网络领域的研究得到了进一步的完善和发展,而且能够利用神经网络对非线性的系统控制问题进行解决,研究成果显著。随着各类人工神经网络的相关刊物的创建和相关学术会议的召开,我国人工神经网络的研究和应用条件逐步改善,得到了国际的关注。
随着人工神经网络的稳步发展,逐渐建立了光学神经网络系统,利用光学的强大功能,提高了人工神经网络的学习能力和自适应能力。对非线性动态系统的控制问题,采取有效措施,提高超平面的光滑性,对其精度进行改进。之后有专家提出了关于人工神经网络的抽取算法,虽然保证了精度,但也加大了消耗,在一定程度上降低了神经网络的效率,因此在此基础上又提出了改进算法FERNN。混沌神经网络的发展也得到了相应的进步,提高了神经网络的泛化能力。
3人工神经网络的应用
在信息领域中的应用
人工神经网络在信息领域中的应用主要体现在信息处理和模式识别两个方面。由于科技的发展,当代信息处理工作越来越复杂,利用人工神经网络系统可以对人的思维进行模仿甚至是替代,面对问题自动诊断和解决,能够轻松解决许多传统方法无法解决的问题,在军事信息处理中的应用极为广泛[4]。模式识别是对事物表象的各种信息进行整理和分析,对事物进行辨别和解释的一个过程,这样对信息进行处理的过程与人类大脑的思维方式很相像。模式识别的方法可以分为两种,一种是统计模式识别,还有一种是结构模式识别,在语音识别和指纹识别等方面得到了广泛的应用。
在医学领域的应用
人工神经网络对于非线性问题处理十分有效,而人体的构成和疾病形成的原因十分复杂,具有不可预测性,在生物信号的表现形式和变化规律上也很难掌握,信息检测和分析等诸多方面都存在着复杂的非线性联系,所以应用人工神经网络决解这些非线性问题具有特殊意义[5]。目前,在医学领域中的应用涉及到理论和临床的各个方面,最主要的是生物信号的检测和自动分析以及专家系统等方面的应用。
在经济领域中的应用
经济领域中的商品价格、供需关系、风险系数等方面的信息构成也十分复杂且变幻莫测,人工神经网络可以对不完整的信息以及模糊不确定的信息进行简单明了的处理,与传统的经济统计方法相比具有其无法比拟的优势,数据分析的稳定性和可靠性更强。
在其他领域的应用
人工神经网络在控制领域、交通领域、心理学领域等方面都有很广泛的应用,能够对高难度的非线性问题进行处理,对交通运输方面进行集成式的管理,以其高适应性和优秀的模拟性能解决了许多传统方法无法解决的问题,促进了各个领域的快速发展。
4总结
随着科技的发展,人工智能系统将进入更加高级的发展阶段,人工神经网络也将得到更快的发展和更加广泛的应用。人工神经网络也许无法完全对人脑进行取代,但是其特有的非线性信息处理能力解决了许多人工无法解决的问题,在智能系统的各个领域中得到成功应用,今后的发展趋势将向着更加智能和集成的方向发展。
参考文献
[1]徐用懋,冯恩波.人工神经网络的发展及其在控制中的应用[J].化工进展,1993(5):8-12,20.
[2]汤素丽,罗宇锋.人工神经网络技术的发展与应用[J].电脑开发与应用,2009(10):59-61.
[3]李会玲,柴秋燕.人工神经网络与神经网络控制的发展及展望[J].邢台职业技术学院学报,2009(5):44-46.
[4]过效杰,祝彦知.人工神经网络的发展及其在岩土工程领域研究现状[J].河南水利,2004(1):22-23.
[5]崔永华.基于人工神经网络的河流汇流预报模型及应用研究[D].郑州大学,2006.
下一页分享更优秀的<<<人工智能神经网络论文
硕士深度学习毕业论文难吗深度学习毕业论文难度取决于学生的技术能力,以及论文的难度。如果学生具有良好的技术能力,并且清楚论文的要求,深度学习毕业论文并不是很难,只
会查重,为了规范人工智能学院本科生毕业论文的管理,杜绝学术不端的行为,现对“查重”工作规定如下:第一条 拟申请本科毕业论文答辩的学生,经指导教师同意,在答辩前一
当今世界,科学技术日新月异,特别是信息技术的迅猛发展极大地改变了我们的生活,这其中以计算机技术的发展所带来的影响最为明显。下面是我为大家整理的关于计算机发展的论
人工智能哪一个方向比较好写的话,我觉得应该是说它的应用方面比较好写吧,因为对于专业知识可能不太了解,但是它的使用的话应该比较简单。
论文:论文地址: 论文题目:《Session-based Recommendation with Graph Neural Networks》SR-GN