梯度下降法本科毕业论文

针对径向基函数(Radial basis function,RBF)神经网络的结构设计问题,提出一种结构动态优化设计方法.利用敏感度法(Sensitivity analysis,SA)分析隐含层神经元的输出加权值对神经网络输出的影响,以此判断增加或删除RBF神经网络隐含层中的神经元,解决了RBF神经网络结构过大或过小的问题,并给出了神经网络结构动态变化过程中收敛性证明;利用梯度下降的参数修正算法保证了最终RBF网络的精度,实现了神经网络的结构和参数自校正.通过对非线性函数的逼近与污水处理过程中关键参数的建模结果,证明了该动态RBF具有良好的自适应能力和逼近能力,尤其是在泛化能力、最终网络结构等方面较之最小资源神经网络(Minimal resource allocation networks,MRAN)与增长和修剪RBF神经网络(Generalized growing and pruning radial basis function,GGAP-RBF)有较大提高.[1] 朱文莉. 一类具有时滞的神经网络的稳定性分析[J]. 电子科技大学学报. 2000(05)[2] 廖晓昕,傅予力,高健,赵新泉. 具有反应扩散的Hopfield神经网络的稳定性[J]. 电子学报. 2000(01)[3] 张菊亮,章祥荪. 一个新的解线性规划的神经网络(英文)[J]. 运筹学学报. 2001(02)[4] 罗公亮. 从神经网络到支撑矢量机(上)[J]. 冶金自动化. 2001(05)[5] 蒋德云,张弓. 谷物识别中对神经网络的优化(英文)[J]. 农业工程学报. 2002(05)[6] 王芳荣,周德义,郑咏梅,王鼎,张铁强. 生物表面光谱特性识别的神经网络方法[J]. 吉林大学学报(信息科学版). 2002(03)[7] 宋光雄,何胜锋,曹辉,张峥,钟群鹏. 基于Hopfield神经网络的腐蚀失效模式识别[J]. 金属热处理学报. 2003(01)[8] 王学武,谭得健. 神经网络的应用与发展趋势[J]. 计算机工程与应用. 2003(03)[9] 刘斌,刘新芝,廖晓昕. 脉冲Hopfield神经网络的鲁棒H-稳定性及其脉冲控制器设计(英文)[J]. 控制理论与应用. 2003(02)[10] 刘国良,强文义,麻亮,陈兴林. 基于粗神经网络的仿人智能机器人的语音融合算法研究[J]. 控制与决策. 2003(03)

梯度下降是非常常用的优化算法。作为机器学习的基础知识，这是一个必须要掌握的算法。借助本文，让我们来一起详细了解一下这个算法。

前言

本文的代码可以到我的Github上获取：

本文的算法示例通过Python语言实现，在实现中使用到了numpy和matplotlib。如果你不熟悉这两个工具，请自行在网上搜索教程。

关于优化

大多数学习算法都涉及某种形式的优化。优化指的是改变x以最小化或者最大化某个函数的任务。

我们通常以最小化指代大多数最优化问题。最大化可经由最小化来实现。

我们把要最小化或最大化的函数成为目标函数（objective function）或准则（criterion）。

我们通常使用一个上标*表示最小化或最大化函数的x值，记做这样：

[x^* = arg; min; f(x)]

优化本身是一个非常大的话题。如果有兴趣，可以通过《数值优化》和《运筹学》的书籍进行学习。

模型与假设函数

所有的模型都是错误的，但其中有些是有用的。– George Edward Pelham Box

模型是我们对要分析的数据的一种假设，它是为解决某个具体问题从数据中学习到的，因此它是机器学习最核心的概念。

针对一个问题，通常有大量的模型可以选择。

本文不会深入讨论这方面的内容，关于各种模型请参阅机器学习的相关书籍。本文仅以最简单的线性模型为基础来讨论梯度下降算法。

这里我们先介绍一下在监督学习（supervised learning）中常见的三个符号：