最小二乘法毕业论文博客

参差平方和最小

最小二乘估计的基本原理

对于x和y的n对观察值，用于描述其关系的直线有多条，究竟用哪条直线来代表两个变量之间的关系，需要有一个明确的原则。

这时用距离各观测点最近的一条直线，用它来代表x与y之间的关系与实际数据的误差比其它任何直线都小。根据这一思想求得直线中未知常数的方法称为最小二乘法，即使因变量的观察值与估计值之间的离差平方和达到最小来求得µº和µ¹的方法。

例子

已知有一个这样的方程组：

Ax=bAx=b

其中A∈Rm×nA∈Rm×n ; x∈Rn×kx∈Rn×k, b∈Rm×kb∈Rm×k

当 m=nm=n 时，且 ranA=nranA=n 时，这是一个适定方程组，有唯一解 x=A−1bx=A−1b

当 m

而相应的ran(A)ran(A) 中的这个向量就是 bb 在空间 ran(A)ran(A) 中的投影。

当 m>nm>n 时，即方程的个数大于未知数的个数，最小二乘超定系统问题。超定问题是最小二乘的关键，最小二乘的的意思就是最小化残差(residual)的平方和。

给定 mm 个数据，(a1,b1)(a1,b1), (a2,b2)(a2,b2),…,(am,bm)(am,bm), 以及一个模型函数 b=f(a,x)b=f(a,x) ，其中{x1,x2,...,xn}{x1,x2,...,xn}就是要估计的参数，该参数的估计就是通过最小化如下残差的平方和求得：

S=∑mi=1∥bi−f(ai,xi)∥2S=∑i=1m‖bi−f(ai,xi)‖2

其中残差为 ri=bi−f(ai,xi)ri=bi−f(ai,xi) 根据残差函数关于未知参数是否线性，可以最把小二乘分为线性最小二乘和非线性最小二乘。

参考资料来源：百度百科-最小二乘法