花花洒洒洒
2013年注:下面这篇写关于“特征值和特征向量”的理解,是在本人(紫松同学)考研期间复习线性代数时思考好些天写的(考研数一分数144,大一线代分数100,文章写的很细微,但我觉得值得读)。之前只觉得对以后的学弟学妹比较有用,本人这段时间研究回归分析,发现也需要大量线性代数知识,就拿出来跟更多人分享。文章并未改动,现在读来是有不少疑问的。下面是当时写的文章。
和很多大学生朋友一样,我也一直被线性代数中的矩阵的特征值和特征向量的意义所困。它似乎是先有公式,而后才有定义。就像有人告诉你女人就是那个样子,抽象的你无法探究为什么是这个样子。自己思索了一段时间,又在网上查了哈相关的博客文章,特征值与特征向量的意义渐渐清晰起来。不揣冒昧,权且对特征值和特征向量内涵探索的小打小闹。
也许我需要先提出几个问题。
这是几个大问题,还有一些小问题是在搞懂这些大问题之后产生并需要搞懂的。我们从公式 A·x = cx 入手。A是个矩阵,x也是个矩阵(我们需要把x看作向量更有助于理解,写成矩阵是为了 矩阵乘法运算规则的需要),c是常数系数。我们寻找他们的意义,不可回避的问题是从什么角度上找它的意义。物理,化学,哲学,都可以有意义,但是那是在其他学科中运用后的意义。其实,我们还是应该用数学角度的意义去解释他们,才能更好的运用到其他学科。那么,什么是数学角度呢?我的理解是空间,一个n维空间,一维时已经可以解释所有实数了,二维时可以解释所有复数了,或者一个平面图形了。以此类推,数学就是放在n维空间的基础上去解释问题。那好,先说n维空间本身又具有什么特征呢?必须是n个相互正交的维度。每个维度可以想像成一个坐标轴,有正方向和负方向。向量是什么意义呢?容易想象n维向量就是n维空间中的特定的方向。一个向量就是一个方向。把A乘到x上,得到一个方向未变但在长度上有伸缩改变的向量(方向未变不准确,有可能变反向)。这是让A乘以他的特征向量表现出来的性质。如果让A乘以一个非特征向量y,显然会得到一个跟y方向不同的向量(也许长度也会有伸缩)。这是将矩阵乘到向量上向量所发生的改变。那么,乘以一个矩阵似乎就对应一种变换。我们暂时理解矩阵本质上就是n维空间上的一种变换。显然还不够过瘾,你也许想矩阵怎么不对应空间上一个实物,像向量那样?对,一定对应,只是我们还需要将他找寻。我们喜欢用已知探索未知,也许我可以假设你具备将某种未知先当作一个特殊的已知的思维方式。我们把矩阵先当作一种特殊的向量。我又要提问了,向量a点乘向量b是个什么东西呢?是a在b上的投影(为了方便理解,我们把投影约束为大小,而不具备方向)。我们还需要约束一个重要的概念,我们把方向在其所在维度上归一,也就是一个单位向量。那好,方向就是单位向量。 A·x = cx ,左式即可理解为大小等于A在方向x上的投影并且方向与x相同的向量。c此时就是投影。重复一边,特征值就是投影。矩阵有n个特征值(先假定各不相同),那么就对应n的正交的特征向量,矩阵在各特征向量上都有投影,大小等于特征值。现在可以回答矩阵的实物意义了,那就是它的各特征向量在n维空间上的组合,组合系数就是对应各线性值。细心的朋友可能发现这个定义是在各特征向量皆归一化的基础上的,也发现特征值一定唯一,但特征向量因为标准定义规定的原因可以不唯一,即可在归一化特征向量前面添加任意不为零的系数。我苟且给出一「松式」:n个不同的特征向量的方向 + 特征值大小的投影 = 矩阵。到目前为止,我都假设的是矩阵A有n个不同的特征值。上面的问题,前三个问题基本有了答案,还差第4个问题。
暂没法解答,接着提出几个问题了:
我们都发现这个现象,不关是什么样的矩阵,不同的特征值对应的都是互相线性无关的特征向量。而重根有可能对应线性无关的特征向量,也可能都对应一个方向。这只是对上面问题的解释。现在我们再来审视矩阵的几何意义。特征值只是代表某特征方向上的投影(大小),这样想来他们相不相等没有任何直接关系,完全可以各自对应不同的特征方向,这只是矩阵在他的某几个特征方向上的投影大小相等而已。而重根对应同一个特征方向,又该如何解释了?这个问题,暂时保留探讨。
关于特征值为0时,为什么有特征方向?我们能说(0,y,z)就是(y,z)吗?显然不能,前者说明在三个方向上定义某物,尽管其中一个方向上没有作用,后者却只探讨某物在两个方向的作用。定义的基础都不一样,自然不能完全一样。矩阵的定义也是如此,可以看出方向较之投影是先行特征,方向是与投影无关的一种特性。
到这里了,大部分问题已经解决了。也许,聪慧的朋友们可以用上面的理解来解释问题或者做题了。或者跟着我继续看看这些理解能怎么做题。
前提:Ci是A的特征值,Xi是对应的特征向量。
最后,我来总结一下。简单点: 线性无关的方向 + 相应的投影 = 矩阵 = 变换 如果将人生各阶段当作不同的维度 : n个不同人生阶段 + 相应的能量 = 人生
本文写于2011-11-11 紫松
date: 2013-11-18 14:42:27 author:
挺有用的。谢了
date: 2014-06-02 23:57:11 author:
A*x应该是在A坐标系下对应各行向量为坐标轴的投影为x吧,同是考研党,还望指正
date: 2014-09-13 14:04:35 author: 何求
理解很多性质都很有用,谢啦!
date: 2015-04-06 16:22:26 author: 当代
作者很强大,佩服你的高见。能将矩阵A分两个不同的层面(变换和特殊矩阵)进行解释特征向量和特征值,很有新意。全文都是为了解释何为特征向量和特征值,却通过从不同的侧片来看矩阵A自然地引出特征向量和特征值,又没让人觉得太突然,很好的博文。
date: 2015-04-06 16:49:51 author: zisong
@何求 我当初靠着这些理解,解题的确快和准了很多。
翔雨lollipop
这么专业的问题还是自己解决,最好能找个英语老师指导下。 翻译下第一句 Research And Application Of Eigenvalue And Eigenvector Problem Of Matrices
江小赖007
上节课主要介绍了线性方程组的两种迭代求解算法,一个是Jacobi迭代(同步更新),一个是高斯塞德尔迭代(异步更新)。对于特殊的三对角系统,一种更简单快捷的Thomas算法也可以用来求解。之后介绍了向量范数与矩阵范数的概念,线性系统数值解的相对误差可以通过条件数来判定。本节课主要介绍矩阵的特征值,特征向量,以及其中涉及到的几种数值算法。
给定 维矩阵 ,满足下式的数 称作矩阵 的一个特征值: 而对应的向量 称作对应特征值 的一个特征向量。上述运算可以推广到更一般的形式,而不仅仅是针对矩阵运算。假设 是一个关于 的连续函数, 表示微分运算,则 就可以表示为: 这是特征值问题的一种更广泛的表现形式。 特征值与特征向量在工程与科学中有着非常重要的作用。例如,在振动研究中,特征值表示系统或组件的固有频率,而特征向量表示这些振动的模式。 为了求解一个矩阵的特征值与特征向量,根据定义,可以得到: 假设 是非奇异矩阵,则上式只有零解,不满足求解要求,因此,想要求解特征值,需要 , 该式称作特征方程,特征方程的根即为矩阵 的特征值。 例: 其特征方程为 求解可得特征值为 然而,对于阶数比较高的矩阵,特征值的求解不会这么简单,需要使用数值求解方法。
这节主要介绍如何使用幂法和反幂法分别求解一个矩阵所有特征值中模最大和模最小的值。给定矩阵 ,假设其有 个实特征值 其对应的特征向量为 。幂法是通过迭代法来计算最大特征值 ,首先随机选取初始向量 , 迭代计算 , 进一步计算 , 可以看到,其迭代公式为: 注意到 是最大的特征值,因此 ,当 充分大时,有 。具体实现时,并没有 和 的值,因此,迭代计算 后,规范化 即可(有待进一步验证,采用向量范数并不合理)。注意:最大特征值是指模最大的那个特征值 MATLAB实现:
给定矩阵 ,假设其有 个实特征值 其对应的特征向量为 。 是最小特征值,首先注意到如果 ,则 , 即 ,因此有 。可以看到,当 为矩阵 的最小特征值时, 将是 的最大特征值,此时运用幂法求解 的最大特征值,取倒数,即为 的最小特征值。反幂法中,需要注意的是,当最小特征值为0时,其倒数是没有定义的,反幂法求解的是第二小的特征值,且需要采用移位反幂法。 MATLAB实现
幂法与反幂法是用来求解矩阵的最大特征值与最小特征值,想要求解矩阵所有特征值,可以使用QR分解法。假设 是一个 的矩阵,有 个互不相同的实特征值。QR分解的理论保证是, 如果对矩阵 做如下相似变换: ,则特征值保持不变。 这是因为如果 ,则取 ,就有 ,进一步有 ,因此 也是 的特征值。对 进行QR分解的算法流程:
MATLAB实现
在每次迭代中,对矩阵进行QR分解的操作是通过使用一种特殊的矩阵Householder矩阵来实现的,其形式为 其中 , 与 为列向量, 为向量的2范数。 矩阵是对称的,是正交的。 这就意味着 与 是相似的。下面详细说明,如何通过 矩阵将 分解为一个正交阵和一个上三角阵的乘积。
MATLAB实现:
这节课主要介绍了矩阵特征值与特征向量的概念,对于低阶矩阵,可以通过特征方程求解出矩阵特征值;对于高阶矩阵,可以使用幂法与反幂法求解出矩阵的最大特征值与最小特征值,要求出矩阵的所有特征值,则可以对矩阵进行QR分解,将矩阵 相似化为一个上三角矩阵,上三角矩阵的对角线元素即为矩阵 的特征值。
大学生劳动论文1500字 无论在学习或是工作中,大家都经常看到论文的身影吧,论文写作的过程是人们获得直接经验的过程。怎么写论文才能避免踩雷呢?下面是我为大家整理
文学审美是指读者对文学作品进行的鉴赏活动,它是一种特殊的精神享受活动。下文是我为大家搜集整理的关于文学审美论文的内容,欢迎大家阅读参考! 浅谈网络文学的审美趋势
证明: 设a1,a2,...,an是A的n个不同的特征值.则存在可逆矩阵P, 使 P^-1AP=diag(a1,...,an)=B(记为B)即有 A=PBP^-
你的问题,具体是什么?
2016年3月6日星期二,中国科学家发现了为止世界上最为古老的琥珀矿石。研究显示,其年龄约在99个百万年(接近一亿年)左右。研究成果发表在《古老琥珀中的秘密在流