毕业论文矩阵的奇异值分解

奇异值分解定理：设A为m*n阶复矩阵，则存在m阶酉阵U和n阶酉阵V，使得：A = U*S*V’其中S=diag(σi,σ2,……,σr)，σi>0 (i=1,…,r)，r=rank(A)。推论：设A为m*n阶实矩阵，则存在m阶正交阵U和n阶正交阵V，使得A = U*S*V’其中S=diag(σi,σ2,……,σr)，σi>0 (i=1,…,r)，r=rank(A)。说明：1、 奇异值分解非常有用，对于矩阵A(m*n)，存在U(m*m)，V(n*n)，S(m*n)，满足A = U*S*V’。U和V中分别是A的奇异向量，而S是A的奇异值。AA'的正交单位特征向量组成U，特征值组成S'S，A'A的正交单位特征向量组成V，特征值（与AA'相同）组成SS'。因此，奇异值分解和特征值问题紧密联系。2、 奇异值分解提供了一些关于A的信息，例如非零奇异值的数目（S的阶数）和A的秩相同，一旦秩r确定，那么U的前r列构成了A的列向量空间的正交基。matlab奇异值分解函数 svd格式 s = svd (A) %返回矩阵A的奇异值向量[U,S,V] = svd(A) %返回一个与A同大小的对角矩阵S，两个酉矩阵U和V，且满足= U*S*V'。若A为m×n阵，则U为m×m阵，V为n×n阵。奇异值在S的对角线上，非负且按降序排列[U1,S1,V1]=svd(X,0) %产生A的“经济型”分解，只计算出矩阵U的前n列和n×n阶的S。说明：1.“经济型”分解节省存储空间。2. U*S*V'＝U1*S1*V1'。2 矩阵近似值奇异值分解在统计中的主要应用为主成分分析（PCA），它是一种数据分析方法，用来找出大量数据中所隐含的“模式”，它可以用在模式识别，数据压缩等方面。PCA算法的作用是把数据集映射到低维空间中去。数据集的特征值（在SVD中用奇异值表征）按照重要性排列，降维的过程就是舍弃不重要的特征向量的过程，而剩下的特征向量张成空间为降维后的空间。3 应用在很长时间内，奇异值分解都无法并行处理。（虽然 Google 早就有了MapReduce 等并行计算的工具，但是由于奇异值分解很难拆成不相关子运算，即使在 Google 内部以前也无法利用并行计算的优势来分解矩阵。）最近，Google 中国的张智威博士和几个中国的工程师及实习生已经实现了奇异值分解的并行算法，这是 Google中国对世界的一个贡献。

假设M是一个m×n阶矩阵，其中的元素全部属于域 K，也就是 实数域或复数域。如此则存在一个分解使得M = UΣV*，其中U是m×m阶酉矩阵；Σ是半正定m×n阶对角矩阵；而V*，即V的共轭转置，是n×n阶酉矩阵。这样的分解就称作M的奇异值分解。Σ对角线上的元素Σi,i即为M的奇异值。常见的做法是为了奇异值由大而小排列。如此Σ便能由M唯一确定了。(虽然U和V仍然不能确定。) 奇异值分解在某些方面与对称矩阵或Hermite矩阵基于特征向量的对角化类似。然而这两种矩阵分解尽管有其相关性，但还是有明显的不同。对称阵特征向量分解的基础是谱分析，而奇异值分解则是谱分析理论在任意矩阵上的推广。

线性代数中，我们所说的矩阵的特征分解，即为：然而，要满足特征分解，矩阵必须为方阵，否则无法直接求解特征值。 对于一般矩阵，我们如果也要对其进行分解成3个矩阵乘积 ，其中 为 的矩阵， 为 的方阵， 为 的矩阵， 为 的矩阵。 矩阵如何分解呢？首先，它应该满足一个条件，它是方的！那么如何把矩阵变成方针呢？ 一个矩阵乘以它的转置即为方阵。 那么接下来的分解就是对与构造方阵的分解。还是特征分解的老步骤。这里，先提一下， 是半正定矩阵： 。由于 满足矩阵交换乘积，有 ，且 。 我们可以设 的特征值为 ，设 的特征值为 ，且不为0的特征值个数相等。因此，有矩阵半正定，特征值非负，可以开根号。特征值从右上角开始写，直到写到最后一个非零特征值。其余元素均为0。 刚才提及的是矩阵的奇异值分解的方法，现在我们初步看一下这个方法在降维中的应用。 令 ， 为矩阵对角线元素。 奇异值分解后的矩阵可以表示为：令特征值从大到小排列，意味着前面的较大的特征值保留了矩阵较为重要的特征，后面的较小的特征值保留了矩阵比较细节的特征。以图像的压缩为例子： 压缩钱图像矩阵为 ，意味着参数有 个，只取前 个特征值，参数有 。误差为： 。 也可以用作在神经网络的加速运算，之后提及。 下面是图片压缩的例子（转自知乎@DeepWeaver）