醋醋百科网

Good Luck To You!

PCA与SVD的背后的数学联系与区别_pca和svd

持续专注分享优质内容,走过路过点点免费的关注和赞,更有更新的动力~

原理分析

PCA(主成分分析)和SVD(奇异值分解)是数据降维和特征提取的核心工具

区别对比

特性

PCA

SVD

本质

降维方法

通用矩阵分解技术

输入

需中心化(或标准化)的数据

任何矩阵(无需中心化)

数学对象

作用于协方差矩阵

直接分解数据矩阵

输出目标

主成分(最大方差方向)

左/右奇异向量 + 奇异值

应用场景

降维、去噪、特征提取

数据压缩、推荐系统、求解方程等

总结

  1. PCA的核心数学实现可视为SVD的协方差场景特例,即当对中心化数据矩阵进行奇异值分解时,其左奇异向量直接对应主成分方向(特征空间基轴),而奇异值的平方恰为协方差矩阵的特征值(表征各维度方差能量)。这种等价性使SVD成为求解PCA的数值稳定捷径,无需显式计算协方差矩阵(避免病态条件问题),直接通过数据矩阵分解一步获得主成分与能量分布。【SVD直接分解,PCA对协方差矩阵操作后分解】
  2. 奇异值和特征向量存在关系,有
  1. SVD可以获取另一个方向上的主成分,而PCA只能获得单个方向上的主成分,PCA只与SVD的右奇异向量的压缩效果相同【SVD更加通用】
  2. 通过SVD可以得到PCA相同的结果,但是SVD通常比直接使用PCA更稳定。因为在PCA求协方差时很可能会丢失一些精度。
控制面板
您好,欢迎到访网站!
  查看权限
网站分类
最新留言