持续专注分享优质内容,走过路过点点免费的关注和赞,更有更新的动力~
原理分析
PCA(主成分分析)和SVD(奇异值分解)是数据降维和特征提取的核心工具
区别对比
特性 | PCA | SVD |
本质 | 降维方法 | 通用矩阵分解技术 |
输入 | 需中心化(或标准化)的数据 | 任何矩阵(无需中心化) |
数学对象 | 作用于协方差矩阵 | 直接分解数据矩阵 |
输出目标 | 主成分(最大方差方向) | 左/右奇异向量 + 奇异值 |
应用场景 | 降维、去噪、特征提取 | 数据压缩、推荐系统、求解方程等 |
总结
- PCA的核心数学实现可视为SVD的协方差场景特例,即当对中心化数据矩阵进行奇异值分解时,其左奇异向量直接对应主成分方向(特征空间基轴),而奇异值的平方恰为协方差矩阵的特征值(表征各维度方差能量)。这种等价性使SVD成为求解PCA的数值稳定捷径,无需显式计算协方差矩阵(避免病态条件问题),直接通过数据矩阵分解一步获得主成分与能量分布。【SVD直接分解,PCA对协方差矩阵操作后分解】
- 奇异值和特征向量存在关系,有
- SVD可以获取另一个方向上的主成分,而PCA只能获得单个方向上的主成分,PCA只与SVD的右奇异向量的压缩效果相同【SVD更加通用】
- 通过SVD可以得到PCA相同的结果,但是SVD通常比直接使用PCA更稳定。因为在PCA求协方差时很可能会丢失一些精度。