PCA降维中的特征值和特征向量

PCA中的特征值其实就是对应的SVD的奇异值的平方。

PCA主要是对协方差矩阵$XX^T$进行特征分解

$$XX^T=U\Sigma U^T$$

$\Sigma$是个对角阵，对角线上的元素就是特征值。$U$的列向量就是特征向量。

也可以参考我在另外一个问题里写的答案PCA和SVD是一回事吗？

一个矩阵点乘一个向量时，可以把矩阵看成是一个线性变换，点乘就是把这个线性变换施加到相应的向量上。当线性变换施加到该矩阵的特征向量上时，并不改变特征向量的方向，只是对其进行拉长或者缩短。而这个拉长或者缩短的程度就是由相应的特征值所决定。

如果特征值为2，那就是把该特征向量的长度变为原来的两倍。

如果特征值为-2，那就是把向量方向改变180度，并把长度变为原来两倍。