协方差矩阵一定是半正定的吗？

协方差矩阵的定义为

$$\Sigma = \text{E}((X-\mu)(X-\mu)^T)$$

显然$\Sigma$是对称的，下面只要证明对于任意的非零向量$u$，

$$u\Sigma u^T\geq 0$$

把上面的定义代入，

$$u\Sigma u^T=u\text{E}((X-\mu)(X-\mu)^T)u^T=\text{E}((u(X-\mu))((u(X-\mu))^T))=\text{E}((u(X-\mu))^2)\geq 0$$

一个数的平方的期望当然是非负的

所以协方差是半正定

首先协方差矩阵是对称矩阵。即A^T  = A   

所以X^TAX 展开之后的形式是平方和形式，是大于等于0的，所以协方差矩阵是半正定的。