Ridge回归的解析解是什么？

这个可以根据岭回归的损失函数推导的，

$$Loss(\beta)=(Y-X\beta)^T(Y-X\beta)+\lambda \beta^T\beta$$

$\lambda$是正则项的系数

这个是凸问题，所以导数为0时取得解

$$\frac{\partial Loss}{\partial \beta}=2X^TX\beta-2X^TY+2\lambda I\beta=0$$

所以

$$(X^TX+\lambda I)\beta=X^TY$$

解析解为

$$\beta=(X^TX+\lambda I)^{-1}X^TY$$

Ridge是有解析解的，假如正则项的惩罚系数为$\lambda$，那么解析为

$$\hat{\beta}=(X^TX+\lambda I)^{−1}X^Ty$$

里面的$I$是单位矩阵

LASSO没有一步到位的解析解。

$$l(\beta)=(X\beta-y)^T(X\beta-y)+\lambda|\beta|_1$$

$$\frac{\partial l}{\partial \beta}=X^T(X\beta-y)+\lambda sign(\beta)=0$$

$$\beta=(X^TX+\lambda sign(.))^{-1}X^Ty$$

因为右面和当前估计值$sign(\beta)$有关，只能用迭代的方法求出。不过求矩阵逆的计算量很大，还不如用gradient descent类方法。

---------------

不好意思，看成LASSO的了。Ridge的解析解应该是strong.man写的。