LASSO是无偏的还是有偏的？

$\beta_{LASSO}=\underset{\beta}{\mathrm{argmin}}||y-X\beta||^2+\lambda|\beta|_1$

当$\lambda=0$时，没有限制（shrinkage），此时无偏；

当$\lambda$增大时，bias增大，variance减小；

当$\lambda$减小时，bias减小，variance增大。

看到有个说法（我没验证过），当添加先验知识从而减小自由度（degree of freedom）时，估计就是有偏的。LASSO的自由度是非零参数个数。

一个简单的例子，当y和X都是高斯分布，第一个项（似然函数项）得到$\beta$的估计是无偏，再加一个有偏的第二项（先验知识项，会迫使所有$\beta=0$，显然是有偏的），最后结果就是有偏的。

bias是从estimator的角度来说的。

其实LASSO和Ridge，甚至说所有有penalty的回归都是biased，不然会违背高斯-马尔可夫定理。