LASSO和Ridge都是正则化的手段,也都可以起到防止过拟合的效果。那么时候该用LASSO什么时候该用Ridge呢?
2个回答
这两个都是正则化的手段。LASSO是基于回归系数的一范数,Ridge是基于回归系数的二范数的平方。
根据Hastie, Tibshirani, Friedman的经典教材,如果你的模型中有很多变量对模型都有些许影响,那么用Ridge;如果你的模型中只有少量变量对模型很大影响,那么用LASSO。LASSO可以使得很多变量的系数为0(相当于降维),但是Ridge却不能。
因为Ridge计算起来更快,所以当数据量特别大的时候,更倾向于用Ridge。
最万能的方法是用LASSO和Ridge都试一试,比较两者Cross Validation的结果。
最后补充一下,你也可以尝试一下两者的混合,Elastic Net。
SofaSofa数据科学社区DS面试题库 DS面经
如果有很多多重共线性的变量,ridge的效果比lasso好
-
清风
2017-04-06 09:47
我补充强调一下,LASSO可以降维,特征选择,可以简化模型;而Ridge不会进行特征选择
-
高代兄
2017-04-07 11:20