正则项里的L1,L2是什么意思?

  统计/机器学习 回归分析    浏览次数:6032        分享
0

LASSO是L1惩罚正则项

Ridge是L2惩罚正则项


这里的L1和L2具体是什么意思?有没有具体的计算公式?


 

图不二   2017-10-31 14:23



   1个回答 
7

这里的$L_1$和$L_2$是指的向量范数的种类。

向量$x=(x_1, x_2,\cdots, x_n)$的$L_1$范数表示为

$$\|x\|_1=\sum_{i=1}^n|x_i|$$

比如说$x=(3, -4)$,那么$\|x\|_1=3+4=7$


向量$x=(x_1, x_2,\cdots, x_n)$的$L_2$范数表示为

$$\|x\|_2=\sqrt{\sum_{i=1}^nx_i^2}$$

比如说$x=(3, -4)$,那么$\|x\|_2=\sqrt{3^2+4^2}=5$


这些范数在Lasso和Ridge中的具体体现,可以参考Ridge,Lasso目标函数的表达式

SofaSofa数据科学社区DS面试题库 DS面经

TheTheThe   2017-11-01 11:05



  相关讨论

L0 norm 正则是什么意思?

L1范数回归与TV正则化哪个的回归效果更好?

为什么正则项通常都是用L1或者L2,而不是其他的?

L1正则化和L2正则化的区别?L1为啥具有稀疏性?

如何理解“迭代步骤本身就是一个正则化的过程”

最小角回归是天然的LASSO化?正则化参数怎么体现?

Lasso和岭回归的正则项包含截距(常数项)吗?

为什么很少用L0范数惩罚正则项?

如何简单理解正则化

xgboost有正则项为什么还会过拟合呢?

  随便看看

pandas DataFrame中经常出现SettingWithCopyWarning

seaborn如何显示图?

回归中自变量和因变量的相关系数和回归系数(斜率)有什么关系?

什么是混淆矩阵(confusion matrix)

为什么样本方差是除以n-1