LASSO是L1惩罚正则项
Ridge是L2惩罚正则项
这里的L1和L2具体是什么意思?有没有具体的计算公式?
1个回答
这里的$L_1$和$L_2$是指的向量范数的种类。
向量$x=(x_1, x_2,\cdots, x_n)$的$L_1$范数表示为
$$\|x\|_1=\sum_{i=1}^n|x_i|$$
比如说$x=(3, -4)$,那么$\|x\|_1=3+4=7$
向量$x=(x_1, x_2,\cdots, x_n)$的$L_2$范数表示为
$$\|x\|_2=\sqrt{\sum_{i=1}^nx_i^2}$$
比如说$x=(3, -4)$,那么$\|x\|_2=\sqrt{3^2+4^2}=5$
这些范数在Lasso和Ridge中的具体体现,可以参考Ridge,Lasso目标函数的表达式
SofaSofa数据科学社区DS面试题库 DS面经