对线性回归加L0 norm的正则项是什么意思?
L0 norm又是什么?
2个回答
L0 norm是一组向量里不为0的元素的个数
比如一个向量 v = (5, 2, 0, 3, 4)
那么L0(v) = 4.
从正则化的角度来说,L0的作用是控制模型引入特征的数量。相比于L1(Lasso)和L2(Ridge),L0更加严格地控制特征的数量。
SofaSofa数据科学社区DS面试题库 DS面经严格来说,L0 norm不是norm,因为它不满足范数的定义。
$L_0$从不满足范数定义上的数乘:
$$\|\lambda x\|=|\lambda|\|x\|$$
假设$x=(1,0,0,1)$,$L_0$范数是2。如果乘以2,得到$(2,0,0,2)$,$L_0$范数依然是2,而不是4。
所以$L_0$范数不是严格意义上的范数。
SofaSofa数据科学社区DS面试题库 DS面经