L0 norm 正则是什么意思?

  统计/机器学习 回归分析    浏览次数:6023        分享
2

对线性回归加L0 norm的正则项是什么意思?

L0 norm又是什么?


 

魏哲   2017-11-06 01:11



   2个回答 
5

L0 norm是一组向量里不为0的元素的个数

比如一个向量 v = (5, 2, 0, 3, 4)

那么L0(v) = 4.


从正则化的角度来说,L0的作用是控制模型引入特征的数量。相比于L1(Lasso)和L2(Ridge),L0更加严格地控制特征的数量。

SofaSofa数据科学社区DS面试题库 DS面经

岛歌   2017-11-06 15:05

2

严格来说,L0 norm不是norm,因为它不满足范数的定义。

$L_0$从不满足范数定义上的数乘:

$$\|\lambda x\|=|\lambda|\|x\|$$

假设$x=(1,0,0,1)$,$L_0$范数是2。如果乘以2,得到$(2,0,0,2)$,$L_0$范数依然是2,而不是4。

所以$L_0$范数不是严格意义上的范数。

SofaSofa数据科学社区DS面试题库 DS面经

木子周   2019-05-28 14:11



  相关讨论

正则项里的L1,L2是什么意思?

L1正则化和L2正则化的区别?L1为啥具有稀疏性?

L1范数回归与TV正则化哪个的回归效果更好?

如何理解“迭代步骤本身就是一个正则化的过程”

为什么正则项通常都是用L1或者L2,而不是其他的?

最小角回归是天然的LASSO化?正则化参数怎么体现?

Lasso和岭回归的正则项包含截距(常数项)吗?

为什么很少用L0范数惩罚正则项?

如何简单理解正则化

xgboost有正则项为什么还会过拟合呢?

  随便看看

前馈神经网络如何选择隐藏层的数量

主成分分析法(PCA)算是黑盒算法吗?

matplotlib.pyplot做折线图的时候,显示为虚线,或者点划线?

sklearn里的LabelEncoder什么用?

求多个torch tensor的平均值