为什么很少用L0范数惩罚正则项?

  统计/机器学习 监督式学习 特征选择    浏览次数:3043        分享
0

通常用到得都是L1和L2,为什么很少用L0范数惩罚正则项?

 

长路漫漫   2020-02-13 09:37



   2个回答 
4

L0范数加入进去就是 NP hard问题了。L1范数和L2范数作为惩罚项,可以进行起码的求导操作。只有在面对特定的问题下,比如压缩感知获取稀疏解,也是将L0转换为L1范数的等价形式来进行求解最优值的。

SofaSofa数据科学社区DS面试题库 DS面经

CH3COOK   2020-02-15 00:35

1

L0性质不好,L0范数不具有范数的性质,范数具有距离,三角不等式,齐次性。可以看林青老师的凸优化课程,也可以去看泛函分析的相关内容。

SofaSofa数据科学社区DS面试题库 DS面经

eleve11   2020-02-22 14:47



  相关讨论

L1正则化和L2正则化的区别?L1为啥具有稀疏性?

L0 norm 正则是什么意思?

正则项里的L1,L2是什么意思?

如何理解“迭代步骤本身就是一个正则化的过程”

为什么正则项通常都是用L1或者L2,而不是其他的?

最小角回归是天然的LASSO化?正则化参数怎么体现?

L1范数回归与TV正则化哪个的回归效果更好?

Lasso和岭回归的正则项包含截距(常数项)吗?

如何简单理解正则化

xgboost有正则项为什么还会过拟合呢?

  随便看看

在jupyter后台进程没有shutdown的notebook一直会占用内存吗?

凸优化中局部最优解就是全局最优解吗?

95%置信区间的正确理解

pandas同时返回一个dataframe的前几行(head)和后几行(tail)

如果样本不是正态分布,还能用t-test或者z-test吗?