为什么正则项通常都是用L1或者L2,而不是其他的?比如L0.5,L0。
既然它们也是正则项,那么肯定也能起到防止过拟合的作用。但是通常我们都不会去尝试L0,L0.5,包括一切Lp,p<1。
谢谢您的回答
2个回答
L0是非零个数,最稀疏,但是NP hard问题,不容易求解。L1对应Laplace分布,L2对应高斯分布,比较容易理解。至于Lp,p<1,可能求解很难,所以不常用。
L0一般用L1替代。
SofaSofa数据科学社区DS面试题库 DS面经为什么正则项通常都是用L1或者L2,而不是其他的?比如L0.5,L0。
既然它们也是正则项,那么肯定也能起到防止过拟合的作用。但是通常我们都不会去尝试L0,L0.5,包括一切Lp,p<1。
谢谢您的回答
L0是非零个数,最稀疏,但是NP hard问题,不容易求解。L1对应Laplace分布,L2对应高斯分布,比较容易理解。至于Lp,p<1,可能求解很难,所以不常用。
L0一般用L1替代。
SofaSofa数据科学社区DS面试题库 DS面经