基于L1范数作为惩罚项(正则项)的回归就是LASSO回归,文献中分析说具有自动降维的功能,相比于基于2范数即Tikhonov正则化的回归能够避免回归结果的过渡平滑,而TV正则化的描述中也说其可以避免Tikhonov正则化的过渡平滑。从数学公式上来看,LASSO的惩罚项是超平面广义斜率的绝对值之和,TV正则化的惩罚项是超平面广义斜率的梯度的绝对值之和,这二者在实际表现中,是否有优劣之分或者适用的问题范围呢?
1个回答
它们不可比。LASSO是$\sum |w|_1$,$w$之间是独立的,比如身高和体重对应的系数就独立。LASSO只能让$w$稀疏,不能让它smooth。而TV是$\sum\sqrt{(\nabla w_i)^2}$,其中$\nabla w_i$是$w_i$的local gradient vector。$w_i$和$w_{i+1}$相关,比如图像或音频。TV是让相邻系数间的差稀疏,也就是系数smooth。和TV相比的是$w$ local gradient 的L1,L2norm。经验上是光滑程度L2>TV>L1。
L1对应$\nabla w \sim Laplace$, L2对应$\nabla w \sim Gaussian$,TV介于两者间。
SofaSofa数据科学社区DS面试题库 DS面经
多谢多谢
-
CE_PAUL
2019-01-21 18:27