基于L1范数作为惩罚项(正则项)的回归就是LASSO回归,文献中分析说具有自动降维的功能,相比于基于2范数即Tikhonov正则化的回归能够避免回归结果的过渡平滑,而TV正则化的描述中也说其可以避免Tikhonov正则化的过渡平滑。从数学公式上来看,LASSO的惩罚项是超平面广义斜率的绝对值之和,TV正则化的惩罚项是超平面广义斜率的梯度的绝对值之和,这二者在实际表现中,是否有优劣之分或者适用的问题范围呢?
1个回答
它们不可比。LASSO是∑|w|1,w之间是独立的,比如身高和体重对应的系数就独立。LASSO只能让w稀疏,不能让它smooth。而TV是∑√(∇wi)2,其中∇wi是wi的local gradient vector。wi和wi+1相关,比如图像或音频。TV是让相邻系数间的差稀疏,也就是系数smooth。和TV相比的是w local gradient 的L1,L2norm。经验上是光滑程度L2>TV>L1。
L1对应∇w∼Laplace, L2对应∇w∼Gaussian,TV介于两者间。
SofaSofa数据科学社区DS面试题库 DS面经
多谢多谢
-
CE_PAUL
2019-01-21 18:27