在Lasso回归的环境下,如果我把某个特征$X_1$扩大,比如赋值$X_1=100X_1$,并且保持惩罚系数不变,那么$X_1$是不是更容易被Lasso去除(回归系数为0)?
我看到一个相似问题Lasso是对数值大的系数压缩大还是数值小的系数压缩大?但是好像和我问的不是完全一样,请求高人指点。
1个回答
对,把某特征$X_1$扩大,并且惩罚系数$\lambda$不变,$X_1$的回归系数$w_1$更容易为0。
把一个特征扩大变相把回归系数缩小,$X_1'=100X_1$可得$w_1'=w_1/100$。而且正则项提供的让回归系数变为0的gradient是相等的,$\lambda sign(w_1)=\lambda sign(w_1')$。所以新回归系数$w_1'$更容易为0。
SofaSofa数据科学社区DS面试题库 DS面经