不同模型下的特征重要性是不同的吗?

  统计/机器学习 监督式学习 特征选择    浏览次数:2229        分享
0

我在同样的一个数据集上用了三个不同的模型,分别是逻辑回归,随机森林,Xgboost。

我用回归系数的绝对值大小表示特征在逻辑回归中的重要性,用feature importance表示随机森林和Xgb里特征的重要性。

但是发现这三个模型中最重要的前十个特征并不相同,这是为什么呢?我该用哪个模型的特征重要性呢?

 

cannon   2020-08-26 10:28



   1个回答 
0

1. 建议你贴出来三种模型得到的最重要特征, 它们是完全没有重合还是有部分重合?便于接下来分析;

2. 按理说,重要的特征应该是相同的,你可以做一下PCA;

3. 这三种模型的表现怎么样?会不会逻辑回归很差?

SofaSofa数据科学社区DS面试题库 DS面经

anlijuncn   2020-09-02 16:49



  相关讨论

在分类问题中,有什么方法可以得到特征的重要性?

partial dependence是什么意思?

SHAP可以解释二元分类模型吗?

shap值为负是什么意思,可以删掉的意思吗

使用uci的社区犯罪率做回归,怎么选择因变量呢

特征组合的重要性排序

分类问题 特征怎么选择

wrapper特征选择法是什么意思?

对于组合特征怎么理解?

什么情况下需要做特征选择?

  随便看看

在jupyter后台进程没有shutdown的notebook一直会占用内存吗?

回归中自变量和因变量的相关系数和回归系数(斜率)有什么关系?

统计里的IQR是什么意思?

matplotlib.pyplot画图的标题中插入变量

matplotlib一个画板上多个图叠加,如何决定图层上下?