stacking模型里每个子模型的权重如何确定?

  统计/机器学习 监督式学习    浏览次数:1316        分享
0

假设我有三个分类模型,SVM,LR,RF

我按照1/3 * SVM + 1/3 * LR + 1/3 * RF进行stack,得到新的预测模型

假如我现在不用平均权重了,怎么确定每个子模型的权重大小呢?有什么系统化的方法吗?

 

彼得鲁克   2022-05-17 16:12



   1个回答 
2

一种是类似于调参的方式,比如grid search,假设SVM、LR、RF的权重分别是w0, w1, w2,可以对任意的组合,进行暴力搜索,,根据验证集的目标函数对w0,w1,w2搜索结果进行择优。


还有一种是建模的形式,假设SVM、LR、RF的预测结果分别是y0, y1, y2。由这三列数据做特征,真实的y作为目标,然后用线性回归(回归问题)或者逻辑回归(概率问题),根据y0,y1,y2预测y,这样也会得到每个特征的权重,也就是w0,w1,w2。


SofaSofa数据科学社区DS面试题库 DS面经

ran_pan   2022-05-22 20:57



  相关讨论

MLR分片模型是什么模型?

KNN中K值的选择

怎么理解platt scaling?

为什么LR要用Sigmoid函数?

欠采样后概率还原问题

线性可分是什么意思?

为什么说knn是惰性算法

rulefit和gdbt+lr有什么区别?

knn推导过程中的一个细节

关于方差和偏差和噪声

  随便看看

numpy.array转换为图片并显示出来

为什么LASSO可以做特征选择,而Ridge却不行?

pandas读取csv中指定的某些列

sklearn可以用gpu加速吗?

如何复制一个pandas DataFrame