假设我有三个分类模型,SVM,LR,RF
我按照1/3 * SVM + 1/3 * LR + 1/3 * RF进行stack,得到新的预测模型
假如我现在不用平均权重了,怎么确定每个子模型的权重大小呢?有什么系统化的方法吗?
1个回答
一种是类似于调参的方式,比如grid search,假设SVM、LR、RF的权重分别是w0, w1, w2,可以对任意的组合,进行暴力搜索,,根据验证集的目标函数对w0,w1,w2搜索结果进行择优。
还有一种是建模的形式,假设SVM、LR、RF的预测结果分别是y0, y1, y2。由这三列数据做特征,真实的y作为目标,然后用线性回归(回归问题)或者逻辑回归(概率问题),根据y0,y1,y2预测y,这样也会得到每个特征的权重,也就是w0,w1,w2。