可以对线性回归进行boosting吗?

  统计/机器学习 回归分析 监督式学习    浏览次数:5476        分享
1

例如将GBDT中的弱分类器换成LR?

 

小蓝帽   2018-01-02 13:29



   3个回答 
6

对线性回归boost并没有意义,因为叠加多个线性回归最后还是线性回归

比如第一个线性回归$a_1x+b_1$

第二个线性回归$a_2x+b_2$

将这两个相加,得到的是

$(a_1+a_2)x+(b_1+b_2)$,依然是个线性回归


线性回归是有解析解的,一旦求出一个线性回归,那一定是最优的,叠加也没有意义


SofaSofa数据科学社区DS面试题库 DS面经

数据痴汉   2018-01-02 23:38

3

这个和xgb中的弱分类器LR是一个意思,其实本质上没有被boost,只是被迭代求解而已。

可以参考我之前问过的问题:xgboost的gblinear是什么意思?



SofaSofa数据科学社区DS面试题库 DS面经

木子周   2018-01-03 13:01

0

可以,但是没有意义,也没有必要,boost完之后也没有区别。


SofaSofa数据科学社区DS面试题库 DS面经

Josh_Josh   2018-02-08 15:11



  相关讨论

目标约束回归

对于线性回归模型,如何做线上模型更新

文本或者语音里的数字识别是分类还是回归?

证明在线性回归中,如果样本数量N小于特征数量d+1,则XXT的秩最大为N?

逻辑回归最终的所有结果都是0的原因

adaboost做回归预测的时候,是怎么调整样本权重的?

线性回归的bagging

python中可以做beta regression的包?

泊松回归的公式是什么?

最小二乘线性回归的推导

  随便看看

spark里怎么refresh表?

tsne被忽视?tsne有什么缺点?

把pandas.DataFrame中所有行全部随机排列

软聚类,硬聚类?

matplotlib画图怎么确保横坐标和纵坐标的单位长度一致?