关于为什么要用GBDT的疑问

  统计/机器学习    浏览次数:2777        分享
0

请问各位GBDT相对于直接的Boosting Tree的优势主要在哪里?个人理解是GBDT把对模型预测的损失函数最优化这一步转化为了对损失函数负梯度的平方损失最优化,保证了计算的简单与方向的正确,不知道我的理解是否错误?

如果我的理解大方向基本正确的话,假如在一般问题中我们的损失函数本身就是平方损失,为什么还要用GBDT呢?这样不是多此一举了?

才疏学浅,希望各位不吝赐教!

 

马里酪火鸡   2019-11-16 20:56



   1个回答 
1

那要你说的“直接的Boosting Tree”的定义了。GBDT前的boosting版本是Adaboost,Adaboost用的指数损失函数,然后会根据上一轮的迭代结果去更改每个样本的权重,上一轮错误的分类权重变大,正确的分类样本权重变小。权重的调整也有具体的公式。每个弱分类器自身的权重也是不等的。

GBDT的损失函数是可以是任何(可导)函数。在迭代过程中,GBDT不会去更改样本的权重,而是去直接优化目标函数,以一定的速率(学习率、步长)去拟合一轮又一轮的残差。

SofaSofa数据科学社区DS面试题库 DS面经

TTesT   2019-11-17 12:49



  相关讨论

gbdt为什么需要泰勒公式展开进行节点分裂计算

请教lightGBM中的level wise具体计算步骤是怎样的?

lightgbm使用自定义损失函数后,二分类的预测结果不再是【0,1】区间

决策树的深度和数据特征个数的关系

Gradient tree boosting和random forest (随机森林) 有什么区别和联系

决策树算法ID3,C4.5和CART的特点、异同?

决策树是如何得到量化的概率,不只是0或1的标签?

请问针对Adaboost、GBDT等集成学习同一个特征是否可以入模多次?

随机森林是如何计算测试样本的概率的?

随机森林预测问题

  随便看看

怎么理解图像识别里的dice系数?

推荐系统里的ALS是什么意思?

关于方差膨胀因子(VIF)的问题

逻辑回归模型中变量的系数怎么理解?

为什么矩阵的二范数和向量的二范数的定义不同?