GBDT的损失函数为绝对值时，每棵树去拟合梯度吗？还是仍拟合残差？

我的理解是：

当损失函数为MAE的时候，梯度就只有3种可能，-1，0，+1。

我们用梯度作为训练样本，但是会重新用残差拟合一遍，所以每棵树拟合出来的结果依然是残差。

1.类似Gradient Descent（GD）， GBDT用 -gradient*step_size 逼近残差。负梯度正比于残差。其中step_size 可以是常数（原始GD），或二阶偏导的倒数（牛顿法），或用line search得到的当前最佳步长 。这里用L1norm Loss，二阶偏导为0，所以只能用常数或line search。参考这里。

2.对每个数据($x_i,y_i$)来说，$f_m(x_i)->-ag_i\in[-a,a]$，其中$a$是step size。

3.以固定step size a为例，对某棵树来说，当分类正确时，对最终输出$y_i$只贡献固定份额$a$，当分类错误时，也只惩罚固定份额$a$。比如$y_i=10，a=1$,起始点$y_i^0=0$，那么需要分类结果是$10+k$正确$k$错误才能拟合$y_i$。