Adaboost相当于是加了权重的随机森林,每棵树会根据表现有不同的权重。那么如果一个树很差,有没有可能权重是负数?
那如果特别好,一个树的权重有上限吗?
谢谢!
1个回答
理论上说是可能是负数的,但是实际上应该都是正数的,而且没上限。每棵树的权重是$$\alpha=\frac{1}{2}\log\frac{1-\epsilon}{\epsilon}$$
其中$\epsilon$是这个棵树的misclassification rate。
如果$\epsilon=0.5$,那么它的权重$\alpha=0$。
一颗树表现越好($\epsilon$越小),权重越大。
如果$\epsilon=0$,那么权重就是无穷大。
因为boosting是把weak learner强化的过程,我们一般认为weak learner准确率应该大于$0.5$,也就是$\epsilon<0.5$,所以这种情况下$\alpha$始终是大于零的。
谢谢您的回答,元宵节快乐!
-
dsjobhunter
2018-03-02 12:03
那每棵树的权重会越来越大吗?
-
wlk1993
2018-03-10 16:22