Random Forest和Tree Bagging什么区别？

为了方便叙述，假设有N个样本，P个特征。

Tree Bagging是Decision Tree的改良。

对这N个样本有放回的抽样，抽出N个样本作为新的训练集，训练出一个决策树。如此重复m次，得到m个不同的训练集，从而有m个不同的决策树，最后对这m个决策树预测模型取均值。这就是Tree Bagging。

Random Forest是Tree Bagging的改良。

对这N个样本有放回的抽样，抽出N个样本作为新的训练集，从P个特征中（无放回）地取出p个特征，训练出一个决策树。如此重复m次，得到m个不同的训练集（特征也不同），从而有m个不同的决策树，最后对这m个决策树预测模型取均值。这就是Random Forest。

所以我们可以看出唯一的区别就是Random Forest不仅随机选择了样本，也随机地选择了一些特征。至于p的值是多少，这个可以通过Cross Validation来选择。

简单地说,Tree bagging用了全部特征，RandomForest随机选择了部分特征