Bagging是什么意思？

Bagging并不是Bag的动名词形式。Bagging是Bootstrap aggregating的缩写。中文意思是自助聚合。

Bagging是机器学习中一种常用的降低预测方差、提高稳定性的方法。

具体步骤是：

1、从训练样集中有放回的选取n个样本，然后把这n个样本作为训练集并训练模型。(bootstrap的过程)

2、把第1步重复m次，从而得到m个不同的预测模型。

3、利用这m个模型对测试集进行预测，将m个预测结果取平均值。(aggregating的过程)

常见的Tree Bagging就是将多个决策树的结果平均后的模型。

就是随机抽样 ---> 训练 --->平均或投票的方式得到最终结果

集成学习大致可以分为两类

• 个体学习器间存在强依赖关系,必须串行生成序列化方法

代表:Boosting

• 个体学习器间不存在强以来关系,可以并行化的方法

代表:Bagging和随机森林

步骤:

1.通过bootstrap方法又放回的抽取n个样本

2.将第一步骤进行m次,得到m个不同的训练集进行训练

3.对m个训练集进行求平均

从偏差-方差角度来看:Bagging关注的是降低方差