线性回归的bagging

你可以对线性回归模型进行Bagging，但是毫无意义。

决策树需要做bagging，是因为它的预测bias小，variance大，所以可以通过bagging降低variance。

线性回归则是完全相反，bias大，variance非常小。从这个角度看，bagging并不能够改善什么。最重要的是，bagging对线性回归并不起作用。因为bagging会对多个单个模型的预测结果加和求平均，多个线性方程的平均，依然是个线性方程。所以当对很多线性回归模型求平均之后，最终得到模型的变量系数的还是你最初的线性方程的系数。

线性回归的bagging是没有意义的。

但是广义线性模型，比如逻辑回归，bagging却是有意义的。我们不是bagging logit(p)，而是bagging最终的p。