决策树剪枝有什么策略或者注意事项?

  统计/机器学习 监督式学习    浏览次数:5974        分享
0

新人入门,知道决策树容易过拟合,请问决策树剪枝有什么策略或者注意事项?


 

PR   2017-11-29 14:08



   2个回答 
3

决策树剪枝不同的算法有不同的解决方法。大体上分为两种,预剪枝和后剪枝。预剪枝是在决策树的生成过程中进行的,后剪枝是在决策树生成之后进行的(需要用到验证集)。预剪枝相对来说简单一些,容易造成欠拟合。后剪枝有多种策略,简单来说就是树生成好了以后,通过验证集验证“精度”来达到剪枝的目的,不容易前拟合。效果比预剪枝要好,但是时间的消耗比预剪枝要多的多!

SofaSofa数据科学社区DS面试题库 DS面经

WindWard   2018-01-10 19:50

1

对于决策树的推荐使用RandomForest模型,这个模型不容易过拟合,不过,一般的比赛都是直接用xgb或者lgb模型。

SofaSofa数据科学社区DS面试题库 DS面经

gsscsd   2018-01-09 21:41



  相关讨论

决策树可以做多元分类吗?

随机森林是如何计算测试样本的概率的?

决策树怎么做增量学习或者online学习?

Gradient tree boosting和random forest (随机森林) 有什么区别和联系

剪枝是什么意思

随机森林中增加树的数量对于偏差和方差的影响

请问针对Adaboost、GBDT等集成学习同一个特征是否可以入模多次?

怎么理解RandomForest中的max_features?

lightgbm使用自定义损失函数后,二分类的预测结果不再是【0,1】区间

关于knn算法中kd树的问题

  随便看看

deep learning中的pooling是什么意思?

多重检验中的FDR(false discovery rate, 错误发现率)是什么?

怎么提取pandas dataframe中某一列每个字符串的前n个字符?

如果数据不是正态分布,能用3sigma原则剔除异常值吗?

roc auc小于0.5是什么情况?