xgboost是迭代算法,迭代次数过多会导致过拟合。early stopping就是中断迭代,xgboost里提前中断的标准是什么?具体是如何实现的呢?
1个回答
xgboost里实现早停是用了比较贪婪的简单做法。
首先,先划分好训练集和测试集;其次选定好测试的eval metric,比如回归的话就是rmse;如果训练过程中连续k轮boosting之后,测试eval metric没有变好,那么就进行早停。
k这个个数是自己设置的,在调用xgboost的时候,就是设置early_stopping_rounds。
SofaSofa数据科学社区DS面试题库 DS面经
原来是这么简单粗暴的方法
-
wxjjnss
2019-03-21 10:09