训练误差、测试误差、泛化误差的区别

我还想补充个验证误差。

训练过程中的误差，就是训练误差。

在验证集上进行交叉验证选择参数（调参），最终模型在验证集上的误差就是验证误差。

训练完毕、调参完毕的模型，在新的测试集上的误差，就是测试误差。

假如所有的数据来自一个整体，模型在这个整体上的误差，就是泛化误差。通常说来，测试误差的平均值或者说期望就是泛化误差。

综合来说，它们的大小关系为

训练误差 < 验证误差 < 测试误差 ～= 泛化误差

训练误差是模型在训练集上的误差

测试误差是模型在测试集上的误差

泛化误差是用来衡量模型的泛化性