机器学习中的奥卡姆剃刀原理是什么意思

这个本来是一个哲学原理，大概意思是“差不多的话就别搞太复杂了”。

对于机器学习来说，如果两个模型的预测能力差不多，就选那个简单的吧，不要搞事情。其中原因有二，简单的模型往往解释性更好；复杂的模型更有可能过拟合。

Occam's razor的意思是对于两个模型，在其他条件等同的情况，哪个模型能够更简洁地解释数据，哪个就更好。

由Occam's razor引申出一种叫做Occam Learning模型。它被数学抽象化，这种模型既能有预测性，另外它的简洁性（数学公式定义）小于一个关于数据真实分布本身的简洁性的式子。那么我们就说这个真实数据本身是Occam learnable的。具体可以参考维基。

花书Deep Learning里是这么说奥卡姆剃刀的

This principle states that among competing hypotheses that explain known observations equally well, we should choose the “simplest” one.

意思是说，两个模型如果在训练集上的表现一样，那么我们就选择结构更简单的那个模型

• 奥卡姆剃刀：如无必要，勿增实体。
• 剃刀机器学习：在两个模型效用相似的情况下选择简单的那个，过拟合概率小。
• 理论1：VC Dimension，即不同模型的分类能力是不同的，比如一条直线一定能分清二维平面的三个非共线的点，但矩形能分清4个点。
• 实践1：有些模型能喂很多数据，即数据量不断增加的时候，效果依然会编好，但有限模型再喂数据，效果会不明显，这和理论1有关。
• 理论2：数学大神证明了分离能力越强的模型，最后的偏差越大。
• 实践2：理论2就是机器学习奥卡姆剃刀的证明。
• 
  

奥卡姆剃刀就是一个正则化的大刀！

例子，比如LASSO，Ridge，还有决策树里的剪枝，等等。

奥卡姆剃刀原理的形式化的表达是最小描述长度（MDL）。最小描述长度最小的模型就是最佳的模型。