感知机和支持向量机的损失函数都是hinge loss,那么它们两个在做二元分类的时候是否是等价的呢?
2个回答
感知机和SVM不等价。
参考https://www.zhihu.com/question/51500780中DeAlVe的回答。
带margin感知机目标函数是
Soft margin SVM目标函数是
可以看到SVM是带参数$w$的L2正则项的感知机,目的是让支持向量到分割超平面的几何距离最大,也就是maximum margin。
我自己理解是:当$||w||_2^2$减小或者margin$\frac{2}{||w||_2}$增大时,让有更多的$x_i$在第一项中得到非零值,从而得到更多的支持向量(support vector)。$w$是支持向量的加权和(见下面公式)。越多的支持向量让$w$更robust,减少过拟合。margin越小越可能过拟合。
其中$c_i$是SVM dual problem中的拉格朗日乘数,$c_i$大于0时,$x_i$为支持向量。
感知机的目标就是找到一个分割平面,使得尽量得区分正确
SVM的目标是找到一个分割平面,不仅区分正确,而且要让正负样本尽量远离这个分割平面
下图里面,$H_2$就是感知机的(不一定唯一),$H_3$就是SVM的。
简洁明了!
-
魏哲
2019-02-12 13:54
相关讨论
随便看看