在由分类问题向回归问题过渡时，一般形式的支持向量（Vapnik形，V-SVM）需要选取一个大于最小硬带宽度的参数ε，而当ε选得过大时，得到的分划超平面的回归效果将很不理想。而最小二乘支持向量回归（LS-SVMR）则避免了人为的对ε参数的选择，同时LS-SVMR中最小化准确偏差的做法也是很合乎逻辑的。所以是不是可以得出这样的结论：最小二乘支持向量回归（LS-SVMR）拥有相对于一般形式的支持向量机（V-SVM）拥有更好的准确性，同时求解方法上由于化成了对线性方程组的求解，也会更加简单。那么如果上述结论成立，那一般形式的支持向量回归（V-SVM）的存在是不是意义不大了。（当然，在数据量特别大的时候，由于V-SVM具有稀疏性，可能有助于减小计算量）
【问题在知乎上问过一次，但是知乎上对这种很具体的方法论的问题往往得不到几次浏览，然后巧合在知乎上看到了SofaSofa，初来乍到，大家好】
2个回答
看了下Comparison of SVM and LS-SVM for Regression，有几点想法：
1.V-SVMR中，只把$\epsilon$带之外的点作为support vector。也就是说$\epsilon$选太大，会扔掉太多training data，所以不准确。而LS_SVMR用到了所有training data。
2. V-SVMR要在所有data中找SV（support vector），是quadratic programming；而LS_SVMR只解一个线性方程组。所以在训练时，LS_SVMR要花更少计算量。
3.在预测时，V_SVMR的只用到SV，而LS_SVMR用到所有数据，所以V_SVMR计算量更小。论文里提到用变通的方法，在LS_SVMR中只留下$|\alpha _k|$大的点，从而减小LS_SVMR在预测时的计算量。
4.理论上并不能证明LS_SVMR比V_SVMR准确，比如在这篇论文的实验，LS_SVMR有更小的MSE。但也在其他论文中见过V_SVMR有更小的MSE，可能和调参有关系。只能说LS_SVMR的训练需要更小的计算量。
------------------------------------------------
5.
. 
LS_SVMR的loss function里第二项就是SSE，而V_SVMR没有。当$\gamma$很大时，loss近似正比于MSE。
所以如果用MSE去衡量V_SMR和LS_SVMR，那么LS_SVMR的MSE很可能会低一点。
SofaSofa数据科学社区DS面试题库 DS面经
Zealing
2018-06-01 13:05
《机器学习技法》的第六课讨论过这个问题。
贴个课件的图：
意思大概是，LS-SVMR使用了全部的数据作为support vector，一来计算很慢，二来容易受到噪声、异常值影响。可能是在实际使用中，和准确度相比，这两个因素也很重要吧。
SofaSofa数据科学社区DS面试题库 DS面经
nobodyoo1
2018-06-01 10:55
相关讨论
随便看看