huber loss是什么？什么时候用？

HuberLoss是一个用于回归问题的带参数的损失函数。

$$L_{\delta}(y,f(x))=\begin{cases}\frac{1}{2}(y-f(x))^2,\text{ if }|y-f(x)|\leq \delta \\  \delta|y-f(x)| -\frac{1}{2}\delta^2, \text{ if }|y-f(x)|> \delta  \end{cases}$$

$\delta$是HuberLoss的参数，$y$是真实值，$f(x)$是模型的预测值。

当预测偏差小于$\delta$时，它采用平方误差，当预测偏差大于$\delta$的时候，采用的线性误差。相比于最小二乘的线性回归，HuberLoss降低了对outlier的惩罚程度，所以HuberLoss是一种常用的robust regression的损失函数。

最后贴一张维基上的图。

绿色是参数$\delta=1$的Huber Loss，蓝色是平方误差。

huber loss是最小二乘法和最小绝对误差的结合体。

当数据中有不少离群值或者不确定数据中是否有离群值时，可以用huber loss。

如果预测值的分布是长尾的，看起来不大正态，不大对称的话，可以考虑用Huber。Huber的鲁棒性更强一些。