最小二乘回归和线性回归

线性回归是个更广的概念，只要能够写成$y = ax + b$的形式都是线性回归模型。

和很多机器学习算法一样，损失函数才是模型的核心。

当我们希望预测值和真实值的平方和尽量小时，也就是损失函数为

$$\sum_{i=1}^n(y_i-\hat y_i)^2,$$

这个就是最小二乘线性回归。

当我们希望预测值和真实值的绝对值的和尽量小时，也就是损失函数为

$$\sum_{i=1}^n|y_i-\hat y_i|,$$

这个就是LAD线性回归。

我们还有其他的不同的更复杂的损失函数，造就了不同的线性回归模型，比如分位数回归，Huber回归，等等。

由于最常用的、最简单的线性回归模型就是最小二乘法，所以通常说到线性回归的时候其实就是指的最小二乘线性回归。

最小二乘法(Ordinary Least Squares, OLS)只是一种线性回归模型，但是是最最常用的，所以当我们说线性回归的时候通常实际上都是指的最小二乘线性回归。

当然有其他线性回归模型，比如最小绝对偏差(Least Absolute Deviation, LAD)回归模型。