如果迫使一个线性回归模型的截距为0,会有什么坏处吗?

  统计/机器学习 回归分析    浏览次数:9645        分享
0

由于特定问题的限制,这个线性回归模型的截距(常数项)必须为0,那么这么做会造成什么问题吗?

这个情况下,这个估计是有偏的还是无偏的呢?此外,还有什么顾忌呢?

 

桐桐酱   2018-05-19 14:19



   2个回答 
4

参考Covariance_matrix,线性回归的假设是输入$X$和输出$Y$是联合正态分布。$X$是列向量,每一列为一个数据点。

$ \mu_{X,Y} = \begin{pmatrix} \mu_{X} \\ \mu_{Y} \end{pmatrix} $

$ \Sigma_{X,Y} = \begin{pmatrix} \Sigma_{XX} & \Sigma_{XY} \\ \Sigma_{YX} & \Sigma_{YY} \end{pmatrix} $

线性回归是求conditional mean

$\mu_{Y|X}=\mu_Y+\Sigma_{YX}\Sigma_{XX}^{-1}(X-\mu_X)$

$=\Sigma_{YX}\Sigma_{XX}^{-1}X   + (\mu_Y-\Sigma_{YX}\Sigma_{XX}^{-1}\mu_X)$

$=wX+b$

其中$w=\Sigma_{YX}\Sigma_{XX}^{-1}$,

$b=\mu_Y-w\mu_X$

如果要截距$b=0$,一个充分条件是$\mu_Y=0$,$\mu_X=0$。一般$X$要作normalization,可以保证$\mu_X=0$,还需要让$\mu_Y=0$。几何上意义是通过对原始数据$X,Y$的平移变换(Translation),让拟合的直线过坐标的原点。

如果$X,Y$没有减去均值,而且强行令$b=0$ ,则偏差为$\mu_Y-w\mu_X$

SofaSofa数据科学社区DS面试题库 DS面经

Zealing   2018-07-09 23:46

2

我觉得你不应该人为的限制截距为0。

首先,如果常数项为0,那么它本质上已经不是一个正确的线性回归了。

其次,如果它本身的特征决定了常数项是0,应该不是由人为所决定,而是通过数据学习得到的。

SofaSofa数据科学社区DS面试题库 DS面经

abuu   2018-05-25 23:51



  相关讨论

怎么处理真值大部分为0的回归问题

常用的回归模型中,哪些具有较好的鲁棒性(robustness)?

怎么理解分位数回归quantile regression的目标函数?

门槛回归是什么?

在线性回归模型中存在epoch的说法吗?

逻辑回归模型中变量的系数怎么理解?

泊松回归的公式是什么?

最小二乘线性回归的推导

python中如何实现保序回归算法?

TypeError: Expected sequence or array-like, got class 'map'

  随便看看

pandas报错ValueError: Cannot convert non-finite values (NA or inf) to integer

为什么自然常数e等于阶乘的倒数的和?

lightgbm.LGBMModel和lightgbm.LGBMClassifier该用哪个?

样本权重大小不同时,用什么分类算法比较合适?

主成分分析法(PCA)算是黑盒算法吗?