线性回归的变量归一化的问题

  统计/机器学习 回归分析 监督式学习 数据预处理    浏览次数:7829        分享
0

我在看吴恩达的网上课程,上面说线性回归一般有两种解法,一种是利用随机梯度下降方法、一种是利用矩阵的正规解法。

为什么第一种方法的时候需要对特征进行归一化处理?然后用矩阵解的时候却不需要?

最后它们的结果会是一样的吗?


 

yukio   2018-02-19 10:16



   1个回答 
3

随机梯度下降之所以要标准化或者归一化,是为了加速收敛、提高它的计算效率。而解矩阵这种解法是不需要这种迭代计算的,所以不要进行归一化。

是否归一化只是优化上的考虑,和模型的表现没有什么关系。

从结果上来说,我们期望它们是一样的,但是实际上会不大一样,因为SGD是具有随机性的,所以回归模型的参数自然具有随机性。


SofaSofa数据科学社区DS面试题库 DS面经

Marvin_THU   2018-02-26 10:24



  相关讨论

数据的标准化(Z-score标准化)是否会改变训练得到的超平面系数向量?

特征归一化后的多项式回归拟合结果

对进行回归分析之前,如何处理不同类型的变量?

statsmodels里的ols怎么处理分类变量?

拟合数据的Z-score规范化怎么进行操作?

虚拟变量能否标准化?

文本或者语音里的数字识别是分类还是回归?

可以对线性回归进行boosting吗?

逻辑回归最终的所有结果都是0的原因

证明在线性回归中,如果样本数量N小于特征数量d+1,则XXT的秩最大为N?

  随便看看

逻辑回归的损失函数是怎么来的

怎么直观理解ROC AUC的概率统计意义?

sklearn可以用gpu加速吗?

为什么梯度的反方向是函数下降最快的方向?

pandas读取csv中指定的某些列