我在看吴恩达的网上课程,上面说线性回归一般有两种解法,一种是利用随机梯度下降方法、一种是利用矩阵的正规解法。
为什么第一种方法的时候需要对特征进行归一化处理?然后用矩阵解的时候却不需要?
最后它们的结果会是一样的吗?
1个回答
随机梯度下降之所以要标准化或者归一化,是为了加速收敛、提高它的计算效率。而解矩阵这种解法是不需要这种迭代计算的,所以不要进行归一化。
是否归一化只是优化上的考虑,和模型的表现没有什么关系。
从结果上来说,我们期望它们是一样的,但是实际上会不大一样,因为SGD是具有随机性的,所以回归模型的参数自然具有随机性。