线性回归是机器学习算法吗?

  统计/机器学习 回归分析 开放问题    浏览次数:7408        分享
3

线性回归到底算不算是机器学习算法?


 

杨业勇   2017-11-16 09:19



   7个回答 
7

比如用线性回归拟合工资$y$

$$y=200身高+100体重+500$$

如果模型中的回归系数200和100以及常数项500是根据最用平方误差对10000条数据拟合出来的,那么这就是机器学习。

如果模型中的系数是人为主观设定的,而不是通过优化算法从数据中学习到的,那就不是机器学习。

机器学习有时候更多体现在机器学习数据的过程,而非最终结果。

SofaSofa数据科学社区DS面试题库 DS面经

蘑菇蘑菇   2019-05-04 13:49

第一种情况叫机器学习,第二种情况就叫做“人工智能”了,哈哈哈 - xiaosu   2019-05-06 00:14
楼上这个“评语”很到位,感觉是一个亿的大项目,哈哈 - 木子周   2019-05-15 12:00
5

当然算啊。

机器学习就是给定一个目标函数,可以从数据中训练出模型的参数。

线性回归符合上面的要求,所以当然是啊!


SofaSofa数据科学社区DS面试题库 DS面经

岛歌   2017-11-16 13:16

对,就是看参数是怎么来的 - 蘑菇蘑菇   2019-05-04 13:44
3

这个问题倒是挺有意思的。

如果一个机器学习工程师说他的日常工作就是搞各种线性回归,总感觉有点怪怪的,似乎不完全像个机器学习工程师或者算法工程师。

但是如果他又告诉你,他的线性回归都是上亿的数据量,上万的特征,为了提高计算性能,自己用scala实现了各种流行的优化算法。这么一听,感觉的确又算是机器学习。


SofaSofa数据科学社区DS面试题库 DS面经

道画师   2017-11-17 11:23

2

那要看怎么用,机器学习的本质在于学习、训练与预测,通过对样本数据的模拟,更好地预测未知数据集

因此在机器学习中,线性回归算是一种算法,但是更多的是怎么求出更好的参数,来使得预测效果或者误差率更小;

在统计学、计量经济学中,线性回归更多的是来寻找变量x、y之间的关系,当然预测也是一个方面

SofaSofa数据科学社区DS面试题库 DS面经

博观   2019-05-15 20:54

1

应该是吧。每个机器学习的教材里都会讲线性回归逻辑回归。


SofaSofa数据科学社区DS面试题库 DS面经

ggg818   2017-11-28 14:27

1

是 线性回归正规矩阵解在train set特征与样本很大时求逆计算量很大,所以一般都用梯度下降 一步步将损失函数减小,这符合大部分ML算法的本质,值得一提的是深度学习这种超复杂模型原理也是梯度下降。

SofaSofa数据科学社区DS面试题库 DS面经

居十方   2019-05-15 22:48

1

机器学习要素是:人为设定数学模型(表示输入到输出的关系),目标函数(如何衡量模型输出的质量),学习策略(如何把目标函数的梯度负反馈到模型参数上)。其余学习过程由机器完成。对于线性回归,数学模型是线性模型,目标函数是MSE,学习策略可以是一步到位的最小二乘法,也可以是逐渐学习的梯度下降。深度学习中也是用反向传播(back propagation)把目标函数梯度反传到每个参数。

类比一下人学习过程:对一个英语单词大概有个初始映像(模型参数初值),对比词典知道错误(与目标的差),加强记忆错误的部分(反向学习)。

SofaSofa数据科学社区DS面试题库 DS面经

Zealing   2019-05-15 23:54



  相关讨论

什么是“维数灾难”,为什么说引入核函数就避免“维数灾难”

Sigmoid核函数是不是对新输入的需要预测的点的测量误差不敏感?

y取值有上下界限的回归问题

如何对大型线性回归进行并行计算?

泊松回归有哪些应用场景?

有序的分类变量的预测是回归问题还是多分类问题?

拟合数据的Z-score规范化怎么进行操作?

训练样本中每个维度是否独立对回归结果的影响

通过SVD分解已经可以得到AX=Y解的稳定性的度量为什么还需要定义条件数来说明?

常用的回归模型中,哪些具有较好的鲁棒性(robustness)?

  随便看看

python里怎么求一个矩阵的秩?

【站务】我们回来了

支持向量机(SVM)里的支持向量是什么意思

为什么LR要用Sigmoid函数?

pytorch里view(-1, 1)什么意思?