逻辑回归模型中变量的系数怎么理解?

  统计/机器学习 回归分析    浏览次数:20295        分享
5

对于一般线性回归,我们知道自变量X的系数C表示,X增加1,因变量Y会增加C。

那么对于逻辑回归中变量的系数,我们应该怎么理解呢?

 

小齐   2017-04-21 11:08



   4个回答 
8

逻辑回归的系数和概率值并不像线性回归的系数有那么直接的线性关系。

逻辑回归模型是

$$\text{Logit}(p)=\log\left(\frac{p}{1-p}\right)=\beta_0+\beta_1x_1+\beta_2x_2+\cdots+\beta_px_p.$$

所以,Logit(p)和变量的系数是线性关系,也就是log odds和系数是成线性关系。但是当从log odds转化为odds,再转化为概率p的时候,却没有线性关系,而且它的数值变化和x的取值也有关。

举例来说,$$\text{Logit}(p)=\log\left(\frac{p}{1-p}\right)=1+\beta x$$,对于$x=2$来说,

上图可以看出,系数beta的变动和Logit(p)的变动是线性的。

但是odds $\frac{p}{1-p}$和beta就不再是线性的了。

对于最后的概率,就更难直接从beta的角度进行解释。

所以我们一般是阐释系数和log odds或者logit函数的线性关系,也就是在逻辑回归当中,x每增加一个单位,logit函数增加beta个单位。


SofaSofa数据科学社区DS面试题库 DS面经

沛县李刚   2017-05-01 11:51

4

logitic regression是一种广义线性模型,你可以理解为是几率的对数 和 输入成线性关系。

SofaSofa数据科学社区DS面试题库 DS面经

crazy_lau   2017-09-20 17:22

4

以一元logistic回归:$log( \frac{\pi (x)}{1-\pi (x)})=\alpha + \beta x$为例,

可以有两种解释:

  • 在给定自变量$x = x_1$的情况下,$x$每增加一个单位,$\pi (x)$的值增加$\beta \pi (x_1)[1-\pi (x_1)]$
  • 自变量$x$每增加1,其优势(即@沛县李刚 说的odds )为原来的$e^\beta$次方倍

展开来说:

第一点:可以根据logistic的公式,将$\pi (x)$提至等式左边,令$\pi (x)$对$x$求导得到。

第二点:优势的定义是$\frac{\pi }{1-\pi}$,可以理解为一般一次失败会伴随着几次成功。推导过程如下:

    $\pi (x)\times \frac{1}{1-\pi (x)} $

$=\frac{exp(\alpha+\beta x)}{1+exp(\alpha + \beta x)}\times (1+exp(\alpha + \beta x))$

$=exp(\alpha+\beta x) $

$=e^\alpha e^{\beta x} $

$=e^\alpha (e^\beta )^x$

SofaSofa数据科学社区DS面试题库 DS面经

s3040608090   2017-09-28 19:35

3

如果只是定性地来看的话,在特征都已经标准化(或者归一化)的情况下,系数的绝对值越大,说明这个特征越重要

若系数为正,这个特征与目标值为1的概率正相关;若系数为负,这个特征与目标值为0的概率正相关。


SofaSofa数据科学社区DS面试题库 DS面经

Alfred   2017-09-14 14:04



  相关讨论

怎么处理真值大部分为0的回归问题

在线性回归模型中存在epoch的说法吗?

如果迫使一个线性回归模型的截距为0,会有什么坏处吗?

最小二乘线性回归的推导

常用的回归模型中,哪些具有较好的鲁棒性(robustness)?

怎么理解分位数回归quantile regression的目标函数?

门槛回归是什么?

泊松回归的公式是什么?

python中如何实现保序回归算法?

系数非负的线性回归的python实现

  随便看看

随机森林如何调参?

序列的autocorrelation(自相关系数)的计算公式

seaborn如何显示图?

怎么对pandas dataframe的列求众数

pandas.DataFrame的index重新排列(从0开始)