修正R方(adjusted R square)是什么?

  统计/机器学习 回归分析 模型验证    浏览次数:41255        分享
9

修正R方(adjusted R square)是什么?为什么我们有时候用修正R方,而不是直接用R方?

 

杨业勇   2017-05-12 21:19



   3个回答 
22

修正$R_{adj}^2$的公式是

$$R_{adj}^2=1-\frac{(n-1)(1-R^2)}{n-p-1},$$

其中$n$是样本数量,$p$是模型中变量的个数。

我们知道在其他变量不变的情况下,引入新的变量,总能提高模型的$R^2$。修正$R^2$就是相当于给变量的个数加惩罚项。

换句话说,如果两个模型,样本数一样,$R^2$一样,那么从修正$R^2$的角度看,使用变量个数少的那个模型更优。使用修正$R^2$也算一种奥卡姆剃刀的实例。


SofaSofa数据科学社区DS面试题库 DS面经

Nagozi   2017-05-15 09:21

感谢!百度前10个搜出来的结果都是错的,特地注册来感谢回答! - Robin峰   2017-09-14 20:00
12

adjusted $R^2$是考虑到了自由度下的$R^2$.

$$R^2=1-\frac{SS_{\text{Res}}}{SS_{\text{Total}}}$$

考虑到残差的平方和$SS_{\text{Res}}$的自由度为$n-p-1$,总体平方和$SS_{\text{Total}}$的自由度为$n-1$,那么我们修正后的$R^2_{\text{Adj}}$的公式为

$$R^2_{\text{Adj}}=1-\frac{SS_{\text{Res}}/(n-p-1)}{SS_{\text{Total}}/(n-1)}=1-\frac{SS_{\text{Res}}}{SS_{\text{Total}}}\frac{(n-1)}{(n-p-1)}=1-(1-R^2)\frac{n-p-1}{n-1}$$

公式中$n$是样本的个数,$p$是变量的个数

SofaSofa数据科学社区DS面试题库 DS面经

matt   2018-08-14 11:15

赞这个答案! - 道画师   2018-08-18 09:55
谢谢! - x1y7o   2020-03-17 08:54
4

R方可以用来评价模型的拟合程度。当我们在评价拟合程度的同时,也考虑到模型的复杂程度,那么就是修正R方。

原理上与AIC和BIC类似。


SofaSofa数据科学社区DS面试题库 DS面经

清风   2017-09-20 13:50



  相关讨论

除了RMSE,评价回归模型有哪些常用的metric?

回归问题中R方可以小于0吗?

评价回归模型的RMSLE是什么?

K折交叉验证是否有意义?

如果我用交叉验证,还是否需要单独分出测试集?

Stratified k-fold cross validation(分层交叉验证)

k-fold cross validation的k怎么选

回归问题中的stratified cross validation?

micro和macro F1 score分别是什么意思?

精度-召回曲线的起点和终点是什么?

  随便看看

支持向量机(SVM)里的支持向量是什么意思

非方阵的逆是什么

怎么理解库克距离(Cook's distance)?

numpy.array转换为图片并显示出来

K-means怎么选K?