逻辑回归的损失函数是怎么来的?为什么定义成log-loss?
log-loss=−1nn∑i=1((yilogpi)+(1−yi)log(1−pi))
2个回答
Logistic regression的loss function不是凭空出现的,是根据逻辑回归本身式子中系数的最大似然估计推导而来的。
逻辑回归的式子是这样的
Pr(yi=1)=11+e−(β0+β1xi).
下面我们可以写出逻辑回归中的β0和β1的似然函数
L(β0,β1)=n∏i=1p(Y=yi|X=xi)=n∏i=1p(xi)yi(1−p(xi))1−yi.
其中(xi,yi)表示训练集中的每一个样本点。我们对似然函数取对数,可得
logL(β0,β1)=n∑i=1(yilog(p(xi))+(1−yi)log(1−p(xi))).
我们希望上式越大越好,换句话说,对于给定样本数量n,我们希望−1nlogL(β0,β1)越小越好,这个也就是LogLoss。
log-loss=−1nn∑i=1(yilog(p(xi))+(1−yi)log(1−p(xi))).
所以说逻辑回归的损失函数不是定义出来的,而是根据最大似然估计推导而来的。
原来如此!和信息熵不谋而合!
-
道画师
2017-03-31 11:36
熵的log的底数是2,logloss的底数是e吧
-
brpc
2018-03-16 22:31