我有个问题,softmax模型是不是就是李航老师书里的最大熵模型?那logistics模型是最大熵模型吗?
1个回答
对,Multinomial logistic regression wiki中:
但是在李航的《统计学习方法》中有点不同。
Multinomial logistic regression是:
maximum entropy是:
它们不同是(6.7)中$w_k$是$n$维向量,参数$w_{k,i}$的总数共有$nK$。而(6.22)中$w_i$总数只有$n$个,对于不同$y=k$,它们共享相同的参数,$w_{k,i}=w_i$。共享参数的原因是maximum entropy 中只有 $n$个限制条件。
如果改为$nK$个限制条件,比如 $E_{P(y=k)}(f_i)=E_{\tilde{P} (y=k)}(f_i)$,二者就一样了。
SofaSofa数据科学社区DS面试题库 DS面经
多谢大佬指点
-
kunkunkun
2019-02-13 14:39