cross entropy是什么意思？

entropy是用于表示二元分类器的误差，而cross entropy则用于表示多元分类器的误差。

对于一个用$n$的测试样本的$k$元分类器，那么cross entropy的计算公式如下：

$$CrossEntropy=-\frac{1}{n}\sum_{i=1}^n \sum_{j=1}^ky_{i,j}\log p_{i,j}$$

比如一个三元分类问题，有两个测试样本，第一个样本：

预测出来的概率为$(0.5, 0.3, 0.2)$，实际标签为$2$，写成one-hot的形式是$(0,1,0)$；

第二个样本：

预测出来概率为$(0.6, 0.1, 0.3)$，实际标签为$1$，one-hot的形式为$(1, 0, 0)$

那么cross-entropy为

$$-\frac{1}{2}(1\times \log(0.3)+ 1\times\log(0.6))$$