朴素贝叶斯是线性分类器吗？

特征都是binary的朴素贝叶斯就是线性分类器。也就是伯努利朴素贝叶斯。证明如下：

假设有$d$个特征，根据朴素贝叶斯的原理，如果

$$\frac{P(y=1)\prod_{i=1}^dP(x_i|y=1)}{P(y=0)\prod_{i=1}^dP(x_i|y=0)}\geq 1$$

我们就认为这个样本为1。方便起见，上面的式子记为*式。

我们可以对上面的式子化简一下，令$P(x_i=1|y=1)=a_i, P(x_i=1|y=0)=b_i$，因为$x_i$要么是0要么是1，那么

$$P(x_i|y=1)=a_i^{x_i}(1-a_i)^{1-x_i}, P(x_i|y=0)=b_i^{x_i}(1-b_i)^{1-b_i}.$$

*式就可以写成

$$\frac{P(y=1)\prod_{i=1}^d a_i^{x_i}(1-a_i)^{1-x_i}}{P(y=0)\prod_{i=1}^d b_i^{x_i}(1-b_i)^{1-x_i}}\geq 1$$

整理一下

$$\left(\frac{P(y=1)}{P(y=0)}\prod_{i=1}^d\frac{1-a_i}{1-b_i}\right)\cdot \prod_{i=1}^d\left(\frac{a_i}{b_i}\cdot \frac{1-b_i}{1-a_i}\right)^{x_i}\geq 1$$

两边再同时取log

$$\log\left(\frac{P(y=1)}{P(y=0)}\prod_{i=1}^d\frac{1-a_i}{1-b_i}\right)+ \sum_{i=1}^d x_i \log\left(\frac{a_i}{b_i}\cdot \frac{1-b_i}{1-a_i}\right)\geq 0$$

因为$a_i, b_i$都是常数，所以上面的式子就是$$b + \sum_{i=1}^d w_i x_i \geq 0$$的线性形式。