什么是Jensen不等式？有什么直观的解释？

Jensen不等式刻画了凸函数的一个性质。假如$f(X)$是个凸函数，，对于一个随机变量$X$，那么

$$\mathbb{E}[f(X)] \geq f(\mathbb{E}[X])$$

举个直观点的例子，假设$f(X)$是点$X$到原点的欧式距离。

一个聚类中有$m$个点，这些点到原点的平均欧式距离肯定是大于等于这个聚类的中心点到原点的欧式距离的。

凸函数$f(x)$的性质是

$$tf(x_1)+(1-t)f(x_2) \geq f(tx_1+(1-t)x_2)$$

如果取$t=0.5$，那么

$$\frac{1}{2}(f(x_1)+f(x_2)) \geq f\left(\frac{1}{2}(x_1+x_2)\right)$$

推广到$n$个元素

$$\frac{1}{n} \sum_{i=1}^n f(x_i) \geq f \left(\frac{1}{n}\sum_{i=1}^n x_i\right)$$

也就是

$$\mathbb{E}(f(X)) \geq f(\mathbb{E}(X))$$