为什么?
2个回答
是的,对于凸优化来说,局部最优就是全局最优,换句话说,极小值就是最小值。
至于为什么?这个就是数学证明了,这个要用到凸函数、凸集的定义。
我们可以用反证法来证明。已知$x_0$是个局部最优点,假设在全集$S$上存在一个点$x_*$,使得
$$f(x_*) < f(x_0).$$
因为$f(x)$是凸函数,所以对于任意的$t$
$$f(tx_*+(1-t)x_0)\leq tf(x_*) + (1-t)f(x_0)$$
注意,这个$t$是$0$到$1$之间的任意值,所以$t$可以非常接近$0$,此时$(tx_*+(1-t)x_0)$这个点就可以无限接近$x_0$,但是函数在这个点的值又比$f(x_0)$小,所以$f(x_0)$不可能是局部最小值。故假设矛盾,因此不存在这样的$x_*$。$f(x_0)$必定为最小值。
SofaSofa数据科学社区DS面试题库 DS面经