在优化过程和优化算法的解释当中,经常说到“陷入鞍点”之类的,以及经典的马鞍的图像,这个鞍点的准确的数学定义是什么?
2个回答
鞍点的梯度为0,各方向上二阶偏导的正负性不一致
-------------------------------------------------------------
比如函数$f(x,y)=x^2-y^2$
梯度
$$\text{grad}_f (x,y)=\begin{pmatrix}\frac{\partial f}{\partial x} \\ \frac{\partial f}{\partial y}\end{pmatrix}=\begin{pmatrix}2x \\ -2y\end{pmatrix}$$
在$(0,0)$处,梯度是零向量。
在$(0,0)$二阶偏导
$$\frac{\partial^2 f}{\partial x^2}=2$$
在$x$方向上大于0,说明是在$x$方向上极小值点
$$\frac{\partial^2 f}{\partial y^2}=-2$$
在$y$方向上小于0,说明在$y$方向上是极大值点;两者不一致,所以$(0,0)$是鞍点
一个鞍点(saddle point)
首先,必须是驻点,也就是函数的导数(梯度)为0的点
其次,不能是极大值或者极小值点
大家常见的是马鞍图,其实更简单的一个例子是$f(x)=x^3$上的$0$点,也是鞍点。
SofaSofa数据科学社区DS面试题库 DS面经