鞍点的数学定义是什么?

  数学 高等数学 数值计算 最优化    浏览次数:12288        分享
1

在优化过程和优化算法的解释当中,经常说到“陷入鞍点”之类的,以及经典的马鞍的图像,这个鞍点的准确的数学定义是什么?

 

xxax   2018-10-17 21:01



   2个回答 
9

鞍点的梯度为0,各方向上二阶偏导的正负性不一致

-------------------------------------------------------------

比如函数$f(x,y)=x^2-y^2$

梯度

$$\text{grad}_f (x,y)=\begin{pmatrix}\frac{\partial f}{\partial x} \\ \frac{\partial f}{\partial y}\end{pmatrix}=\begin{pmatrix}2x \\ -2y\end{pmatrix}$$

在$(0,0)$处,梯度是零向量。

在$(0,0)$二阶偏导

$$\frac{\partial^2 f}{\partial x^2}=2$$

在$x$方向上大于0,说明是在$x$方向上极小值点

$$\frac{\partial^2 f}{\partial y^2}=-2$$

在$y$方向上小于0,说明在$y$方向上是极大值点;两者不一致,所以$(0,0)$是鞍点


SofaSofa数据科学社区DS面试题库 DS面经

u_u   2018-11-03 11:15

4

一个鞍点(saddle point)

首先,必须是驻点,也就是函数的导数(梯度)为0的点

其次,不能是极大值或者极小值点


大家常见的是马鞍图,其实更简单的一个例子是$f(x)=x^3$上的$0$点,也是鞍点。

SofaSofa数据科学社区DS面试题库 DS面经

zl_pku   2018-10-18 09:56



  相关讨论

最小值点和极小值点的区别?

机器学习公式推导中的指示函数

凸函数、凸集分别是什么意思?

Newton–Raphson和牛顿法区别?

用SGD时陷入局部最优解的解决方法

学习率不当会导致sgd不收敛吗?

Adam优化算法

牛顿法到底是一阶优化算法还是二阶优化算法?

RMSProp的直白解释

随机梯度下降(sgd)的收敛问题

  随便看看

huber loss是什么?什么时候用?

sota model是什么意思?

激活函数RELU在0点的导数是多少?

numpy.full这个函数有什么用?

sklearn训练classifier的时候报错Unknown label type