利用牛顿法求一个凸函数的最小值有可能出现发散的情况么?

  数学 数值计算 最优化 开放问题    浏览次数:5223        分享
0

RT.

牛顿法建立于对函数的泰勒展开的基础上,最优化求解方法中提到了使用其可以避免最速下降法中步长不好求解的问题,即使用了函数的Hessian矩阵作为了最佳迭代步。那么牛顿法在对一个可微的凸函数进行最小值求解时有可能出现最速下降法那样发散的情况么?如果可能的话,这种发散和什么相关呢?

 

CE_PAUL   2019-03-03 23:50



   1个回答 
2

牛顿法求凸函数的最小值完全等价于牛顿法求这个凸函数的导函数唯一的根。

因为是凸函数,所以不存在马鞍点的情况。

和梯度下降类似,牛顿法也可能出现超调,也就是overshoot,这个是由函数本身的性质导致的。发生超调的话就很难收敛了。

牛顿法求最根需要有初始点,如果初始点不好,可能也会导致不收敛(其实也是超调)。

SofaSofa数据科学社区DS面试题库 DS面经

Willyd   2019-04-08 03:28

多谢 - CE_PAUL   2019-05-10 21:13


  相关讨论

为什么机器学习中的优化问题很少用到牛顿法?

什么样的优化问题算是凸优化?

凸优化中局部最优解就是全局最优解吗?

牛顿法是凸优化算法还是全局优化算法?

非凸的目标函数还可以用随机梯度下降吗?

如果极小值就是最小值,那么这个函数就是凸函数吗?

凸优化问题一定存在最优解吗?

线性回归的目标函数是凸函数吗?

凸函数、凸集分别是什么意思?

怎么判断一个损失函数的凹凸性?

  随便看看

如何在numpy array尾部增加一行

numpy里的无穷大np.inf到底是多大呢?

matplotlib画图怎么确保横坐标和纵坐标的单位长度一致?

如果样本不是正态分布,还能用t-test或者z-test吗?

怎么让DataFrame按照某一列绝对值从小到按排列?