RT.
牛顿法建立于对函数的泰勒展开的基础上,最优化求解方法中提到了使用其可以避免最速下降法中步长不好求解的问题,即使用了函数的Hessian矩阵作为了最佳迭代步。那么牛顿法在对一个可微的凸函数进行最小值求解时有可能出现最速下降法那样发散的情况么?如果可能的话,这种发散和什么相关呢?
1个回答
牛顿法求凸函数的最小值完全等价于牛顿法求这个凸函数的导函数唯一的根。
因为是凸函数,所以不存在马鞍点的情况。
和梯度下降类似,牛顿法也可能出现超调,也就是overshoot,这个是由函数本身的性质导致的。发生超调的话就很难收敛了。
牛顿法求最根需要有初始点,如果初始点不好,可能也会导致不收敛(其实也是超调)。
SofaSofa数据科学社区DS面试题库 DS面经
多谢
-
CE_PAUL
2019-05-10 21:13