GD是凸优化算法,只能找对局部最优。
那么牛顿法是凸优化算法还是全局优化算法?
2个回答
凸优化指的是在凸集上的凸目标函数只有一个最优解,也就是只有一个max point, gradient=0。凸优化最主要目的是保证理论上局部最优就是全局最优。但是实际中学习步长不可能无限小,有可能也会有局部最优解。
GD和牛顿发都是最优化算法,目的是找gradient=0的点。
SofaSofa数据科学社区DS面试题库 DS面经
谢谢解答!
-
烙神经
2018-08-30 10:13
梯度下降(一阶算法)和牛顿法(二阶算法)都是去找梯度为0的点(驻点)。
至于这些点是极大(小)值还是最大(小)值,牛顿法和梯度下降法是无法保证的,所以牛顿法不是全局优化算法。
SofaSofa数据科学社区DS面试题库 DS面经