GD是凸优化算法,只能找对局部最优。
那么牛顿法是凸优化算法还是全局优化算法?
2个回答
凸优化指的是在凸集上的凸目标函数只有一个最优解,也就是只有一个max point, gradient=0。凸优化最主要目的是保证理论上局部最优就是全局最优。但是实际中学习步长不可能无限小,有可能也会有局部最优解。
GD和牛顿发都是最优化算法,目的是找gradient=0的点。
SofaSofa数据科学社区DS面试题库 DS面经
				谢谢解答!
				- 
             烙神经
           
				
          
          2018-08-30 10:13
			
梯度下降(一阶算法)和牛顿法(二阶算法)都是去找梯度为0的点(驻点)。
至于这些点是极大(小)值还是最大(小)值,牛顿法和梯度下降法是无法保证的,所以牛顿法不是全局优化算法。
SofaSofa数据科学社区DS面试题库 DS面经 
     
						 
               
               相关讨论
  相关讨论 随便看看
  随便看看