非凸的目标函数还可以用随机梯度下降吗？

  数学 数值计算 最优化    浏览次数：5313        分享
二维码
手机扫描二维码
  案例分析面试常见题？
0

一般对于凸问题，我们用SGD。那如果是非凸的目标函数还可以用SGD吗？

 

小老虎   2019-02-27 13:04


   2个回答 
4

其实神经网络基本上都是非凸的，但是很多情况下SGD照用不误。

对于非凸的情况，不管是GD还是SGD都不能保证收敛到全局最优，AdaGrad更好。

参考维基百科：https://en.wikipedia.org/wiki/Stochastic_gradient_descent#AdaGrad

SofaSofa数据科学社区DS面试题库 DS面经

数据痴汉   2019-03-05 00:14

3

可以，但是会陷入局部最优解 很可能解不出全局最优解

SofaSofa数据科学社区DS面试题库 DS面经

wqtang   2019-03-04 15:32



  相关讨论

什么样的优化问题算是凸优化？

凸优化中局部最优解就是全局最优解吗？

牛顿法是凸优化算法还是全局优化算法？

凸优化问题一定存在最优解吗？

如果极小值就是最小值，那么这个函数就是凸函数吗？

线性回归的目标函数是凸函数吗？

凸函数、凸集分别是什么意思？

怎么判断一个损失函数的凹凸性？

利用牛顿法求一个凸函数的最小值有可能出现发散的情况么？

对函数进行log变换后，它的凹凸性会变吗？

  随便看看

回归中自变量和因变量的相关系数和回归系数（斜率）有什么关系？

随机森林如何调参？

spark里怎么refresh表？

pandas.DataFrame的index重新排列（从0开始）

plt.show()之后matplotlib图像依然不展示