神经网络中梯度消弥的原因是什么？

  统计/机器学习 数值计算 深度学习 人工神经网络    浏览次数：4812        分享
二维码
手机扫描二维码
  机器学习面试也能刷题？
1

神经网络中梯度会逐渐变成零，一般称为梯度消弥

造成梯度消弥的原因是什么？


 

吴昊通   2017-12-26 23:07


   1个回答 
3

一般是比较深的神经网络容易出现梯度消失的现象

如果激活函数的梯度是有界的，比如sigmoid的导数就是在(0, 1)之间，根据链式法则，梯度会一层层递减，当层数很多时，最终梯度会非常小，这就造成了所谓梯度消失的现象。


SofaSofa数据科学社区DS面试题库 DS面经

岛歌   2017-12-27 11:46



  相关讨论

SGD with clipping是什么意思？

为什么RNN会有梯度消失的问题，LSTM是怎么解决梯度消失的？

dropout rate一般设置多大？

CNN和RNN分别是怎么共享权重的？

神经网络中的Dropout和Bagging

请问深度学习算法中的梯度消失的原理是什么？如何能通俗理解

RMSprop里的参数rho和decay有什么区别？

wide-deep模型里的wide和deep分别是指什么意思？

deep learning中的pooling是什么意思？

深度学习和人工神经网络是一回事吗？

  随便看看

激活函数RELU在0点的导数是多少？

R里线性回归结果中最后的F-statistic什么意思？有什么用？

怎么按照设定概率产生不重复的随机排序？

Python计算两个数组的相关系数

修正R方(adjusted R square)是什么？