为什么RNN会有梯度消失的问题，LSTM是怎么解决梯度消失的？

  统计/机器学习 深度学习 人工神经网络    浏览次数：1897        分享
二维码
手机扫描二维码
  机器学习面试也能刷题？
0

RNN为什么会有梯度消失的问题？LSTM为什么可以解决梯度消失？

 

Sophia   2021-04-18 11:45


   1个回答 
1

根据我的理解，RNN的Memory会在不断的传播中指数型累积，而LSTM邮5个Gate会根据你的输入对memory进行处理，或是保留或是删除，可以解决梯度消失的问题。

SofaSofa数据科学社区DS面试题库 DS面经

Cypher   2021-08-30 14:16



  相关讨论

前馈神经网络如何选择隐藏层的数量

反向传播和梯度算法概念？？？反向传播是指反向传播算法，还是反向传播算法中的一个过程？

深度学习模型的“蒸馏”是什么意思？

为什么小数据不适合神经网络模型？

训练神经网络中经常提到的epoch是什么意思

神经网络中的dense和sparse是什么意思？

epoch和batch之间有什么关系？

BatchNormalization这一层一般有哪些参数需要调？

神经网络中的Dropout和Bagging

神经网络里为什么隐藏层越多越好？

  随便看看

除了PCA，还有什么降维的方法？

统计学中的自变量和因变量分别是什么意思？

为什么自然常数e等于阶乘的倒数的和？

怎么在已有的dataframe中插入一个新列（Pandas）

推荐开放数据库