神经网络中的dense和sparse是什么意思?

  统计/机器学习 深度学习 人工神经网络    浏览次数:27194        分享
8

神经网络中的dense和sparse是什么意思?经常看到这些词汇,包括keras里也有,字面上就是密集和稀疏,那对于神经网络是什么意思呢?


 

七号信仰   2017-10-20 08:13



   2个回答 
17

dense和sparse都是形容网络结构中的隐层的。

如果一个隐藏层和前面的输入层和后面的输出层有很多连结,那么就可以称为是dense。最极端的例子就是全连结的前馈网络。这个网络中的所有隐层都是dense。

相反的就是sparse的。

其实直观理解起来,就是形容这个层是紧密连接的(dense)还是稀疏连接的(sparse)。

希望能够帮助到你!


SofaSofa数据科学社区DS面试题库 DS面经

word哥   2017-10-20 09:32

赞一个 - 魏哲   2018-03-23 23:18
7

我就说说Keras里的吧。

Keras里的dense layer,就是全连结(fully connected)层。

Keras里的dropout layper,就是随机删去了一些连接,也就相当于是sparse layer。


SofaSofa数据科学社区DS面试题库 DS面经

NextPage   2017-10-20 11:21



  相关讨论

dropout rate一般设置多大?

反向传播和梯度算法概念???反向传播是指反向传播算法,还是反向传播算法中的一个过程?

为什么RNN会有梯度消失的问题,LSTM是怎么解决梯度消失的?

前馈神经网络如何选择隐藏层的数量

吴恩达深度学习第一课第四周作业L层结果收敛在0.64的问题

CNN和RNN分别是怎么共享权重的?

神经网络里为什么隐藏层越多越好?

训练神经网络中经常提到的epoch是什么意思

深度学习模型的“蒸馏”是什么意思?

神经网络中的gradient check是什么意思?

  随便看看

怎么在已有的dataframe中插入一个新列(Pandas)

matplotlib一个画板上多个图叠加,如何决定图层上下?

假设检验中的p值是什么意思?为什么越小越好?

怎么添加pandas的dataframe到已有的csv文件,并且不覆盖原内容

pandas报错: 'DataFrame' object has no attribute 'unique'