神经网络中的Dropout和Bagging

  统计/机器学习 深度学习 人工神经网络    浏览次数:10016        分享
3

神经网络中的Dropout和Bagging的作用都是用来防止模型过拟合(over-fitting)的。

它们两者从出发点和效果上有什么不同?

 

FTD   2017-03-29 12:09



   1个回答 
5

Bagging和Dropout的目的是一样的,都是为了防止模型过拟合。但是bagging是针对于data,dropout是针对于特征。


Bagging是每次训练的时候从原训练集中随机抽取样本,然后对该样本进行训练。多次反复后,对最后的结果取均值。

Dropout是在构建神经网络的时候,随机的丢掉一些节点和边,这就是相当于对特征进行了随机选择(类似于RandomForest随机选择特征)。

这两者并不分谁好谁差,而且通常为了防止模型过拟合,我们也会考虑同时使用这两者方法。

SofaSofa数据科学社区DS面试题库 DS面经

黄前志   2017-04-03 07:32



  相关讨论

神经网络中的dense和sparse是什么意思?

deep learning中的pooling是什么意思?

神经网络中的gradient check是什么意思?

BatchNormalization这一层一般有哪些参数需要调?

神经网络模型里训练和推理是什么意思?

epoch和batch之间有什么关系?

wide-deep模型里的wide和deep分别是指什么意思?

深度学习和人工神经网络是一回事吗?

dropout rate一般设置多大?

为什么RNN会有梯度消失的问题,LSTM是怎么解决梯度消失的?

  随便看看

把pandas.DataFrame中所有行全部随机排列

用户人群分层分析的RFM模型是什么?

两个凸函数相加,还是凸函数吗?

条件概率证明P(a,b|c) > P(a,b)

roc auc小于0.5是什么情况?