神经网络里的batch size和sgd里的batch size是一回事嘛?

  统计/机器学习 最优化 人工神经网络    浏览次数:6089        分享
1

神经网络训练中的batch size是什么意思?

和sgd里的batch size是一回事嘛?


 

有故事的董同学   2017-12-02 15:15



   1个回答 
3

本质上、原理上,神经网络的batch和SGD里的batch是一个意思。

batch size就是batch中样本的个数。

对于SGD,我们每次输入进部分样本训练模型,这个就是batch的概念。

同样的,对于神经网络,我们每次输入部分样本(也就是batch)进入网络,训练网络,这就是神经网络中的batch。(其实神经网络很多时候都是用SGD训练的,所以这个batch也就对应了SGD里的batch)

SofaSofa数据科学社区DS面试题库 DS面经

Marvin_THU   2017-12-20 15:29



  相关讨论

coordinate descent是什么意思?

为什么SGD需要对特征先做归一化缩放处理?

优化算法中的“带冲量”是什么意思?

混合整数规划的混合是什么意思?

二维平面上有一些点,找一个点使之到所有点的距离平方和最小?

python里用来做数值优化的库?

线性回归有精确的解析解为什么还要用梯度下降得到数值解?

随机平均梯度法(Stochasitc Average Gradient)和随机梯度下降(SGD)有什么区别

Newton–Raphson和牛顿法区别?

学习率不当会导致sgd不收敛吗?

  随便看看

如何清空pandas dataframe里的全部数据但是保留列名?

wide-deep模型里的wide和deep分别是指什么意思?

ARIMA模型中的三个参数(p, d, q)都是什么意思?

K-means怎么选K?

为什么矩阵的二范数和向量的二范数的定义不同?