在用神经网络训练的时候，如果训练集里的特征的数值都是非负的，那么用RELU作为激活函数还有意义吗？
是不是和没有激活函数的效果一样的？
2个回答
激活函数的输入是$x^Tw$，$w$是网络参数，可正可负；$x$是输入，全为正。明显$x^Tw$的范围是实数，ReLU肯定有用。
Zealing
2018-08-04 10:08
当然不是，relu的输入时特征和参数相乘，参数矩阵一般给到随机值作为初始，所以输入是正是负不可知，但肯定有正有负；就算特征全正，参数一开始给全1矩阵，也会在梯度下降过程调参也有可能把参数调参成负值来拟合模型；只有在非常特殊的情况下，relu表现和无激活函数一样；这种情况也许都不一定要使用高级神经网络
ausar109
2018-08-09 05:24
相关讨论
随便看看