swish激活函数的公式是什么？

  统计/机器学习 深度学习 人工神经网络    浏览次数：3945        分享
二维码
手机扫描二维码
  案例分析面试常见题？
3

有了解swish激活函数的吗？公式是什么？

 

双鸭熊仔   2019-11-19 10:16


   2个回答 
6

$f(x)=x\cdot\text{sigmoid}(x)$

Swish是ReLU的良好替代：

1）Swish可导

2）小于0时并非始终等于0

3）非单调

SofaSofa数据科学社区DS面试题库 DS面经

Lydia   2019-11-21 13:32

4

f(x) = x*sigmoid(βx) . β为常数或者可训练的参数

SofaSofa数据科学社区DS面试题库 DS面经

zlsama   2019-11-19 17:36



  相关讨论

神经网络里每层的激活函数必须是一样的吗？

人工神经网络有哪些常用的激活函数？

多项式网络(polynomial networks)的结构和激活函数？

如果y的范围是-1到1之间，网络输出层的激活函数应该是tanh还是linear？

如果特征都是非负的，那么用RELU作为激活函数还有意义吗？

LeakyReLu是什么意思？

elu激活函数是什么？

怎么理解所谓的dying relu？

softmin是什么激活函数？

sigmoid, tanh, arctan这几个激活函数为什么长这么像？

  随便看看

神经网络中的dense和sparse是什么意思？

python产生服从常用概率分布的随机数

keras里sparse_categorical_crossentropy和categorical_crossentropy什么不同？

pandas把一列日期转换为星期

怎么理解tweedie分布？