BatchNormalization这一层一般有哪些参数需要调？
1个回答
BN里有两个参数，但是不是超参，不是调出来的，是学习出来的。
BN里的两个参数是scale和shift，这两个参数是通过训练来学习到的，用来对变换后的激活反变换，使得网络表达能力增强，即对变换后的激活进行如下的scale和shift操作
y=γx+β
SofaSofa数据科学社区DS面试题库 DS面经
数据科学小K
2020-10-15 23:44
这里的γ, β是在反向标准化的一个步骤里，让神经网络自己去学习这两个参数，从而了解前面的标准化步骤到底有没有起到优化作用。如果没有的话，就通过这两个参数抵消标准化的作用。
-
Sophia
2021-04-17 14:04
相关讨论
随便看看