深度神经网络：批量与层的归一化

10.1深度神经网络架构批量与层的归一化残差链接注意力机制Batch Normalization 核心思想批量归一化就是说把中间那些层的输入也做标准化这样能帮助整个函数更加平滑使得在训练深度神经网络的时候会更加容易这个观点还是争议的使用批量归一化之后收敛上会更加容易可以选用更大的一些学习率但是一般来说不会改变最后的结果精度跟没有差不多但是可以快一点*BN 是对网络内部每一层的输入做标准化而不是对原始输入数据。它的目的是稳定深层网络中各层的输入分布让训练更快更稳定。批量归一化可以拆解为四步1.将输入变为 2D矩阵2.标准化对每一列进行标准化对变形后的矩阵的一列 减去 这一列的均值 再除以这一列的方差3.还原和输出整体流程如果给 RNN 用 BN需要为每个时间步维护独立的 moving_mean 和 moving_var对于很长的序列推理时维护这些统计量非常麻烦序列长度不固定时更复杂Layer Normalization 的核心思想关键区别归一化维度不同本质BN 把 batch 维度展平到一起计算LN 把特征维度展平到一起计算。其实这就是标准化每一个样本到当前的时间步骤这样做的好处是说在做预测时不需要存均值方差这种全局的东西不同归一化的统一框架归一化 Reshape Normalize Recovery