04 BatchNorm 和 LayerNorm 有哪些区别?为什么 Transformer 通常使用 LayerNorm?考察对归一化维度、训练/推理行为、batch依赖性和序列建模适配性的理解。 查看学习思路
05 Transformer 中如果把 LayerNorm 换成 BatchNorm,为什么训练和推理结果可能不一致?考察能否把归一化统计量、batch依赖和自回归推理结合起来分析数值行为。 查看学习思路