如何推导 LayerNorm 的前向计算与反向传播公式？

知识专题：模型架构与表示题目类型：原理机制技术难度：深入

题集来源：2 个

未标记

Sorry o(╥﹏╥)o，暂无参考答案。带这道题，问问AI吧~

问 AI

Kimi 千问 ChatGPT

本题目录

收录题集

2 个来源，共4 份题集

算法岗专项面试题

阿东玩 AI · AgentGuide · 1 条原题

查看题集 →

- 推导 Layer Normalization 的前向和反向传播

深度学习基础汇编

阿东玩 AI · AgentGuide · 1 条原题

查看题集 →

- 【归一化梯度】易混淆点:LayerNorm和BatchNorm在训练时的梯度计算区别? 请详细分析两者在梯度计算上的差异，包括对均值和方差求导的过程，以及这些差异对训练稳定性和效果的影响。「阿里巴巴」

深度网络架构

Rocky Ding · AIGC-Interview-Book · 1 条原题

查看题集 →

- Transformer模型中Layer Normalization的数学原理是什么？

优化方法

Rocky Ding · AIGC-Interview-Book · 1 条原题

查看题集 →

- LayerNorm有什么作用？