DeepNorm 如何结合残差缩放与初始化改善深层 Transformer 训练？

知识专题：机器学习与推荐系统题目类型：原理机制技术难度：进阶

题集来源：1 个

未标记

Sorry o(╥﹏╥)o，暂无参考答案。带这道题，问问AI吧~

问 AI

Kimi 千问 ChatGPT

本题目录

收录题集

1 个来源，共1 份题集

深度学习基础汇编

阿东玩 AI · AgentGuide · 1 条原题

查看题集 →

- 【DeepNorm】请阐述DeepNorm的思路，并写出其代码实现。要求：解释DeepNorm的原理、公式、与Post-LN的关系，以及如何提升训练稳定性。「腾讯混元」