序列并行与上下文并行如何切分计算和状态，何时使用？

知识专题：分布式训练与计算硬件题目类型：原理机制技术难度：深入

题集来源：1 个

未标记

Sorry o(╥﹏╥)o，暂无参考答案。带这道题，问问AI吧~

问 AI

Kimi 千问 ChatGPT

本题目录

收录题集

1 个来源，共1 份题集

AI系统与训练推理工程

阿东玩 AI · AgentGuide · 4 条原题

查看题集 →

- 【大模型并行方式】知道哪些大模型加速方式，数据并行、模型并行、序列并行等？简单介绍一些你知道的大模型并行方式。「字节Seed」
- 【并行策略与算法】解释数据并行(DDP)、张量并行(TP)、流水线并行(PP)和序列并行(SP)的区别及应用场景。讲讲并行训练的一些算法，数据并行、流水线并行、张量并行，ZeRO算法等。（追问）显卡使用分布和并行处理是怎样的？除了3D并行有没有其他方式大规模训练？额外加哪些并行训练？「字节Seed、字节跳动、腾讯、腾讯混元」
- 【并行策略】了解哪些并行策略？解释张量并行和流水线并行的区别。另外，多头多batch如何并行？头和batch之间无关，直接并行，算完再拼起来。了解CP吗？「字节Seed、腾讯、阿里巴巴」

展开其余 1 条原题

- 【并行策略选择】并行策略TP、PP、SP的使用场景及如何选择？训练时如何选择TP/PP等分布式策略？「字节跳动、阿里巴巴」