返回全部题目← 上一题47 / 126下一题 →题库/模型训练与对齐/Q-4884如何组合 DP、TP 与 PP 进行 3D 并行，并按硬件拓扑配置？知识专题：分布式训练与计算硬件题目类型：方案设计技术难度：深入题集来源：4 个未标记未标记待复习已掌握收藏反馈（在 GitHub 新标签页打开）Sorry o(╥﹏╥)o，暂无参考答案。带这道题，问问AI吧~问 AIKimiKimi（新窗口打开）Qwen千问（新窗口打开）OpenAIChatGPT（新窗口打开）本题目录收录题集相关题目收录题集4 个来源，共10 份题集分布式训练与资源Firefly · llm_interview_note · 5 条原题查看题集 →什么是 3D并行？3种并行方式可以叠加吗？有了ZeRO系列，为什么还需要3D并行？展开其余 2 条原题平民适不适合玩3D并行？假如有超多的8卡A100节点（DGX A100），如何应用3D并行策略？训练、数据与模型优化：从数据清洗到 LoRAOnefly · zero2Agent · 1 条原题查看题集 →DP、DDP、TP、PP——分布式训练并行策略的区别与选型？公司案例问答汇编阿东玩 AI · AgentGuide · 1 条原题查看题集 →大模型训练中的数据并行、模型并行、流水线并行分别适用于什么场景?AI Infra 面试指南阿东玩 AI · AgentGuide · 1 条原题查看题集 →DDP、FSDP / ZeRO、TP、PP 如何选？后训练章节追问阿东玩 AI · AgentGuide · 1 条原题查看题集 →ZeRO、TP、PP 的本质区别是什么？展开剩余 5 份题集后训练综合问答阿东玩 AI · AgentGuide · 1 条原题查看题集 →张量并行为什么放节点内，流水线并行跨节点？AI系统与训练推理工程阿东玩 AI · AgentGuide · 19 条原题查看题集 →【并行方式概述】请解释DP（数据并行）、TP（张量并行）、PP（流水线并行）的概念，并重点介绍DP的原理。另外，3种并行方式可以吗？ 「百度、腾讯混元」【3D并行适用性】平民适不适合玩3D并行？ 「腾讯混元」【DP与PP关系】DP和PP是二选一吗？ 「阿里通义」展开其余 16 条原题【分布式并行策略】分布式训练中有哪些并行策略？针对大模型参数规模很大的情况，常见策略包括Tensor Parallel、Pipeline Parallel、Data Parallel等，请列举并简要说明。 「字节跳动、腾讯、阿里巴巴」【大模型并行方式】知道哪些大模型加速方式，数据并行、模型并行、序列并行等？简单介绍一些你知道的大模型并行方式。 「字节Seed」【并行化动机】为什么要做并行化/并行化/并行策略？ 「字节Seed、字节跳动」LLM训练经验llm训练资源多少，并行方式如何，你训练了多久，【swift参数设置】你用了swift参数怎么设置的？有2个node你如何分配你的训练参数？请说明swift参数设置方法及多节点分配策略。 「美团」【并行策略与算法】解释数据并行(DDP)、张量并行(TP)、流水线并行(PP)和序列并行(SP)的区别及应用场景。讲讲并行训练的一些算法，数据并行、流水线并行、张量并行，ZeRO算法等。（追问）显卡使用分布和并行处理是怎样的？除了3D并行有没有其他方式大规模训练？额外加哪些并行训练？ 「字节Seed、字节跳动、腾讯、腾讯混元」【并行策略区别与部署实践】分布式训练数据并行、模型并行、流水线并行的区别，阿里大模型训练如何部署？请分析三种并行策略的区别及阿里大模型部署实践。 「阿里通义」【并行策略原理与调整】DP PP TP的原理和使用场景，各个阶段怎么调整? 「腾讯」【张量并行节点内放置】为什么TP通常放在节点内？请分析张量并行节点内放置的原因。 「阿里通义」【3D并行设计】如何设计模型训练的3D并行（DP、PP、TP）？假设有超多的8卡A100节点（DGX A100），如何应用3D并行策略？你是如何分配DP、PP、TP的？ 「字节跳动、腾讯混元、阿里通义」【TP/PP/DP并行】TP、PP、DP并行的区别与选型考量？给定8节点、每节点8卡、80GB H100，要训练70B级模型，应如何在TP/PP/DP间做第一版拓扑划分？ 「字节跳动、腾讯混元」【ZeRO与3D并行】有了ZeRO系列，为什么还需要3D并行？ 「腾讯混元」【大模型并行策略设计】64卡训练70B模型，应该怎么设计并行策略？请给出具体配置，并说明面试中如何回答最稳妥。 「阿里通义」【模型并行/张量并行/流水线并行对比与选型】请对比“模型并行”“张量并行”“流水线并行”三种显存优化方案的技术原理，以及在单节点多卡、多节点多卡场景下的选型逻辑。 「腾讯」【并行策略】了解哪些并行策略？解释张量并行和流水线并行的区别。另外，多头多batch如何并行？头和batch之间无关，直接并行，算完再拼起来。了解CP吗？ 「字节Seed、腾讯、阿里巴巴」【并行策略选择】并行策略TP、PP、SP的使用场景及如何选择？训练时如何选择TP/PP等分布式策略？ 「字节跳动、阿里巴巴」荣耀高频面试题Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →八股：dp ddp tp等区别预训练：训练与数据处理Rocky Ding · AIGC-Interview-Book · 2 条原题查看题集 →为什么大语言模型训练需要多种并行策略？数据并行、张量并行、流水线并行分别解决什么问题？主流大模型训练框架如何组合并行策略？05_视频生成训练与工程优化Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →数据并行、张量并行、序列并行和 FSDP 如何组合？相关题目4 题0030DCU 与 GPU 有什么区别？同一知识专题题目类型：比较选型技术难度：进阶相关面经：4 篇0031SIMT 有什么特点，遇到分支会发生什么？同一知识专题题目类型：原理机制技术难度：进阶相关面经：3 篇0032GPU 的存储层次和计算单元如何组织？同一知识专题题目类型：原理机制技术难度：进阶相关面经：6 篇0033DCU 如何把数据传入寄存器，并在芯片上共享？同一知识专题题目类型：原理机制技术难度：进阶相关面经：1 篇♥♥♥♥♥← 上一题已到最后一题← 上一题数据并行训练如何工作，怎样提高其效率？下一题 →Colossal-AI 中 1D、2D、2.5D 与 3D 张量并行分别表示什么？
