返回全部题目← 上一题46 / 126下一题 →题库/模型训练与对齐/Q-4883数据并行训练如何工作，怎样提高其效率？知识专题：分布式训练与计算硬件题目类型：原理机制技术难度：进阶相关面经：1 篇题集来源：5 个未标记未标记待复习已掌握收藏反馈（在 GitHub 新标签页打开）Sorry o(╥﹏╥)o，暂无参考答案。带这道题，问问AI吧~问 AIKimiKimi（新窗口打开）Qwen千问（新窗口打开）OpenAIChatGPT（新窗口打开）本题目录相关面经收录题集相关题目相关面经1 篇小鹏集团深度学习平台研发工程师2026-10-30校招查看原面经 →多卡训练是怎么同步梯度的？收录题集5 个来源，共8 份题集AI系统与训练推理工程阿东玩 AI · AgentGuide · 4 条原题查看题集 →【DDP原理】问我用的什么分布式训练方法，然后让我介绍DDP。 「百度」【Tensor并行与数据并行区别】解释Tensor并行和数据并行的区别。 「蚂蚁集团」【数据并行原理与优缺点】解释数据并行(DataParallelism)的工作原理及其优缺点。 「蚂蚁集团」展开其余 1 条原题【DP并行负载均衡】做分布式部署，DP并行，只有rank0负载过高怎么办？请分析DP并行负载均衡问题及解决方案。 「阿里巴巴」AI 基础设施AMIT SHEKHAR · ai-engineering-interview-questions · 1 条原题查看题集 →What is model parallelism vs data parallelism in distributed training?分布式训练与资源Firefly · llm_interview_note · 5 条原题查看题集 →什么是 数据并行？数据并行 如何 提升效率？数据并行 vs 张量并行 vs 流水线并行?展开其余 2 条原题如果有N张显存足够大的显卡，怎么加速训练？分布式并行及显存优化技术并行技术有哪一些，都有什么特点？字节跳动高频面试题Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →3D 并行里 DP/DDP 你怎么理解；实际落地时通信瓶颈一般卡在哪些环节荣耀高频面试题Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →八股：dp ddp tp等区别展开剩余 3 份题集推理框架知识点Rocky Ding · AIGC-Interview-Book · 2 条原题查看题集 →有哪些常见的AI模型分布式训练方式？张量并行、流水线并行、数据并行之间有什么区别？计算机视觉基础Datawhale · daily-interview · 1 条原题查看题集 →Pytorch 多卡并行的时候怎么实现参数共享，通信梯度是指平均梯度，还是最大梯度，还是梯度总和？监督学习Datawhale · daily-interview · 1 条原题查看题集 →LR如何进行并行计算？相关题目4 题0030DCU 与 GPU 有什么区别？同一知识专题题目类型：比较选型技术难度：进阶相关面经：4 篇0031SIMT 有什么特点，遇到分支会发生什么？同一知识专题题目类型：原理机制技术难度：进阶相关面经：3 篇0032GPU 的存储层次和计算单元如何组织？同一知识专题题目类型：原理机制技术难度：进阶相关面经：6 篇0033DCU 如何把数据传入寄存器，并在芯片上共享？同一知识专题题目类型：原理机制技术难度：进阶相关面经：1 篇♥♥♥♥♥← 上一题已到最后一题← 上一题什么是集体通信，常见操作各自完成什么工作？下一题 →如何组合 DP、TP 与 PP 进行 3D 并行，并按硬件拓扑配置？
