返回全部题目← 上一题8 / 33下一题 →题库/模型训练与对齐/Q-2899DPO 训练有哪些需要注意的事项？知识专题：偏好对齐题目类型：方案设计技术难度：进阶相关面经：2 篇题集来源：2 个未标记未标记待复习已掌握收藏反馈（在 GitHub 新标签页打开）Sorry o(╥﹏╥)o，暂无参考答案。带这道题，问问AI吧~问 AIKimiKimi（新窗口打开）Qwen千问（新窗口打开）OpenAIChatGPT（新窗口打开）本题目录相关面经收录题集相关题目相关面经2 篇阿里巴巴（淘天）大模型 Agent2026-07-27校招查看原面经 →PPO和DPO在大模型对齐中的主要区别是什么？DPO训练通常有哪些注意事项？用过GRPO么？MiniMax大模型算法工程师2026-05-06查看原面经 →PPO和DPO 在大模型对齐中的主要区别是什么？DPO 训练通常有哪些注意事项？收录题集2 个来源，共5 份题集公司案例问答汇编阿东玩 AI · AgentGuide · 1 条原题查看题集 →DPO训练通常有哪些注意事项?强化学习与对齐阿东玩 AI · AgentGuide · 3 条原题查看题集 →DPO训练技巧DPO训练技巧：DPO训练涉及的trick有哪些？DPO与SFT在训练上有什么不同？训练了几个模型？DPO训练过程涉及的模型及各自的作用。DPO训练通常有哪些注意事项？【DPO改进方法】DPO如何改进？ 「美团」【DPO训练技巧】DPO训练技巧：为什么DPO会出现正样本reward也降低的情况？有没有可能DPO训练后choosen和reject的概率都提升了？应该怎么办？你做DPO时为什么搭配0.2权重的SFT loss，防止什么问题？ 「京东、字节跳动、阿里巴巴」百度高频面试题Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →DPO过程的卡点滴滴高频面试题Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →dpo训练参数快手高频面试题Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →DPO训练可能遇到的问题相关题目4 题0273SFT 与偏好数据如何构建，如何控制数据污染和分布偏移？同一知识专题题目类型：方案设计技术难度：进阶相关面经：1 篇0275如何从 KL 约束的强化学习目标推导 DPO 目标？同一知识专题题目类型：原理机制技术难度：深入相关面经：1 篇0604DPO 中好坏样例生成概率都下降的问题如何理解？同一知识专题题目类型：原理机制技术难度：进阶相关面经：1 篇0605DPOP 的全称是什么？同一知识专题题目类型：原理机制技术难度：进阶相关面经：1 篇♥♥♥♥♥← 上一题已到最后一题← 上一题如何构建 chosen/rejected 偏好对，模型答案优于标注答案时如何处理？下一题 →DPO 为什么不需要在线采样，训练数据采用什么格式？
