返回全部题目← 上一题45 / 195下一题 →题库/模型训练与对齐/Q-2468GRPO 的 Loss 如何计算？知识专题：强化学习与奖励题目类型：原理机制技术难度：进阶相关面经：4 篇题集来源：1 个未标记未标记待复习已掌握收藏反馈（在 GitHub 新标签页打开）Sorry o(╥﹏╥)o，暂无参考答案。带这道题，问问AI吧~问 AIKimiKimi（新窗口打开）Qwen千问（新窗口打开）OpenAIChatGPT（新窗口打开）本题目录相关面经收录题集相关题目相关面经4 篇字节跳动大模型实习算法岗2026-10-28实习查看原面经 →GRPO 公式？为什么公式里面 clip 了外面还要计算一次 mean 呢？字节跳动Agent 算法实习2026-07-20实习查看原面经 →GRPO算法中的裁剪（clip）操作具体作用是什么？解决了训练中的什么问题？作业帮AI 应用算法工程师2026-04-21实习一面查看原面经 →GRPO有几个模型？损失函数知道吗？reference model具体的作用是什么？美团Agent 算法工程师2025-09-27查看原面经 →追问grpo的loss怎么计算的收录题集1 个来源，共2 份题集Agentic RL 面试指南阿东玩 AI · AgentGuide · 1 条原题查看题集 →轨迹长度差 10 倍时，loss 聚合怎样避免偏向长样本或短样本？强化学习与对齐阿东玩 AI · AgentGuide · 3 条原题查看题集 →【GRPO公式】GRPO公式是什么? 「字节跳动」【GRPO模型角色】GRPO中 old policy、reference model、policy model分别起什么作用？ 「字节跳动」【GRPO公式推导】共享屏幕写出来GRPO的每个计算步骤(大致公式)，并解释其中kl散度怎么计算的，adv函数怎么计算，token级别的损失怎么计算的。 「京东」相关题目4 题0086如何判断强化学习带来的实际收益？同一知识专题题目类型：项目深挖技术难度：进阶相关面经：2 篇0103强化学习包含哪些主要组件？同一知识专题题目类型：概念解释技术难度：基础相关面经：3 篇0104GRPO 算法如何工作？同一知识专题题目类型：原理机制技术难度：进阶相关面经：14 篇0105On-policy 和 Off-policy 有什么区别？同一知识专题题目类型：比较选型技术难度：进阶相关面经：2 篇♥♥♥♥♥← 上一题已到最后一题← 上一题SFT、强化学习和 Agentic CFT 分别解决什么问题？下一题 →Deep Research 如何与强化学习结合？
