GRPO 相比 PPO 做了哪些改进？

知识专题：强化学习与奖励题目类型：比较选型技术难度：进阶

更新时间：2026-10-17

未标记

问AI

考查重点：组内奖励与价值网络的取舍。GRPO用同题多回答的组内相对奖励替代常见PPO的Critic优势估计，保留裁剪更新；省去价值网络但增加组采样与奖励质量要求

本题目录

参考答案

GRPO 的核心改动，是用同一问题多条回答的相对奖励构造优势，替代常见 PPO Actor-Critic 实现中的价值模型估计。 它保留策略梯度和裁剪更新的思路，主要改变“怎样判断这条回答比基线好多少”。

代价是每题需要生成一组回答，信号依赖奖励质量和组内差异。因此，减少 Critic 开销不代表总训练必然更快、更省，也不代表效果一定超过 PPO。

常见 PPO 实现训练价值函数，估计某个状态之后能获得多少回报，再结合 GAE 等方法计算每步优势。价值估计准确与否会影响更新信号。

GRPO 的结果奖励形式则先对同一问题采样 G 条回答，分别打分，再计算：

某条回答的优势 =（该回答奖励 - 组内平均奖励）/ 组内奖励标准差

例如四条回答的奖励是 0、0、1、1。以总体标准差计算，均值和标准差都是 0.5，得到优势 -1、-1、1、1。这是一组数值奖励的相对比较，不是只把回答排成第一名到第四名；具体实现还需处理零标准差。

在这种结果奖励形式中，同一条回答的 Token 共用该回答的优势。它省去了逐状态价值估计，却没有因此知道每个推理步骤究竟贡献了多少。需要更细的信用分配时，还要考虑过程监督等设计。完整步骤可看GRPO 算法如何工作。

GRPO 仍使用当前策略与采样旧策略的概率比，并通过裁剪代理目标降低过大更新的收益。裁剪并非将所有概率强行锁住，也不提供硬性的 KL 上界；相关直觉见PPO 的裁剪机制。

采样旧策略与参考策略有不同职责：前者用于本批更新的概率比，后者用于衡量所选对齐方案中的偏离。GRPO 不使用 Critic，不等于奖励函数、参考策略或采样策略的角色也一并消失。

原始论文与现代框架还需区分。奖励是否除以组内标准差、损失按回答还是按 Token 归一化、是否启用 KL，都可能随配置或变体改变。不能把某个 Trainer 的当前默认值当成所有 GRPO 的固定定义。

去掉价值网络有明确的资源收益，但多回答采样仍要付出生成、打分和保存序列的成本。组大小、回答长度、批量和并行配置都会影响总开销，不能直接给出固定节省比例。

有可靠正确性判定的任务，可以用规则提供奖励，例如数学答案或代码测试；开放任务也可以用奖励模型，但仍要检查评分是否对应真实质量。只有格式正确、答案却错误的输出，不应因容易评分就被当成成功。

如果一组回答奖励完全相同，中心化后的任务优势缺少区分信号，需要检查问题难度、采样多样性或奖励分辨能力。这不等于整次优化必然没有梯度，启用的 KL 等其他项仍可能起作用。

选型时应在相近资源与评测口径下比较任务效果、生成成本和训练稳定性。GRPO 适合减少价值拟合负担的场景；已有可靠 Critic、需要细粒度状态价值或环境交互的任务，也有理由继续使用 PPO。

国内：DeepSeek-AI 等：DeepSeekMath：§4.1 对照 PPO 与 GRPO 的优势估计、组内基线及 KL 处理，说明算法主要替换了哪一步，以及哪些更新机制仍然保留。
国内：DeepSeek-AI：DeepSeek-R1：采用 R1-Zero 正确性与格式奖励的例子，说明正文中省去 Critic 仍需可靠评分，格式约束不能替代任务正确性。
国内：ModelScope ms-swift 4.4：Loss Types：依据 GRPO、BNPO、DR-GRPO 等损失归一化的说明，区分正文中原始算法与按回答、Token 等缩放的实现变体。
国外：Schulman 等：Proximal Policy Optimization Algorithms：参考裁剪与采样后更新的定义，解释正文中 GRPO 延续的策略更新及裁剪并非概率、KL 硬约束的边界。
国外：Hugging Face：GRPO Trainer：依据优势缩放、损失类型与 KL 选项，解释正文中算法差异如何体现在训练配置；默认值仍按使用版本确认。