什么情况下 GRPO 效果较差？

核心回答

GRPO 的效果依赖奖励是否可信、同题采样能否产生可比较的回答，以及训练设置是否支持有效探索。常见困难是：题目太难或太易导致组内奖励都一样；奖励能被投机满足却偏离任务；采样越来越单一；长回答被截断、更新过大，影响稳定性；或者训练指标没有覆盖实际使用要求。要结合回答样本与独立评测定位，不能只看训练奖励。

先看有没有有效信号

在常见的组内中心化优势计算中，同一问题的回答奖励全部相同时，相对优势为零；实现通常会用稳定项处理零方差。这意味着该组缺少用于区分回答优劣的策略梯度信号，不是所有损失项都一定为零：若启用了 KL 等其他项，它们仍可能产生更新。

全错时，可能是基座能力、题目难度或验证器有问题；全对时，可能是题目已经太容易。应检查零方差组占比与具体样本，再考虑问题难度、采样设置或训练数据，而不是只提高训练轮数。

奖励变高也可能效果变差

• 奖励漏洞：只奖励格式、长度或某些关键词，可能让模型绕过真正的目标。分别查看各奖励分项，并用未参与训练的题和验证方式检查。
• 探索不足：采样结果高度相似，有用解法难进入组内。检查输出、生成熵和正确率；调采样温度或组大小要做对照，更多样本也带来额外成本。
• 截断与长度偏差：回答到长度上限仍未完成，或损失归一化方式偏向某类长度，都可能扭曲信号。检查截断比例、完整答案和长度分布。
• 更新不稳或泛化退化：学习率、裁剪、参考策略约束与数据分布都可能影响结果。按具体实现检查配置，并回归原有能力。
• 目标不完整：推理正确率改善仍可能伴随可读性差或语言混合。DeepSeek-R1 用冷启动数据改善可读性，并加入语言一致性奖励；论文报告后一项在其消融实验中带来轻微性能下降。这说明正确率、语言要求与使用体验需要分别评价，不能只看总奖励。

DAPO 对组内全对/全错、探索收缩与超长回答分别提出了改进；这些是特定方法及实验条件下的处理，不表示所有任务都应取消 KL 或照搬参数。开放式任务若缺少可靠评价，更应先解决奖励质量，再讨论扩大训练。

参考资料