后训练中的长度偏差如何产生，损失归约应如何选择？

GRPO GRPO相关问题： 「京东、字节Seed、字节跳动、百度、美团、腾讯」

• 基于DAPO：为什么对于长CoT加更多权重就会有用？

GRPO损失与张量形状 GRPO损失计算细节：

• GRPO公式中已有clip，为什么还需要mean计算？mean如何计算？如何改进？

GRPO训练问题与现象： 「字节跳动、百度、美团、腾讯、阿里巴巴」

• GRPO样本级损失计算，在长CoT场景中对长序列的token贡献分配不均导致高质量样本学习不足、低质量样本惩罚不足。
• GRPO训练出来的模型倾向于输出很长的response是为什么？

• 【GRPO长文本倾向】从GRPO公式角度来看，为什么会倾向于生成长篇大论？ 「阿里巴巴」

PPO与GRPO对比 「京东、字节跳动、百度、百度文心、腾讯、腾讯混元、蚂蚁集团、阿里巴巴」

• Token-Level Policy Gradient Loss（针对长CoT的token级损失优化，直接对所有token损失求平均，确保每个token贡献更均衡）。

• 【CoT长度控制】追问3：增加惩罚项会导致无差别缩短平均CoT长度，但复杂场景下需要CoT更长才能保证推理效果，怎么办？ 「字节Seed」