如何判断强化学习带来的实际收益？

判断RL收益，要把同一基座的SFT检查点作为直接基线，在相同测试集、解码设置与推理预算下比较最终任务表现，再确认增益是否稳定、能否泛化、是否值得新增训练和推理成本。训练奖励升高、KL稳定或回答变长，都不能单独证明RL有效。

收益还要做归因：区分数据清洗、增加SFT训练、更多采样、改提示词和RL更新各自贡献。只拿最终模型与最早的基座比较，无法说明改善主要来自RL。

至少保存基座、SFT后、RL后检查点。若RL使用了新增数据，可增加“同数据继续SFT”或拒绝采样微调等对照，并记录训练token、环境调用与资源预算。只改变一个因素，才更容易解释差异。

在未参与训练、调参和奖励设计的留出集上评测。按任务类型、难度、长度和分布外场景分桶，防止平均提升掩盖某类任务退化。训练任务的不同改写不一定构成独立测试题，应检查语义和环境模板泄漏。

对数学或代码看可验证正确率，对GUI任务看最终环境状态，对开放回答看盲评偏好及质量维度。并行记录长度、格式、拒答、重复、延迟和成本，排除“牺牲覆盖率换准确率”等副作用。

pass@1衡量一次生成成功；pass@k反映给定采样预算下至少一次成功的能力，两者不能混用。若RL模型多生成数倍token，应同时报告等token或等费用预算的结果。

例如同一200题上，SFT答对120题、RL答对130题，表面提升5个百分点。还需要看逐题配对：哪些题由错变对、哪些由对变错，并给出重复运行或配对重采样的区间。小测试集的一次差异可能来自采样波动，不能直接宣称稳定提升。

先检查评测标注与检验器是否一致，再查是否发生奖励投机、样本泄漏、长度偏置、策略过度收缩或某类能力退化。对高奖励失败样本逐条回放；必要时重做奖励分量消融，查看训练集收益是否只局限于已有模板。

按“对照基线—评测范围—预算—指标差异—失败类型—结论”说明。如果改善很小，可以明确说它尚不足以抵消成本，下一步针对哪类失败调整。效果不明显本身也是有效实验结论，不必把RL包装成必需阶段。

国内：zero2Agent：GRPO vs PPO：通过采样与训练代价分析建立等预算对照。
国内：Datawhale：第十一章 Agentic-RL：借鉴奖励、轨迹与环境反馈的分工，说明正文中训练奖励上涨为什么不能替代独立任务成功率。
国内：DeepSeek-AI：DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning v2：参考论文对 SFT 与 RL 阶段的划分，说明正文中以 SFT 检查点为直接基线的对照方式；论文成绩未作为本项目结果。
国外：Schulman等：Proximal Policy Optimization Algorithms v2：依据从采样数据更新策略的过程，区分正文中 RL 更新本身与新增数据、额外采样等变化，并说明收益评估需独立于训练目标。
国外：Hugging Face：GRPO Trainer：参考奖励方差与 KL 的诊断作用，解释正文中这些训练日志为何不能单独证明能力提升。

参考答案