为什么在 SFT 后采用 RL，SFT 遇到了什么问题？

知识专题：预训练、续训与 SFT题目类型：比较选型技术难度：进阶

更新时间：2026-10-18

未标记

问AI

考查重点：示范泛化不足与探索收益。SFT 学示范仍可能不会在新状态恢复，RL 让当前策略探索并按终局奖励改进；用同预算对照证明收益而非默认加阶段

本题目录

参考答案

SFT主要学习高质量示范：给定上下文，提高目标回答或动作序列的概率。RL则在当前策略实际生成或交互的轨迹上，根据奖励优化期望结果。SFT后使用RL，通常是因为示范模仿已建立基本能力，但仍需要优化多种可行路径下的终局成功、偏好或复杂约束，而且有可靠奖励和足够交互预算。

它不是固定必经流程。数据、模板或损失有问题时先修SFT；任务已达标时可以不做RL。SFT也能泛化与学习推理，RL也可能只学到评分捷径，不能简单称“一个记忆、一个思考”。

应围绕实际失败类型解释，而非只说Loss下降不够：

示范覆盖不足：训练中多是顺利轨迹，实际执行遇到意外状态后不会恢复。先补充困难示范和错误纠正数据，再判断是否需要在线探索。
模仿目标与业务结果不完全一致：同一任务有多条正确路径，逐token逼近某一条示范不直接等于最大化最终完成率。若终局可验证，RL可比较策略实际产生的不同轨迹。
偏好或约束难写成唯一答案：正确、简洁、工具成本、行为边界等需要综合取舍。有高质量比较对时也可考虑DPO，而不必直接上环境RL。
策略访问的新状态：模型生成错误动作后进入训练数据较少的状态，之后误差可能累积。在线采样能发现这类状态，但必须有可执行环境和有用反馈。

SFT准备审核过的输入、示范动作与观察，核对模板、截断、损失掩码及数据划分。RL准备任务、环境、采样策略、奖励/验证器和预算，记录每一步行为及最终状态；奖励要能区分实际成功，避免只奖格式或冗长推理。

例如工具Agent已能生成合法参数，但在环境报错后重复调用。可以先用纠错示范改善SFT，再在受控环境中评估不同恢复动作，奖励真实完成并合理约束成本；不能只因为出现“完成”文本就给成功奖励。

对比基座、SFT检查点和SFT+RL，固定测试集、采样次数、工具与token预算，测真实任务成功、错误类型、恢复、成本和旧能力回归。增加生成次数本身可能提高pass@k，不能把预算增加全部算成训练收益。

训练奖励、KL和Loss用于监控训练；最终结论依独立任务评测。若奖励上升但成功不升，应回查评分器、策略投机和分布差异。面试展开时，可以用一条代表性失败和对应的对照实验，把数据、目标、实现与结果串起来。

国内：zero2Agent：训练、数据与模型部署：借鉴训练目标、数据质量与适配方法的区分，组织正文中判断 SFT 问题时先检查数据和训练条件的步骤。
国内：WeThinkIn：后训练：微调与对齐：参考监督模仿与奖励优化的比较，解释正文中按失败类型补示范或采用环境反馈的判断。
国内：DeepSeek-AI：DeepSeek-R1：借鉴论文中冷启动 SFT 与后续 RL 的组合，说明正文中示范学习建立起点、可靠奖励进一步优化任务成功的分工。
国外：Ouyang等 / OpenAI：Training language models to follow instructions with human feedback：依据 SFT、偏好比较与 RL 的阶段划分，解释正文中后续奖励优化的起点及训练阶段各自的职责。
国外：John Schulman等 / OpenAI：Proximal Policy Optimization Algorithms：参考按采样结果与优势更新策略的过程，解释正文中奖励反馈优化与示范模仿目标的区别。