强化学习训练中的 Reference Model 起什么作用？

Reference Model通常是冻结的初始策略，例如SFT检查点，用于为同一prompt和回答计算参考概率，并通过KL等正则项限制当前策略过度偏离原分布。它提供行为锚点，帮助控制奖励优化带来的漂移；它不负责判断答案是否正确，也不是估计未来回报的Critic。

需要特别区分Old Policy：PPO/GRPO中的old是生成当前训练样本的策略快照，用于重要性概率比；Reference通常在更长训练阶段固定，参与分布约束，二者目的和更新节奏不同。

一种常见的RLHF写法是：

最大化 E[r(x,y)] - β KL(πθ(·|x) || πref(·|x))

当前策略若为了奖励不断改变语言习惯、输出分布或钻奖励漏洞，KL代价会抑制这种偏离。β越大通常锚定越强，但可能妨碍有益探索；β过小则允许更大漂移，需要结合任务质量与实际KL观察。

对自回归回答，常在生成token上使用logπθ−logπref等量构造序列惩罚或估计；要明确采样分布、mask和平均方式。单个采样token的log比值可以为负，不能把它与始终非负的完整KL散度混为一谈。不同算法也可能采用其他KL估计器或把约束写在不同损失位置。

简化成只有两个候选：当前策略p=(0.8,0.2)，参考q=(0.5,0.5)，则：

KL(p||q) = 0.8 ln(0.8/0.5) + 0.2 ln(0.2/0.5)
         ≈ 0.192745

若β=0.1，期望目标中扣除约0.019275。第二个候选的单点log比ln(0.2/0.5)≈−0.916291，虽然为负，加权完整KL仍非负。这个两分类例子用于解释概率约束，不代表真实语言模型的token KL实测。

Actor负责采样和学习；Old Policy保存这批轨迹对应的旧概率，形成πθ/πold；Reference计算πref并锚定策略；Reward Model或可验证规则给质量反馈；Critic估计状态或前缀的未来回报，帮助构造优势。GRPO可省去显式Critic，但不意味着参考项也必然删除。

通常参考模型前向评分即可，不必参与采样、反向或优化器更新；工程上可用冻结副本、共享冻结基座等方式实现，但要防止Adapter切换或权重共享误让参考跟着Actor变化。

不能。它只是软约束，与原分布接近也可能产生错误或利用评分漏洞。仍需可靠奖励、独立任务评估与错误分析。有些变体会禁用、调整或同步参考策略，应说明具体目标和实现，不能把“永远固定、必有四模型”当所有强化学习的通则。

国内：zero2Agent：GRPOvsPPO：参考四类角色的比较，区分正文中 Actor 生成学习、Old Policy 保存采样概率、Reference 锚定分布和 Critic 估值的职责。
国内：WeThinkIn：强化学习高频知识点：RLHF 四角色与 KL 正则的讲解，说明参考模型提供的分布比较信号怎样进入策略优化。
国内：DeepSeek-AI：DeepSeekMath v3：依据 GRPO 参考 KL 与 old policy 概率比的说明，区分正文中长期分布锚定和本轮策略更新的比较对象。
国外：Schulman等：PPO原始论文v2：参考 PPO 概率比与裁剪的定义，解释正文中采样旧策略承担不同于 Reference 的职责。
国外：Ouyang等 / OpenAI：Training language models to follow instructions with human feedback：依据参考 SFT 策略限制偏离的机制，说明正文中 Reference 提供分布约束、奖励模型提供质量评分的区别。

参考答案