RLHF/PPO 中 Actor、Critic、Reward Model 和 Reference Model 的职责是什么，为什么需要 KL 约束？

知识专题：强化学习与奖励题目类型：原理机制技术难度：进阶

更新时间：2026-10-18

未标记

问AI

考查重点：四类模型分工与策略偏移约束。Actor 生成、Reward 打分、Critic 估未来回报、Reference 提供参考分布；KL 抑制为追奖励而过度偏离原策略

本题目录

参考答案

在常见PPO式RLHF中，Actor是要优化的语言模型，负责生成回答；Reward Model评价回答的偏好质量；Critic预测当前前缀未来能得到的回报，帮助计算优势并降低更新方差；Reference Model通常是冻结的初始SFT策略，用来衡量Actor偏离起点的程度。

KL约束抑制策略为了追逐奖励而过度偏离参考分布，帮助保留原有行为并减轻奖励模型被过度利用。但KL小不等于答案正确，也不能彻底消除reward hacking。

Actor用采样策略生成回答后，奖励模型输出评分；训练流程可将相对参考策略的KL惩罚加入奖励，或作为单独损失项。Critic对各前缀估值，结合奖励构造回报目标与优势，Actor再用PPO裁剪目标更新，Critic通过价值回归更新。

奖励模型回答“这条回答有多好”，Critic回答“从这个前缀继续，预期能得多少回报”。前者通常基于偏好数据训练，后者随策略和回报定义拟合；二者即使共享相似骨干，预测对象与训练目标仍不同。

Reference通常冻结，Actor与Critic训练；奖励模型在一轮策略优化期间也常冻结。四种角色不代表必须同时保留四份完全独立、同等规模的网络，工程上可共享骨干、缓存参考概率或采用参数高效实现。

PPO的概率比使用新Actor与产生这批样本的old policy比较，用来控制一次或几次更新；Reference用于较长期的锚定。old通常随采样批次刷新，Reference不必同步刷新。

对同一上下文与某个已采样token，可计算log pi_actor减log pi_ref作为KL估计的组成部分。单个样本的log概率比可能为负；它不是“每个token都必然非负的KL散度”。完整KL是对分布求期望后的量，具体训练可使用不同估计式。

奖励模型可能偏好更长、更迎合或固定模板的回答，较小的分布偏移也可能利用这些缺陷。KL还可能过强而阻碍改善，或过弱而让策略漂移。因此要结合独立正确率、偏好盲评、长度和高分失败轨迹调节约束，而不是只看KL曲线。

PPO本身也不是“只要clip就绝不走远”。裁剪限制的是样本代理目标带来的更新激励，不提供每次参数更新或整体分布距离的硬保证。

国内：zero2Agent：GRPOvsPPO：参考采样、优势估计与策略更新流程，解释正文中 Actor 的回答如何结合 Critic 估值形成更新信号。
国内：WeThinkIn：强化学习高频知识点：借鉴 Actor、Critic 与外部奖励的比较，区分正文中生成回答、预测回报和提供质量评分的职责。
国内：DeepSeek-AI：DeepSeekMath v3：依据论文对 old policy 与 reference 的说明，区分正文中 PPO 概率比和参考策略 KL 的比较对象。
国外：Schulman等：PPO原始论文v2：参考 PPO 裁剪目标与价值估计，说明正文中 Actor 策略更新和 Critic 价值回归的分工。
国外：OpenAI：OpenAI SpinningUp PPO：借鉴 on-policy 采样、价值回归与 KL 约束的说明，解释正文中数据来源、价值拟合和分布锚定的不同作用。