强化学习包含哪些主要组件？

强化学习的基本交互组件是智能体、环境、状态或观察、动作和奖励。智能体根据策略选择动作，环境据此转移到下一状态并返回奖励；学习算法利用这些交互轨迹更新策略，目标是提高期望累计回报，而不是只追求当前一步得分。

实现时还常有价值函数、经验数据、采样器和优化器。它们是否需要、如何组织取决于算法：价值网络不是所有RL算法都必需，显式奖励模型也不是强化学习的定义条件。

环境与状态转移决定动作的真实后果，例如点击按钮后订单是否保存。环境内部完整状态不一定可见，Agent通常只能拿到截图、DOM或工具结果等观察；历史观察有时需要一起进入策略。
策略给定当前信息，产生动作或动作分布。LLM场景中，动作可以细到token，也可以按工具调用或环境操作组织。
奖励与回报区分单步反馈和未来累计收益。一次错误操作可能直到任务结束才暴露，因此需要信用分配。
价值函数估计某状态或状态动作未来能获得多少回报，帮助评价动作或降低策略梯度方差；它是预测值，不是环境给的真实奖励。
学习与数据系统收集轨迹、计算目标、更新参数并评测。on-policy算法强调与当前策略匹配的数据；off-policy方法可利用不同策略产生的数据，但也要处理分布差异。

用户要求查询订单并修改地址，当前对话和订单查询结果构成可用观察；策略生成查询、校验或修改动作；业务系统执行并返回新状态；奖励检验地址是否正确更新及约束是否满足。训练器再用多条这样的轨迹改进策略。

若“修改地址”返回成功但数据库仍是旧值，就不应发完成奖励。这个例子也说明工具执行器、环境和奖励检验器有不同职责。

设后续三步奖励为0、0、1，折扣因子gamma=0.9，则从第一步看这段轨迹的折扣回报为0+0.9×0+0.9²×1=0.81。折扣是任务定义和优化选择；不是所有大模型任务都必须小于1。

Actor、Critic、Reward Model、Reference Model是常见PPO式RLHF的实现角色。环境可直接用规则给奖励，GRPO可不训练Critic，其他算法也可能不使用固定参考策略，因此不能把“四模型”当成所有RL的固定架构。

国内：zero2Agent：GRPOvsPPO：借鉴采样、优势估计与策略更新的顺序，说明正文中环境交互轨迹如何进入学习系统并更新策略。
国内：WeThinkIn：强化学习高频知识点：参考 Actor-Critic 的说明，区分正文中策略产生动作、价值函数预测回报与环境给真实奖励的职责。
国内：DeepSeek-AI：DeepSeekMath v3：采用 GRPO 无需训练 Critic 的例子，说明正文中价值网络和“四模型”并非所有强化学习算法的固定组件。
国外：Schulman等：PPO原始论文v2：依据 PPO 对价值估计与策略学习的分工，解释正文中价值函数如何辅助策略更新，并说明其并非所有 RL 算法都必需。
国外：OpenAI：OpenAI SpinningUp PPO：参考 on-policy 采样与价值学习的说明，解释正文中训练数据需匹配策略分布及价值预测的辅助作用。

参考答案