如何合成 Agent 训练任务，并验证任务设计带来的增益？

核心回答

合成 Agent 训练任务，要同时构造任务目标、初始环境、可执行动作和成功判定，再让 Agent 在环境中执行，形成可验证的交互轨迹。只生成一批复杂问题或让强模型写出答案，还不足以得到可靠的 Agent 训练数据。

设计上先按目标能力建立覆盖范围，再从真实流程、工具依赖、已有材料或规则模板生成任务，改变输入、约束和难度。每个任务都要检查描述与环境一致、存在可行解、判定器能区分成功与失败，并记录任务来源、环境版本和执行结果。

验证增益时，应固定教师模型、学生起点和评测条件，分别比较覆盖设计、难度控制、环境反馈与筛选策略的贡献。既要看合成任务的有效率和生产成本，也要看训练后在独立任务上的成功率；这样才能区分“教师更强”“数据更多”和“任务设计更好”的作用。

先决定训练什么，再决定怎样造任务

任务覆盖可以按能力组织，例如理解工具说明、选择工具、跨工具依赖、多轮澄清、长程执行和失败恢复；还要结合业务中的对象、约束及错误类型。

任务种子可以来自已有业务流程、经整理的失败案例、公开任务或人工模板。知识图谱也可以帮助选择有依赖关系的实体与操作，但一条多跳路径并不天然构成可执行任务：仍要检查前置条件、参数能否得到、动作是否可达，以及最终结果能否验证。

扩充时，除了改写语言，还应改变真正影响决策的条件。例如同样是整理文件，改变输入格式、重复记录、缺失字段和输出约束，可能训练不同的处理能力；只换人物名字，新增样本量却未必增加能力覆盖。

难度也不能只用文本长度或工具调用次数判断。可以参考依赖深度、信息不完整程度、环境反馈次数及基线模型的实际通过情况，保留能学到的任务，也覆盖关键难例，避免任务全部过易或几乎无法完成。

单容器 Terminal 场景怎样落实

一个可用的任务包至少需要说明：任务要求、初始文件与依赖、执行限制、成功检查，以及用于验证可解性的参考方案。具体文件名取决于采用的评测框架；例如 Harbor 把指令、环境、配置、参考解和 verifier 分开组织。

以“清洗订单 CSV 并生成汇总文件”为教学场景：容器预置原始文件，指令明确如何处理重复单号、日期和金额，Agent 只能在指定工作目录处理数据。判定器独立计算预期汇总，检查输出内容与必要边界，而不是只检查文件存在或 Agent 回复“完成”。

生成任务后，应先从干净环境验证参考方案可通过；再用不执行操作、写死错误结果、漏掉去重等候选失败方案检查判定器能否拒绝。还要重复运行，排除残留文件、随机依赖和外部服务变化造成的假通过。若只检查某个固定文件名或常量，模型可能绕过真实任务，因此判定器也需要测试。

执行环境要明确网络、目录、资源与时间边界。单容器便于重置和收集状态，但容器本身不等于完整安全边界；工具权限和宿主挂载仍需配置。隐藏的参考答案与判定逻辑也不应提前进入 Agent 可读上下文。

从任务得到什么训练数据

任务是“做什么、在什么环境做、怎样算成功”；轨迹是 Agent 在其中采取动作并收到反馈的实际过程。两者应分别保存。

对于 SFT，可以收集经过执行验证的示范轨迹，并检查其操作与观察是否对应、是否靠泄漏答案完成、是否包含大量无效动作。对于偏好训练，可以保留同任务中有明确质量差异的候选；对于 RL，重点是环境可复置、奖励可信，并保留探索中的失败反馈。不能把失败轨迹不加区分地当作正确示范。

模型模拟工具返回可以降低生成成本，但模拟结果不等于真实执行结果。应注明数据的环境性质，并通过真实或受控环境检查工具语义和状态变化，尤其是依赖前一步结果的多步任务。

怎样证明任务设计带来了增益

先评估任务生产本身：描述是否完整、环境能否启动、参考解是否可行、判定器是否可靠，以及去重后的场景覆盖和单位有效任务成本。任务数量与生成成功率不能替代这些检查。

再做受控训练对照。可以先在同一教师模型下，比较简单改写与加入环境约束、能力组合或执行筛选后的任务；保持学生起点、训练 token 预算和评测方式一致，并尽量匹配有效数据规模。若设计改变了筛选通过率，再另报相同生产预算下能得到多少有效任务，避免把质量和生产效率混成一个数字。

最后在按来源、模板或环境分组隔离的任务上评测，查看常见任务、难例和未见组合的表现。训练样本与测试样本即使措辞不同，也可能来自同一底层任务；只做精确文本去重不够。多次运行时，还要观察结果波动，而不是用一次高分认定方案有效。

常见追问

强模型能生成任务，自己的设计价值体现在哪里？

体现在任务空间怎样定义、如何保证可执行与可判定、怎样控制覆盖和难度，以及怎样把执行反馈转成有效数据。可以在教师相同的条件下移除这些设计，检查独立任务效果和生产成本的变化。

任务越难越好吗？

不一定。过难任务可能几乎没有可用示范或有效奖励，过易任务则缺少新信息。应结合目标能力、模型当前表现和错误分布调整难度，而不是统一增加步骤。

参考解通过，就说明任务没有问题了吗？

只能证明至少有一种方案能通过当前检查。还要检查其他合理解是否被误拒、明显失败方案是否被误接，以及描述、环境和判定标准是否一致。

对应教程

参考资料