如何构建能够定位 Agent 能力退化原因的评测数据？

核心回答

能够定位退化的评测数据，不能只有“输入—最终答案”，还应标注任务意图、必要证据、允许的工具及关键参数、禁止动作、预期状态和可接受结果，并把失败类型与系统节点关联。这样端到端分数下降后，才能区分检索、规划、工具执行、上下文、生成或评分器的问题。

数据既要保留真实请求分布，也要覆盖长尾、高风险和故障场景。稳定回归集用于比较历史版本，新鲜线上抽样与时间外留出用于发现新问题，两者不能互相替代。

每条样本怎样设计

例如“根据当前订单政策判断是否可退”，样本除了用户问题，还要固定订单状态、政策版本、用户权限、必须找到的条款、允许的查询操作及预期结论。若信息不足，正确行为可能是澄清；若无权限，正确行为是拒绝读取，而不是猜答案。

轨迹标注侧重关键依赖、事实依据和结果约束，不要求唯一完整动作序列。每个标签附来源与判定规则，模糊或有争议的样本经复核或单独标记，避免把评分噪声算作模型退化。

覆盖哪些维度

按任务、难度、长度、工具组合、知识新旧和权限分桶，加入无答案、冲突证据、相似实体、多意图、工具超时、返回异常、部分成功与重试场景。对安全任务同时加入合法但容易误拦的输入。

涉及RAG时，标出索引中是否有证据、候选召回是否含正确段落、重排是否保住它、最终上下文是否正确、回答是否使用证据。这样能区分“没找到”“找到了但没传进去”和“看到证据仍答错”。

如何划分与维护

按用户、文档来源、模板或语义簇去重后划分训练、开发和留出，避免同义改写跨集合。线上bad case回流后可加入开发回归，但不再冒充未见测试题；新一轮最终验收补充独立数据。

保留样本、标签、环境和评分器版本。若修正标注，基线与候选都按新规则重评，旧分数保留原口径。

怎样用于定位

逐条对比旧新版本trace，找第一个违反标注约束的位置；再固定上下游或替换正确输入验证假设。分桶指标能缩小范围，实际根因仍需结合输入、状态和实现检查。一个总分本身不能证明“模型变差”或“Prompt有问题”。

对应教程

参考资料