故障诊断 Case 和标准答案如何制定并经领域专家验证，如何与真实值班流程一致？

核心回答

故障诊断用例应从真实值班记录和可重放环境构建，标准答案由熟悉系统的领域专家与值班人员共同确认。标准不只写一句根因，还要包含当时可见的证据、必须完成的检查、允许的替代诊断、风险操作限制，以及何时应补充信息或升级人工。

评测时让 Agent 使用与线上对应的工具接口、权限和数据时间范围，检查它是否沿证据得到合理结论、是否执行了正确动作。不能把事后复盘里才出现的根因直接塞进输入，也不能只按最终回答与某一段文字是否相似打分。

一条Case需要保留什么

记录告警现象、服务与版本、时间线、拓扑依赖、日志和指标快照、可调用工具及其预期返回。输入只包含任务开始时可获取的材料；后续证据由查询工具逐步提供。环境变化会影响结论的部分应固定版本，避免同一用例今天和明天取到不同状态。

期望结果可拆成三层：诊断判断是否有依据；检查步骤与工具参数是否合理；处置后的系统状态是否符合目标。若证据不足，正确结果可以是缩小嫌疑范围并说明还要查什么，而非强行猜出唯一根因。

专家怎样验证标准

先由一名人员按实际值班流程走通，再由另一名熟悉系统的人独立复核。对存在多种合理路径的情况，列出可接受结果与必要证据；有分歧时回到日志、配置和实验，而不是按多数票给模型制造“真值”。

专家还需检查动作前提：例如重启是否会掩盖证据、回滚是否有版本兼容问题、是否需要人工授权。把这些约束落成工具行为或可执行检查，不仅写进评分提示词。

怎样与真实值班保持一致

离线环境应复用线上工具契约，包含超时、缺失数据、权限不足和误报告警等情况。先用只读或影子运行观察诊断与建议，再根据风险引入受控处置。线上新故障、误诊和人工接管可进入候选用例，经脱敏与复核后加入回归；用于调试的样本与独立留出集分开。

真实故障较少时，可以在隔离环境中回放历史故障或构造受控场景，验证告警感知、工具排查和应急交接。仿真有逼真度限制，还应核对工具返回、数据时序与线上契约的差别；不能把离线通过直接解释成线上所有故障都能处理。

同时报告根因判断、证据充分性、危险操作、人工升级和耗时，关键风险单列。对随机系统重复运行并查看波动，不能用一条成功轨迹替代稳定性判断。

参考资料