如何从对话中沉淀非预设 Skill，并评价是否走弯路？

核心回答

从对话沉淀非预设Skill，需要将一次执行经历提炼成可复用方法，再验证它对新任务是否有效。原始聊天记录只是证据，不应整段复制成技能；一次成功也不足以证明每一步都必要。

我会按“轨迹整理 → 候选提取 → 泛化成技能 → 回放验证 → 版本采用”的链路做。评价“走弯路”要结合目标、当时可见信息和实际结果，不能只按Token或步骤数量判断。

怎样从对话提取候选

收集用户目标、约束、工具输入输出、失败与修正、最终产物和验证结果。先区分可复用流程、用户偏好、项目事实和临时任务状态：流程可成为Skill，偏好和事实按范围进入记忆，临时状态通常留在任务记录。

优先提取反复出现的有效模式，例如“发现某类测试失败后如何定位与修复”。保留触发条件、必要前提、关键步骤、异常分支和完成标准；去掉单次任务的对象ID、路径与偶然操作。不能把执行轨迹中失败的命令也原样列为推荐步骤。

Skill怎样呈现

入口描述写清何时使用、何时不使用；正文写操作方法、约束和输出；可复用脚本、模板、示例和资料按需分文件。注册时先暴露名称与描述，匹配后加载正文和相关资源，避免所有对话经验常驻上下文。

例如一次排查发现接口慢源于锁等待，可以沉淀“查询证据 → 区分慢SQL与锁等待 → 验证修复”的方法，但不能把所有接口慢都归因为锁。技能中要保留证据分支和不适用情况。

怎样判断走了弯路

先看最终是否满足任务与约束，再检查轨迹：是否重复相同查询而没有新信息、是否调用不相关工具、是否基于错误前提改动、是否先破坏正确结果再恢复、是否遗漏已有证据而反复探索。

探索性步骤可能没有直接产物，却排除了重要候选；一次工具失败也可能是环境故障。因此应记录当时的信息增益与合理性，不能用事后最短路径惩罚所有探索。评价维度可以分别给任务正确、动作相关、证据使用、无效重复、恢复质量、成本与延迟，而不是揉成一个无法解释的总分。

小模型如何参与

用人工确认或已校准的强模型反馈形成正负例，训练或提示小模型做问题分类和初筛；输入相关轨迹与目标，输出问题位置、证据和建议。包含“无需修改”“合理探索”和“应该局部调整”的样本，防止它习惯性挑错。

小模型评分不能直接决定新Skill上线。候选技能要在相同环境快照上与旧方法比较，覆盖正常、边界、失败恢复和近似但不适用的任务；检查成功、误触发、成本与回归。采用后保留来源、版本和回退方式，真实使用反馈再进入下一轮。

技术亮点是将经验候选、评估反馈和稳定能力分开管理，让技能增长有证据且不固化偶然路径。

对应教程

参考资料