实际工作中有哪些问题 AI 仍不能可靠解决,请举例说明?
未标记
考查重点:AI 失效案例与独立处理。选一次AI缺业务上下文、给错误接口或判断失准的真实案例,讲如何发现和补救;说明哪种证据或人工判断仍不可替代
本题目录
参考答案
核心回答
AI 仍难以可靠处理的,通常是关键信息不可见、业务目标有冲突,或结果缺少可观察证据的问题。它可以提出方案和生成实现,但不能仅靠语言推断某条隐含规则,更不能通过一次自我检查证明系统符合业务预期。
下面用一个业务边界案例说明:设备售后助手检索到两份都描述“启动报警”的手册,但它们适用于不同固件。AI 若只按语义相似度回答,可能给出不适用的操作。我需要先确认设备档案与手册生效规则,把型号、版本限制接入实际检索通道,再用同故障不同版本的案例检查最终引用和建议。继续让模型反思,不能代替这份业务数据与执行约束。
展开说明
业务规则缺失时,生成更自信也解决不了问题
在上述案例中,“两段文字都相关”与“这份手册适用于当前设备”是两个判断。前者可以由检索与重排辅助,后者依赖设备身份、版本和手册范围。缺少会改变操作步骤的条件时,应补问或返回资料缺口;不能让模型挑一段听起来最合理的操作。
设备售后案例采用的开源底座 Ragent 已有入库、多通道召回、融合重排与引用。设备条件匹配和各召回通道的业务范围适配,是案例拟议的新增部分,不能把通用检索范围配置直接当成设备过滤已经生效。
工具看不到事实时,AI 容易把失败误判成结论
另一个常见问题是测试工具没有启动,Agent 却根据空输出报告没有失败;或者搜索命令的错误流未被回填,就判断仓库里没有相应实现。补救应是核对工作目录、退出码、错误流和实际运行记录,再修执行器或环境,不能靠增加“仔细检查”解决。
类似地,生产偶发故障若缺少日志、请求标识和状态快照,模型只能列可能原因。人需要先决定采集哪些证据,再在可控环境区分竞争条件、超时和业务错误。
为什么仍需要人工判断?
当多个合理目标冲突,例如保留兼容还是重做接口、可用性与错误成本如何取舍,需要有人理解组织约束并承担选择。AI 可以整理选项、列证据和模拟反例,人再结合真实业务条件判断。
边界会随数据、工具和验证能力改变。把规则补成结构化输入,把真实状态开放给受控工具,再提供可执行验收,可以扩大 AI 可承担的范围;这比笼统地断言某类问题“永远不能做”更准确。
可能的追问
你会怎样让 AI 覆盖更多业务边界?
先收集失败样例并标明缺什么:知识缺失补资料,规则缺失补规格,状态不可见补查询工具,重复执行补幂等与状态检查。再用原失败样例和新反例回归,确认改进没有只对一个提示词生效。
为什么不让另一个 AI 审一下就结束?
另一个模型可以提供独立视角,但若两者拿到同样缺失的规则或错误工具输出,仍可能共同误判。优先补独立事实和实际执行反馈,再使用模型辅助审阅。
参考资料
- 国内:Snailclimb:Harness 是什么?Harness Engineering 六层架构与 Agent 工程实践:采用上下文、工具与独立验证缺口的分析,解释为何单纯提示词反思不够。
- 国内:adongwanai:Coding Agent:仓库级任务、工具与验证:采用隐藏需求、工具环境与测试局限,说明不可见约束如何导致失效。
- 国内:WeThinkIn:Agent Harness Engineering 高频考点:借鉴最终结果、环境状态和高风险人工复核的分工,解释人工判断位置。
- 国内:datawhalechina:Agent 应用开发实践踩坑与经验分享:借鉴搜索失败被当成无结果的案例,提出检查工作目录、错误流和状态。
- 国外:Anthropic:Best practices for Claude Code:参考项目不可见知识与可执行检查的职责划分,说明补材料与补验证的不同。
- 国外:SWE-bench团队:SWE-bench Evaluation Guide:参考执行失败与问题未解决的区分,说明空输出和环境故障不能算通过。
相关面经
6 篇公司未注明
后端开发工程师看你有使用过 AI,那你平常是怎么使用 AI 的?开发你简历上那个项目时,有进行过 AI 辅助开发吗?有没有什么场景是 AI 辅助也不好完成、要人工完成的场景?
小红书
AI 应用开发工程师猎聘
AI 应用开发工程师Q28. 你觉得 AI Coding 最难的环节是什么?
中兴通讯
AI 算法工程师字节跳动
前端开发工程师展开剩余 1 篇面经
阿里巴巴(淘天)
Agent 开发Agent 替代不了人的是什么?


