面灵AI→

淘天 AI Agent 二面:幻觉治理、评测闭环与十万条轨迹的后训练取舍

轮次
二面
时间
2026-11
来源
牛客网

《面试题目》

自我介绍与业务链路

  1. 请做一个自我介绍。
  2. 结合一个真实请求,介绍智能面试间的完整业务链路。
  3. 在这条链路中,你本人参与设计和编码的是哪一部分?
  4. 为什么模型会漏掉一部分内容?
  5. 第一版方案是什么?为什么失败?
  6. 你如何从纯 LLM 方案演进到 Code + LLM?
  7. 更换更强模型后,问题是否彻底解决?
  8. 高频幻觉和误判问题是怎么发现的?
  9. 如果线上还存在别的问题,如何发现?
  10. 原有治理框架能否复用到新的问题?
  11. 端到端错误率从 14.2% 降到 1.5% 是怎么统计的?

评测体系与线上数据闭环

  1. 项目指标是怎么统计的?
  2. 评测集是怎么构建的?
  3. Ground Truth 是怎么获得的?评测集规模大约有多少?
  4. 正式上线以后,有没有自动回流和自迭代机制?

Ontology 与 Action 建模

  1. Ontology / Action 建模和幻觉治理项目是什么关系?两个项目是什么关系?
  2. Ontology 和 Action 对 Agent 有什么帮助?
  3. 不同领域中,哪些语义应该统一?
  4. 哪些领域差异不能被强行统一?
  5. 新增一个本体或 Action 时,如何判断是否与已有能力重叠?
  6. 新建 Action 的完整流程是什么?
  7. Action 如何完成需求梳理、接口复用、评审、测试和发布?

失败恢复与并行调度(航旅排障 Agent)

  1. Planner 规划了五步,第三步失败时怎么办?
  2. 如何判断工具返回结果是否满足当前步骤的预期?
  3. 应该整条任务重跑,还是只对失败步骤重新规划?
  4. 日志查询、告警查询和历史故障检索能不能并行?
  5. Planner 如何表达任务之间的依赖关系?
  6. 如何使用 DAG、调度器或状态机完成并发执行?
  7. 并行执行中如何处理超时、失败传播和局部重试?

十万条轨迹的迭代与后训练

  1. 如果积累了十万条成功、失败和人工修正轨迹,应该如何处理与清洗?
  2. 哪些问题应该通过 Prompt、流程和工具优化?
  3. 哪些问题适合进入模型后训练或微调?
  4. 两条轨迹都成功,一条三次工具调用,一条十二次,DPO 偏好对怎么构造?
  5. 如何权衡正确性、效率和安全性?
  6. 短轨迹一定比长轨迹好吗?
  7. 长轨迹中的失败恢复过程是否还有训练价值?

《参考解析》

为什么从纯 LLM 演进到 Code + LLM。 纯 LLM 的问题是「同一件事每次都可能做错」:它把确定性的规则(字段校验、格式转换、阈值判断、状态流转)也交给概率模型,错误无法复现也无法收敛,端到端错误率随步骤数相乘。演进方向是把确定的部分外移到代码:意图识别与语义映射交给模型,字段抽取后的校验、计算、排序、去重、状态判断交给代码;模型只在「需要理解自然语言」的位置出现,输出被约束成结构化字段,再由代码做合法性校验和兜底。换更强的模型能降低语义层的错误率,但解决不了「让模型做确定性的事」这一类问题——所以这条链路的上限由架构决定,不由模型决定。

高频幻觉怎么被发现。 三条路并行:一是线上埋点按维度下钻(输入类型、简历字段缺失情况、语言、链路阶段),看错误率在哪个切片异常高;二是抽样人工复核,按固定周期对成比例的会话做标注,把「看起来对但实际错」的样本捞出来;三是用户反馈与人工修正轨迹——用户在结果上做的每一次修改,都是天然的 badcase 标签。发现之后做归因分类:是输入缺信息、是检索没召回、是模型编造、还是规则与代码有 bug,分类占比决定下一步动哪一层。

评测集与 Ground Truth。 评测集按「真实分布 + 困难切面」构造:从线上按输入类型分层抽样真实请求,补充人工构造的边界样本(信息缺失、格式错乱、多意图、对抗性表述)和历史 badcase 全集。Ground Truth 的来源要分层标注可信度:可由外部事实判定的(接口返回、文档原文、规则计算结果)自动生成;需要业务专家判断的走人工双标注与仲裁;难以判定真值的只做相对比较(A/B 偏好)。规模上不追大而追覆盖:几百条高置信核心集保证每次改动都能跑,加数千条扩展集看回归,指标按切片报告而不是只报总分。

线上回流与自迭代的边界。 回流链路是「线上执行—人工修正或失败信号—自动归因为可复现样本—进入待定集—评审后并入回归集」。真正的自动化只做确定性部分:样本入库、去重、回放、打标签;是否把某条 badcase 定为新基线必须有人确认,否则一次偶然的误判会被固化成标准答案。自迭代指的是「模型或提示词每周自动跑回归、失败自动进队列并通知责任人」,不是让线上系统自己改自己的判据。

Ontology 与 Action 的建模价值。 Ontology 把业务里的实体与关系固化成一套共享语义(订单、航线、故障单、时间、地点、状态),Action 把可执行操作与它的输入输出、前置条件、副作用、幂等性定义清楚。对 Agent 的收益有三点:工具选择从「看名字猜」变成「按语义匹配」,参数由 schema 约束减少乱填,跨领域的复用有共同词汇。语义统一的边界要按「同一实体在不同领域是否指同一件事」判断:用户、时间、状态这类基础概念应统一;而「有效订单」「告警级别」这类同名不同义的概念必须保留领域限定,强行合并会让模型在两个领域间串味。判断新增 Action 是否重叠,看它的输入输出与副作用是否已被现有 Action 覆盖,能组合出来的就不要新增,否则工具集会膨胀、选择准确率下降。

新增 Action 的流程。 需求梳理(谁在什么场景要做什么、失败怎么反馈)—判断是否可复用现有接口(复用优先于新写)—定义 schema(参数、必填、枚举、错误码)—写清前置条件与副作用(是否幂等、是否需要人工确认、有无破坏性)—评审(产品、后端、安全)—实现与单元测试—在沙箱环境做端到端测试(含异常:超时、权限不足、下游 4xx)—灰度上线并观察选择准确率与调用成功率—文档与示例进入提示词。每一步都要有产出物,尤其是错误码与失败话术,否则模型拿到异常会自己编造结果。

第三步失败后的处理。 先分类失败原因:工具报错(可重试或换参数)、结果为空(换查询条件或换数据源)、结果与预期不符(判定逻辑误判还是真的不符)、以及前置步骤的产物本身有错(要回溯到上游)。判断「工具返回是否满足预期」靠代码断言(字段存在性、数量范围、状态匹配、时间窗口),不靠模型自我感觉。处理策略上,局部失败优先局部重规划:保留已完成步骤的产物,只对失败步骤及其依赖的下游重新规划;整条重跑只在上下文已污染(上游产物错了)或步骤强耦合时才做,因为重跑的成本是全部工具调用与时间。

并行与依赖的表达。 Planner 的输出应该是带依赖的步骤图(每个步骤声明 depends_on),运行时把图编译成 DAG,无依赖的节点并发提交,有依赖的按拓扑序执行。日志、告警、历史故障检索这三类查询互不依赖,可以并发;但「根据告警定位到具体服务」之后的日志查询依赖前者的结果,不能并发。并发控制要处理超时(每步与整体两级预算)、失败传播(一个分支失败是否取消同批其他分支)、局部重试(幂等才重试,写操作不重试)、以及结果合并(并发分支的产物如何汇总给下一步)。把「并发是调度层的事,不是提示词里写一句并行」讲清楚。

十万条轨迹怎么清洗。 先按结果分层(成功、失败、人工修正),再按质量过滤:去掉工具返回异常的轨迹、参数明显非法的、同一次会话重复记录的、以及被截断的不完整轨迹;然后去重(同一请求的多次重试只留最好的一次)、脱敏、并按「任务类型 × 失败环节」打标签。清洗完的用途分三档:可复现的 badcase 进评测集;成功的优质轨迹做 few-shot 示例或蒸馏数据;带人工修正的轨迹做偏好对。要说明「数据量不是关键,标签与可比性才是」——十万条没有归因的轨迹,价值低于一千条带明确失败原因的轨迹。

哪些问题该改提示词、哪些该进后训练。 判据是「模型有没有能力做,只是没被引导」与「模型根本不会」。属于前者:格式不对、忽略约束、指令优先级混乱、缺少示例——改提示词或加 few-shot 即可,成本低、可回滚。属于后者:领域术语理解、长尾意图识别、工具选择的系统性偏好、多步推理的稳定性——这些要数据与训练。工程侧还有一类既不改提示词也不训模型:工具设计不合理、缺少校验、上下文组织混乱,应该改代码。回答时给一条原则:能在外层用确定性手段解决的,不要用训练解决。

DPO 偏好对怎么构造。 前提是两条轨迹都达成目标,否则先按正确性排序。在都正确的前提下比较效率:工具调用次数、token 消耗、端到端时延、以及无效调用(重复查询、失败重试)占比。但「短一定更好」不成立——一条三次调用的轨迹可能跳过了必要的验证步骤,十二次的那条可能包含了完整的核对与异常处理,只是当前任务简单没触发。构造偏好对时要看轨迹是否「可泛化地正确」:步骤是否覆盖了必要的验证、是否有可取的回退处理。安全的权重最高,其次是正确性,最后才是效率;安全相关的偏好对(拒绝越权操作、不泄露敏感信息)应当单独成组并提高采样比例。

错误率 14.2% 降到 1.5% 的统计口径。 要能说清分母:是请求级还是字段级,样本来自哪个时间窗,是否只统计成功链路的请求,人工复核的抽检比例与一致性(双人标注的 Kappa 或分歧率),以及改造前后评测集是否是同一批(不是同一批就不能直接说下降)。这类追问的本质是检验数字是不是自己算过,答不上口径就说明数字是别人的。

长轨迹中的失败恢复是否有训练价值。 有,但要区分「恢复成功」与「恢复过程正确」。恢复成功且过程合理的轨迹,是教模型「出错之后怎么办」的最好素材,比一次成功的短轨迹更有信息量;恢复失败但归因清晰的轨迹,可以做负例或做「该停手时停手」的训练。使用时要带上中间观察(工具返回的错误信息),否则模型学到的是「多试几次总会成」这种错误策略。

面试官在整场里反复回到同一个问题:这个方案能不能形成闭环——能不能自动发现新问题、能不能复用到下一类问题、能不能沉淀成数据与模型能力。答项目时把「指标怎么算、badcase 怎么进来、改动怎么验证」三段补齐,比把架构图画得漂亮更重要。