淘天 AI Agent 二面:幻觉治理、评测闭环与十万条轨迹的后训练取舍
- 轮次
- 二面
- 时间
- 2026-11
- 来源
- 牛客网
《面试题目》
自我介绍与业务链路
- 请做一个自我介绍。
- 结合一个真实请求,介绍智能面试间的完整业务链路。
- 在这条链路中,你本人参与设计和编码的是哪一部分?
- 为什么模型会漏掉一部分内容?
- 第一版方案是什么?为什么失败?
- 你如何从纯 LLM 方案演进到 Code + LLM?
- 更换更强模型后,问题是否彻底解决?
- 高频幻觉和误判问题是怎么发现的?
- 如果线上还存在别的问题,如何发现?
- 原有治理框架能否复用到新的问题?
- 端到端错误率从 14.2% 降到 1.5% 是怎么统计的?
评测体系与线上数据闭环
- 项目指标是怎么统计的?
- 评测集是怎么构建的?
- Ground Truth 是怎么获得的?评测集规模大约有多少?
- 正式上线以后,有没有自动回流和自迭代机制?
Ontology 与 Action 建模
- Ontology / Action 建模和幻觉治理项目是什么关系?两个项目是什么关系?
- Ontology 和 Action 对 Agent 有什么帮助?
- 不同领域中,哪些语义应该统一?
- 哪些领域差异不能被强行统一?
- 新增一个本体或 Action 时,如何判断是否与已有能力重叠?
- 新建 Action 的完整流程是什么?
- Action 如何完成需求梳理、接口复用、评审、测试和发布?
失败恢复与并行调度(航旅排障 Agent)
- Planner 规划了五步,第三步失败时怎么办?
- 如何判断工具返回结果是否满足当前步骤的预期?
- 应该整条任务重跑,还是只对失败步骤重新规划?
- 日志查询、告警查询和历史故障检索能不能并行?
- Planner 如何表达任务之间的依赖关系?
- 如何使用 DAG、调度器或状态机完成并发执行?
- 并行执行中如何处理超时、失败传播和局部重试?
十万条轨迹的迭代与后训练
- 如果积累了十万条成功、失败和人工修正轨迹,应该如何处理与清洗?
- 哪些问题应该通过 Prompt、流程和工具优化?
- 哪些问题适合进入模型后训练或微调?
- 两条轨迹都成功,一条三次工具调用,一条十二次,DPO 偏好对怎么构造?
- 如何权衡正确性、效率和安全性?
- 短轨迹一定比长轨迹好吗?
- 长轨迹中的失败恢复过程是否还有训练价值?
《参考解析》
为什么从纯 LLM 演进到 Code + LLM。 纯 LLM 的问题是「同一件事每次都可能做错」:它把确定性的规则(字段校验、格式转换、阈值判断、状态流转)也交给概率模型,错误无法复现也无法收敛,端到端错误率随步骤数相乘。演进方向是把确定的部分外移到代码:意图识别与语义映射交给模型,字段抽取后的校验、计算、排序、去重、状态判断交给代码;模型只在「需要理解自然语言」的位置出现,输出被约束成结构化字段,再由代码做合法性校验和兜底。换更强的模型能降低语义层的错误率,但解决不了「让模型做确定性的事」这一类问题——所以这条链路的上限由架构决定,不由模型决定。
高频幻觉怎么被发现。 三条路并行:一是线上埋点按维度下钻(输入类型、简历字段缺失情况、语言、链路阶段),看错误率在哪个切片异常高;二是抽样人工复核,按固定周期对成比例的会话做标注,把「看起来对但实际错」的样本捞出来;三是用户反馈与人工修正轨迹——用户在结果上做的每一次修改,都是天然的 badcase 标签。发现之后做归因分类:是输入缺信息、是检索没召回、是模型编造、还是规则与代码有 bug,分类占比决定下一步动哪一层。
评测集与 Ground Truth。 评测集按「真实分布 + 困难切面」构造:从线上按输入类型分层抽样真实请求,补充人工构造的边界样本(信息缺失、格式错乱、多意图、对抗性表述)和历史 badcase 全集。Ground Truth 的来源要分层标注可信度:可由外部事实判定的(接口返回、文档原文、规则计算结果)自动生成;需要业务专家判断的走人工双标注与仲裁;难以判定真值的只做相对比较(A/B 偏好)。规模上不追大而追覆盖:几百条高置信核心集保证每次改动都能跑,加数千条扩展集看回归,指标按切片报告而不是只报总分。
线上回流与自迭代的边界。 回流链路是「线上执行—人工修正或失败信号—自动归因为可复现样本—进入待定集—评审后并入回归集」。真正的自动化只做确定性部分:样本入库、去重、回放、打标签;是否把某条 badcase 定为新基线必须有人确认,否则一次偶然的误判会被固化成标准答案。自迭代指的是「模型或提示词每周自动跑回归、失败自动进队列并通知责任人」,不是让线上系统自己改自己的判据。
Ontology 与 Action 的建模价值。 Ontology 把业务里的实体与关系固化成一套共享语义(订单、航线、故障单、时间、地点、状态),Action 把可执行操作与它的输入输出、前置条件、副作用、幂等性定义清楚。对 Agent 的收益有三点:工具选择从「看名字猜」变成「按语义匹配」,参数由 schema 约束减少乱填,跨领域的复用有共同词汇。语义统一的边界要按「同一实体在不同领域是否指同一件事」判断:用户、时间、状态这类基础概念应统一;而「有效订单」「告警级别」这类同名不同义的概念必须保留领域限定,强行合并会让模型在两个领域间串味。判断新增 Action 是否重叠,看它的输入输出与副作用是否已被现有 Action 覆盖,能组合出来的就不要新增,否则工具集会膨胀、选择准确率下降。
新增 Action 的流程。 需求梳理(谁在什么场景要做什么、失败怎么反馈)—判断是否可复用现有接口(复用优先于新写)—定义 schema(参数、必填、枚举、错误码)—写清前置条件与副作用(是否幂等、是否需要人工确认、有无破坏性)—评审(产品、后端、安全)—实现与单元测试—在沙箱环境做端到端测试(含异常:超时、权限不足、下游 4xx)—灰度上线并观察选择准确率与调用成功率—文档与示例进入提示词。每一步都要有产出物,尤其是错误码与失败话术,否则模型拿到异常会自己编造结果。
第三步失败后的处理。 先分类失败原因:工具报错(可重试或换参数)、结果为空(换查询条件或换数据源)、结果与预期不符(判定逻辑误判还是真的不符)、以及前置步骤的产物本身有错(要回溯到上游)。判断「工具返回是否满足预期」靠代码断言(字段存在性、数量范围、状态匹配、时间窗口),不靠模型自我感觉。处理策略上,局部失败优先局部重规划:保留已完成步骤的产物,只对失败步骤及其依赖的下游重新规划;整条重跑只在上下文已污染(上游产物错了)或步骤强耦合时才做,因为重跑的成本是全部工具调用与时间。
并行与依赖的表达。 Planner 的输出应该是带依赖的步骤图(每个步骤声明 depends_on),运行时把图编译成 DAG,无依赖的节点并发提交,有依赖的按拓扑序执行。日志、告警、历史故障检索这三类查询互不依赖,可以并发;但「根据告警定位到具体服务」之后的日志查询依赖前者的结果,不能并发。并发控制要处理超时(每步与整体两级预算)、失败传播(一个分支失败是否取消同批其他分支)、局部重试(幂等才重试,写操作不重试)、以及结果合并(并发分支的产物如何汇总给下一步)。把「并发是调度层的事,不是提示词里写一句并行」讲清楚。
十万条轨迹怎么清洗。 先按结果分层(成功、失败、人工修正),再按质量过滤:去掉工具返回异常的轨迹、参数明显非法的、同一次会话重复记录的、以及被截断的不完整轨迹;然后去重(同一请求的多次重试只留最好的一次)、脱敏、并按「任务类型 × 失败环节」打标签。清洗完的用途分三档:可复现的 badcase 进评测集;成功的优质轨迹做 few-shot 示例或蒸馏数据;带人工修正的轨迹做偏好对。要说明「数据量不是关键,标签与可比性才是」——十万条没有归因的轨迹,价值低于一千条带明确失败原因的轨迹。
哪些问题该改提示词、哪些该进后训练。 判据是「模型有没有能力做,只是没被引导」与「模型根本不会」。属于前者:格式不对、忽略约束、指令优先级混乱、缺少示例——改提示词或加 few-shot 即可,成本低、可回滚。属于后者:领域术语理解、长尾意图识别、工具选择的系统性偏好、多步推理的稳定性——这些要数据与训练。工程侧还有一类既不改提示词也不训模型:工具设计不合理、缺少校验、上下文组织混乱,应该改代码。回答时给一条原则:能在外层用确定性手段解决的,不要用训练解决。
DPO 偏好对怎么构造。 前提是两条轨迹都达成目标,否则先按正确性排序。在都正确的前提下比较效率:工具调用次数、token 消耗、端到端时延、以及无效调用(重复查询、失败重试)占比。但「短一定更好」不成立——一条三次调用的轨迹可能跳过了必要的验证步骤,十二次的那条可能包含了完整的核对与异常处理,只是当前任务简单没触发。构造偏好对时要看轨迹是否「可泛化地正确」:步骤是否覆盖了必要的验证、是否有可取的回退处理。安全的权重最高,其次是正确性,最后才是效率;安全相关的偏好对(拒绝越权操作、不泄露敏感信息)应当单独成组并提高采样比例。
错误率 14.2% 降到 1.5% 的统计口径。 要能说清分母:是请求级还是字段级,样本来自哪个时间窗,是否只统计成功链路的请求,人工复核的抽检比例与一致性(双人标注的 Kappa 或分歧率),以及改造前后评测集是否是同一批(不是同一批就不能直接说下降)。这类追问的本质是检验数字是不是自己算过,答不上口径就说明数字是别人的。
长轨迹中的失败恢复是否有训练价值。 有,但要区分「恢复成功」与「恢复过程正确」。恢复成功且过程合理的轨迹,是教模型「出错之后怎么办」的最好素材,比一次成功的短轨迹更有信息量;恢复失败但归因清晰的轨迹,可以做负例或做「该停手时停手」的训练。使用时要带上中间观察(工具返回的错误信息),否则模型学到的是「多试几次总会成」这种错误策略。
面试官在整场里反复回到同一个问题:这个方案能不能形成闭环——能不能自动发现新问题、能不能复用到下一类问题、能不能沉淀成数据与模型能力。答项目时把「指标怎么算、badcase 怎么进来、改动怎么验证」三段补齐,比把架构图画得漂亮更重要。