面灵AI→

淘天集团 Agent 算法一面:实习贡献、幻觉抑制与 RL 训练追问

轮次
一面
时间
2026-10
来源
牛客网

《面试题目》

  1. 做个自我介绍吧。
  2. 聊聊实习:主要做什么,贡献是什么,对数据是怎么理解和取舍的?
  3. 再聊聊另一段实习:和上面那段有什么区别,做了哪些工作?训练中针对幻觉问题(bad pattern、出错的调用、不好的语料)有什么解决的 trick?RL 相关做了哪些工作?
  4. 反问:相关业务。

《参考解析》

实习经历怎么讲:贡献与数据取舍

面试官连问两段实习,考的是「你到底解决了什么问题」而不是「你参与了什么项目」。每段按固定结构讲:业务目标(这个 Agent 要完成什么任务、上线给谁用)→ 我负责的模块(数据、训练、评测、还是工程链路)→ 关键决策与取舍 → 可量化结果(成功率、工具调用准确率、端到端完成率、延迟或成本的变化)。贡献要能被验证:说清基线是多少、改了什么、涨了多少、怎么测的。数据取舍是高频追问,回答时给出判断依据而不是「清洗了一下」——比如按来源分层看质量与分布,明确哪些样本进 SFT、哪些只做评测、哪些直接丢弃;对低质或标注冲突的数据是重标、降权还是剔除,以及这样做的代价(某些长尾场景覆盖变少)。两段实习的区别要能一句话说清:任务形态、数据规模、模型链路或团队分工上的差异。

训练中抑制幻觉:bad pattern、错误工具调用与低质语料

Agent 场景的「幻觉」多数不是凭空编事实,而是生成了不存在的工具、编造参数、或无视工具返回结果继续瞎答。处理思路分三层。数据层:把 bad pattern 显式构造出来——错误的调用格式、幻觉出的函数名、多余或缺失的参数、工具报错后仍编造成功的回答;负样本不能只做删除,更有效的是构造成「错误 → 纠正」的对照样本,让模型学会在工具失败时重试、改写参数或如实说明失败。同时按来源和模板去重,避免某一类错误被高频重复放大。训练层:SFT 阶段用严格格式校验过滤目标答案,工具调用部分把 schema 作为约束(结构化输出、受限解码、函数名白名单校验),推理时对不合法的调用直接拦截并回灌错误信息让模型重试;偏好学习阶段把「有依据的回答」排在「无依据但流畅的回答」前面,reward 里加入事实一致性、引用是否来自工具返回、以及是否在信息不足时选择拒答。评测层:单独建幻觉评测集,区分「该答没答」「答了但错」「该拒答却编」,上线前跑回归,线上用规则加抽样人工持续盯。要强调一句:抑制幻觉的收益往往来自数据和约束,而不是换个更大的模型。

RL 相关工作怎么答

先讲清链路位置:SFT 让模型学会基本格式与流程,RL 用来优化「多步决策」上的表现——选哪个工具、什么时候停止、失败后怎么恢复。常见做法是用可验证的任务结果做 reward(任务是否完成、工具调用是否合法、最终答案是否匹配),配合过程奖励(格式正确、步骤合理)缓解稀疏奖励;算法上 PPO 需要 critic 与稳定训练,GRPO 这类去掉 critic、用组内相对优势的方法在算力有限时更常用。数据侧要讲 on-policy 采样与难度课程:太简单的样本没有梯度,太难的长期零奖励,需要按通过率筛选;同时保留冷启动 SFT 数据防止格式崩坏。工程上要提 rollout 的成本与并行、reward 的防作弊(别让模型学会钻规则空子)、以及离线指标与线上 A/B 的差异。没做过 RL 就如实说做过偏好数据或评测,别硬编经历。

反问业务:问什么有用

反问是加分项,别问薪资和作息。围绕业务与技术问两三个:这个 Agent 的边界在哪里(能自主决策到什么程度、失败兜底怎么做)、当前最大的瓶颈是数据、模型能力还是工程延迟、团队怎么定义和度量「做得好」(成功率的计算口径)、以及新人前三个月会负责哪一块。对方回答时记下关键词,末尾可以补一句自己的理解与兴趣点,把反问变成一次小型技术交流。