面灵AI→

携程 Agent 开发一面真题:RAG 召回率、上下文工程与 LangGraph 选型

轮次
一面
时间
2026-10
来源
牛客网

《面试题目》

  1. 自我介绍,重点介绍你的 Agent 相关项目。
  2. 讲讲多个 Agent 之间的协同逻辑。
  3. 基于用户意图的路由机制是怎么实现的?
  4. 路由模型准确率如何?识别出错时有什么兜底处理方案?
  5. 用户一条请求包含多个意图,系统该怎么处理?
  6. 完整介绍项目的整体架构。
  7. 适配层的实现思路是什么?
  8. 项目支持历史记录导出吗?海量数据的读写和导出怎么优化?
  9. Agent 落地之后,主要缩短了哪些环节的耗时?有没有量化指标?
  10. 结合你的项目,介绍 RAG 的完整流程。
  11. 召回率怎么定义、如何计算?
  12. 提升召回率的诸多手段里,哪一类优化收益最明显?
  13. Context Engineering 和 Prompt Engineering 的区别是什么?
  14. 怎么量化评估 Agent 输出结果的好坏?
  15. 正向样本 good case 和错误 bad case,会不会回流到数据集做迭代?
  16. 用户一句自然语言,到最终调用接口执行,完整链路是什么?
  17. LangChain 和 LangGraph 的差异,各自优势是什么?

《参考解析》

RAG 全流程不能只说「检索 + 生成」。这条链路至少有八段,每段都能单独被追问:①解析与清洗——PDF 的页眉页脚、跨页表格、图片里的文字,解析错一步后面全错;②分块——按结构(标题层级、表格整块)切优于按固定字数切,父子块(小块召回、大块喂给模型)能同时兼顾精度与上下文完整;③向量化——选型看语种与领域,换 embedding 模型必须重建整个索引,所以上线前就要想清楚;④索引——向量库之外通常还要一路 BM25 或稀疏向量做关键词兜底,再加元数据过滤(时间、品类、权限);⑤query 理解——改写(补全指代、纠错)、多 query 扩展、按意图决定要不要检索;⑥召回与融合——多路结果用 RRF 之类的排名融合,而不是简单拼接;⑦重排——cross-encoder 精排 top-50 到 top-5,这一步通常最贵也最有效;⑧组装与生成——去重、按 token 预算裁剪、给每段编号并在 prompt 里要求引用,生成后做引用校验,证据不足时拒答。面试官问「完整流程」时想听的就是这些环节名和你自己动过哪一段。

召回率怎么定义,口径比公式重要。Recall@k = 前 k 个结果里命中的相关文档数 ÷ 标注的相关文档总数,按 query 算完再取平均。要主动交代三件事:相关性的判定标准(是「包含答案」还是「主题相关」,两人标注要一致性校验)、k 取多少(k 变大召回一定涨,所以必须固定 k 再比较)、以及分块粒度的影响(块越小越容易命中,但上下文变碎)。容易混淆的几个指标一并说清:精确率是召回结果里有多少是对的,MRR 看第一个正确结果的位置,nDCG 考虑排序位置与分级相关性。线上没有标注集时,用「用户是否点了引用、是否追问同一个问题、是否转人工」做代理指标。

哪类优化收益最大,要有自己的实验结论。经验排序通常是:重排(rerank)与 query 改写 > 混合检索(向量 + 关键词)> 分块策略调整 > 换 embedding 模型 > 调 top-k。但这句话不能空口说,得给出方法:固定一份 100–300 条的分层测试集(单跳事实、多跳、时效性、需要拒答各一档),每次只改一个变量跑 ablation,记录 recall@k、答案要点命中率和延迟。之所以重排收益大,是因为它直接优化「最终进 prompt 的顺序」,而调 chunk 大小往往同时改变召回与上下文质量、方向不一定一致。被追问「你的数据呢」时,能说出「我在自己项目上把 rerank 加进去,多跳问题的命中从 x 到 y」就赢了,哪怕样本只有几十条。

Context Engineering 和 Prompt Engineering 不是同义词。Prompt Engineering 管的是「这一次调用怎么说」:角色设定、指令措辞、few-shot 示例、输出格式、禁止事项。Context Engineering 管的是「模型这一步能看到什么」:检索哪些证据、保留几轮历史、工具返回的 JSON 怎么裁剪成摘要、把关键约束放在开头还是结尾、整个上下文怎么在系统提示、记忆、证据、对话之间分配预算。前者是文案问题,后者是系统设计问题——上下文塞满了,再好的 prompt 也会被稀释;上下文里放的是过期或错误的证据,prompt 写得再漂亮也救不回来。答这题时给一个具体例子最有效:比如把工具返回的 200 行 JSON 压成 5 个字段、把长历史换成滚动摘要,效果比改措辞明显。

Agent 输出怎么量化评估。分三层:自动可判的硬指标(格式合法率、工具调用成功率、引用是否指向真实存在的片段、必含字段是否齐全);模型打分(LLM-as-judge,必须有明确的 rubric、成对比较、交换 A/B 位置消除位置偏置,并且用人工抽检校准一致率);业务指标(任务完成率、一次解决率、平均轮次、转人工率、用户采纳/点赞)。再加一档人工评审,按周抽几十条做校准,防止 judge 漂移。评估集要能版本化,指标要看分层而不是只看总分。

bad case 与 good case 怎么回流。先归因分类再决定去向:检索没召回到 → 补文档/改分块/加同义词,不进训练集;理解错 → 补意图样例或改路由规则;工具调用参数错 → 改工具描述与参数校验;表述问题 → 进 prompt 的 few-shot。bad case 的第一站应该是回归测试集而不是训练集,每次改动跑一遍,看有没有把对的做法改坏。good case 可以做成 few-shot 或偏好数据,但要脱敏、去重、控制比例,避免把测试集背下来。这套闭环有没有真正跑起来,面试官一问「上一次迭代是因为哪条 bad case」就知道了。

一句自然语言到接口调用,完整链路。输入 → 预处理(长度、敏感词、多语言)→ 意图识别与槽位抽取 → 会话状态更新(多轮补全)→ 计划与工具选择 → 参数填充,缺槽位就反问 → 权限与风控校验(这个用户能不能做这个操作)→ 工具调用(超时、重试、幂等键、失败降级)→ 结果校验与渲染 → 流式返回给用户 → 全链路打 trace 并落审计日志。这条链路上最容易被追问的是「参数错了怎么办」和「工具超时怎么办」:前者靠 JSON Schema 校验 + 缺槽反问 + 不允许模型编造,后者靠超时熔断 + 幂等重试 + 给用户明确的失败说明。

LangChain 与 LangGraph 的取舍。LangChain 提供的是组件库与线性/有向无环的组合能力(模型、提示、检索器、工具、LCEL),适合「一次请求走一条确定的链」;LangGraph 把执行建模成有环图,state 是唯一事实来源、边是控制流、checkpointer 负责持久化与恢复,适合「要循环、要人审、要断点续跑」的场景。判据很简单:链路里有没有「判断→执行→再判断」的环、失败后要不要从中间恢复、要不要人工介入。上 LangGraph 的代价也要说:概念多(节点、边、reducer、thread)、调试与可观测性要自己补、版本迭代快。如果项目只是「检索 + 生成 + 一次工具调用」,用 LangChain 甚至裸调 SDK 更省事。

多智能体协同、意图路由、架构与导出那几问的答法,见《携程 Agent 开发一面:多智能体协同、意图路由与判错兜底连环追问》。