携程 Agent 开发一面真题:RAG 召回率、上下文工程与 LangGraph 选型
- 轮次
- 一面
- 时间
- 2026-10
- 来源
- 牛客网
《面试题目》
- 自我介绍,重点介绍你的 Agent 相关项目。
- 讲讲多个 Agent 之间的协同逻辑。
- 基于用户意图的路由机制是怎么实现的?
- 路由模型准确率如何?识别出错时有什么兜底处理方案?
- 用户一条请求包含多个意图,系统该怎么处理?
- 完整介绍项目的整体架构。
- 适配层的实现思路是什么?
- 项目支持历史记录导出吗?海量数据的读写和导出怎么优化?
- Agent 落地之后,主要缩短了哪些环节的耗时?有没有量化指标?
- 结合你的项目,介绍 RAG 的完整流程。
- 召回率怎么定义、如何计算?
- 提升召回率的诸多手段里,哪一类优化收益最明显?
- Context Engineering 和 Prompt Engineering 的区别是什么?
- 怎么量化评估 Agent 输出结果的好坏?
- 正向样本 good case 和错误 bad case,会不会回流到数据集做迭代?
- 用户一句自然语言,到最终调用接口执行,完整链路是什么?
- LangChain 和 LangGraph 的差异,各自优势是什么?
《参考解析》
RAG 全流程不能只说「检索 + 生成」。这条链路至少有八段,每段都能单独被追问:①解析与清洗——PDF 的页眉页脚、跨页表格、图片里的文字,解析错一步后面全错;②分块——按结构(标题层级、表格整块)切优于按固定字数切,父子块(小块召回、大块喂给模型)能同时兼顾精度与上下文完整;③向量化——选型看语种与领域,换 embedding 模型必须重建整个索引,所以上线前就要想清楚;④索引——向量库之外通常还要一路 BM25 或稀疏向量做关键词兜底,再加元数据过滤(时间、品类、权限);⑤query 理解——改写(补全指代、纠错)、多 query 扩展、按意图决定要不要检索;⑥召回与融合——多路结果用 RRF 之类的排名融合,而不是简单拼接;⑦重排——cross-encoder 精排 top-50 到 top-5,这一步通常最贵也最有效;⑧组装与生成——去重、按 token 预算裁剪、给每段编号并在 prompt 里要求引用,生成后做引用校验,证据不足时拒答。面试官问「完整流程」时想听的就是这些环节名和你自己动过哪一段。
召回率怎么定义,口径比公式重要。Recall@k = 前 k 个结果里命中的相关文档数 ÷ 标注的相关文档总数,按 query 算完再取平均。要主动交代三件事:相关性的判定标准(是「包含答案」还是「主题相关」,两人标注要一致性校验)、k 取多少(k 变大召回一定涨,所以必须固定 k 再比较)、以及分块粒度的影响(块越小越容易命中,但上下文变碎)。容易混淆的几个指标一并说清:精确率是召回结果里有多少是对的,MRR 看第一个正确结果的位置,nDCG 考虑排序位置与分级相关性。线上没有标注集时,用「用户是否点了引用、是否追问同一个问题、是否转人工」做代理指标。
哪类优化收益最大,要有自己的实验结论。经验排序通常是:重排(rerank)与 query 改写 > 混合检索(向量 + 关键词)> 分块策略调整 > 换 embedding 模型 > 调 top-k。但这句话不能空口说,得给出方法:固定一份 100–300 条的分层测试集(单跳事实、多跳、时效性、需要拒答各一档),每次只改一个变量跑 ablation,记录 recall@k、答案要点命中率和延迟。之所以重排收益大,是因为它直接优化「最终进 prompt 的顺序」,而调 chunk 大小往往同时改变召回与上下文质量、方向不一定一致。被追问「你的数据呢」时,能说出「我在自己项目上把 rerank 加进去,多跳问题的命中从 x 到 y」就赢了,哪怕样本只有几十条。
Context Engineering 和 Prompt Engineering 不是同义词。Prompt Engineering 管的是「这一次调用怎么说」:角色设定、指令措辞、few-shot 示例、输出格式、禁止事项。Context Engineering 管的是「模型这一步能看到什么」:检索哪些证据、保留几轮历史、工具返回的 JSON 怎么裁剪成摘要、把关键约束放在开头还是结尾、整个上下文怎么在系统提示、记忆、证据、对话之间分配预算。前者是文案问题,后者是系统设计问题——上下文塞满了,再好的 prompt 也会被稀释;上下文里放的是过期或错误的证据,prompt 写得再漂亮也救不回来。答这题时给一个具体例子最有效:比如把工具返回的 200 行 JSON 压成 5 个字段、把长历史换成滚动摘要,效果比改措辞明显。
Agent 输出怎么量化评估。分三层:自动可判的硬指标(格式合法率、工具调用成功率、引用是否指向真实存在的片段、必含字段是否齐全);模型打分(LLM-as-judge,必须有明确的 rubric、成对比较、交换 A/B 位置消除位置偏置,并且用人工抽检校准一致率);业务指标(任务完成率、一次解决率、平均轮次、转人工率、用户采纳/点赞)。再加一档人工评审,按周抽几十条做校准,防止 judge 漂移。评估集要能版本化,指标要看分层而不是只看总分。
bad case 与 good case 怎么回流。先归因分类再决定去向:检索没召回到 → 补文档/改分块/加同义词,不进训练集;理解错 → 补意图样例或改路由规则;工具调用参数错 → 改工具描述与参数校验;表述问题 → 进 prompt 的 few-shot。bad case 的第一站应该是回归测试集而不是训练集,每次改动跑一遍,看有没有把对的做法改坏。good case 可以做成 few-shot 或偏好数据,但要脱敏、去重、控制比例,避免把测试集背下来。这套闭环有没有真正跑起来,面试官一问「上一次迭代是因为哪条 bad case」就知道了。
一句自然语言到接口调用,完整链路。输入 → 预处理(长度、敏感词、多语言)→ 意图识别与槽位抽取 → 会话状态更新(多轮补全)→ 计划与工具选择 → 参数填充,缺槽位就反问 → 权限与风控校验(这个用户能不能做这个操作)→ 工具调用(超时、重试、幂等键、失败降级)→ 结果校验与渲染 → 流式返回给用户 → 全链路打 trace 并落审计日志。这条链路上最容易被追问的是「参数错了怎么办」和「工具超时怎么办」:前者靠 JSON Schema 校验 + 缺槽反问 + 不允许模型编造,后者靠超时熔断 + 幂等重试 + 给用户明确的失败说明。
LangChain 与 LangGraph 的取舍。LangChain 提供的是组件库与线性/有向无环的组合能力(模型、提示、检索器、工具、LCEL),适合「一次请求走一条确定的链」;LangGraph 把执行建模成有环图,state 是唯一事实来源、边是控制流、checkpointer 负责持久化与恢复,适合「要循环、要人审、要断点续跑」的场景。判据很简单:链路里有没有「判断→执行→再判断」的环、失败后要不要从中间恢复、要不要人工介入。上 LangGraph 的代价也要说:概念多(节点、边、reducer、thread)、调试与可观测性要自己补、版本迭代快。如果项目只是「检索 + 生成 + 一次工具调用」,用 LangChain 甚至裸调 SDK 更省事。
多智能体协同、意图路由、架构与导出那几问的答法,见《携程 Agent 开发一面:多智能体协同、意图路由与判错兜底连环追问》。