美团 Agent 开发一面:Agentic RAG、改地址的权限边界与 DPO 偏好对
- 轮次
- 一面
- 时间
- 2026-11
- 来源
- 牛客网
《面试题目》
- Agentic RAG 跟自己项目里的 RAG,流程上差在哪?
- 外卖客服查知识、查订单、改地址,分别怎么走?
- SFT 数据怎么做,怎么防止训练集和评测集串了?
- DPO 的偏好对怎么选,chosen 就一定是完全正确的吗?
- 训练后的效果怎么评,哪些情况会让分数虚高?
- 手撕:删除链表的倒数第 k 个节点。
《参考解析》
Agentic RAG 与普通 RAG 的差别。 普通 RAG 是固定流水线:一次检索 → 拼上下文 → 生成,检索失败也没有补救。Agentic RAG 把检索变成模型可以主动调用的工具,由模型决定「要不要查、查什么、查几次、结果够不够」:可以先改写查询、多路检索、看到结果后判断相关性不足再补查、跨多个数据源(知识库、订单库、工单系统)组合证据,最后再生成并自检。差别体现在控制流从「线性」变成「循环 + 分支」,代价是延迟和成本上升、行为不确定性增加,所以要有最大轮次、超时、终止条件和回退到固定流水线的兜底。
查知识、查订单、改地址三条路径。 查知识是只读、可缓存、失败可重试,走 RAG 检索 + 引用出处即可。查订单是只读但涉及用户隐私,必须先做身份与权限校验(只能查本人订单),参数要由模型从对话里抽取并回读确认(订单号、时间范围),查不到时明确告知而不是编造。改地址是写操作,必须走「权限校验 → 收集必填参数 → 向用户复述并得到明确确认 → 执行 → 回读核对结果 → 告知用户」,并且要有幂等键防止重复提交、有审计日志、有失败回滚或人工介入通道。核心区别是:读操作错了我可以纠正,写操作错了会造成真实损失,所以确认与回读不能省。
SFT 数据与防泄漏。 数据来源:真实业务日志(脱敏后人工筛选)、专家标注、模型生成后人工校订、失败案例的反向构造。构造时要覆盖多轮、工具调用、拒答、参数缺失追问这些形态,而不是只挑「标准答案」。防串数据:先按业务实体(用户、订单、会话)做分组切分,再按时间去切(评测集用更晚的时间段),保证同一会话、同一模板、同一批相似问法不会同时出现在训练和评测里;用近重复检测(MinHash/embedding 相似度)扫一遍训练集与评测集的交叉;评测集冻结、不进训练管道,抽样人工复核。
DPO 偏好对。 chosen 不等于满分答案,它只是「相对更好」。构造偏好对时容易出的问题:两条回答都差但分出了高低(学到的是错的偏好)、chosen 有事实错误、rejected 其实也不错只是风格不同、长度偏差(模型学到「越长越好」)。所以要:先过滤掉双方都低质的对,人工或强模型复核事实性,控制长度与风格差异,覆盖「该拒答」「该追问」这类负样本,并保留一部分人工标注做校准。DPO 只要求相对排序,不需要绝对最优,但排序本身必须可靠。
评测与分数虚高。 评测要分层:离线自动指标(准确率、召回、工具调用成功率、格式合规率)、人工盲评(有用性、事实性、语气)、线上指标(解决率、转人工率、用户满意度、平均轮次)。常见的虚高来源:评测集与训练集同分布或有泄漏、用同一个模型当裁判(自我偏好)、只测简单样本、指标只看「有没有答」不看「答得对不对」、工具调用只看格式不看参数是否正确、忽略失败样本(把报错的重试掉只统计成功的)、长度或格式带来的表面加分。做法是构造对抗样本与长尾样本、用多模型交叉裁判并抽样人工校准、把失败率与成本一起报、上线做 A/B 而不是只信离线分。
删除链表倒数第 k 个节点。 快慢指针:快指针先走 k 步,然后快慢同步前进,快指针到末尾时慢指针指向待删节点的前驱;用哨兵节点(dummy)指向 head 可以统一删除头节点的逻辑。边界:k 大于链表长度(快指针先走时为空,直接返回原链表)、k=1(删尾节点)、链表只有一个节点。时间复杂度 O(n),空间 O(1)。写的时候注意最后是 slow.next = slow.next.next,返回 dummy.next。