快手可灵 AI 全栈开发一面:RAG 链路、Rerank 原理与 TopK 的收益反转
- 轮次
- 一面
- 时间
- 2026-10
- 来源
- 牛客网
《面试题目》
- 来一段自我介绍。
- 介绍一下你项目中 RAG 的完整链路。
- Rerank 为什么通常能提升 RAG 效果?Cross-Encoder 和 Bi-Encoder 的本质区别是什么?
- 怎么看出来一次优化真的有效果?
- 为什么很多 RAG 系统增加 TopK 以后,最终回答准确率反而会下降?
- 多模态的入库和检索了解吗?
- 如果 RAG 在离线评测上效果很好,但上线后用户反馈大量「答非所问」,你会怎么定位?
《参考解析》
RAG 完整链路:按「资料 → 切分 → 向量化 → 入库 → 检索 → 重排 → 组装 → 生成 → 评估」讲,每段都要说清取舍。资料侧要清洗、去重、管版本,旧文档不清理就会和新文档一起被召回;切分按结构优先(标题层级、段落、表格单独处理),块大小按问题粒度定,重叠只是补救而不是目的;向量化选型看中文效果、维度成本、最大输入长度;入库带 metadata,用它做权限与范围过滤;检索做多路召回(向量管语义、BM25 管专名与数字),融合后重排;组装时控制上下文长度并把来源标清;生成要求「依据证据作答、无据直说」;评估要有一份带标准答案的测试集,否则所有优化都只是感觉。
Bi-Encoder 与 Cross-Encoder:Bi-Encoder 是现在的主流 embedding 结构——query 和 document 各自独立过编码器得到向量,再算余弦或内积。它最大的价值是文档向量可以离线预计算,在线只算 query 向量再走 ANN,所以能在百万到亿级语料上做到毫秒级召回。代价也来自这个结构:两段文本在编码阶段没有任何 token 级交互,模型只是把各自压进一个固定维度向量,否定关系、条件约束、数字差异、业务缩写这类细粒度信息极容易在压缩中丢掉。Cross-Encoder 则把 [CLS] query [SEP] document [SEP] 一起送进 Transformer,自注意力直接建模两段之间的 token 关系,相关性判断明显更强。但它没法预计算:库里一百万条文档不可能让 query 和每一条都跑一遍 Transformer。所以真实系统是两阶段——ANN / BM25 先召回 Top 50200(负责别漏),Cross-Encoder 重排到 Top 510(负责把真正相关的排到前面)。两者不是替代关系,职责完全不同。
怎么证明优化有效:不能靠挑几个 case 觉得「好像更聪明了」。链路长,必须把检索和生成拆开看。检索层看 Recall@K、MRR、NDCG:正确 chunk 进没进 Top10 看 Recall@10;进去了但长期排在第八第九,Recall 看不出来,MRR 更敏感;一条 query 有多个相关程度不同的文档时,NDCG 才反映排序质量。生成层看答案正确率、Faithfulness / Groundedness(答案是否真由给定证据支撑)和引用正确性——RAG 最容易出的问题是「召回对了但模型没用证据、靠参数知识蒙对了」,只看答案对不对会把这类问题藏起来。线上还要盯 P95/P99 延迟、token 消耗、无答案率、用户追问率:Recall@10 从 88% 提到 91% 但检索延迟从 80ms 涨到 600ms,这笔账未必划算。方法上固定同一套评测集跑基线与新版本、按问题类型分桶比较、检查提升是不是只来自少数样本,上线后再用 A/B 验证真实体验。
TopK 调大反而更差:TopK 增大提高的是召回率,不是答案正确率。假设正确证据本来就在 Top3,K 从 5 加到 30 多出来的大多是弱相关文档,它们进上下文就是纯噪声。更麻烦的是冲突:上下文里同时出现旧版接口文档和新版接口文档,模型并不知道哪份更可信,很容易把两者混起来编一个都不对的答案。再叠加 Lost in the Middle——证据落在长上下文中段时利用率会下降;还有 token 与延迟成本。所以目标不是把 K 拉满,而是保持较高召回的同时把噪声滤掉:先大 K 召回(如 50),再靠 reranker、metadata 过滤、去重和动态阈值收敛到小 K(如 5~8)送进模型。
多模态入库与检索:难点不是「把图片也 embedding 一下」,而是让不同模态落在可对齐的语义空间里。带图表的 PDF 先用 layout parser 恢复结构,拿到标题、正文、图片、表格以及它们的相对位置;文本走文本 embedding;图片可以用 CLIP / SigLIP 这类图文对齐模型直接产生向量,也可以先用视觉语言模型生成 caption 再对 caption 做文本 embedding(前者保留视觉细节、后者链路简单);表格不能简单 OCR 成一串字,要保留表头与行列结构,转成 Markdown / HTML 或结构化 JSON,再额外生成一份描述性文本供语义检索。索引上可以分多个向量空间(text / image / table),查询时分别召回再融合排序;工程更轻的做法是全部收敛成文本语义表示,代价是丢掉一部分视觉信息——像「找出和这张图相似的设计稿」这类视觉检索,caption 就不够用,必须保留原始视觉 embedding。
离线好、线上答非所问:第一怀疑对象是分布不一致,不是模型能力。离线评测集多是内部人工构造的,问题语义完整(「订单退款接口的超时时间是多少」);真实用户输入的是「退款超时」「这个多久」「上面那个接口呢」,还带错别字、缩写和指代。这种情况下 query rewrite 的健壮性比换模型更关键。定位方法是把线上失败请求按链路完整留痕:原始 query → 改写后 query → 召回文档 → rerank 分数 → 最终上下文 → 回答,然后逐段比对是哪一步开始偏的。同时按用户真实 query 的形态重建评测集(口语、省略、指代、多轮),再跑一遍看指标是否还成立——如果指标掉得厉害,说明之前的离线集根本没有覆盖线上分布,问题在评测集而不在系统。