美团大模型应用算法一面复盘:RRF 融合、双塔与 Cross-Encoder、Golden Set 怎么建
- 轮次
- 一面
- 时间
- 2026-11
- 来源
- 牛客网
《面试题目》
- RRF 融合与简单加权有什么区别?怎样判断是否适合使用?
- Embedding 召回与重排模型在原理上有什么区别?
- Golden Set 怎样构建?忠实度评测的依据和稳定性怎样检查?
《参考解析》
RRF 用排名代替分数,省掉校准但丢掉差距。 不同检索器的原始分数尺度不同,BM25 的分数没有上界,向量相似度通常在 0 到 1 之间,直接加权会让某一路主导。RRF 对每个文档按各路排名计算 1 / (k + rank) 再求和,常用 k = 60,只依赖相对顺序,因此不需要分数校准;代价是同一路里第一名与第二名的真实差距被压平,若某一路的分数本身很有区分度,这个信息会丢失。
判断是否适合,要固定查询集、候选范围与标注,对比单路、RRF、校准后加权三者的召回率、NDCG、延迟与实现成本。若各路质量接近、分数不可比,RRF 是稳妥的基线;若某一路明显更可靠,校准加权可能更好。不要默认 RRF 更优,也不要在没有标注集的情况下凭感觉选融合方式。
双塔与 Cross-Encoder 的差别在交互时机。 双塔分别编码 query 与 document,文档向量可以离线算好并建索引,在线只算 query 向量再做近邻检索,延迟低、可扩展到海量文档,但 query 与 document 在编码阶段没有交互,细粒度匹配能力弱。Cross-Encoder 把 query 与候选拼在一起输入模型,注意力可以跨两者交互,相关性判断更准,但每个候选都要单独前向,成本高,通常只用于对少量候选重排。
两点补充常被忽略:重排只能从召回结果里选,召回没捞到的证据重排救不回来;重排器不一定是 Cross-Encoder,也有基于双塔加交互特征、或 LLM 打分的方式。选择要看候选数量、延迟预算与标注数据。
Golden Set 要覆盖任务分布,而不是只收容易的题。 样本来源可以是有授权的真实任务、专家出的题、以及从失败案例里补的困难边界;每条保存问题、证据版本、允许回答的范围、评分量表与期望要点。调优集与最终测试集要隔离近重复样本,否则同一段资料换个问法就会同时出现在两边,指标虚高。
忠实度评估看回答中的关键主张是否有证据支持、条件是否保留,而不是看措辞像不像原文;它也不能替代外部事实正确性——证据本身过期或错误时,忠实度再高也没有意义。稳定性检查的做法是固定数据、模型、提示词与 Judge 版本,对重要样本重复评分,计算两次评分的一致率;再用人工抽样校准自动评分,分场景看差异。若同一批样本在相同配置下分歧很大,先修评分量表与判据,不要用平均分掩盖。
复盘的价值在于找到具体卡点。 帖主把「分数与排名说串」定位为表述问题,把「可申请延期」与「自动延期」做成对照样本,练评分量表怎么判。这比笼统地说「再复习一遍 RAG」有效:每一道错题都对应一个可验证的小练习。