商汤 AI 开发一面:RAG 切片、三路召回与 Memory 设计
- 轮次
- 一面
- 时间
- 2026-11
- 来源
- 牛客网
《面试题目》
- 讲一下实习经历。
- 主要针对你的 RAG 项目进行拷打。
- 切片策略:针对文字怎么处理?图像、表格呢?自己有什么心得?切片大小怎么定?
- 召回精度评估怎么做?重排用的什么模型?
- BM25 等三路召回的原理以及各自的优劣,举个实际例子说明。
- 讲一下 Memory 是怎么设计的。
《参考解析》
文字切片:按语义边界切而不是按固定字数硬切。常见做法是先按标题层级与段落切分,再对超长段落按句子边界切,并保留一定重叠避免跨片语义断裂。每片带上来源、标题路径与相邻片引用,便于召回后扩展上下文。切片大小取决于嵌入模型的有效窗口与问题的粒度:太小则上下文不足、召回碎片化,太大则噪声多、相似度被稀释,通常从数百字起步,用评测集调。
图像与表格:图像不能直接截断,需要保留完整对象并生成描述或摘要作为可检索文本,原图以引用形式挂在该片下;表格优先转成结构化表示(表头加行),必要时同时保留 Markdown 与文字摘要,避免跨页表格被切断。多模态文档要把版面信息(标题、列表、图表标题)一并保留,否则召回会丢失上下文。
召回精度评估:构造带标注的问题集,标注每个问题对应的正确片段,用 Recall@k、MRR、nDCG 衡量检索质量,再单独评估生成 answer 的正确性与忠实度。检索与生成要分开评,否则无法判断错误来自哪一环。线上可以用点击、追问率与人工抽检做补充。
重排:先用向量召回取较大的候选集,再用交叉编码器对「问题—片段」逐对打分重排,取 top-n 交给生成。重排模型比双塔更准但更慢,因此候选集不宜过大。没有标注数据时可以用大模型做蒸馏标注,或用业务反馈迭代。
BM25 与三路召回:BM25 基于词频与逆文档频率,擅长精确匹配关键词与稀有术语,对同义改写不敏感;向量召回基于语义相似度,擅长同义与跨语言,但对数字、专有名词容易漂移;第三路常见的是结构化过滤或知识图谱检索,按元数据(时间、部门、文档类型)缩小范围。三路并行召回后做融合(如 RRF 按排名融合),再用重排收敛。实际例子:查「某型号设备的报错码」时 BM25 命中准确,查「如何优化首字延迟」时向量召回更有效,两者融合能覆盖不同问法。
Memory 设计:区分短期与长期。短期保存当前会话的对话与任务状态,按轮次窗口管理;长期保存用户偏好、历史结论与可复用事实,写入时抽取结构化字段并去重,召回时结合相似度、时间与置信度排序。要设计过期与纠错机制:过时的事实应被新证据覆盖,用户明确否定的偏好要能删除,避免错误记忆长期影响回答。