面灵AI→

快手大模型算法实习面经(9 月场):RAG 知识库、Video Agent 与两层意图识别

轮次
多轮
时间
2026-11
来源
牛客网

《面试题目》

2026 年 9 月 1 日 · 智能知识库与 RAG

  1. 智能知识库 / 模拟面试平台项目最初想解决什么问题?你自己是否真正使用过这个系统?
  2. 简历中提到「多子问题 Collection 向量同步计算」,请展开讲讲:优化前存在什么问题?
  3. 是否将数据提前 Embedding 后存入向量数据库,再直接通过向量库检索?除了性能之外,Embedding 前置与否还有哪些差异?
  4. Embedding 前置与否,对准确率和召回率分别有什么影响?
  5. 一个问题可能命中很多知识块:Top-K 过小会导致召回内容不完整,Top-K 过大又会引入大量无关信息、使内容模糊,该如何解决?实际是否遇到过?
  6. 相比「固定大小 + overlap」,结构化文本切分有何优势?如果实际数据源结构并不理想,该怎么办?
  7. 非结构化数据如何做结构感知的结构化处理?例如公司收到大量格式各异的简历,要建成知识库并按经验检索候选人,该如何处理?
  8. 如果分块 / 结构化依赖大模型的理解和关键词抽取,如何保证模型处理结果足够稳定?
  9. 如果由你负责这套方案,如何评估方案效果?如何评估分块后的效果?
  10. RAG 的生成阶段仍可能产生幻觉,如何控制?你在项目中是否遇到过,怎么处理的?除了降低 Temperature、Prompt 约束,还有哪些方法?
  11. 强制模型标注引用来源的做法,实际是否遇到过问题?效果如何?
  12. 业界在 RAG 幻觉控制方面有哪些新方案?是否调研过?
  13. 如果模型出现「虚空引用」(声称引用了某段 Context,但该 Context 并不能支撑答案),引用约束是否就不够了?应该如何处理?
  14. Chunk 切得太小会丢失整体语义,切得太大又会降低检索精度,这种粒度问题如何处理?是否遇到过?
  15. 简历中写到向量化耗时降低(P50 降低 xx%,P95 降低 xx%),请展开讲讲:优化后 P50 与 P95 的差距有多大?为什么两者差距会这么大?平均值 / P50 不算高、但 P95 / P99 偏高,通常是什么原因?
  16. 评测集阶段可以自己构造数据,但系统上线后无法每次人工检查答案,如何知道线上效果好不好?有什么办法观察线上检索效果?
  17. 不考虑耗时,仅看「检索内容是否正确、生成答案是否好」,应如何衡量这些质量?业界通常如何评估线上 RAG 系统?你自己会怎么评估?
  18. 多轮对话的上下文膨胀问题是如何解决的?
  19. 使用摘要压缩上下文时,摘要具体怎么做?是否会损失关键细节?如果摘要丢失了用户之前的重要信息,如何补救?
  20. 手撕:LeetCode 17 电话号码的字母组合

2026 年 8 月 27 日 · Video Agent 与多模态

  1. 介绍一下你的项目,它主要解决什么问题?
  2. 请讲一下 Video Agent 从头到尾的完整落地流程。
  3. 如何判断 ASR、OCR 生成的结果是否正确?如果让你构建 ASR / OCR 评测集,会怎么做?如何保证评测集覆盖不同的视频场景?
  4. 有了评测集后,可以用哪些指标评价 ASR / OCR 的效果?如果不同场景下算法效果差异很大,应如何设计评测集和评测指标?
  5. 视频 / 音频算法优化过程中会存在少量 Bad Case,你会如何分析并优化?
  6. 现在有很多厂商的 LLM,一般如何判断不同模型的优劣?
  7. Embedding 为什么能够表示语义?
  8. 谈谈你对多模态实现方式的理解。
  9. 手撕:LeetCode 题(具体题目未记录)
  10. AI Coding:一道与视频业务场景相关的编程题(考察 AI Coding 思路)

2026 年 8 月 14 日 · 两层意图识别与检索并行

  1. RAG 项目中的两层意图识别流程是如何设计的?为什么需要两层,第一层和第二层分别解决什么问题?
  2. 意图识别中的相关度阈值是如何确定的?大模型打出的相关度分数是否稳定,如何约束模型打分?
  3. 是否考虑过将两层意图识别合并为一层?为什么最终没有合并?为什么两次模型调用反而可能比一次复杂调用延迟更低?
  4. 意图识别节点是如何定义的,包含哪些数据?为什么将意图节点缓存到 Redis,使用什么数据结构,如何保证 Redis 中数据的一致性?
  5. 为什么问题向量化需要前置,原实现存在什么性能问题?「向量化前置」是全局缓存还是单请求级别的复用?
  6. RAG 检索过程中哪些任务做了并行化?Rerank 是如何实现的?多个子问题的检索结果为什么需要去重?

《参考解析》

结构化切分与粒度:固定大小 + overlap 的切分不考虑语义边界,容易把一个论证或一张表格切成两半,检索时命中的片段缺少前提;结构化切分按标题层级、段落、列表、表格行等自然边界切,能保住「一段话讲完一件事」的完整性,也便于给每个 chunk 附上章节路径这类元数据用于过滤。前提是数据源真的有结构——PDF 解析、HTML 转文本后结构往往已经丢失,这时先做版面分析或按语义边界聚类,再把结构化结果落成统一的中间表示,而不是硬套标题规则。粒度上常见做法是「小块检索、大块生成」:用较小的 chunk 建索引保证检索精度,命中后回溯到所属父块或相邻块喂给模型保证上下文完整,配合 overlap、句子窗口和层级摘要来平衡召回与精度。

Top-K 与召回质量:Top-K 是召回率与噪声的权衡,单靠调 K 解决不了。工程上的组合是:多路召回(向量 + 关键词 BM25 + 元数据过滤)提高召回上限;用 rerank 模型对较大的候选集做精排,把 K 从「检索参数」变成「重排后的截断」;对相似 chunk 做去重与多样性控制(MMR),避免同一段内容重复占满上下文;按 token 预算动态截断而不是固定条数。如果问题本身包含多个子问题,先把问题拆开分别检索再合并去重,比把 K 调大更有效。是否遇到过:命中大量同义块、答案被无关块淹没是这类系统的常态,靠 rerank 与去重压住。

幻觉控制与虚空引用:降低 Temperature、在 Prompt 里写「只依据 Context 回答」只能降低概率,不能保证。更可靠的是把「有没有依据」变成可校验的环节:要求逐句给出引用片段,生成后做一次支撑性判定(用 NLI 模型或另一次 LLM 调用判断「这句话能否由所引片段推出」),判定不通过的句子删掉或重写;对关键字段(数字、日期、姓名)做与原文的精确比对。虚空引用恰恰说明「标注了来源」不等于「来源支持结论」,所以校验对象必须是「结论与片段」的关系,而不是有没有写引用编号。其他手段包括:检索不到足够证据时明确拒答或转人工、把答案限定在结构化字段填空、用约束解码限制可选的实体集合。业界近年的方向集中在 groundedness 判定、self-check / 反思式重写、以及在训练侧做引用对齐。

两层意图识别与阈值:第一层通常做粗粒度的路由(这个问题是否属于本知识库、要不要走检索、走哪个业务域),第二层在候选域内做细粒度意图分类或槽位识别。分两层的理由是候选空间和判定标准不同:第一层只需要「相关 / 不相关」,可以用小模型或向量相似度快速过滤;第二层候选少但要求细,交给大模型或分类器。合并成一层的代价是单次调用要同时承担粗筛与细判,Prompt 变长、输出空间变大、延迟和稳定性都变差;两次轻调用可以并行或流水线化,单次复杂度低,反而可能更快。阈值不能拍脑袋:用标注集画 P-R 曲线,按业务对误召和漏召的代价选点;大模型打分不稳定,用固定 rubric、few-shot 锚点、多次采样取均值或改成分类而不是打分来约束。

P50 与 P95 的差距:P50 低而 P95 高,说明大部分请求走了快路径,少数请求触发了慢路径或资源竞争。常见原因:缓存未命中时的冷启动(首次加载模型、建立连接、拉取大对象)、长尾输入(超长文档、超大 batch)导致的计算量突增、下游依赖的偶发重试与超时、GC 或线程池排队、以及多租户下的资源争抢。定位方法是按请求维度打点拆分耗时(检索、rerank、生成各占多少),再按输入长度、是否命中缓存、下游返回码分桶看分布,找出 P95 那批请求的共同特征。优化优先处理长尾:给下游设超时与降级、缓存预热、把大请求拆小或异步化。

线上 RAG 的效果评估:离线评测集只能覆盖已知问题,线上要看真实流量的行为信号与抽样质量。可用的信号包括:用户是否采纳答案(复制、点赞、继续追问)、是否重新提问(说明上一次没答到)、引用被点开的比例、会话长度与流失、以及检索侧的空结果率与低分命中率。质量维度上把「检索」和「生成」分开评:检索看命中率、MRR、上下文相关性;生成看忠实度(是否只用了 Context)、答案相关性、完整性。没有人工标注时用 LLM-as-judge 批量打分,但必须先用一小批人工标注校准 judge 的一致性,否则分数不可信。再配合线上 A/B 和日志回放,才能判断一次改动是真的提升了效果。

上下文膨胀与摘要压缩:多轮对话的 token 随轮次线性增长,常见策略是「保留最近若干轮原文 + 对更早的对话做摘要 + 把稳定的事实抽成结构化记忆」。摘要的做法可以是按轮或按话题分段总结,保留决策、结论、用户偏好与未完成任务,丢弃寒暄和重复内容;也可以维护一份滚动摘要,每 N 轮增量更新。摘要必然丢细节,补救手段是保留原文的可检索索引:摘要里挂上原始对话的引用,需要时按需回捞原文;对关键实体(时间、金额、姓名、承诺)单独存成结构化字段,不依赖摘要。工程上还要设硬上限并在超限时触发压缩,避免上下文无限增长。

ASR / OCR 的评测集与指标:先明确「正确」的定义——ASR 看字错率(CER)与词错率(WER),并按场景分层(清晰人声、背景音乐、多人对话、方言口音、专业术语);OCR 看字符级准确率、字段级准确率与结构化抽取的端到端准确率,版面复杂(表格、公式、竖排)单独分层。评测集要覆盖真实分布:从线上日志里分层抽样,保证每个场景有足够样本,再补充合成的极端样本(低光照、模糊、遮挡、旋转)。指标差异大时不要只报一个平均值,按场景分别报并给出样本量,找出拖后腿的那一层再定向优化。Bad Case 分析按错误类型归类(漏识别、错识别、断句、标点、专有名词),统计各类占比后决定是改模型、加词典还是改后处理。

Embedding 为什么能表示语义:Embedding 把离散的 token 映射到连续向量空间,训练目标(语言建模、对比学习、双塔检索)让「经常出现在相似上下文里、在语义上可互换」的文本在空间中靠近。对比学习进一步用正负样本对拉近语义相同、推远语义不同的样本,使向量距离近似语义相似度。它的局限是只保留训练目标关心的信息:同义不同表述可能靠近,但否定、数量、时序这类细粒度差异容易被抹平,所以检索后仍需要 rerank 与规则校验。

Video Agent 的落地流程:典型链路是「视频接入 → 抽帧与音频分离 → ASR 转写、OCR 识别画面文字、视觉模型理解画面 → 多模态内容对齐与结构化(时间轴、场景、人物、事件)→ 索引与检索 → Agent 编排工具回答或执行」。每一段都要有质量门:ASR 的置信度、OCR 的框置信度、视觉描述与帧的对齐校验,低置信度的片段标记出来而不是直接喂给下游。端到端评估要能定位到具体环节,否则「效果不好」无法归因。

LeetCode 17 电话号码的字母组合:标准回溯。维护数字到字母的映射表,递归处理每一位,把当前字符加入路径,处理完最后一位时收集结果并回溯弹出。剪枝点是输入为空时直接返回空数组;复杂度为 O(4^n × n),n 为数字位数(7 和 9 对应 4 个字母,其余 3 个)。面试时先写清映射与递归终止条件,再说明为什么不需要额外去重。