快手 AI Agent 一面:视频检索的倒排索引、BM25、时间 IoU 与引用约束
- 轮次
- 一面
- 时间
- 2026-11
- 来源
- 牛客网
《面试题目》
- 倒排索引为什么适合找原话?两个词都命中,就能确定它们连在一起吗?
- 候选有几十段时,BM25 为什么不会让反复说十遍「杯子」的长片段一直排在第一?
- 换成按画面找,「把杯子倒过来」这句文字怎么和视频帧比较?图文对比学习在学什么?
- 如果换成能直接嵌入视频和音频的新模型,还会给这个 Agent 保留字幕搜索吗?
- 给视频切窗口,窗口长度和步长分别控制什么?窗口重叠能解决哪些漏检?
- 有了带时间的候选,怎么用时间 IoU 衡量定位?预测区间完整包住标准答案就一定高分吗?
- 滑窗会让前十名挤满同一次演示,时间上的非极大值抑制怎么做?阈值设太低会怎样?
- 检索到两段——一段举着杯子说「不漏水」,另一段把杯子倒了,能把它们拼成用户要的那一次吗?
- 让模型只能从返回过的片段 ID 里挑一个,约束解码怎么做到?这样能消除引用幻觉吗?
- 既然引错真实片段也会出问题,Recall@K、首个正确结果排名和整条证据是否齐全,各回答什么?
- 硬条件:用户要找「第一次」,你只能精看两处,最相似的是第 18 分钟、次相似的是第 6 分钟,怎么安排?最后敢写「第一次」吗?
《参考解析》
倒排索引与位置信息:倒排表从词项指向出现过它的文档或片段,多个词的倒排表求交能快速把候选从全量缩到几十条,这是它比逐条扫描快的原因。但「都出现过」不等于「连在一起」——只存文档 ID 和词频时,「担心漏水」和「实测不漏水」都会命中「漏水」,语义却相反。要判断连续性,索引必须额外保存词项位置(position),查询时检查两个词的位置差是否等于查询里的词距;短语查询、邻近查询都建立在这一层上。中文还要注意分词:如果分词把否定词「不」丢了,或者把「不漏水」切成「不漏 / 水」,检索层面就已经错了,后面再排序也救不回来。对短引语,正确做法是保留原始转写文本,用粗检索缩小范围后在候选区间做字符串或编辑距离复核,并且允许用户回听原音——转写本身也可能漏掉否定词,只有音频是最终事实。
BM25 的三个机制:BM25 同时考虑词的区分能力(IDF:几乎每段都出现的词,对定位帮助很小)、词频饱和(一个词从零次到一次提供很强的线索,从十次到十一次贡献有限,所以用 tf/(tf+k1) 这种形式压住长尾)和文档长度归一化(长片段天然更容易包含查询词,要按长度惩罚)。三者合起来,一个反复说「杯子」的长片段不会因为词频高就一直排第一。但帖主的追问很关键:打分只在候选集合内比较,参数也依赖整批候选的统计量,换个候选集排名会变。更重要的是索引单元的粒度——如果每个索引单元是一整场直播,「不漏水」即使把正确的直播排到第一,也没有告诉用户该跳到哪一秒。所以要先确认索引单元和最终交付的结果同粒度(句子、片段、还是整场),再谈调参;粒度不对,排序再好也没用。
图文对比学习与跨模态检索:图像和文本各经一个编码器投影到共享向量空间,训练时以一个批次内的图文对为正样本,让匹配的图文相似度高于同批次其他配对(双向:文找图、图找文都要成立)。这样查询即使没有逐字出现在字幕里,也能靠语义找到视觉上相关的候选。局限在于静态画面表达不了动作方向:「拿着杯子」和「正在倒置杯子」在单帧上很像,杯口朝下能支持某个姿态,却不能说明是正在倒过去还是正在倒回来。工程上的处理是保留动作前后若干帧,让下游工具用连续画面判断方向,而不是只信一张关键帧的分数。
多模态嵌入不能替代字幕检索:即使有了能直接嵌入视频和音频的模型(帖主举例 EmbeddingGemma 2 这类把文本、图像、音频、视频映射到同一空间的模型),字幕检索仍然值得保留,因为两条路径擅长的问题不同:用户逐字引用一句口播时,字幕能精确指出词和时间点;用户只记得一个无声动作时,跨模态索引补上字幕缺失的入口。接入前要做的是冻结一批回放做对照实验——固定候选数,分别比较纯字幕、纯视频向量、两者融合的召回,测试集里必须包含「只靠画面」「只靠原话」「两者都需要」三类查询,并且看新增召回是否真的给出了正确时间段,而不是只把对的视频排到前面。视频整体与问题相似,只解决了「找哪场」。
窗口长度与步长:长度控制每次编码能看到多少上下文,步长控制相邻窗口从哪里开始。固定长度时减小步长会增加重叠,让跨边界的事件更可能完整落在某一窗内——比如每窗 10 秒、每 5 秒起一窗,第 8 到 12 秒的动作就能完整落进 5 到 15 秒那个窗。代价是编码次数、存储与重复候选一起上升。而且重叠只解决时间覆盖,不解决采样密度:抽帧太稀,索引了整个窗口也可能漏掉短动作;一个窗口里连续演示三件商品,压成一个向量又会混淆对象。所以合理的结构是「索引粒度粗、回看粒度细」——检索用较粗的窗口,命中后按原始时间重新取帧取证。
时间 IoU:两个区间的交集长度除以并集长度。标准片段 10 到 14 秒、预测 8 到 16 秒时,交集 4 秒、并集 8 秒,IoU 为 0.5。它的作用正是惩罚「把整小时都报出来」这种保召回的做法——虽然包含了正确答案,IoU 会很低,因为附带大量无关画面。用之前必须先约定标注对象:一个标注员只框倒杯动作,另一个把随后的口播也框进去,分数差异里混的是任务定义而不是能力。多阶段事件可以分别标动作区间与口播区间,再单独核对先后顺序,因为一个合并后的大区间 IoU 无法表达顺序是否满足。
时间维度的非极大值抑制:按相关分数从高到低取一个区间,压掉与它时间 IoU 超过阈值的低分候选,再继续处理剩余区间。目的是把同一事件的多个近似边界合并,让有限回看预算覆盖更多时刻。阈值越低抑制越激进,两个相邻但确实独立的演示可能只剩一个;阈值太高又会把同一次演示的多个窗口都留下,浪费预算。实施时要限定在同一视频、同一类待找事件内比较,并且保留被抑制候选与原候选的关联——动作和解说即使时间重叠,也可能是答案需要的两条独立证据,如果抑制先把口播删了,后面再准确地检查动作也拼不出完整答案。
两段证据能不能拼成一次事件:还缺两样东西——事件身份和顺序。两段可能来自同一场里的两次不同演示,甚至是两款不同的杯子。正确做法是先比对视频标识、绝对时间与商品线索,再用回看工具取一小段连续上下文,目标是看到同一个杯子完成倒置并听到随后的口播。「举杯」和「说漏水」在时间上同时发生,只能支持较弱的描述;要确认是同一次演示,需要看到两者之间的连续性,比如倒置结束到口播开始之间有没有切镜、有没有换商品。如果工具只允许再看一次,就挑最能排除歧义的那个位置。若仍有两种解释,就返回两段可跳转的候选并说明各自证实了什么,让用户自己判断,而不是合成一个看似确定的结论。
约束解码与引用幻觉:解码器可以维护合法前缀集合(把候选 ID 建成前缀树或语法),在每个生成位置把无法继续构成合法答案的 token 概率置零,再在剩余分布上采样。片段 ID 往往会被分词器切成多个 token,所以要用 token 级的前缀约束而不是字符串级替换;候选有限时更简单的做法是让模型只输出编号,由程序把编号映射回真实对象——这样既稳定又可校验。它能防住「编造一个不存在的 ID」,但防不住「引用了一个真实但与问题无关的片段」。所以还要允许模型输出「证据不足」:如果强制它必须从三个都不相关的片段里选一个,约束越严格,程序就越稳定地收到一个错误的业务结论——形式上合法、语义上是幻觉。
三个指标各回答什么:Recall@K 关注标注的相关项里有多少进了前 K,衡量覆盖;首个正确结果的倒数排名(MRR)关注用户多快看到第一个有用结果,衡量排序质量。两者的区别在一个例子里最清楚:某个请求需要「动作」和「口播」两条证据,前五名只找到了动作且排第一,按两条算召回是 1/2,而倒数排名是 1。对组合型请求,还要加任务级指标——两类证据都找到、能关联到同一次演示、顺序正确,才算成功。标注时要允许多个等价片段(重叠窗口都覆盖同一个动作),否则按窗口 ID 生硬计数,把切窗方式也算成了模型能力。另外必须有一个「证据不足」的测试集,检查模型在覆盖不到时会不会硬编。
「第一次」这类问题考的是覆盖度:要区分两个目标——确认某处满足条件需要正面证据,确认它是第一次还需要对之前的时间范围有足够覆盖。所以安排是:先用字幕和粗检索查第 6 分钟之前有没有候选,再按时间优先精看可能成立的早期候选;第 18 分钟分数更高也不能作为排除第 6 分钟的理由。两次回看如果只够确认第 18 分钟,就只能写「目前能核实的一次在 18 分左右」,附跳转位置,并说明中间还有未转写片段或抽帧空洞,要确认「第一次」还需补查哪些区间。如果两处都没找到完整证据,就报告看过什么、缺哪一项。这类问题的评分点不是给出答案,而是结论严格由工具实际看过什么决定——不敢写「第一次」,比写错「第一次」正确。