面灵AI→

滴滴大模型算法岗面经(同场第二份记录):从注意力机制到 GraphRAG

时间
2026-10
来源
牛客网

《面试题目》

  1. Transformer 中为什么要用多头注意力?单头注意力有什么局限性?
  2. GRPO 和 PPO 在 RLHF 中的核心区别是什么?
  3. vLLM 的核心优势是什么?
  4. 为什么在推荐系统中引入 RAG?知识库的数据来源和构建流程是怎样的?
  5. 嵌入模型为什么选 BGE?FAISS 索引是如何构建的?
  6. RAG 的 chunk 划分策略是什么?
  7. 什么场景需要 GraphRAG?
  8. 当输入超过模型上下文长度时,有哪些主流解决方案?
  9. 手撕:乘积最大子数组(LeetCode 152)。

《参考解析》

同一组题在两份记录里问法一字不差,说明这是这个岗位的固定题单。按「原理 → 训练 → 推理 → 检索工程 → 业务落地 → 手撕」重排,比按提问顺序背更好记。

原理层:多头注意力的收益来自「分工」而不是「叠加」。 单头注意力对每个位置只产生一个注意力分布,这个分布必须在「看邻近词」和「看远处的指代对象」之间做加权妥协;多头把 d_model 切成 h 份,在不同子空间里各自算一遍,等于让模型同时保留多种依赖模式,最后拼接投影再融合。计算量上单头全维和多头切分基本持平(注意力是 O(n²·d),切分不改变总量),所以是笔划算的买卖。要能说出上限:d_head 太小(比如低于 32)时每个头的表达力不足,头数增加不再带来收益;这也是为什么大模型后来普遍用 GQA——让多个 query 头共享一组 KV,牺牲一点表达换显存和带宽。

训练层:GRPO 省掉的是 critic,不是省掉 RL。 PPO 的三件套是策略、参考模型、价值网络;价值网络负责给出「这个状态有多好」的基线,优势函数才算得准,但它和策略一样大,训练显存翻倍,而且它自己也会估偏。GRPO 的思路是:同一个 prompt 采一组回答,直接用组内奖励的均值和标准差做归一化得到优势,组内相对比较天然就是一个基线。所以工程上少了一个模型、少了一套 GAE 的超参;代价是采样成本变高(要 G 条完整回复),并且当一组里的奖励几乎相同时(全对或全错)梯度信号会消失,因此训练时要做难度筛选、保证每组的通过率在中间区间。

推理层:vLLM 的加速是「显存管理」带来的,先算清这笔账再谈其它。 KV Cache 的大小是「层数 × 2 × 头数 × 头维 × 序列长 × 每元素字节」,7B 模型在 4K 上下文下单请求就要几百 MB 到 GB 级。传统做法按最大长度预留连续显存,实际生成长度往往只有一小部分,浪费的就是并发能力。PagedAttention 用固定大小 block + 页表做按需分配,把碎片压到几乎为零,并且允许不同请求共享同一段前缀的物理块。再叠加 continuous batching,GPU 不再等最慢的那个请求。一句话总结给面试官:它没有让单次计算变快,而是让同一张卡同时服务更多请求。

检索工程:把「知识库」当成一条有 SLA 的数据管线来答。 从推荐业务出发,知识源分四类——物品侧(属性、类目、库存状态)、内容侧(标题、简介、正文切片)、用户侧(近期行为、偏好标签)、运营侧(活动规则、投放策略)。构建流程是「接入 → 清洗去重 → 结构化统一 id → 切片 → 向量化 → 建索引 → 上线 + 增量」;关键设计是每条知识都带 source、updated_at、expire_at 与 version,检索时先按有效性和权限过滤再算相似度,这样既能挡住过期知识,也能做多租户隔离。被追问「知识库多大、怎么更新」时,答「全量重建每月一次 + 增量按小时」比答「实时更新」更可信,因为向量索引的实时更新成本很高。

选型:BGE 与 FAISS 都要说清「为什么不是别的那一个」。 embedding 侧,BGE 的优势是中文检索语料训练充分、尺寸可选、可私有化、支持 query 指令前缀;换模型的唯一代价是整个向量库要重建,因为不同模型的向量空间不能混用——这句话几乎是这类题的必答点。索引侧,FAISS 的选型是数据量与召回要求决定的:几万条以内用 Flat 精确检索足够快;百万级上 IVF(聚类分桶,用 nprobe 调召回/速度);要更低延迟用 HNSW(图索引,内存换时间);要省内存可以上 PQ 量化(有精度损失)。

chunk 策略:先按结构切,再按语义切,长度只做兜底。 结构切分(标题、段落、列表、表格、代码块)保住了语义完整性;语义切分(相邻句向量相似度骤降处断开)处理没有结构的纯文本;长度兜底只在上限时触发,并带重叠窗口。真正拉开差距的是两点:一是把「检索单元」和「喂给模型的单元」分开(小块检索准、大块生成全);二是给每个 chunk 附上它所在文档的标题路径和前后文摘要,让检索到的一小段在 prompt 里仍然有语境。

GraphRAG:只有「需要跨文档把关系拼起来」时才值得。 判断可以简化成一个问题——把召回的前 k 个片段全给模型,它能不能答出来?能,就是普通 RAG;不能(因为答案分布在多篇文档、需要多跳、或者问题是「整体上有哪几类主题」这种全局性的),才考虑建图。建图的流程是抽实体关系 → 建图 → 社区发现 → 社区摘要 → 查询时局部邻域与全局摘要并用。成本主要在建图和更新上,抽取错误还会沿图传播,所以真实项目里常见的是「向量检索为主 + 图谱做补充关系召回」的混合方案,而不是纯 GraphRAG。

超长上下文:先问「是长度问题还是检索问题」。 如果只是想把一篇长文塞进去做摘要,位置编码外推(YaRN / NTK 插值)+ 长上下文微调就是正解;如果是海量文档问答,硬塞永远不如检索——因为注意力对中段信息本来就弱(lost in the middle),塞得越多越容易漏。工程上的组合拳是:滑窗 + 分块摘要解决「必须看全文」,RAG 解决「只需要看相关部分」,FlashAttention 与 KV 量化解决「显存扛不住」,GQA/MQA 解决「带宽扛不住」。回答时给出选择依据比罗列名词重要得多。

手撕:乘积最大子数组,一行转移里藏着两个易错点。 状态是「以 i 结尾」的最大与最小乘积(最小值必须维护,因为负数乘以最小值会翻成最大值),转移取三个候选的最大/最小:nums[i]、nums[i]*prev_max、nums[i]*prev_min。两个易错点:初始化必须用 nums[0](不能是 0 或 1,否则 [-2]、[-2,-3] 这类会错),以及更新时必须先用临时变量存住旧的 max/min 再同时更新(顺序写错会让 dp_max 的新值污染 dp_min 的计算)。写完口头补一句复杂度 O(n)/O(1),再主动给出「如果要返回子数组本身,就额外记起止下标」——这一步通常是面试官的下一个追问。