快手大模型算法岗面经(四):八场面试真题,从 PPO 优势函数问到 vLLM 调度与 MLA
- 轮次
- 多轮
- 时间
- 2026-11
- 来源
- 牛客网
《面试题目》
面经 01(日常实习,2025 年 12 月 28 日)
- 介绍你在百度的实习工作,并展开讲讲具体的工作细节。
- 实验是在哪些数据集上做的?不同数据集是分开训练还是混合训练?
- 使用的是多模态模型还是纯文本模型?
- 你的工作与 Top-4、Top-8 的设置相比效果如何,是否做过对比?
- MoE 模型与 Dense 模型有什么区别?各自的优缺点是什么?
- 介绍你的 RAG 项目:采用滑窗切分时,相邻 chunk 之间 overlap 了几个句子?
- 你了解 RAG 方向有哪些最新进展?
- 手撕:LeetCode 15 三数之和。
面经 02(实习,2025 年 12 月 28 日)
- 介绍你在百度实习期间做的主要工作。
- 压缩专家机制是如何实现的?
- 训练使用的数据集规模分别是多少?
- 为什么选择 SFT 训练,而不是 RL 训练?
- 介绍 DPO、PPO、GRPO 的原理,以及三者的区别。
- PPO 的损失是 token 级别还是 sequence 级别的?
- PPO 中的 Critic 模型是如何计算优势(Advantage)的?
- 讲一下 LoRA 微调的原理:它是如何减少训练参数的?有哪些优势?
- 手撕:LeetCode 15 三数之和。
面经 03(校招,2025 年 12 月 18 日)
- 介绍 Transformer,并讲一下 Decoder 中的 cross-attention。
- vLLM 的原理是什么?它是如何进行调度的?
- 介绍你使用的分布式训练架构及其对应的业务场景。
- NCCL 通信的底层算法有哪些?
- 手撕:LeetCode 460 LFU 缓存。
- 手撕:LeetCode 92 反转链表 II。
面经 04(2025 年 12 月 18 日)
- 大模型预测 token 的损失是如何计算的?常见的损失函数有哪几种?
- 介绍大模型的思维链(CoT)技术。
- 介绍 Transformer 及其优势:位置编码是如何做的、有哪些改进?RoPE 是什么?Transformer 是如何把文本转成 token 的?
- LoRA 中矩阵 A、B 如何初始化?为什么 B 要取特定初始化而不能与 A 对调?并解释矩阵的秩。
- BERT 和 GPT 有什么区别?大模型时代,小模型还有用吗?
- MHA 是什么?有哪些改进?介绍 DeepSeek 的 MLA。
- MoE 一般加在 Transformer 的哪个位置?从训练和推理的角度看,MoE 有什么好处?
- 你设计提示词时一般遵循什么范式?
- 手撕:LeetCode 102 二叉树的层序遍历。
面经 05(校招,2025 年 12 月 9 日)
- 现在的多模态大模型一般如何实现动态分辨率?位置编码如何设计?
- 带货直播间的商品数量较多,请设计一个方案来降低时延。
- 平时训练或微调 LLM / VLM 时有哪些心得?
面经 06(校招,2025 年 12 月 6 日)
- 微调数据是如何构造的?
- 案例库的 Embedding 是如何构建的?
- 视频抽帧是如何做的?
- SFT 是如何进行监督训练的?
- 为什么 LoRA 只训练少量参数就能实现功能?
- PPO 与 GRPO 有什么区别?
- DPO 与 PPO 有什么区别?
- On-policy 与 Off-policy 有什么区别?
- PPO 的优势函数是如何计算的?
- PPO 是如何训练的?
- 介绍豆包模型和千问模型的架构。
- 手撕:LeetCode 15 三数之和。
面经 07(校招,2025 年 12 月 6 日)
- 讲一下 MHA 和 Attention 公式,为什么需要除以 √d_k?
- Function Call 是如何实现的?
- 手撕:多头注意力(MHA)。
- 手撕:实现 random 函数。
- 手撕:LeetCode 206 反转链表。
面经 08(校招,2025 年 12 月 6 日)
- 围绕简历上的实习经历,按各类业务场景继续追问(原帖正文在此处被牛客截断)。
《参考解析》
MoE 与 Dense 的取舍:MoE 把 FFN 拆成多个专家,用路由器为每个 token 选 Top-k 个专家计算,总参数大但每 token 的激活参数小,因此在同等算力下能扩大容量。代价是显存要装下全部专家、训练时负载不均衡会导致部分专家饿死(需要辅助损失或容量因子与 token 丢弃)、推理时的 all-to-all 通信与专家分布在不同卡上带来的调度开销、以及微调时容易过拟合少数专家。Dense 结构简单、训练稳定、部署容易,同参数下的效果通常更好,所以「MoE 更划算」只在大规模预训练与高并发推理时成立。压缩专家机制一般指减少专家数或合并低利用率专家,需要给出路由统计(每个专家被选中的比例)作为依据。
RAG 的滑窗重叠:overlap 的作用是避免答案正好落在切分边界被切成两半。常见取值是 chunk 的 10%25%,按句子或语义边界切时通常重叠 12 句。被问到「几个句子」时要能说出自己的切分单位(按字符、按句子还是按段落)、chunk 大小与重叠比例,以及为什么这么定(文档的段落长度分布、检索 top-k 的拼接预算)。RAG 的近期进展可以谈查询改写与多路召回、混合检索(BM25 + 向量)、重排模型、上下文压缩、以及把检索做成 Agent 的一个工具由模型自主决定何时检索。
SFT 还是 RL:SFT 学的是「给定输入应该输出什么」,适合格式、风格、领域行为与工具调用格式的对齐;RL 优化的是「在多个可能输出里哪个更好」,适合有可验证奖励(答案对错、单测通过)或难以写出标准答案的任务。数据只有正例、任务没有明确的偏好排序时,SFT 是更稳的选择;需要模型探索出比训练数据更好的解、或需要压制某类错误时上 RL。实际工程里通常是 SFT 冷启动 → 偏好优化 → 用可验证奖励做 RL 的顺序推进。
PPO / DPO / GRPO 的差异与损失粒度:PPO 需要显式的奖励模型与 Critic,用 clip(π_θ/π_old, 1-ε, 1+ε)·Â 限制每步更新幅度,并加 KL 惩罚;DPO 用偏好对直接优化,把奖励隐式表达为策略与参考策略的对数比,省掉奖励模型与在线采样;GRPO 去掉 Critic,用同一 Prompt 的一组采样做组内归一化得到优势。PPO 的损失按 token 计算再对有效 token 归约(token 级),但优势通常由序列末端的奖励经 GAE 反传得到(序列级信号),所以回答时要区分「损失在哪一级求」与「奖励在哪一级给」。Critic 拟合状态价值 V(s),优势 Â = Σ(γλ)^t δ,其中 δ = r + γV(s') - V(s),GAE 的 λ 控制偏差与方差的权衡。
vLLM 的原理与调度:vLLM 的核心是 PagedAttention,把 KV Cache 切成固定大小的 block,用类似操作系统分页的页表管理,逻辑连续的序列可以映射到不连续的物理块,从而消除预分配造成的显存碎片,支撑更高的并发。调度器用 continuous batching:每个 decode step 重新组 batch,完成的序列立刻退出、新请求立刻插入,而不是等整批结束;配合前缀缓存复用相同系统提示词的 KV。指标上看 TTFT(排队 + prefill)与 TPOT(每 token 时间)分别优化。
分布式训练与 NCCL:数据并行每卡存完整模型、切分数据,梯度用 all-reduce 同步;张量并行把单层矩阵按维度切到多卡,每层都要 all-reduce,适合单机内 NVLink;流水线并行按层切到多机,用 micro-batch 填充减少气泡;序列并行切序列维度,常与张量并行组合。NCCL 的底层算法有 Ring(带宽最优、延迟随卡数线性增长,适合大消息)与 Tree(延迟低,适合小消息),实际按消息大小自动选择;此外还有 NVLS / SHARP 这类在交换机内做归约的硬件加速。
损失函数:自回归语言模型用交叉熵,对每个位置的词表分布与真实 token 求 -log p,只在回答部分计算并做 mask,按有效 token 平均。变体包括带 label smoothing 的交叉熵、focal loss(类别极不均衡时)、对比学习用的 InfoNCE、以及偏好优化里的 DPO / IPO 损失。要能说清「loss 降但效果差」的排查方向:数据重复、格式泄漏、评测集污染、以及只学了长度与模板。
CoT:思维链让模型在给出答案前先生成中间推理步骤,把隐式的多步计算外显成 token,从而利用自回归的串行计算能力。触发方式有 few-shot 示例、零样本的「让我们一步步思考」、以及训练阶段的 CoT 数据注入;推理模型则用 RL 让模型自发学会长链推理,并出现自我检查与回溯。代价是延迟与 token 成本上升,简单任务上反而可能引入错误。
位置编码与 RoPE:Transformer 本身对顺序无感知,早期用可学习的绝对位置编码(BERT)或正弦编码,长度外推差。RoPE 把位置信息编码成对 Q、K 的旋转,使注意力分数只依赖相对位置,且可通过调整旋转底数(如 NTK 插值、YaRN)扩展上下文。要讲清「绝对 vs 相对」「外推 vs 内插」的区别,以及长上下文微调时位置编码与数据长度必须匹配。
MHA 的改进与 MLA:MHA 每个头独立的 Q/K/V;MQA 让所有头共享一份 K/V,KV Cache 大幅下降但效果有损;GQA 让若干组头共享 K/V,是目前的常用折中。MLA(Multi-head Latent Attention)把 K/V 压缩到一个低维隐向量再上投影,缓存的是压缩后的隐向量而非完整 K/V,配合矩阵吸收在推理时保持与 MHA 相当的表达能力而显著降低 KV Cache 占用,代价是实现复杂、训练时需要额外处理。
动态分辨率与位置编码:多模态模型把图像切成 patch,动态分辨率即按原图长宽比切成不同数量的 patch(如按 14 的倍数切块、或切 tile 后拼接),避免固定分辨率导致的形变与细节丢失。位置编码需要同时表达二维空间位置与时间(视频),常见做法是二维 RoPE 或可学习的 2D 位置嵌入,视频再加时间维的位置编码;变长序列要保证不同分辨率下的位置一致性。
直播间商品多、时延低的方案:先拆链路找瓶颈(候选召回、特征、排序、生成文案、TTS)。工程上的通用手段是分层召回(先粗排把商品从几千压到几十)、把重计算前置到离线或近线(商品 embedding、文案模板预生成)、在线只做轻量打分与拼装;对生成类环节做流式输出与预生成缓存,按主播话术节奏提前准备好候选;同一场直播的商品集合变化不大,可以做会话级缓存与增量更新。还要给出时延预算(每段多少毫秒)与降级策略(模型超时退回模板)。
On-policy 与 Off-policy:on-policy 只用当前策略采样的数据更新,数据分布与策略一致、训练稳定但样本效率低(PPO 属于此类,靠重要性采样在少量轮次内复用);off-policy 用历史策略或别的策略产生的数据,样本效率高但需要纠正分布偏移(DPO 用离线偏好对属于此类)。这个区别决定了「数据能不能反复用」「要不要重要性采样比」以及「训练与推理分布不一致时怎么排查」。
Function Call 的实现:把可用工具的名称、描述与参数 JSON Schema 一起放进请求,模型输出结构化的调用(工具名 + 参数),运行时解析后执行再把结果作为新消息回灌,循环直到模型给出最终回答。工程要点是 schema 校验与参数纠错、并行调用与超时、错误结果如何回传(让模型看到失败原因而不是静默重试)、以及把工具的返回裁剪到模型能消化的长度。
手撕要点:三数之和先排序、固定第一个数后双指针,注意跳过重复元素与提前剪枝;LFU 需要 key→(value, freq) 与 freq→有序 key 集合 两层结构,用 LinkedHashSet 保证同频次内的淘汰顺序,维护 minFreq 使淘汰为 O(1);反转链表 II 用哑节点定位 pre,再局部头插;层序遍历用队列按层弹出并记录每层长度;MHA 见上一篇的维度与 mask 处理;手写 random 可用线性同余或 xorshift,说明种子与分布均匀性即可。