面灵AI→

字节大模型算法三面:从简历一行字拆到 KV Cache 与 GRPO

轮次
三面
时间
2026-11
来源
牛客网

《面试题目》

一、从简历一行字开始拆

  1. 你说你负责推理链路优化,这条链路上有哪几个环节,各自耗时多少?
  2. P99 是多少,为什么是这个数?
  3. 你刚才报的 6.8s,拆开给我看。
  4. 你优化的 40% 是从哪来的?
  5. 这个 40% 的分母是什么,含不含失败重试的请求?
  6. 失败率多少,失败的请求算不算进 P99?
  7. 如果我把 temperature 改成 0,你这个指标会掉多少?提升多少、代价是什么?

二、复杂度现场推

  1. 给定头数 H、序列长度 N、隐藏维 D、层数 L,推整体计算量。
  2. N=2048、D=4096 的时候,哪一项是瓶颈?
  3. 为什么长上下文要改架构,而不是加卡?
  4. KV Cache 的显存怎么估?

三、训练

  1. 预训练 loss 突然起尖刺,你的排查顺序?
  2. 数据去重的阈值怎么定?
  3. 退火阶段的数据配比你会怎么调?
  4. SFT 混多轮对话,loss mask 漏了会怎样?

四、对齐与推理

  1. GRPO 的 advantage 为什么能用组内均值,PPO 为什么不行?
  2. 训 GRPO 时 loss 一直是 0,正常吗?
  3. DAPO 相比 GRPO 动了哪几处?
  4. 投机采样的接受率怎么算,接受率低说明什么?
  5. PD 分离为什么能提吞吐,代价是什么?

五、场景题

  1. 长窗口和 RAG,你什么情况下选前者?
  2. 你这个东西上线之后,哪个业务指标动了?
  3. 只给你一半的卡,你砍哪一块?

六、手撕

  1. 三维积木堆叠:给 n 个长方体,长宽高可以任意旋转,问最多能堆几层,要求下面那块的长和宽都严格大于上面那块。

《参考解析》

指标口径先于优化数字。 报「优化了 40%」之前必须定义清楚:分母是优化前的端到端 P50 还是 P99、统计窗口多久、含不含失败与重试、超时请求怎么计入、是否同一批流量与同一套 prompt。失败请求不进 P99 会让延迟看起来更好(失败往往发生在超时之后),把重试合并进「一次用户请求」又会拉高延迟。正确做法是同时给三条线:成功率、成功请求的 P50/P99、以及从用户发出到首字的总时长;优化前后的流量结构要一致,最好用 A/B 分流而不是历史对比。

temperature=0 会让指标「变好」但不是真提升。 温度归零后输出确定,缓存/前缀复用命中率上升、重复请求的结果可复用、评测可复现,延迟和成本都会下降。代价是多样性消失:同一问题的不同表述得到同一个答案、需要探索的场景(生成候选、多轮发散)质量下降、评测集上也会因为「背住了」而虚高。所以回答要先说清「这是把方差换成了确定性」,再说明你的业务是否需要多样性,以及真实收益应该用线上业务指标(解决率、采纳率)而不是缓存命中率来衡量。

计算量推导。 单层里注意力部分:QK^T 是 N×N×D 的乘加、AV 再一个 N×N×D,按乘加计 2 FLOPs,注意力约 4N²D。FFN 若中间维是 4D,两个矩阵乘是 2·N·D·4D 与 2·N·4D·D,合计 16ND²。投影部分(QKV 与输出)是 8ND² 量级,通常并入 FFN 一起看。让两项相等:4N²D = 16ND²,得 N = 4D。所以序列长度小于 4D 时 FFN 主导,超过后注意力平方项反超。N=2048、D=4096 时 4D=16384,远大于 N,瓶颈在 FFN(注意力约 6.9e10 FLOPs,FFN 约 5.5e11,差近一个数量级)。

长上下文为什么不能靠加卡。 加卡扩的是算力和显存总量,但长上下文的成本结构不同:KV Cache 随序列长度线性增长、注意力计算随长度平方增长,而权重只占固定一份。也就是说显存增长快于算力增长,加卡之后每张卡能承载的并发反而被 KV 挤占,通信开销还随卡数上升。真正的解法在架构与系统层:GQA/MQA 减少 KV 头数、MLA 之类做低秩压缩、滑动窗口/稀疏注意力/attention sink 限制可见范围、RoPE 外推与位置插值保证效果、FlashAttention 降低显存读写、以及把长文档改走 RAG 或分块摘要。

KV Cache 估算。 每 token 每层要存 K 和 V 两份,形状都是 H × d_head:bytes = 2 × L × H × d_head × 精度字节数。以 L=80、H=64、d_head=128、fp16 为例,2×80×64×128×2 ≈ 2.6MB/token,32K 上下文就是约 84GB——一张 80G 的卡连一个请求都放不下,再算上权重和激活更紧张。所以长上下文服务的并发能力基本由 KV 决定,这也是 GQA(把 KV 头数从 64 降到 8,直接省 8 倍)和 PagedAttention(按页分配、减少碎片)能显著提吞吐的原因。

loss 尖刺的排查顺序。 先看 grad norm 是否同步飙升(是则可能是某条异常样本或学习率跳变),再看 lr schedule 与 warmup 是否正常、有没有恢复训练时状态没接上;然后定位到具体 step 的 batch,检查是否有超长样本、重复乱码、异常字符、label 错位;确认是脏数据就跳过该 batch 或清洗后重跑,是数值问题就降 lr、加梯度裁剪、换 bf16 或调整 layernorm;最后回滚到尖刺前的 checkpoint 验证能否复现。规范做法是每步记录 grad norm、loss、lr、batch 指纹,出问题能直接定位而不是靠猜。

去重阈值。 不要拍脑袋定一个数。先对语料做相似度采样,画分布图:正常语料通常呈双峰(真重复在高分、正常内容在低分),取谷底作为阈值;用 MinHash/SimHash 做近似去重时经验区间常在 0.75~0.85,但要以自己语料的分布为准。还要分层:完全重复(哈希相等)直接删,模板化内容按 n-gram 重叠去重,语义重复用 embedding 聚类后按簇保留代表样本。阈值定完要抽检误删率,并统计去重前后 token 量与评测指标的变化。

退火阶段的数据配比。 退火的目标是让模型在最后阶段适应高质量、贴近下游分布的数据。做法:提高高质量语料(人工筛选、教科书、代码、数学推理)的权重,降低低质网页占比;按领域配比做消融,用一小批代表性评测快速验证;课程式地从通用逐步偏向目标领域;同时把学习率线性或余弦降到很小。要注意别在退火阶段引入与评测集重叠的数据,否则指标虚高。

loss mask 漏了会怎样。 SFT 时如果没把用户侧的 token mask 掉,模型会学着去预测用户的提问,表现为上线后自问自答、把用户的话续写下去、或者在多轮里抢答。正确做法是只在 assistant 回复的 token 上计算 loss,工具调用结果与系统提示也 mask;多轮样本要按轮拼装并逐段设置 mask,不能整条序列统一算 loss。

GRPO 与 PPO 的 advantage。 PPO 用带 critic 的 GAE 估计优势,需要额外的价值网络,显存和训练成本高,且 critic 本身有估计偏差。GRPO 对同一个 prompt 采样一组(如 8 条)回答,用组内 reward 的均值作为 baseline、标准差做归一化:A_i = (r_i - mean(r)) / std(r)。它的合理性在于:同一 prompt 的一组样本共享上下文,组均值是期望回报的一个无偏、低方差的估计,不需要学 critic;组内相对比较也天然消除了 prompt 难度带来的绝对值差异。代价是必须一次采一组,采样成本高,且当组内 reward 全相同(全对或全错)时 advantage 全为 0。

GRPO loss 恒为 0。 不正常,但很常见。原因通常是:一组采样全对或全错,reward 没有区分度,归一化后 advantage 全 0;reward 函数没生效或返回值恒定;过度裁剪(ratio 超出 clip 区间)导致梯度为 0;或者优势计算里 std 为 0 做了保护性除法。排查顺序是打印每组的 reward 分布、advantage 统计、clip 比例与梯度范数。解法:调整题目难度让组内有对有错、用动态采样过滤全对/全错组、检查 reward 是否有细粒度区分。

DAPO 的改动。 主要有四处:一是 Clip-Higher,把上下裁剪系数解耦(上界放宽),避免策略熵过快坍缩、鼓励探索;二是动态采样,过滤掉准确率为 0 或 1 的组,保证每个 batch 都有有效梯度;三是 token 级策略梯度损失,按 token 而不是按样本平均,避免长回答主导梯度、短回答被稀释;四是过长奖励塑形,对超长被截断的回答给柔性惩罚,抑制无意义的长度膨胀。

投机采样的接受率。 草案模型 q 先一次生成 γ 个 token,目标模型 p 并行验证,每个 token 以 min(1, p(x)/q(x)) 的概率接受,拒绝时从残差分布 max(0, p-q) 归一化后重采样。整体接受率 α = E_{x~q}[min(1, p/q)] = 1 - TV(p,q),即两个分布的总变差距离越小接受率越高;一轮期望产出 token 数为 (1-α^{γ+1})/(1-α)。接受率低说明草案模型与目标模型分布差异大(领域不匹配、温度设置不同、草案模型太弱),加速比会趋近于 1 甚至因为验证开销变慢。提升办法是让草案模型在同领域数据上蒸馏、动态调整 γ、按上下文自适应选择草案。

PD 分离的收益与代价。 prefill 阶段是计算密集型(大矩阵乘,GPU 算力打满),decode 阶段是访存密集型(每生成一个 token 都要把全部权重读一遍,带宽受限)。混部时两类请求互相干扰:prefill 的长请求会阻塞 decode 的 TTFT,decode 又让 prefill 的算力利用率上不去。分离后可以给 prefill 配大 batch、给 decode 配大显存与高并发,各自用最适合的并行策略,整体吞吐和 MFU 都提升。代价是 KV Cache 要从 prefill 节点传到 decode 节点(带宽与延迟成本)、需要全局调度器做请求路由与负载均衡、故障域变大、部署复杂度上升,短请求场景下传输开销可能吃掉收益。

长窗口与 RAG 的选择。 选长窗口:单次查询需要读完整文档或跨段落做全局推理(合同比对、长代码库理解、整本书问答)、语料规模小且相对固定、对引用溯源要求不高、延迟和成本可接受。选 RAG:语料规模大且持续更新、需要按用户权限过滤、要求给出引用出处、对成本与延迟敏感、问题大多定位在少数片段上。实践中常见的是混合:先用 RAG 缩小范围,再把关键片段放进长上下文做深度推理;或者对小语料直接全文塞入,对大语料走检索。

上线后该动哪个业务指标。 要落到产品口径:首字延迟(TTFT)与端到端时延、请求成功率与超时率、每请求成本(token 与算力)、以及业务侧的任务完成率/采纳率/转人工率。优化推理链路首先影响的是延迟与成本,但最终要证明没有牺牲质量——所以指标要成对出现,比如「P99 降低 40% 且答案采纳率不降」。

只给一半的卡先砍什么。 顺序是「先砍不影响用户体验的,再砍可降级的,最后才动生成」。先降离线评测与训练的并发、缩小评测集采样、把非实时的批处理挪到低峰;再把重排模型换成小号或蒸馏版、减少候选数量、缩短上下文;然后考虑量化(fp8/int8)、KV Cache 压缩、GQA 改造;最后才降生成质量(换小模型、限制最大输出)。原则是保住用户能感知的那一段(首字与答案质量),把成本转移到后台任务上。

三维积木堆叠。 每个长方体拆成三种朝向(以哪一面为底),得到 3n 个候选块 (长, 宽, 高)。排序键是「长升序、宽降序」:长升序保证从小到大转移,宽降序保证同长时不会把两块相同长度的叠在一起(要求严格大于)。然后在高度维度上求最长上升子序列,n 到 1e5 时用树状数组维护前缀最大值做到 O(n log n)。三个坑:严格大于是 bisect_left 而不是 bisect_right;同长必须降序;旋转要写全三种朝向。

def max_stack(boxes):
    b = []
    for x, y, z in boxes:
        for a, c, h in ((x, y, z), (x, z, y), (y, z, x)):
            b.append((a, c, h))
    b.sort(key=lambda t: (t[0], -t[1]))
    hs = sorted({t[2] for t in b})
    bit = [0] * (len(hs) + 1)

    def upd(i, v):
        i += 1
        while i < len(bit):
            bit[i] = max(bit[i], v)
            i += i & -i

    def qry(i):  # 前缀 [0, i)
        r = 0
        while i > 0:
            r = max(r, bit[i])
            i -= i & -i
        return r

    ans = 0
    for a, c, h in b:
        k = bisect.bisect_left(hs, h)
        cur = qry(k) + h
        upd(k, cur)
        ans = max(ans, cur)
    return ans