面灵AI→

字节大模型算法三面:从 Transformer 复杂度推到成本结构

轮次
三面
结果
已通过
时间
2026-11
来源
牛客网

《面试题目》

项目

  1. 核心优化方案具体改了什么,用一句话说清。
  2. 这个优化对应哪个指标,涨了多少,怎么把增长归因到你的改动?
  3. 同期还上线了什么?你怎么排除是它们的功劳?
  4. 基座微调还是从零训,为什么这么选?
  5. 训练数据的清洗流程和筛选规则,一条一条说。
  6. 清洗过程中有没有误删、错筛?怎么估这个误差?

结构与复杂度

  1. 完整讲一遍 Transformer 的架构和每个模块的作用。
  2. 给定头数 H、序列长度 N、嵌入维度 D、层数 L,推导整体计算复杂度。
  3. 这个复杂度里,哪一项在长序列下会先爆?爆了之后你怎么改?
  4. MHA、MQA、GQA 三者的 KV cache 大小差多少?各自牺牲了什么?
  5. 位置编码用绝对还是相对?如果要外推到 32K,你会动哪里?
  6. KV cache 为什么能省计算但不能省显存?显存占用公式写一下。

生成与损失

  1. 手写二分类交叉熵,并说明为什么不用 MSE。
  2. 讲生成式模型的基本原理。
  3. 手写 VAE 的 loss,并解释 KL 项在干什么。
  4. VAE 的 KL 项如果权重给太大,会出现什么现象?

训练工程

  1. 混合精度训练里,为什么需要 loss scaling?
  2. 梯度检查点省的是什么,代价是什么?
  3. ZeRO 的 1/2/3 阶段分别切了什么?
  4. 数据并行和模型并行,什么规模下必须换?
  5. 你训这个模型用了多少卡、多少 token、多久?算一下 MFU。
  6. 如果 loss 突然尖峰,你的排查顺序是什么?

手撕

给定一堆长宽高各不相同的积木,上层长宽必须严格小于下层,求最大堆叠高度,允许旋转。

《参考解析》

复杂度推导:先分清哪一项是二次的:单层注意力的计算量是 QK^T 加 AV 两个矩阵乘,各 2N²D,合计 4N²D;FFN 把维度从 D 升到 4D 再降回来,两个矩阵乘各 2N·D·4D = 8ND²,合计 16ND²;再加上 QKV 投影与输出投影约 8ND²(算上 gate 或三路 QKV 会更多)。所以单层大约是 4N²D + 24ND²,堆 L 层就是 L(4N²D + 24ND²)。分头不改变总量:头只是把 D 切成 H 份分别算,加回来仍是同一个数。真正要讲的是两项的相对大小——比较 4N²D 与 16ND²,临界点在 N = 4D。N=2048、D=4096 时 4D = 16384,远大于序列长度,所以 FFN 项约是注意力项的 8 倍,注意力根本不是瓶颈。面试官追问「长上下文为什么要改架构而不是加卡」,答案就在这里:N 一旦超过 4D,二次项开始主导,算力增长是平方级的,堆卡只能线性摊薄,必须从稀疏注意力、分块、线性近似或 KV 压缩这些方向改计算结构。

KV Cache 的账:自回归生成时,第 t 个 token 的 K、V 与前 t-1 个完全一样,缓存下来就不必每步重算整个前缀,这是它省计算的原因;但它同时把每个 token、每一层的 K 和 V 都留在显存里,所以不但不省显存,反而是长上下文显存的主要开销。公式是 2 × L × H_kv × d_head × seq_len × batch × bytes,前面的 2 是 K 和 V。以 L=80、D=8192、H=64、d_head=128 为例,MHA 每个 token 每层存 2×8192 个数,FP16 下约 32KB,80 层就是 2.6MB/token,32K 上下文单条序列就要 84GB;换成 8 个 KV 头的 GQA,每 token 降到约 327KB,32K 只要 10.7GB。MHA 效果最好但缓存最大;MQA 只保留一组 K/V,缓存最小、推理最快,代价是表达能力下降、训练更容易不稳定;GQA 取中间,把 H 个头分成 G 组共享 K/V,Llama 2 70B 用的就是 8 组,现在基本是默认选择。

位置编码与外推:绝对位置编码直接加到 embedding 上,超出训练长度就没有对应向量;相对位置编码(RoPE、ALiBi)把位置信息放进注意力打分里,外推性更好。要把 4K 的模型推到 32K,主流做法是 RoPE 的频域改造:位置插值把 32K 的位置线性压缩回训练区间,NTK-aware 缩放把 base θ 按 θ' = θ·(L'/L)^{d/(d-2)} 放大,YaRN 再叠加温度修正,让不同频率的维度分别处理;只改推理不改训练通常只能撑一段,真正稳定要加少量长文本继续预训练。另一条路是 ALiBi 这类给距离加线性惩罚的方案,外推更平滑但表达能力弱一些。回答时补一句工程取舍:外推能力、短文本性能、训练成本三者互相牵制,选方案要看业务里长文本占比。

交叉熵与 VAE:二分类交叉熵是 -(y·log p + (1-y)·log(1-p)),配 sigmoid 时梯度是 p - y,预测错得越离谱梯度越大,不会饱和;MSE 配 sigmoid 的梯度里带 σ'(z),预测非常错时反而趋近 0,学不动,而且 MSE 隐含高斯噪声假设,不适合 0/1 标签。VAE 的 loss 是重建项加 KL:L = E_q[log p(x|z)] - β·KL(q(z|x) || p(z)),KL 项把编码器输出的后验拉向标准正态先验,既起正则作用,也让潜空间连续、可采样。β 给太大就是 posterior collapse:后验几乎等于先验,latent 不携带输入信息,解码器索性忽略 z,生成结果变得模糊、多样但不对;β 太小则正则不足,潜空间结构差、容易过拟合。实际调参就是在重建质量与潜空间规整之间找平衡,也可以用 KL annealing 或 free bits 缓解坍缩。

训练工程四连:混合精度用 FP16 时,梯度常常小于最小正规数(约 6e-5)而下溢成 0,所以先把 loss 乘一个 scale S,反向得到放大后的梯度,更新前再除回去;dynamic loss scaling 会在检测到 inf/nan 时跳过这一步并把 S 减半,连续若干步正常后再翻倍。BF16 指数范围与 FP32 相同,一般不需要 scaling,但尾数少、精度低。梯度检查点不保存中间激活,只留层边界,反向时重新前向算一遍,显存从随层数线性增长降到可以用 √L 分段控制,代价是多一次前向,训练时间大约增加三成。ZeRO-1 只切优化器状态(Adam 的一阶、二阶矩和 FP32 主权重),ZeRO-2 再切梯度,ZeRO-3 连参数一起切,每卡显存约为原来的 1/N,但通信量逐级上升。数据并行适用于「单卡放得下模型、状态和激活」,放不下才上模型并行:张量并行放在 NVLink 域内(通常不超过 8 卡),流水并行跨节点,外面再套数据并行。

MFU 与 loss 尖峰:MFU 是实际达到的 FLOPs/s 除以 GPU 峰值。训练一个 token 的前向加反向约 6N_params FLOPs(前向 2、反向 4),总训练量约 6 × 参数量 × token 数,再除以「卡数 × 单卡峰值 × 实际耗时」就是 MFU。报数字时要把注意力那部分和重计算额外的前向算进去,稠密模型做到 35%–50% 属于正常,能报出这个区间比报一个漂亮数字更可信。loss 尖峰的排查顺序:先定位尖峰对应的 step 和 batch,看是不是某条超长或脏数据反复触发;再看梯度范数,确认裁剪有没有生效;接着查 loss scale 是否在尖峰前被抬得过高、有没有 inf/nan;然后看学习率与 warmup;都正常再怀疑模型侧,比如 MoE 路由塌缩、注意力数值溢出;处置手段是跳过该 batch、回滚到最近 checkpoint、降低学习率或延长 warmup,最后才怀疑硬件(ECC、NVLink),因为硬件问题通常可复现且伴随固定卡号。

手撕:三维积木堆叠:这是带旋转的盒子堆叠,本质是最长严格递增链。每个积木有 3 种朝向,把每种朝向的底面规范成「长 ≥ 宽」,于是 n 个积木变成 3n 个底面。按长降序、宽降序排序后,问题退化成在宽这一维上找最长严格递增子序列:dp[i] 表示以第 i 个底面为顶的最大高度,转移时枚举 j < i 且 length_j > length_i && width_j > width_i,取 dp[j] + height_i,复杂度 O(n²)。排序时同长要按宽降序,是为了避免长相等的两个底面互相转移;判断必须是严格大于,相等要判掉,否则同尺寸会自己叠自己。优化到 O(n log n):按长降序、宽降序排好后,用树状数组维护「宽小于当前宽」的 dp 最大值,查询前缀最大值再更新;如果维度再多一维(比如还要求重量递增),就用 CDQ 分治或二维线段树做到 O(n log² n)。写的时候先把三个朝向和边界(n=0、单块、全等)过一遍,再跑一个手算用例。