字节大模型算法三面:从 Transformer 复杂度推到成本结构
- 轮次
- 三面
- 结果
- 已通过
- 时间
- 2026-11
- 来源
- 牛客网
《面试题目》
项目
- 核心优化方案具体改了什么,用一句话说清。
- 这个优化对应哪个指标,涨了多少,怎么把增长归因到你的改动?
- 同期还上线了什么?你怎么排除是它们的功劳?
- 基座微调还是从零训,为什么这么选?
- 训练数据的清洗流程和筛选规则,一条一条说。
- 清洗过程中有没有误删、错筛?怎么估这个误差?
结构与复杂度
- 完整讲一遍 Transformer 的架构和每个模块的作用。
- 给定头数 H、序列长度 N、嵌入维度 D、层数 L,推导整体计算复杂度。
- 这个复杂度里,哪一项在长序列下会先爆?爆了之后你怎么改?
- MHA、MQA、GQA 三者的 KV cache 大小差多少?各自牺牲了什么?
- 位置编码用绝对还是相对?如果要外推到 32K,你会动哪里?
- KV cache 为什么能省计算但不能省显存?显存占用公式写一下。
生成与损失
- 手写二分类交叉熵,并说明为什么不用 MSE。
- 讲生成式模型的基本原理。
- 手写 VAE 的 loss,并解释 KL 项在干什么。
- VAE 的 KL 项如果权重给太大,会出现什么现象?
训练工程
- 混合精度训练里,为什么需要 loss scaling?
- 梯度检查点省的是什么,代价是什么?
- ZeRO 的 1/2/3 阶段分别切了什么?
- 数据并行和模型并行,什么规模下必须换?
- 你训这个模型用了多少卡、多少 token、多久?算一下 MFU。
- 如果 loss 突然尖峰,你的排查顺序是什么?
手撕
给定一堆长宽高各不相同的积木,上层长宽必须严格小于下层,求最大堆叠高度,允许旋转。
《参考解析》
复杂度推导:先分清哪一项是二次的:单层注意力的计算量是 QK^T 加 AV 两个矩阵乘,各 2N²D,合计 4N²D;FFN 把维度从 D 升到 4D 再降回来,两个矩阵乘各 2N·D·4D = 8ND²,合计 16ND²;再加上 QKV 投影与输出投影约 8ND²(算上 gate 或三路 QKV 会更多)。所以单层大约是 4N²D + 24ND²,堆 L 层就是 L(4N²D + 24ND²)。分头不改变总量:头只是把 D 切成 H 份分别算,加回来仍是同一个数。真正要讲的是两项的相对大小——比较 4N²D 与 16ND²,临界点在 N = 4D。N=2048、D=4096 时 4D = 16384,远大于序列长度,所以 FFN 项约是注意力项的 8 倍,注意力根本不是瓶颈。面试官追问「长上下文为什么要改架构而不是加卡」,答案就在这里:N 一旦超过 4D,二次项开始主导,算力增长是平方级的,堆卡只能线性摊薄,必须从稀疏注意力、分块、线性近似或 KV 压缩这些方向改计算结构。
KV Cache 的账:自回归生成时,第 t 个 token 的 K、V 与前 t-1 个完全一样,缓存下来就不必每步重算整个前缀,这是它省计算的原因;但它同时把每个 token、每一层的 K 和 V 都留在显存里,所以不但不省显存,反而是长上下文显存的主要开销。公式是 2 × L × H_kv × d_head × seq_len × batch × bytes,前面的 2 是 K 和 V。以 L=80、D=8192、H=64、d_head=128 为例,MHA 每个 token 每层存 2×8192 个数,FP16 下约 32KB,80 层就是 2.6MB/token,32K 上下文单条序列就要 84GB;换成 8 个 KV 头的 GQA,每 token 降到约 327KB,32K 只要 10.7GB。MHA 效果最好但缓存最大;MQA 只保留一组 K/V,缓存最小、推理最快,代价是表达能力下降、训练更容易不稳定;GQA 取中间,把 H 个头分成 G 组共享 K/V,Llama 2 70B 用的就是 8 组,现在基本是默认选择。
位置编码与外推:绝对位置编码直接加到 embedding 上,超出训练长度就没有对应向量;相对位置编码(RoPE、ALiBi)把位置信息放进注意力打分里,外推性更好。要把 4K 的模型推到 32K,主流做法是 RoPE 的频域改造:位置插值把 32K 的位置线性压缩回训练区间,NTK-aware 缩放把 base θ 按 θ' = θ·(L'/L)^{d/(d-2)} 放大,YaRN 再叠加温度修正,让不同频率的维度分别处理;只改推理不改训练通常只能撑一段,真正稳定要加少量长文本继续预训练。另一条路是 ALiBi 这类给距离加线性惩罚的方案,外推更平滑但表达能力弱一些。回答时补一句工程取舍:外推能力、短文本性能、训练成本三者互相牵制,选方案要看业务里长文本占比。
交叉熵与 VAE:二分类交叉熵是 -(y·log p + (1-y)·log(1-p)),配 sigmoid 时梯度是 p - y,预测错得越离谱梯度越大,不会饱和;MSE 配 sigmoid 的梯度里带 σ'(z),预测非常错时反而趋近 0,学不动,而且 MSE 隐含高斯噪声假设,不适合 0/1 标签。VAE 的 loss 是重建项加 KL:L = E_q[log p(x|z)] - β·KL(q(z|x) || p(z)),KL 项把编码器输出的后验拉向标准正态先验,既起正则作用,也让潜空间连续、可采样。β 给太大就是 posterior collapse:后验几乎等于先验,latent 不携带输入信息,解码器索性忽略 z,生成结果变得模糊、多样但不对;β 太小则正则不足,潜空间结构差、容易过拟合。实际调参就是在重建质量与潜空间规整之间找平衡,也可以用 KL annealing 或 free bits 缓解坍缩。
训练工程四连:混合精度用 FP16 时,梯度常常小于最小正规数(约 6e-5)而下溢成 0,所以先把 loss 乘一个 scale S,反向得到放大后的梯度,更新前再除回去;dynamic loss scaling 会在检测到 inf/nan 时跳过这一步并把 S 减半,连续若干步正常后再翻倍。BF16 指数范围与 FP32 相同,一般不需要 scaling,但尾数少、精度低。梯度检查点不保存中间激活,只留层边界,反向时重新前向算一遍,显存从随层数线性增长降到可以用 √L 分段控制,代价是多一次前向,训练时间大约增加三成。ZeRO-1 只切优化器状态(Adam 的一阶、二阶矩和 FP32 主权重),ZeRO-2 再切梯度,ZeRO-3 连参数一起切,每卡显存约为原来的 1/N,但通信量逐级上升。数据并行适用于「单卡放得下模型、状态和激活」,放不下才上模型并行:张量并行放在 NVLink 域内(通常不超过 8 卡),流水并行跨节点,外面再套数据并行。
MFU 与 loss 尖峰:MFU 是实际达到的 FLOPs/s 除以 GPU 峰值。训练一个 token 的前向加反向约 6N_params FLOPs(前向 2、反向 4),总训练量约 6 × 参数量 × token 数,再除以「卡数 × 单卡峰值 × 实际耗时」就是 MFU。报数字时要把注意力那部分和重计算额外的前向算进去,稠密模型做到 35%–50% 属于正常,能报出这个区间比报一个漂亮数字更可信。loss 尖峰的排查顺序:先定位尖峰对应的 step 和 batch,看是不是某条超长或脏数据反复触发;再看梯度范数,确认裁剪有没有生效;接着查 loss scale 是否在尖峰前被抬得过高、有没有 inf/nan;然后看学习率与 warmup;都正常再怀疑模型侧,比如 MoE 路由塌缩、注意力数值溢出;处置手段是跳过该 batch、回滚到最近 checkpoint、降低学习率或延长 warmup,最后才怀疑硬件(ECC、NVLink),因为硬件问题通常可复现且伴随固定卡号。
手撕:三维积木堆叠:这是带旋转的盒子堆叠,本质是最长严格递增链。每个积木有 3 种朝向,把每种朝向的底面规范成「长 ≥ 宽」,于是 n 个积木变成 3n 个底面。按长降序、宽降序排序后,问题退化成在宽这一维上找最长严格递增子序列:dp[i] 表示以第 i 个底面为顶的最大高度,转移时枚举 j < i 且 length_j > length_i && width_j > width_i,取 dp[j] + height_i,复杂度 O(n²)。排序时同长要按宽降序,是为了避免长相等的两个底面互相转移;判断必须是严格大于,相等要判掉,否则同尺寸会自己叠自己。优化到 O(n log n):按长降序、宽降序排好后,用树状数组维护「宽小于当前宽」的 dp 最大值,查询前缀最大值再更新;如果维度再多一维(比如还要求重量递增),就用 CDQ 分治或二维线段树做到 O(n log² n)。写的时候先把三个朝向和边界(n=0、单块、全等)过一遍,再跑一个手算用例。