面灵AI→

字节跳动广告算法面经:归一化、AUC 与 DPO、KV Cache 十问

轮次
一面
时间
2026-10
来源
牛客网

《面试题目》

  1. 项目相关(深挖)
  2. 如果要做生成式召回,应该对模型结构怎么改?
  3. 常用的归一化方法有哪些?
  4. 从样本里随机去掉一些负样本,AUC 会怎么变?
  5. DPO 的全称是什么?公式是什么?它直接体现在训练的哪一步?
  6. MoE 的激活分布怎么看?怎么确定效果来自 MoE 本身?
  7. DPO 的公式再讲一遍(追问)。
  8. SGD 是什么?Adam 相对于 SGD 改进了什么?
  9. KV Cache 是怎么做的?大模型里还有哪些提高效率的办法?位置编码呢?
  10. 手撕:写出正余弦位置编码的公式与实现。

《参考解析》

生成式召回改结构

判别式召回是双塔算内积、走 ANN 检索;生成式召回把「用户 → 候选」变成序列生成,通常用一个 Decoder-only 模型以用户行为序列为前缀,自回归地吐出物品的语义 ID(RQ-VAE / 层级 K-means 量化出来的 token)。改结构主要落在三处:输入侧把用户历史压成固定长度的 token 序列并加时间衰减位置编码;输出侧把 item id 换成多层语义 ID,用层级 beam search 保证生成的是合法组合;训练目标从 pointwise 打分换成下一 token 的交叉熵,并用对比学习或曝光日志做负采样校正。工程上的难点是生成结果必须能落到真实 item 上,所以要有「语义 ID → item」的倒排和兜底。

AUC 去掉负样本会怎么变

先给机制:AUC 是比较「正样本得分 > 负样本得分」的概率,随机删负样本相当于改变负样本分布。若被删的负样本和保留的负样本得分分布相同,AUC 期望基本不变;但真实数据里通常是「容易负样本」(得分低、位置深)更容易被随机丢掉,剩下的负样本更难区分,AUC 会下降。反过来,如果按位置删掉曝光靠后的样本,可能把简单负例删光,AUC 同样掉。所以答案要带上「取决于删掉的是哪一类」,并补一句:线上更该看排序指标(NDCG、top-k 准确率)而不是只盯 AUC,因为 AUC 对样本分布敏感。

DPO

全称 Direct Preference Optimization。它把 RLHF 里「奖励模型 + PPO」两步合成一个监督损失,直接用偏好对 (x, y_w, y_l) 优化策略:损失是 -log σ(β · [log π(y_w|x)/π_ref(y_w|x) - log π(y_l|x)/π_ref(y_l|x)])。β 控制偏离参考模型的程度。它「直接体现」的地方在于不需要显式奖励模型,隐式奖励就是策略与参考策略的对数比之差。要能讲清两个坑:偏好数据质量决定上限;参考模型选错会把策略带偏;以及 DPO 容易在长回答上过拟合长度。

MoE 激活分布

看每个专家的 token 分配量(routing 命中数)和负载均衡损失。健康状态是各专家占比接近均匀、没有专家被「饿死」。判断效果是否来自 MoE,要做消融:同参数预算下与 dense 模型比、把 top-k 改成 top-1 比、关掉负载均衡损失看是否退化。只报「loss 降了」不能归因给 MoE,因为容量变大本身也会降 loss。

SGD 与 Adam

SGD 用一批样本的梯度均值按固定学习率更新,方向噪声大、对学习率敏感、在稀疏特征上更新不均。Adam 维护梯度的一阶矩和二阶矩估计(指数滑动平均),做偏差修正后按 m̂ / (√v̂ + ε) 更新,等于给每个参数自适应步长,并带动量平滑;对稀疏、尺度差异大的特征(embedding、推荐 ID 类特征)明显更稳。代价是显存多两倍、对 weight decay 要用 AdamW 解耦。

KV Cache 与位置编码

KV Cache 把每层已计算的 Key/Value 存下来,自回归解码第 t 个 token 时只算新 token 的 Q、K、V,再与缓存做 attention,把复杂度从 O(n²) 每步降到 O(n)。显存随「层数 × 头数 × 头维度 × 序列长 × 2」线性增长,所以有了 MQA / GQA(多个 query 头共享一组 KV)、PagedAttention(按页管理 KV 显存)、量化 KV、滑窗或稀疏注意力。

正余弦位置编码:PE(pos, 2i) = sin(pos / 10000^(2i/d)),PE(pos, 2i+1) = cos(pos / 10000^(2i/d))。手撕时注意用 math.pow(10000, 2i/d_model) 或 exp(-log(10000) * 2i / d) 保持数值稳定,按 pos 与 i 两层循环填充偶数位和奇数位。被追问就补:它的好处是任意位置都能算出编码、相对位移可由线性变换表达;缺点是对长于训练长度的外推能力有限,所以后面才有了 RoPE、ALiBi。