面灵AI→

字节跳动广告算法面经(同场第二份回忆):归一化、AUC 与 DPO

轮次
一面
时间
2026-10
来源
牛客网

《面试题目》

  1. 项目相关
  2. 如果要做生成式召回,应该对模型结构怎么改?
  3. 常用的归一化方法有哪些?
  4. 从样本里随机去掉一些负样本,AUC 会怎么变?
  5. DPO 的全称是什么?公式是什么?直接体现在哪里?
  6. MoE 激活的分布怎么看?怎么确定是 MoE 的效果?
  7. DPO 的公式再讲一遍。
  8. SGD 是什么?Adam 相对于 SGD 改进了什么?
  9. KV Cache 怎么做的?大模型里还有哪些提效办法?位置编码呢?
  10. 手撕:正余弦位置编码公式。

《参考解析》

归一化

BatchNorm 在 batch 维统计均值方差,训练时依赖 batch 内样本、推理时用滑动平均,适合 CNN;LayerNorm 在单个样本的特征维统计,和 batch 大小无关,是 Transformer 的默认选择;RMSNorm 去掉去均值只做缩放,省一次归约,大模型里常用;此外还有 GroupNorm(CNN 小 batch)、InstanceNorm(风格迁移)。推荐模型里还有一类「特征归一化」——把连续特征做 log、分桶或 z-score,和历史行为序列做 target attention 前的标准化,这和网络层的 Norm 不是一回事,回答时区分开会显得更懂业务。

负采样与 AUC

随机删负样本改变的是负样本分布。若删掉的负样本在得分分布上与保留的一致,AUC 期望不变;但实际日志里被删的往往是低分、深位置、易区分的负例,剩下的负例更难,AUC 会下降。补充一点:全库随机负采样会让任务变简单、AUC 虚高,上线后 CTR 掉;用曝光未点击做负例更接近真实分布。

DPO

L = -log σ(β · (log π(y_w|x) - log π_ref(y_w|x) - log π(y_l|x) + log π_ref(y_l|x)))。隐式奖励 r(x,y) = β log(π(y|x)/π_ref(y|x)),省掉显式奖励模型和 PPO 的采样循环。工程注意:偏好对要来自同一 prompt、同长度量级;β 太大保守、太小会奖励 hacking;参考模型冻结。

MoE 效果归因

看 expert 负载直方图与 routing 熵:全都压在一两个专家上说明路由塌缩,门控没学到东西。归因靠消融——同总算力下对比 dense、对比 top-1/top-2、去掉负载均衡辅助损失。另外要指出 MoE 的收益主要来自「参数量上去了但每 token 算力不变」,推理侧显存换吞吐。

SGD 与 Adam

SGD 用一阶梯度、固定学习率,简单但对尺度敏感、在稀疏特征上更新慢;Adam 用一阶矩做动量、二阶矩做逐参数缩放,加上偏差修正,收敛快、对超参不敏感,代价是显存与泛化上偶尔略差(所以常见 AdamW + warmup + cosine)。

KV Cache 与位置编码

KV Cache 缓存每层历史的 K、V,解码时只算新 token,attention 的重复计算从 O(n²) 降到每步 O(n),显存占用线性增长,于是有 GQA / MQA、PagedAttention、KV 量化、滑窗注意力。正余弦编码 PE(pos,2i)=sin(pos/10000^(2i/d))、PE(pos,2i+1)=cos(pos/10000^(2i/d)),外层遍历位置、内层遍历维度的一半,偶数位填 sin、奇数位填 cos;它能表达相对位置但外推弱,RoPE 用旋转矩阵把相对位置编码进 Q·K 的点积里,是目前主流。