字节推荐大模型算法岗一二面:归一化、MoE 与 Attention 细节
- 轮次
- 一二面
- 时间
- 2026-11
- 来源
- 牛客网
《面试题目》
- 简要介绍一下你的论文项目。
- BatchNorm 和 LayerNorm 有哪些区别?
- Transformer 里改用 BatchNorm,为什么训练和推理结果会不一致?
- Softmax 发生数值溢出,该如何处理?
- Pre-Norm 和 Post-Norm 有什么区别?
- Attention 为什么要除以 √d_k?不除会出现什么现象,对 Softmax 输出和梯度有什么影响?
- 手撕算法:最长有效括号。
- MoE 和多头注意力(Multi-Head Attention)的区别是什么?
- Sparse MoE 的「稀疏」体现在什么地方?
- Router、Top-K Expert 的工作流程是怎样的?
- 什么是 Expert Collapse(专家坍缩)?
- MoE 为什么要做专家负载均衡?
- 给 Attention 加上 Gate 机制,和 MoE 还有什么本质差别?
- 模型效果提升时,如何排除参数量变大等无关变量的影响?
- 消融实验里,怎么证明性能提升来自新增模块?
- 手撕算法:编辑距离。
《参考解析》
BN 与 LN:BatchNorm 在 batch 维度上统计均值方差,依赖同批样本,训练用批统计、推理用滑动平均,批大小小的时候统计不稳,也不适合变长序列;LayerNorm 在单个样本的特征维度上统计,与批无关,训练推理一致,因此 Transformer 这类变长序列默认用 LN。把 BN 搬进 Transformer 会不一致的根因就是训练/推理统计口径不同,加上 padding 位置会把无效 token 的统计混进去。
Softmax 数值溢出:实现上先减去输入的最大值(x - max(x))再取指数,保证最大项为 1、不会溢出;分母求和后再取对数时用 log-sum-exp 技巧。混合精度下还要注意上溢用 fp32 计算 softmax、或对 logits 做 clamp。
Pre-Norm 与 Post-Norm:Post-Norm 是 LN(x + Sublayer(x)),原始 Transformer 的做法,梯度路径上每层都要过 LN,深层训练需要 warmup、容易不稳;Pre-Norm 是 x + Sublayer(LN(x)),残差是恒等通路,梯度能直通底层,深层更稳、可以不加 warmup,代价是表达能力和最终效果有时略逊,常用在最后加一层 LN 补偿。
为什么要除 √d_k:点积的方差随维度 d_k 线性增长,不缩放会让 logits 数值很大,softmax 变得接近 one-hot,输出的分布熵极低、梯度趋近于 0,训练几乎不动。除以 √d_k 把方差拉回 1 量级,保持 softmax 在梯度敏感区间。
MoE 与多头注意力:多头注意力是所有头对同一批 token 都算一遍再拼接,参数量固定、每个位置都用全部参数;MoE 是在 FFN 层放多个专家,由 Router 对每个 token 只激活少数几个专家,用条件计算换容量——总参数量可以很大,但单次前向的算力只按激活的专家算。稀疏体现在每个 token 只走 Top-K(常为 1~2)个专家,其余专家不参与该 token 的计算;Router 用一个小线性层给每个专家打分,取 Top-K 做加权求和,训练时还要处理负载均衡与路由的不可导问题(如 gumbel 扰动、辅助损失)。
Expert Collapse 与负载均衡:路由会自我强化——被选得多的专家梯度多、学得更好、更被选中,最后少数专家吃掉全部 token、其余专家废弃,这就是专家坍缩。所以要加辅助负载均衡损失(如 Switch Transformer 的 importance/load loss)、专家容量上限与 token 丢弃、或 router z-loss 控制 logits 幅度。
Attention 加 Gate 与 MoE 的差别:给注意力加门控只是对已有的头做加权(同一个参数集合内的软选择),计算量不变;MoE 是参数集合本身按 token 分流,不同 token 走不同的子网络,容量与算力解耦,并且需要路由、负载均衡、通信(专家并行)一整套机制。
实验方法论:排除参数量影响就做等参数对照——把小模型加宽到与改进模型同参数量再比,或者反过来把改进模型的参数量降到与基线一致;同时固定训练 token 数、学习率调度与数据,报多 seed 的均值方差。消融要一次只去掉一个模块,并给出「去掉后掉多少、加上后回到多少」的对照表;如果模块带来了额外参数,还要再补一个同参数量的对照组,才能说提升来自结构而不是容量。