华为大模型算法岗一面(同场另一份记录):注意力变体、专家路由与三道对齐算法的取舍
- 轮次
- 一面
- 时间
- 2026-10
- 来源
- 牛客网
《面试题目》
- 简要介绍过往实习与项目经历。
- 在模型训练阶段,如果出现 loss 难以收敛,你会从哪些角度排查?
- Transformer 基础原理是什么,时间复杂度如何计算,有哪些常用优化思路?
- 除 MHA、MQA、GQA 之外,你还了解哪些注意力变体,DeepSeek、Qwen 采用的注意力方案有什么特点?
- FFN 模块内部结构是怎样的,有哪些可替代的设计?
- 说说常见归一化方式以及各自作用。
- MoE 的运行原理是什么,路由专家、共享专家的含义?
- 深度学习前向传播、反向传播以及参数更新的完整流程是怎样的?
- LoRA 低秩适配的底层原理是什么?
- PPO、GRPO、DPO 三者的核心逻辑以及差异对比?
- GRPO 为什么要去掉 Critic 网络?
- 大模型的数据清洗流程、数据集搭建思路?
- 手撕:三数之和;进阶变体:寻找和最接近 0 的三元组。
《参考解析》
先把「不收敛」拆成可观测的信号。 我习惯先看三条曲线:train loss、grad norm、学习率。train loss 平在初始值附近且 grad norm 极小,通常是初始化/归一化/激活饱和(换 Pre-LN、检查 eps、看激活的直方图是不是全 0 或全饱和);loss 抖动剧烈或变 NaN,多半是学习率太大或 fp16 溢出(先换 bf16、开梯度裁剪、把 lr 降一个量级);loss 能降但验证集不降,问题在数据与正则,不在优化器。数据链路的检查要具体到张量:input_ids 的 shape 是不是 [B, L]、labels 是否做了右移(因果 LM 的 shift 常被写错一位)、padding 位置的 label 是否置成 -100(不置就会把 pad 当目标学)、attention mask 与 position_ids 在 packing 之后有没有对齐。还有一个便宜的自检:拿 8 条样本固定 batch 反复训,能过拟合到接近 0 说明前向反向和 loss 都是通的,问题在数据规模或泛化;过拟合不了就是实现有 bug。
Transformer 复杂度用形状推,别背。 记 B batch、n 序列长、d 模型维度、h 头数、d_h = d/h。QKV 投影是 (n,d)·(d,d),O(nd²);打分 QKᵀ 是 (n,d_h)·(d_h,n),每个头 O(n²d_h),h 个头合计 O(n²d);softmax 与乘 V 也是 O(n²d);输出投影 O(nd²);FFN 两个矩阵 O(nd·d_ff),d_ff=4d 时 O(nd²)。所以整层是 O(n²d + nd²),n 大时注意力主导、d 大时 FFN 主导。优化对应这两个方向:长上下文用 FlashAttention(分块计算、不落 n×n 矩阵到 HBM,省显存和带宽,数值结果等价)、稀疏/滑窗注意力、线性注意力或 SSM;宽模型用 GQA/MLA 压 KV cache、MoE 把参数和计算解耦。
注意力变体:从张量形状看差别。 MHA 的 K/V 是 [B, h, n, d_h];MQA 让所有头共享一份 K/V,形状 [B, 1, n, d_h],KV cache 缩到 1/h;GQA 把 h 个头分成 g 组共享,形状 [B, g, n, d_h],g 常取 8,Qwen、Llama 都用它——推理时 KV cache 显存和 attention 的带宽都按 g/h 降,质量损失很小。MLA(DeepSeek-V2 起)更进一步:不缓存完整 K/V,而是缓存一个低秩潜向量 c_t(维度 d_c 远小于 2·h·d_h),需要时用上投影矩阵还原 K/V;为了不让 RoPE 的位置信息在低秩压缩里被破坏,把带位置的维度单独拆出来(decoupled RoPE),一部分走压缩、一部分直接算。结果是 KV cache 比 MHA 小一个量级,长上下文推理成本大幅下降,代价是多了一次上投影的计算。DeepSeek-V3.2 又加了稀疏注意力(DSA),按索引只对部分历史 token 算注意力,把 O(n²) 进一步压成近似 O(n·k)。Qwen 侧的工程点主要是 QK-Norm:对每个头的 Q、K 做 RMSNorm 再算点积,防止长序列下 logits 量级爆炸导致 softmax 饱和、训练不稳。
FFN 与门控激活的维度账。 标准 FFN:h = W₂·act(W₁x),W₁ ∈ R^{d×d_ff}、W₂ ∈ R^{d_ff×d},d_ff = 4d,参数量 8d²。SwiGLU 是 h = W₂·(Swish(W₁x) ⊙ W₃x),多了一个 W₃,为了让参数量与 4d 版持平,d_ff 取 8d/3 ≈ 2.67d,Llama 就是这么配的。被问「为什么门控更好」,可以从「门控相当于给每个通道一个数据相关的缩放,比固定非线性多了一条乘性通路,梯度也更好传」解释,同时承认这是经验结论、论文里靠消融验证。替代设计还包括:MoE-FFN(把 FFN 换成 N 个专家、每 token 走 top-k)、低秩 FFN(把 W₁ 分解成两个小矩阵)、跨层共享 FFN(省参数但掉点)、以及把 FFN 换成卷积/状态空间模块的混合架构。
归一化:统计维度、位置、以及为什么 RMSNorm 流行。 LayerNorm 对每个 token 的 d 维特征算均值方差再归一化,与 batch 无关,天然适配变长序列;RMSNorm 只算 x / sqrt(mean(x²) + ε) · γ,省掉减均值和对应的反向计算,实测质量不掉,所以 Llama/Qwen/DeepSeek 全用它。位置决定训练稳定性:Post-LN(子层输出后归一化)是原始 Transformer 的做法,残差主干上的值会随层数累积,深层必须 warmup 否则梯度爆炸;Pre-LN(子层输入前归一化)让残差通路保持恒等映射,可以直接训很深,但表达力略降、且最后一层要做 final norm。除此之外还有 QK-Norm(注意力内)、DeepNorm(Post-LN 改良,残差按 α 缩放)、以及视觉里的 GroupNorm。答题时顺手说一句 eps 的作用(避免除零、也决定小数值区的行为),能体现真跑过。
MoE:路由、容量、负载均衡与共享专家。 实现上路由器就是一个 d → N 的线性层,logits = x·W_r,取 top-k(k=1 或 2)的索引与权重,权重通常再 softmax 归一化;然后对每个被选中的专家算 FFN,按权重加权求和。三个工程概念必答:① 容量因子——每个专家最多接收 capacity = ceil(k·T/N·factor) 个 token,超了就丢弃(token dropping)或直接走残差,factor 太小丢信息、太大浪费显存;② 负载均衡——不加约束时路由会塌缩到少数专家(rich-get-richer),标准做法是加辅助损失 L_aux = N·Σ(f_i·P_i)(f 是实际分配比例、P 是路由概率均值),DeepSeek-V3 改成「无辅助损失的 bias 调节」避免 aux loss 干扰主目标;③ 并行——专家放不同卡(expert parallel),前向要做 all-to-all 把 token 发到对应专家再收回来,通信量随 k 和专家数增长,是 MoE 推理延迟的主因。共享专家(DeepSeekMoE)是留 1~2 个对所有 token 都激活的专家承载通用知识,其余细粒度专家走路由承载领域知识,好处是把「通用 vs 专用」拆开、减少冗余、让路由更专注。
前向、反向、更新的实现视角。 前向是「算子序列 + 保存中间激活」:embedding → 每层 attention(投影、打分、softmax、加权、输出投影)+ 残差 + norm → FFN → 最终 norm → lm_head → logits,交叉熵时对 logits 做 log-softmax 以保证数值稳定(别先 softmax 再取 log)。反向是按计算图逆序做链式法则,框架自动微分帮你做完,但要知道每个算子的反向代价大概等于前向的 2 倍、激活值是显存大头(所以有 activation checkpointing:丢掉部分中间激活、反向时重算,用时间换显存)。更新用 AdamW:m = β₁m + (1-β₁)g、v = β₂v + (1-β₂)g²,偏差修正后 θ -= lr·(m̂/(√v̂+ε) + wd·θ);注意 weight decay 只加在非 bias、非 norm 的参数上。再点一句分布式:DDP 每步 all-reduce 梯度、ZeRO/FSDP 把优化器状态、梯度、参数分片,MoE 还要叠加专家并行与 all-to-all。
LoRA 的三个常被追问的点。 第一,为什么低秩成立:微调的增量被认为落在低维子空间里(论文用随机投影实验支撑),所以 ΔW = BA 足够表达;第二,初始化和缩放:A 高斯、B 零,保证起点等价原模型,α/r 用来在改 r 时保持有效步长;第三,合并与否:W' = W + (α/r)BA 合并后推理零延迟,适合单任务上线;不合并适合多任务热插拔(vLLM 的 multi-LoRA),代价是每次前向多一次低秩乘。和全参微调比,LoRA 显存省在「不用存全量梯度和优化器状态」,但激活显存照旧,所以长上下文微调还要配合梯度检查点与序列并行。常见的失败是「只加在 q/v 上效果不够」,这时扩到全部线性层(含 FFN)通常有明显提升,代价是参数量上升。
PPO / GRPO / DPO 的损失形态对比。 PPO 的目标是 E[min(r_t·Â, clip(r_t,1-ε,1+ε)·Â)] - β·KL(π‖π_ref),r_t = π(a|s)/π_old(a|s), 由 critic + GAE 估出来;它是在线算法,每批数据更新几轮后就要重新采样。GRPO 把  换成组内标准化:对同一 prompt 采 G 个回答得奖励 r_1..r_G,Â_i = (r_i - mean(r))/std(r),于是不再需要 value network,损失形态仍是 PPO 的 clip 目标加 KL。DPO 则从偏好模型反推:Bradley-Terry 下 P(y_w ≻ y_l) = σ(β·log(π(y_w)/π_ref(y_w)) - β·log(π(y_l)/π_ref(y_l))),对偏好对做负对数似然,损失是 -log σ(β·(Δ_w - Δ_l));它离线、只需一次前向、不需要 reward model 和采样,但对偏好数据分布很敏感,容易把模型推离参考分布太远(所以有 IPO、KTO、ORPO 这些改良)。
GRPO 去掉 critic 的得与失。 得:省一个与策略同规模的模型(显存、算力、通信都省),去掉 critic 的拟合误差与超参,训练链路短、更容易复现;组内均值本身就是个方差可控的 baseline(REINFORCE with baseline 的标准做法),在「奖励可验证、同题可比」的场景(数学、代码)尤其合适。失:组内奖励若全相同(全对/全错)优势为 0、样本白采,需要难度筛选或过滤;组大小的采样成本是 critic 方案的 G 倍;对开放式生成(奖励连续、方差大)时,组内标准化不如学出来的 value 稳。这也解释了为什么 GRPO 先在推理类任务上跑通、再往通用对齐扩。
数据清洗按「流水线」讲。 我一般分五段:抽取(HTML→正文,去导航/广告/模板)、语言识别与编码统一、去重(文档级精确哈希 → 段落级 MinHash/SimHash → 语义去重,重复率是必报的指标)、质量过滤(规则:长度、符号比、重复 n-gram、停用词比例;模型:fastText 或小分类器打教育价值分;再加困惑度筛掉乱码)、安全与隐私(有害内容分类器 + 正则/NER 脱敏)。数据集搭建则按用途分:预训练看规模与多样性(配比按领域分层,做小规模消融定比例)、SFT 看指令覆盖与模板多样性(同一意图多种问法,避免模型只认模板)、偏好数据看标注一致性(写规范、双标测一致率、分歧复核)。评测集要单独切、按来源/时间去重后再切,防止泄漏——这一条被追问的概率很高。
手撕:三数之和的边界写法。 排序后外层 i 从 0 到 n-3,if i>0 and nums[i]==nums[i-1]: continue 去重;内层 l=i+1, r=n-1,s = nums[i]+nums[l]+nums[r],s==0 记录后 l+=1; r-=1 并各自跳过重复值,s<0 则 l+=1,s>0 则 r-=1。剪枝可以加:nums[i] > 0 直接 break(排序后最小的都大于 0,后面不可能凑出 0)。最接近 0 的变体:用 best 记录当前最小 abs(s) 及对应三元组,每一步都更新,然后仍按 s<0 加左指针、s>0 减右指针;注意这里不需要去重、但要处理「多个解绝对值相同」时返回任意一个还是全部(先问清)。如果题目改成「三数之和最接近 target」,把 0 换成 target 即可,逻辑不变。面试官常追问「为什么双指针不会漏解」:固定 i 后,l 增会让和变大、r 减会让和变小,两个方向单调,所以每个候选区间只需扫一遍,O(n²) 覆盖所有 i 的组合。
关于「同一天两份记录」的提示。 这篇与同批另一份华为大模型算法岗一面的题目完全一致,说明这是同一场面试被两位同学分别记录、发在了牛客上;对照两份记录可以确认题面没有记错,重点看解析里不同的切入角度即可。