华为大模型算法岗一面:从 loss 不收敛问到 MoE、LoRA 与 GRPO
- 轮次
- 一面
- 时间
- 2026-10
- 来源
- 牛客网
《面试题目》
- 简要介绍过往实习与项目经历。
- 在模型训练阶段,如果出现 loss 难以收敛,你会从哪些角度排查?
- Transformer 基础原理是什么,时间复杂度如何计算,有哪些常用优化思路?
- 除 MHA、MQA、GQA 之外,你还了解哪些注意力变体,DeepSeek、Qwen 采用的注意力方案有什么特点?
- FFN 模块内部结构是怎样的,有哪些可替代的设计?
- 说说常见归一化方式以及各自作用。
- MoE 的运行原理是什么,路由专家、共享专家的含义?
- 深度学习前向传播、反向传播以及参数更新的完整流程是怎样的?
- LoRA 低秩适配的底层原理是什么?
- PPO、GRPO、DPO 三者的核心逻辑以及差异对比?
- GRPO 为什么要去掉 Critic 网络?
- 大模型的数据清洗流程、数据集搭建思路?
- 手撕:三数之和;进阶变体:寻找和最接近 0 的三元组。
《参考解析》
loss 不收敛的排查顺序。 先分清是「loss 完全不动 / 变成 NaN」还是「能降但降不到目标」,两者查的方向不一样。完全不动或发散:学习率(太大炸、太小像卡住,先跑一组 1e-5/1e-4/1e-3 的短跑扫描)、初始化(深网里初始化方差不对会让激活直接饱和)、归一化位置与 eps、梯度(打印每层梯度范数,看是否有消失/爆炸,必要上梯度裁剪)、数值精度(fp16 溢出,换 bf16 或开 loss scaling)、loss 实现本身(mask 位置有没有算进 loss、label 有没有错位、padding 有没有屏蔽)。能降但降不下去:数据侧优先——标签噪声、类别不均衡、训练/验证分布不一致、数据量不够;再查容量(模型太小、序列太长被截断)与正则(weight decay、dropout 太大)。最后才怀疑优化器超参和 batch size(太小梯度噪声大,太大泛化变差)。工程上更靠工具:固定一个 batch 过拟合(能过拟合到接近 0 说明模型和梯度链路是通的),再用学习率扫描 + loss 曲线拐点判断。
Transformer 的复杂度与优化。 标准自注意力的计算是 softmax(QKᵀ/√d)·V,QKᵀ 是 n×d 乘 d×n,得到 n×n 的得分矩阵,复杂度 O(n²d);FFN 部分是 O(nd²)。所以长序列时注意力是瓶颈,d 大时 FFN 是瓶颈。优化分三条路:① 降计算/降显存——FlashAttention 不改数学结果,靠分块(tiling)把 n×n 矩阵留在 SRAM 里、避免写回 HBM,减少的是访存而不是 FLOPs,但实测能快几倍、显存从 O(n²) 降到 O(n);② 稀疏化——滑动窗口注意力、块稀疏、Longformer/BigBird 这类把 O(n²) 降到 O(n);③ 换结构——线性注意力(用核函数近似 softmax,O(nd²))、状态空间模型(Mamba)把长序列的推理做成常数状态。推理侧还有 KV cache(每步复用历史 K/V,把生成复杂度从重算整段变成只算新 token)、MQA/GQA 减少 KV 头数从而减小 cache 体积、PagedAttention 做显存分页管理。答题时把「训练时长序列」和「推理时逐 token 生成」分开讲,会显得清楚。
MHA 之外的注意力变体,以及 DeepSeek / Qwen 的选择。 MHA 每个头有独立的 Q/K/V;MQA 让所有头共享一份 K/V,KV cache 缩小到 1/h,代价是表达力下降;GQA 折中——把 h 个头分成 g 组,组内共享 K/V,g 常取 8 或 h/4,Llama 2/3、Qwen 系列大量用 GQA,因为它几乎不掉点又能把推理显存压下来。DeepSeek 走的是另一条路:MLA(Multi-head Latent Attention)把 K/V 先低秩压缩成一个 latent 向量再缓存,缓存的是压缩后的潜变量而不是完整 K/V,同时用「RoPE 解耦」把位置编码拆出来单独处理,因此在 KV cache 很小的同时保留甚至超过 MHA 的表达能力;DeepSeek-V3.2 之后又引入了稀疏注意力(DSA)按 token 选择性地算注意力,把长上下文成本再降一个量级。Qwen 系列主要是 GQA + QK-Norm(对 Q、K 做归一化,稳定长序列训练的数值),Qwen2 之后在注意力里加 bias、用 sliding window 与 full attention 混合的层配置控制长上下文成本。回答这类题的关键不是背名词,而是说清「省的是什么」:MQA/GQA 省 KV cache 显存和带宽,MLA 省得更多但要额外解压计算,稀疏注意力省的是计算量。
FFN 的结构与替代设计。 标准 Transformer 的 FFN 是两层线性加一个激活:FFN(x) = W₂·σ(W₁x + b₁) + b₂,中间维度通常是 4d(d 是模型维度),先升维再降维,作用是给每个 token 做逐位置的非线性变换、提供大部分参数量(LLM 里 FFN 常占 2/3 参数)。可以讲的替代:① 激活换 GLU 家族——SwiGLU / GeGLU 用门控(σ(W₁x) ⊙ (W₃x))替代单路激活,效果更好,但多一个矩阵,所以中间维度取 8d/3 保持参数量不变,Llama、Qwen、PaLM 都用这个;② 把 FFN 换成 MoE——每个 token 只激活少数专家,总参数量做大、单次计算量不变;③ 低秩/稀疏 FFN(把 W₁、W₂ 分解成低秩),或者用卷积/深度可分离结构替换;④ 共享 FFN(跨层共享一套权重,省参数但掉点)。被追问「为什么 FFN 中间要放大 4 倍」,可以从「升维后非线性变换在高维空间更容易线性可分、等价于给每个 token 一个小型的键值记忆」这个角度答。
归一化的几种做法。 BatchNorm 在一个 batch 的同一通道上统计均值方差,依赖 batch、训练推理行为不一致,NLP 里变长序列不好用;LayerNorm 对单个样本的所有特征做归一化,与 batch 无关,是 Transformer 的默认选择;RMSNorm 去掉减均值、只除以均方根,少一次统计、更快,且实测不掉点,Llama、Qwen、DeepSeek 都用它。位置上有 Pre-LN(归一化放在子层输入前,残差直通,训练稳定、可以不用 warmup 就训很深)与 Post-LN(原始论文做法,表达力略好但要 warmup、深层容易崩),现在的 LLM 基本都是 Pre-LN 或 Pre-RMSNorm。另外还有 QK-Norm(对注意力里的 Q、K 单独归一化,防止 logits 爆炸,长上下文训练更稳)和 DeepNorm(Post-LN 的改良,用缩放残差把深层训练稳住)。答题时把「归一化什么维度、统计量跟不跟 batch、放在残差的哪一侧」这三件事讲清,比列名字有用。
MoE 的原理、路由与共享专家。 MoE 把 FFN 拆成 N 个专家,每个 token 经一个轻量路由器(一个线性层 + softmax/top-k)算出对各专家的打分,只取 top-k(常见 k=1 或 2)的专家做计算,再按门控权重加权求和。这样总参数量可以是 dense 模型的数倍,而每个 token 的实际计算量只相当于 k 个专家。要讲清的配套概念:容量因子(capacity factor)决定每个专家最多接多少 token,超出的 token 被丢弃(token dropping)或走残差;负载均衡损失(aux loss)防止路由塌缩到少数专家——路由塌缩是 MoE 训练最常见的失败模式,表现为某几个专家吃满、其余饿死,梯度传不到;专家并行(expert parallelism)把不同专家放不同卡上,前向要 all-to-all 通信,这是 MoE 推理延迟的主要来源。共享专家(shared expert)是 DeepSeekMoE 的设计:留 1~2 个专家对所有 token 都激活,负责通用知识,其余细粒度专家走路由负责专有知识,好处是减少专家之间的知识冗余、让路由更专注。可以补一句 DeepSeek-V3 的做法:无辅助损失的负载均衡(用可学习的 bias 调节路由分数)配合序列级辅助损失,避免 aux loss 伤害模型效果。
前向、反向与参数更新的完整流程。 前向:输入 embedding → 每层做注意力(Q/K/V 投影、打分、softmax、加权求和、输出投影)与 FFN,每个子层加残差和归一化 → 最后一层输出过 lm_head 得到 logits → 与 label 算交叉熵。反向:从 loss 出发,沿计算图用链式法则逐层求梯度(矩阵乘的梯度是转置相乘,softmax 的梯度是 p - onehot,LayerNorm/RMSNorm 有自己的反向公式),得到每个参数的梯度并累加到 .grad。更新:优化器读梯度改参数——SGD 是 θ -= lr·g,Adam 维护一阶动量 m 和二阶动量 v(指数滑动平均),做偏差修正后 θ -= lr·m̂/(√v̂+ε);LLM 训练基本用 AdamW,把 weight decay 从梯度里解耦出来、只作用在非 bias/norm 参数上。工程上还要提:梯度累积(小显存模拟大 batch)、混合精度(bf16 前向反向 + fp32 主权重)、梯度裁剪(全局范数裁剪,防炸)、分布式(DDP 的 all-reduce 梯度、ZeRO/FSDP 分片优化器状态和参数)。这段能一口气讲完并点出「哪些地方会出数值问题」,基本就过关了。
LoRA 的低秩原理。 假设微调的权重增量 ΔW 是低秩的,于是不直接训练 W,而是学一个分解 ΔW = BA,其中 A ∈ R^{r×d_in}、B ∈ R^{d_out×r},r ≪ min(d_in, d_out)。前向变成 h = Wx + (α/r)·BAx,可训练参数从 d_in·d_out 降到 r(d_in+d_out)。初始化上 A 用高斯、B 全零,保证训练起点和原模型完全等价(BA = 0)。α/r 是缩放,调 r 时保持有效学习率不变。实践:r 常取 8~64,target_modules 至少覆盖 q_proj、v_proj,追效果再加 k_proj、o_proj 和 FFN 的 gate/up/down;LoRA 的学习率要比全量微调高一个量级。推理时可以把 α/r·BA 合并回 W(零额外延迟),也可以不合并、用 vLLM 的多 LoRA 同时挂多个 adapter。它和 Adapter、Prefix-Tuning 的区别在于「不改结构、不加推理延迟、可插拔」。
PPO、GRPO、DPO 的差异。 PPO 是 on-policy 的强化学习:当前策略采样回答,奖励模型给分,Critic 估计状态价值算出优势(GAE),再用带 clip 的重要性采样比做策略梯度,同时用 KL 惩罚约束不要偏离参考模型太远;它需要同时挂 actor、critic、reward、reference 四个模型,显存和调参成本都高,且 critic 本身要训练、会引入额外误差。GRPO 是 PPO 的简化:同一道题采样一组(group)回答,用组内奖励的均值和标准差把每个回答的奖励归一化成优势,直接省掉 critic——优势变成「这次回答比同组平均好多少」。DPO 则完全绕开强化学习:用偏好数据(chosen/rejected 成对),把「策略相对参考模型的 log 概率比」代入 Bradley-Terry 偏好模型,推出一个可以直接用交叉熵优化的损失,本质是在偏好对上做分类,离线、稳定、不需要采样和奖励模型。三者的定位可以一句话概括:PPO 是在线 RL(最灵活、最贵),GRPO 是去掉 critic 的在线 RL(便宜、适合可验证奖励的推理任务),DPO 是离线的偏好对齐(最便宜,但依赖偏好数据质量、容易过度优化)。
GRPO 去掉 Critic 的原因。 三个层面:① 统计层面——同一 prompt 采一组回答,组内均值就是一个无偏的 baseline,用它减掉后优势的方差已经可控,不需要再学一个价值函数来估 baseline;② 工程层面——省掉一个和策略同规模的 critic 模型,显存、训练时间、超参(critic 学习率、GAE λ)都省了,也不用担心 critic 和 actor 更新不同步导致的训练不稳;③ 语义层面——数学/代码这类任务奖励是规则可验证的(对/错、单测过没过),组内相对好坏比绝对价值更容易估。代价是:组内奖励如果全部相同(全对或全错),优势全为 0、这条样本就没有梯度,所以需要过滤全对/全错的组、或配合难度采样;另外组大小会放大采样成本。DeepSeek-R1 的训练报告里也提到,纯 RL 大规模训练时 GRPO 会出现「思考链越来越长」的退化,需要长度惩罚或难度筛选来控制。
数据清洗与数据集搭建。 清洗按四类动作讲:去重(精确哈希 + MinHash/SimHash 近似去重 + 语义去重,重复语料会让模型记忆化、也会放大评测泄漏)、质量过滤(长度、特殊符号与重复 n-gram 比例、困惑度、fastText 或教育价值打分分类器)、安全与隐私(有害内容过滤,手机号/身份证/邮箱正则加 NER 脱敏)、格式规整(HTML 标签、乱码、编码、模板残留)。配比上按通用 / 领域 / 指令分层,并对每层做消融看边际收益。构建数据集的原则是「先定评测再定数据」:先写 100~300 条覆盖真实场景的评测样本,再针对模型暴露的弱项定向补数据;SFT 数据要控制模板多样性(同一任务多种问法),并留完全同分布的 holdout 做回归;切分要按来源或时间去重后再切,防止同源样本泄漏。如果是做偏好数据(给 DPO/RLHF 用),重点变成「标注一致性」:写清标注规范、做双人标注测一致率、对分歧样本复核。
三数之和与「最接近 0 的三元组」。 三数之和(LeetCode 15):先排序,外层固定第一个数 i,内层用双指针 l=i+1、r=n-1 找 nums[l]+nums[r] == -nums[i];sum < target 就 l++,sum > target 就 r--。复杂度 O(n²),空间 O(1)(不算排序)。两个必须写的去重:外层跳过 nums[i] == nums[i-1],内层找到答案后 l++/r-- 时跳过相同值。变体「和最接近 0 的三元组」不要求等于 0,而是让 |sum| 最小:同样排序 + 双指针,每一步用 abs(sum) 更新最优解,然后按 sum 的正负移动指针(sum < 0 说明要变大,l++;sum > 0 说明要变小,r--)。这里没有「去重」要求,但要处理返回「三个数」还是「最小的绝对值和」两种问法——面试时先问清楚。值得注意的是:三数之和可以用排序 + 双指针,而「两数之和」在无序数组上要用哈希(因为双指针需要有序、且三数之和允许 O(n²)),这个对比常被追问。
项目叙述的收尾建议。 这类岗位的面试几乎都是「先讲项目、再逐层下钻」。准备项目时要能回答三个层次:做什么(业务目标与指标)、怎么做的(模型与数据链路、关键取舍)、哪里难(失败过的方案、怎么定位、最终收益多少)。华为这类大厂还会关心「你在这个项目里具体负责哪一块、有没有独立做决策」,被问到时不要含糊,把职责边界说清楚。