华为 AI 模型技术岗三面连问:后训练全流程、Reward Hacking 与手写 Attention
- 轮次
- 一面 / 二面 / 三面
- 时间
- 2026-11
- 来源
- 牛客网
《面试题目》
一面:后训练、对齐与手写 Attention
- 结合你的实习项目,详细讲 LLM 后训练全流程的技术方案选型逻辑。
- 复盘训练落地中遇到的典型问题、踩坑经历以及对应的优化方案。
- 针对你的项目场景,OPD 优化方案的适配性、落地可行性与适用边界如何?
- SFT、PPO、GRPO 三种主流后训练范式的模型更新逻辑、核心差异与各自适用场景是什么?
- 如何在训练过程中提前识别、精准定位 Reward Hacking,并给出规避与修复方案?
- 手撕:手动实现 Attention 计算,并在 Decoder-only 架构下完成 Mask 矩阵的构造与逻辑说明。
二面:Agent 工程与框架认知
- 项目中 Agent 模块的整体设计思路、技术选型依据与模块拆解逻辑是什么?
- 结合行业主流方案,谈谈 Harness 这类 Agent 框架的设计理念、优缺点与工程落地价值。
- 手撕:一道中等难度的滑动窗口题(LeetCode Medium),考察代码熟练度与边界条件处理。
三面:科研、产出与综合素质
- 针对过往论文工作做细节追问:研究思路、创新点、实验设计是否合理。
- 复盘实习核心产出、个人贡献与项目难点。
- 复盘自己的技术优势、现存短板与后续成长规划。
《参考解析》
后训练全流程的选型逻辑:回答这类问题要按「目标 → 数据 → 阶段 → 代价」四层讲,而不是罗列名词。先说明业务目标(是提升指令遵循、领域知识、推理能力还是安全性),再讲数据构成与配比、清洗与去重、难度分层;然后讲阶段划分(继续预训练 / SFT / 偏好对齐 / 拒绝采样与蒸馏),每一阶段说明为什么需要它、上一阶段留下了什么问题;最后给取舍:算力预算、样本标注成本、在线推理约束(延迟、上下文长度、工具调用能力)。面试官真正想听的是「你做过一次权衡」,例如 SFT 先做到格式与指令稳定,再用偏好优化压住冗长与幻觉,而不是一上来就上 RL。
SFT、PPO、GRPO 的差异:SFT 是最大似然,直接在标注答案上拟合,更新稳定、成本低,但只能模仿、无法区分「可比昨天更好一点」的细微差别,且对未标注的失败模式没有信号。PPO 属于在线策略梯度,需要奖励模型给标量奖励,并用价值网络估计基线、用 KL 约束防止策略跑偏,效果好但工程重:四个模型同时在显存里、超参敏感、训练不稳定。GRPO 去掉价值网络,对同一 prompt 采样一组回答,用组内奖励的均值与标准差做归一化得到优势,显存与实现都轻,适合有可验证奖励(数学、代码单测)的场景;代价是组内奖励方差过小时优势趋零、对奖励设计更敏感。选型上:有标准答案、可自动判分 → GRPO 一类;需要人类偏好、答案开放 → PPO + 奖励模型;冷启动、格式对齐 → SFT。
Reward Hacking 的识别与修复:表现是奖励曲线持续上升而人工或留出集评测停滞甚至下降,输出开始出现模板化开头、无意义的长篇、迎合性措辞、把答案塞进代码注释等。识别上做三件事:一是保留一份与训练奖励模型不同源的人工评测集,按周期抽样打分;二是对奖励与真实指标的差值做监控,按 prompt 类型分桶看是哪一类在涨分;三是做对抗抽样,专门看模型「为了让奖励模型满意」而写的怪句子。修复手段包括:奖励模型加入长度、格式、事实一致性的辅助项,对可疑模式做惩罚;用多个奖励模型集成取最小值以抑制单点漏洞;在 KL 约束上收紧、混入 SFT 数据做正则;对可验证任务直接换成规则或单测判分。根因通常是奖励是真实目标的代理,代理一旦可被利用,优化压力就会去找它的漏洞。
手写 Attention 与 Mask:Attention 的计算是 softmax(QKᵀ/√d_k + M)V,其中 M 在 Decoder-only 的自注意力里是上三角为 -inf、其余为 0 的因果掩码,保证第 t 个位置只能看 1..t。实现要点:先算 scores = Q @ K.T / sqrt(d),再 scores = scores.masked_fill(mask, -inf),softmax 之后再与 V 相乘;mask 用 torch.triu(torch.ones(L, L), diagonal=1).bool() 生成,注意与 padding mask 合并时用逻辑或,且必须在 softmax 之前置 -inf 而不是置 0。多头的做法是把最后一维拆成 num_heads × head_dim,在 head 维度上做同样的掩码。面试里还要能说清 -inf 与 fp16 下溢出、以及为什么除以 √d_k(控制点积方差、避免 softmax 饱和)。
Agent 框架的设计取舍:判断一个 Agent 框架好不好,看四件事:工具描述与调用协议是否稳定(工具表在会话内不变,否则缓存失效)、上下文如何组织(系统提示、历史、检索结果的注入顺序与截断策略)、失败如何处理(重试、降级、人审介入点)、可观测性(每一步的输入输出、token 与耗时能否回放)。取舍点在于「框架替模型做多少决定」:做得多,行为可预测但覆盖不了长尾;做得少,灵活但调试成本高。工程落地价值要落到指标上——任务完成率、平均步数、单任务成本、人工接管率。
科研与项目追问怎么答:论文部分按「问题定义 → 与已有工作的差别 → 实验设计为什么能证明差别 → 消融说明了什么」讲,主动交代局限比被追问出来更好。实习产出要区分「我做的」与「团队做的」,给可核对的数字(错误率、时延、成本)并说明口径与样本量。短板那一题不要答「我太追求完美」,给一个具体的、正在改进的工程习惯,以及已经采取的动作和当前进展。