华为 AI 模型技术岗一二三面:后训练全流程、Agent 框架与科研追问
- 轮次
- 一二三面
- 时间
- 2026-11
- 来源
- 牛客网
《面试题目》
一面(侧重大模型训练、对齐、奖励优化等核心技术)
- 结合实习项目,详细沟通 LLM 后训练全流程的技术方案选型逻辑。
- 复盘训练落地中遇到的典型问题、踩坑经历以及对应的优化解决方案。
- 针对项目场景,探讨 OPD 优化方案的适配性、落地可行性与适用边界。
- 系统提问 SFT、PPO、GRPO 三种主流后训练范式的模型更新逻辑、核心差异和各自适用场景。
- 重点考察 Reward Hacking 问题:如何在训练过程中提前识别、精准定位,以及对应的规避、修复方案。
- 手撕:手动实现 Attention 计算,并按 Decoder-only 架构完成 Mask 矩阵的构造与逻辑说明。
二面(偏向 Agent 工程实践与主流框架认知)
- 深入询问项目中 Agent 模块的整体设计思路、技术选型依据、模块拆解逻辑。
- 结合行业主流方案,深度探讨 DeepSeek Harness 框架的设计理念、优缺点及工程落地价值。
- 手撕:中等难度滑动窗口类算法题(LeetCode Medium),侧重代码熟练度与边界条件处理。
三面(考察科研能力、项目沉淀与个人综合素质)
- 针对过往论文工作进行细节追问,考察研究思路、创新点、实验设计合理性。
- 复盘实习核心产出、个人贡献、项目难点。
- 自我复盘个人技术优势、现存短板与后续成长规划。
《参考解析》
后训练全流程的选型逻辑,按四段讲才站得住。 数据段:SFT 数据的来源、清洗、配比与难度分层,偏好数据(chosen/rejected)的构造方式;算法段:先 SFT 打底,再做偏好优化(DPO 类)或在线 RL(PPO、GRPO),是否加蒸馏、是否多阶段;训练段:并行策略、显存与吞吐的权衡、超参搜索的粒度;评测段:离线 benchmark、业务指标、人工评估三者的对应关系。选型的每一处都要能回答「为什么不选另一条路」,比如为什么用 DPO 不用 PPO(数据已离线、算力有限、稳定性优先),为什么先做蒸馏再做 RL(冷启动分布太偏)。只说「我们用了 SFT + RLHF」等于没答。
SFT、PPO、GRPO 的差别在「信号从哪来」。 SFT 是监督学习,最大化目标回答的似然,信号来自标注数据,稳定、便宜,但只能模仿、无法超越数据分布,也学不会「哪个更好」。PPO 是 on-policy 的 RL:用当前策略采样,由奖励模型打分,优势函数估计后做带 clip 的策略梯度更新,同时要维护 value model(critic),显存与工程复杂度都高,但能优化非可微的奖励。GRPO 去掉了 critic:对同一个 prompt 采样一组回答,用组内奖励的均值和标准差做归一化,得到相对优势,省掉 value model 的显存与训练,适合奖励可验证(数学、代码)或组内可比的任务;代价是组内方差大时优势估计噪声大,采样成本随组大小线性增长。更新逻辑上,PPO 是 ratio × advantage 加 clip,GRPO 是把 advantage 换成组内归一化值,其余思路一致。
OPD 这题的答法要先把缩写对齐。 不同团队对 OPD 的用法不一致,常见指 on-policy distillation(在线策略蒸馏):由学生模型自己采样轨迹,教师模型对这些轨迹打分或给分布,学生在此基础上学习。判断适配性看四点:教师信号是否可靠(教师比学生强多少、强在哪些维度)、采样成本(在线采样比离线蒸馏贵一个量级)、分布漂移(学生分布与教师训练分布差太远时蒸馏会失效)、以及目标是否一致(蒸馏追的是拟合教师,RL 追的是奖励最大化,两者混用时权重怎么配)。落到项目上要说清「我的场景里这四点分别是什么情况」,而不是泛泛说「OPD 效果好」。
Reward Hacking 的识别与修复。 典型表现:回答长度异常增长、堆砌格式套话、刷奖励模型偏好的关键词、在可验证任务上钻规则空子(测试用例写死、只输出答案不写过程)。识别靠三条线:奖励分数与人工评估的一致性监控(相关性下降就是信号)、输出分布的统计监控(长度、重复率、拒答率)、以及留出的对抗集。修复手段:奖励里加 KL 惩罚约束偏离参考模型的程度、用多个奖励模型集成降低单点偏好、把规则奖励与模型奖励混合、定期用新数据重训奖励模型、以及在 RL 前先做奖励模型的离线校验(用已知好坏样本测它的排序准确率)。
手写 Attention 与 Mask。 核心是 softmax(QKᵀ/√d_k + M)V,缩放因子 √d_k 防止点积随维度增大而方差爆炸;Decoder-only 的因果掩码是上三角为负无穷、下三角为 0 的矩阵,必须在 softmax 之前加上,让第 i 个位置看不到 j > i 的内容。工程细节:掩码用 -1e9 或 torch.finfo(dtype).min 而不是 -inf(避免整行全 -inf 产生 NaN),softmax 沿最后一维做,多头要把 d_model 拆成 num_heads × head_dim 再拼回。手写时先把形状写清楚(batch、heads、seq、head_dim),面试官通常会追问「为什么除以 √d_k」「mask 加在 softmax 前还是后」「KV cache 下 mask 怎么变」。
Agent 模块的设计与框架评价。 讲设计按「输入→规划→工具调用→状态管理→输出」拆:工具有哪些、怎么注册与鉴权、失败怎么重试、上下文怎么裁剪、多轮状态存在哪。评价 DeepSeek Harness 这类框架时,优点通常在于工具调用协议统一、上下文与压缩策略成熟、可观测性好;缺点在于抽象层厚、出问题难定位、与自有业务状态管理耦合成本高。回答时要落到「我们项目为什么用它、用的时候改了什么、哪一部分被它限制住了」。
滑动窗口题的模板。 右指针扩展、把新元素纳入窗口统计,当窗口不满足条件时左指针收缩直到重新合法,过程中更新答案。写的时候先明确三件事:窗口内维护什么状态(计数、和、字符最后位置)、收缩的触发条件、以及答案在扩张后还是收缩后更新。边界是空数组、单元素、全相同元素、以及需要收缩到窗口为空的情况。
三面的答法。 论文追问按「动机—方法—实验—结论」讲,重点在创新点到底新在哪、消融实验证明了哪一部分起作用、以及实验设计的对照是否公平;实习产出要量化(指标提升了多少、覆盖多少场景、上线后有没有回滚),个人贡献要与团队成果分开说。优势与短板那题,短板要给「正在怎么补」的具体动作,而不是「我太追求完美」这类套话。