面灵AI→

虾皮大模型后训练日常实习一二面面经:强化学习算法与 LoRA 原理

轮次
一面+二面
时间
2026-10
来源
牛客网

《面试题目》

一面

  1. 介绍自己的 SWE Agent 项目,说明项目开展的初衷。
  2. 两张训练卡是否能够正常放下 7B 模型?请说明具体依据。
  3. 项目中选择 Qwen2.5 作为基座的原因是什么?为什么不选用更新的模型版本?
  4. 自研 SWE Agent 一共集成了多少工具能力?工具设计的思路是什么?
  5. 32K 上下文长度是否能够满足 SWE Agent 的任务需求?存在哪些局限?
  6. 训练过程中选择 NGRPO 算法的原因是什么?
  7. 训练过程中没有使用 DAPO 过滤失败样本组的考量是什么?
  8. 是否针对 NGRPO 做过消融实验?算法能否有效提升难题通过率?
  9. 大模型后训练全过程需要重点关注哪些核心指标?
  10. 简述梯度范数(Grad Norm)的概念和训练意义。
  11. RL 训练出现 Reward 长期不上涨,应该如何排查定位问题?
  12. 训练中 KL 散度崩盘代表模型出现了什么问题?
  13. 详细说明 GRPO 算法存在哪些固有缺点。

二面

  1. 自我介绍,重点介绍后训练相关的项目经历。
  2. 项目训练不采用 VERL 框架的原因与取舍逻辑是什么?
  3. Agent 强化学习场景下,如何设计与实现信用分配机制?
  4. 项目所用数据集的来源、构成与处理流程是什么?
  5. OPSD 训练策略选择 Forward KL Loss 的底层逻辑是什么?
  6. 详细阐述 LoRA 微调的基本原理。

《参考解析》

一面 · 硬件账本:从卡型问到 KV cache

这道题最容易答成是非题,因为题面少了最关键的变量。稳妥的回应是先要信息再下结论:卡是什么型号、单卡多大显存、要不要同时跑 rollout。拿到卡型后按四项列账。第一项是权重,bf16 下 7B 约 14GB。第二项是训练状态,全参微调要额外准备 fp32 主权重与 Adam 的一二阶矩,加上梯度总量轻松超过 100GB,只有两张 80GB 的卡靠 ZeRO-2/3 或 FSDP 切分状态才有机会。第三项是可选方案,改用 LoRA 后主干冻结、可训练参数只占千分之一到百分之一,优化器状态与梯度随之缩到几十几百 MB,再开梯度检查点压住激活,两张 24GB 卡就够用;换成 QLoRA 把主干量化到 4bit,权重直接降到 4GB 上下。第四项是 RL 专属开销,也最容易被漏掉:KL 惩罚需要一份参考策略,要么另存权重、要么用同一主干加适配器省下来;rollout 要给推理引擎留 KV cache,7B 在 bf16 下每 token 是几十 KB 量级,32K 上下文单条序列就接近 2GB。这道题想看的是「你会不会算」:卡型决定上限,全参还是 LoRA 决定中间那块怎么分,KV cache 决定还剩多少余量。

一面 · 基座选型:为什么不追新版本

只答「效果好」等于没答,可以按能力、生态、可复现性三层展开。能力层:中英双语与代码能力对 SWE 类任务够用,尺寸档位齐全,方便按显存选。生态层:tokenizer 与对话模板稳定,主流推理引擎适配成熟,后训练配方经过验证,出问题容易找到对照。可复现层:项目周期内基座不变更,超参、数据配比与评测基线才有意义。「为什么不用更新的版本」是同一问题的反面,答案不是新模型不好,而是三个成本:推理与训练框架的适配通常滞后,新结构会引入不确定性;换基座意味着此前调好的超参与数据全部作废、要重跑基线和消融;小卡规模跑 RL 本身已经很紧张,效果增量未必抵得过调试开销。收尾补一句「真要换,先在评测集上做一次同预算对照再决定」,就把保守讲成了流程。

一面 · 工具与上下文:SWE Agent 的两条边

工具那道题先给数量再给逻辑。常见的 SWE Agent 会集成五到十个工具:读文件(支持按行号区间读)、列目录、全仓或符号检索、精确字符串替换式的编辑、执行编译或测试、终止并提交。设计思路归成四条:读写分离,写操作坚持精确替换而不是整文件覆盖,把不可逆的破坏性降到最低;每个工具职责单一、参数少而明确,模型填错的概率才低;输出必须有预算,超长结果要截断并提示如何继续取回;所有动作可计数、可重放,方便统计调用轮数与重复调用率。32K 够不够要分场景:中等规模、一到几个文件的 bug 修复通常能覆盖,但真实的仓库上下文——目录结构、issue 描述、若干源文件、几十轮工具观察,再加动辄上千行的测试日志——几轮下来就会溢出,表现为模型重复读取同一个文件、重试已经失败过的动作,轮数上升而成功率不涨;即使没截断,长上下文里中段信息的利用率也会下降。缓解手段有四条:先检索定位再读片段;对历史观察做摘要;把中间结论写进计划文件当作外部记忆;给工具设输出上限与总调用预算。

一面 · GRPO 的短板,与 NGRPO、DAPO 三连问

面试官用三问(为什么选 NGRPO、为什么不用 DAPO 过滤、GRPO 有什么固有缺点)绕的其实是同一个核心:你清不清楚 GRPO 的短板在哪、自己的改动针对哪一条。机制部分:对同一道题采样一组回答,以组内平均奖励为基线,优势取 (r_i − mean) / std 并广播到该条回答的每个 token,目标是裁剪的重要性比乘优势再减去相对参考模型的 KL 惩罚;省掉 critic 等于省下一份与策略同量级的模型与配套显存,这是它流行的根本原因。固有缺点按四维列:信号维度,组内奖励完全一致时优势为零、这一组不产生梯度,采样成本白费,而除以组内标准差在成功样本极少时会把噪声放大;粒度维度,一条序列共用同一个优势,内部哪些 token 关键毫无区分,长轨迹的信用分配很粗,还容易带来长度偏置;成本维度,每步都要重新生成整组轨迹,样本利用率低;稳定性维度,裁剪范围、KL 系数、group size、学习率彼此耦合,且所有 prompt 共用一个系数。

DAPO 的动态采样过滤处理的正是「全对全错组没有梯度」这一条,做法是把准确率为 0 或 1 的组丢掉。不采用它的考量要说具体:被丢掉的样本已经付过 rollout 代价,算力是净损失;过滤比例随训练进程漂移,后期大量题目被答对时吞吐明显下降;训练分布被推向中等难度、简单题不再出现,会造成能力回退。选择不过滤,就必须另找手段处理零梯度——换掉依赖组内标准差的归一化、引入 token 级或步骤级信号、对难度加权——否则听起来就是没想清楚。至于 NGRPO,面试官想听的是它在 GRPO 的哪一处动了手、解决了哪个问题、代价是什么,答这类变体的通用顺序是动机、改动、证据。消融实验要讲清口径:固定数据、步数与采样预算,只改一处,按难度分层看难题通过率与 pass@k,因为平均值涨而难题不动是最常见的假提升。

一面 · 训练监控与三类故障:Reward、KL、梯度范数

「后训练要关注哪些指标」建议分三层回答。过程健康度:按难度分层的奖励与准确率、KL 散度、输出熵、回答长度、裁剪触发比例、重要性比分布、梯度范数、吞吐与显存。结果指标:pass@1 与 pass@k、任务成功率、工具调用成功率与平均轮数、token 成本与延迟、格式合法率。副作用与泛化:通用能力回归集上的掉点、是否存在靠格式或重复刷分的痕迹、训练与线上分布是否偏离。判断原则补一句:过程指标是仪表盘不是目标,KL 与熵只能解释现象,结论要落在任务指标和泛化上。

Reward 长期不涨,按四层顺序排查效率最高。数据与任务层先确认难度分布,绝大多数样本全对或全错时优势恒为零、改超参没用,再查 prompt 歧义与验证器可靠性。奖励层抽一批 rollout 人工核对分数与真实对错是否一致、有没有被 hack 的路径。优化层看优势是否为零、梯度范数是否异常小、KL 是否贴零、熵是否塌缩、重要性比是否冲出裁剪区间、数据是否严重 off-policy。系统层看采样温度与 top-p 是否压死探索、同一 prompt 的多条回答是否几乎一样、多卡汇总奖励有没有错位。最后一步最关键:一次只改一个变量做对照。

KL 崩盘要分方向答。KL 趋近零是「学不动」:策略被按在参考模型附近,通常是 KL 系数过大或学习率太小,表现是奖励曲线拉成直线。KL 迅速抬升才是崩盘:策略明显偏离参考分布,往往伴随熵塌缩、长度暴涨、重复率上升、格式崩坏,本质是追着奖励跑而丢掉原有语言分布,严重时就是 reward hacking;诱因是 KL 系数过小或未启用、奖励尺度没归一化、优势方差过大、数据 off-policy 太旧导致重要性比失控。处理是调系数、收紧裁剪、降学习率、加熵正则或长度惩罚,并检查奖励模型有没有被利用。

梯度范数是整个可训练参数(或指定某一层)梯度向量的 L2 范数:它是更新幅度的代理量;是稳定性仪表,能提前发现梯度消失或爆炸、优势被异常放大;也是梯度裁剪的输入,按全局范数缩放正是为了挡住个别 batch 把策略推飞。放进 RL 还有两点补充:奖励尺度、KL 项、重要性比都会改变它的量级,换奖励函数后不同实验的范数不可直接比较;LoRA 只更新低秩分支,天然尺度远小于全参,裁剪阈值必须重设,照搬全参等于没裁剪。

二面 · 训练框架、信用分配与数据工程

框架那道题考的是「你会为了什么放弃成熟工具」。VERL 是当前主流的 RL 后训练框架,把 actor、rollout、critic 拆开,支持 FSDP 与 Megatron 两套并行,可接 vLLM 或 SGLang。不用它的合理理由集中在规模与形态上:卡数少时 Ray 与多进程编排的固定开销和调试成本超过收益;Agent 场景需要多轮工具调用、环境反馈和动态终止,框架的 rollout 抽象要改得相当深;框架与 torch、vllm、ray 的版本耦合紧,快速验证算法变体时容易被依赖卡住。但自研的代价要自己先说:并行策略、容错、指标与日志都得自己写,规模一上去就得迁回。把判据收成「卡数、数据规模、算法迭代频率」三个变量,回答就从「哪个框架好」升到「什么条件下选什么」。

信用分配是这一面最能拉开差距的一题。矛盾先讲明白:整条轨迹几十步工具调用,最后只回一个成功或失败的结果奖励,哪一步该领功?机制按代价从低到高排四档。最便宜的是结果奖励加折扣回传,实现简单但信息损失大。性价比最高的是把环境天然可验证的信号当步骤奖励:编译是否通过、测试是否从失败变通过、调用是否合法、有没有重复无效调用或超预算——免费且不易被刷。再往上是过程奖励模型给中间步骤打分,区分度高,但必须防被利用,评分标准要尽量可验证并配人工抽检。最正统也最贵的是训练 critic 估计中间状态价值做逐步归因,长轨迹上价值难估准,显存与调参成本都高。取舍原则:中间奖励越多越容易引入偏差与 hack,宁可少而准,能用环境验证的就别用模型判分。

数据集按来源、构成、流程三段答。来源三条腿:公开的仓库级可执行任务集是主力,从代码托管平台自建抓取的真实问题与修复提交对提供分布,合成任务补长尾但必须用单测筛掉不可复现的部分。构成要说清维度:任务类型配比、语言与仓库分布、按改动文件数划分的难度层次、每题都带可复现的测试环境。流程是重头:按仓库加基线提交加 diff 指纹去重;在容器里真跑一遍做可执行性校验(修复前失败、修复后通过、其余测试仍通过);丢掉无测试或不稳定的样本;格式化成 Agent 轨迹模板;切分训练与测试时按仓库隔离,绝不能让测试集仓库出现在训练集里——这是最经典的泄漏点;最后人工抽检一批轨迹。

二面 · 蒸馏方向与 LoRA 的低秩增量

OPSD 选 Forward KL 这一问,考的是两种 KL 方向的性质差别。设 teacher 分布为 p、student 为 q:Forward KL 写作 KL(p‖q),梯度上等价于在 teacher 分布下对 student 做交叉熵,只要词表上的完整分布就能算、不依赖从 teacher 采样,性质是覆盖性——p 有概率而 q 压到近零的位置会被重罚,于是 student 倾向于把 teacher 的多个模式都学到,输出偏宽、偏保守。Reverse KL 写作 KL(q‖p) 则相反,是众数寻优,student 会集中到 teacher 少数高概率模式上,输出更锐利,但有模式塌缩风险,且天然在 student 自己的分布下采样,形式更接近策略梯度。选 Forward KL 的底层逻辑通常落在两点:稳定性与覆盖性——不想丢掉基座原有的分布与多样性时,它的梯度方差比 RL 式稀疏信号小得多、目标更好解释;以及数据仍由 student 自己采样、属于 on-policy,避免了训练与推理分布错位的偏差。风险也要提:teacher 概率极低处同样会产生不小的梯度,容易被个别 token 带偏,常见缓解是加温度、只在高概率 token 上计算或加权截断、用 top-k 词表近似。

LoRA 原理要答出推导感而不是背名词。做法是冻结预训练权重 W₀,在旁路注入低秩增量 ΔW = BA,其中 A 是 r × k、B 是 d × r,秩 r 远小于原始维度,前向变成 h = W₀x + (α/r)·BAx。两个初始化细节必须说:A 用高斯随机初始化、B 初始化为零,保证训练起点处 ΔW 恰为零、模型行为与原模型一致,不会一上来就破坏预训练能力;α/r 是缩放系数,调它相当于在不改学习率的前提下调整旁路的有效步长,常用 α = 2r。可训练参数只有 r(d + k) 量级,7B 模型在 r 取 8 到 16 时通常只占总参数的千分之一到百分之一,梯度与优化器状态也只针对这部分,冻结主干不必保存一二阶矩——这才是单卡能微调的真正原因。追问一般绕不开四点:低秩为什么够用(微调带来的权重变化冗余度高,代价是需要注入大量新知识或处理很长上下文时不如全参);r 与目标模块怎么选(8 或 16 起步,只加在注意力的查询与值投影最省参数,铺到所有线性层效果更好但参数更多);学习率为什么要更大(参数少、梯度尺度小,通常大一个量级);推理会不会变慢(把 BA 合并回 W₀ 就没有额外开销,也可保留多套适配器热插拔,再往下是 4bit 主干加 NF4 与分页优化器的 QLoRA)。