虾皮大模型后训练日常实习一二面面经:强化学习算法与 LoRA 原理
- 轮次
- 一面+二面
- 时间
- 2026-10
- 来源
- 牛客网
《面试题目》
一面
- 介绍自己的 SWE Agent 项目,说明项目开展的初衷。
- 两张训练卡是否能够正常放下 7B 模型?请说明具体依据。
- 项目中选择 Qwen2.5 作为基座的原因是什么?为什么不选用更新的模型版本?
- 自研 SWE Agent 一共集成了多少工具能力?工具设计的思路是什么?
- 32K 上下文长度是否能够满足 SWE Agent 的任务需求?存在哪些局限?
- 训练过程中选择 NGRPO 算法的原因是什么?
- 训练过程中没有使用 DAPO 过滤失败样本组的考量是什么?
- 是否针对 NGRPO 做过消融实验?算法能否有效提升难题通过率?
- 大模型后训练全过程需要重点关注哪些核心指标?
- 简述梯度范数(Grad Norm)的概念和训练意义。
- RL 训练出现 Reward 长期不上涨,应该如何排查定位问题?
- 训练中 KL 散度崩盘代表模型出现了什么问题?
- 详细说明 GRPO 算法存在哪些固有缺点。
二面
- 自我介绍,重点介绍后训练相关的项目经历。
- 项目训练不采用 VERL 框架的原因与取舍逻辑是什么?
- Agent 强化学习场景下,如何设计与实现信用分配机制?
- 项目所用数据集的来源、构成与处理流程是什么?
- OPSD 训练策略选择 Forward KL Loss 的底层逻辑是什么?
- 详细阐述 LoRA 微调的基本原理。
《参考解析》
一面 · 硬件账本:从卡型问到 KV cache
这道题最容易答成是非题,因为题面少了最关键的变量。稳妥的回应是先要信息再下结论:卡是什么型号、单卡多大显存、要不要同时跑 rollout。拿到卡型后按四项列账。第一项是权重,bf16 下 7B 约 14GB。第二项是训练状态,全参微调要额外准备 fp32 主权重与 Adam 的一二阶矩,加上梯度总量轻松超过 100GB,只有两张 80GB 的卡靠 ZeRO-2/3 或 FSDP 切分状态才有机会。第三项是可选方案,改用 LoRA 后主干冻结、可训练参数只占千分之一到百分之一,优化器状态与梯度随之缩到几十几百 MB,再开梯度检查点压住激活,两张 24GB 卡就够用;换成 QLoRA 把主干量化到 4bit,权重直接降到 4GB 上下。第四项是 RL 专属开销,也最容易被漏掉:KL 惩罚需要一份参考策略,要么另存权重、要么用同一主干加适配器省下来;rollout 要给推理引擎留 KV cache,7B 在 bf16 下每 token 是几十 KB 量级,32K 上下文单条序列就接近 2GB。这道题想看的是「你会不会算」:卡型决定上限,全参还是 LoRA 决定中间那块怎么分,KV cache 决定还剩多少余量。
一面 · 基座选型:为什么不追新版本
只答「效果好」等于没答,可以按能力、生态、可复现性三层展开。能力层:中英双语与代码能力对 SWE 类任务够用,尺寸档位齐全,方便按显存选。生态层:tokenizer 与对话模板稳定,主流推理引擎适配成熟,后训练配方经过验证,出问题容易找到对照。可复现层:项目周期内基座不变更,超参、数据配比与评测基线才有意义。「为什么不用更新的版本」是同一问题的反面,答案不是新模型不好,而是三个成本:推理与训练框架的适配通常滞后,新结构会引入不确定性;换基座意味着此前调好的超参与数据全部作废、要重跑基线和消融;小卡规模跑 RL 本身已经很紧张,效果增量未必抵得过调试开销。收尾补一句「真要换,先在评测集上做一次同预算对照再决定」,就把保守讲成了流程。
一面 · 工具与上下文:SWE Agent 的两条边
工具那道题先给数量再给逻辑。常见的 SWE Agent 会集成五到十个工具:读文件(支持按行号区间读)、列目录、全仓或符号检索、精确字符串替换式的编辑、执行编译或测试、终止并提交。设计思路归成四条:读写分离,写操作坚持精确替换而不是整文件覆盖,把不可逆的破坏性降到最低;每个工具职责单一、参数少而明确,模型填错的概率才低;输出必须有预算,超长结果要截断并提示如何继续取回;所有动作可计数、可重放,方便统计调用轮数与重复调用率。32K 够不够要分场景:中等规模、一到几个文件的 bug 修复通常能覆盖,但真实的仓库上下文——目录结构、issue 描述、若干源文件、几十轮工具观察,再加动辄上千行的测试日志——几轮下来就会溢出,表现为模型重复读取同一个文件、重试已经失败过的动作,轮数上升而成功率不涨;即使没截断,长上下文里中段信息的利用率也会下降。缓解手段有四条:先检索定位再读片段;对历史观察做摘要;把中间结论写进计划文件当作外部记忆;给工具设输出上限与总调用预算。
一面 · GRPO 的短板,与 NGRPO、DAPO 三连问
面试官用三问(为什么选 NGRPO、为什么不用 DAPO 过滤、GRPO 有什么固有缺点)绕的其实是同一个核心:你清不清楚 GRPO 的短板在哪、自己的改动针对哪一条。机制部分:对同一道题采样一组回答,以组内平均奖励为基线,优势取 (r_i − mean) / std 并广播到该条回答的每个 token,目标是裁剪的重要性比乘优势再减去相对参考模型的 KL 惩罚;省掉 critic 等于省下一份与策略同量级的模型与配套显存,这是它流行的根本原因。固有缺点按四维列:信号维度,组内奖励完全一致时优势为零、这一组不产生梯度,采样成本白费,而除以组内标准差在成功样本极少时会把噪声放大;粒度维度,一条序列共用同一个优势,内部哪些 token 关键毫无区分,长轨迹的信用分配很粗,还容易带来长度偏置;成本维度,每步都要重新生成整组轨迹,样本利用率低;稳定性维度,裁剪范围、KL 系数、group size、学习率彼此耦合,且所有 prompt 共用一个系数。
DAPO 的动态采样过滤处理的正是「全对全错组没有梯度」这一条,做法是把准确率为 0 或 1 的组丢掉。不采用它的考量要说具体:被丢掉的样本已经付过 rollout 代价,算力是净损失;过滤比例随训练进程漂移,后期大量题目被答对时吞吐明显下降;训练分布被推向中等难度、简单题不再出现,会造成能力回退。选择不过滤,就必须另找手段处理零梯度——换掉依赖组内标准差的归一化、引入 token 级或步骤级信号、对难度加权——否则听起来就是没想清楚。至于 NGRPO,面试官想听的是它在 GRPO 的哪一处动了手、解决了哪个问题、代价是什么,答这类变体的通用顺序是动机、改动、证据。消融实验要讲清口径:固定数据、步数与采样预算,只改一处,按难度分层看难题通过率与 pass@k,因为平均值涨而难题不动是最常见的假提升。
一面 · 训练监控与三类故障:Reward、KL、梯度范数
「后训练要关注哪些指标」建议分三层回答。过程健康度:按难度分层的奖励与准确率、KL 散度、输出熵、回答长度、裁剪触发比例、重要性比分布、梯度范数、吞吐与显存。结果指标:pass@1 与 pass@k、任务成功率、工具调用成功率与平均轮数、token 成本与延迟、格式合法率。副作用与泛化:通用能力回归集上的掉点、是否存在靠格式或重复刷分的痕迹、训练与线上分布是否偏离。判断原则补一句:过程指标是仪表盘不是目标,KL 与熵只能解释现象,结论要落在任务指标和泛化上。
Reward 长期不涨,按四层顺序排查效率最高。数据与任务层先确认难度分布,绝大多数样本全对或全错时优势恒为零、改超参没用,再查 prompt 歧义与验证器可靠性。奖励层抽一批 rollout 人工核对分数与真实对错是否一致、有没有被 hack 的路径。优化层看优势是否为零、梯度范数是否异常小、KL 是否贴零、熵是否塌缩、重要性比是否冲出裁剪区间、数据是否严重 off-policy。系统层看采样温度与 top-p 是否压死探索、同一 prompt 的多条回答是否几乎一样、多卡汇总奖励有没有错位。最后一步最关键:一次只改一个变量做对照。
KL 崩盘要分方向答。KL 趋近零是「学不动」:策略被按在参考模型附近,通常是 KL 系数过大或学习率太小,表现是奖励曲线拉成直线。KL 迅速抬升才是崩盘:策略明显偏离参考分布,往往伴随熵塌缩、长度暴涨、重复率上升、格式崩坏,本质是追着奖励跑而丢掉原有语言分布,严重时就是 reward hacking;诱因是 KL 系数过小或未启用、奖励尺度没归一化、优势方差过大、数据 off-policy 太旧导致重要性比失控。处理是调系数、收紧裁剪、降学习率、加熵正则或长度惩罚,并检查奖励模型有没有被利用。
梯度范数是整个可训练参数(或指定某一层)梯度向量的 L2 范数:它是更新幅度的代理量;是稳定性仪表,能提前发现梯度消失或爆炸、优势被异常放大;也是梯度裁剪的输入,按全局范数缩放正是为了挡住个别 batch 把策略推飞。放进 RL 还有两点补充:奖励尺度、KL 项、重要性比都会改变它的量级,换奖励函数后不同实验的范数不可直接比较;LoRA 只更新低秩分支,天然尺度远小于全参,裁剪阈值必须重设,照搬全参等于没裁剪。
二面 · 训练框架、信用分配与数据工程
框架那道题考的是「你会为了什么放弃成熟工具」。VERL 是当前主流的 RL 后训练框架,把 actor、rollout、critic 拆开,支持 FSDP 与 Megatron 两套并行,可接 vLLM 或 SGLang。不用它的合理理由集中在规模与形态上:卡数少时 Ray 与多进程编排的固定开销和调试成本超过收益;Agent 场景需要多轮工具调用、环境反馈和动态终止,框架的 rollout 抽象要改得相当深;框架与 torch、vllm、ray 的版本耦合紧,快速验证算法变体时容易被依赖卡住。但自研的代价要自己先说:并行策略、容错、指标与日志都得自己写,规模一上去就得迁回。把判据收成「卡数、数据规模、算法迭代频率」三个变量,回答就从「哪个框架好」升到「什么条件下选什么」。
信用分配是这一面最能拉开差距的一题。矛盾先讲明白:整条轨迹几十步工具调用,最后只回一个成功或失败的结果奖励,哪一步该领功?机制按代价从低到高排四档。最便宜的是结果奖励加折扣回传,实现简单但信息损失大。性价比最高的是把环境天然可验证的信号当步骤奖励:编译是否通过、测试是否从失败变通过、调用是否合法、有没有重复无效调用或超预算——免费且不易被刷。再往上是过程奖励模型给中间步骤打分,区分度高,但必须防被利用,评分标准要尽量可验证并配人工抽检。最正统也最贵的是训练 critic 估计中间状态价值做逐步归因,长轨迹上价值难估准,显存与调参成本都高。取舍原则:中间奖励越多越容易引入偏差与 hack,宁可少而准,能用环境验证的就别用模型判分。
数据集按来源、构成、流程三段答。来源三条腿:公开的仓库级可执行任务集是主力,从代码托管平台自建抓取的真实问题与修复提交对提供分布,合成任务补长尾但必须用单测筛掉不可复现的部分。构成要说清维度:任务类型配比、语言与仓库分布、按改动文件数划分的难度层次、每题都带可复现的测试环境。流程是重头:按仓库加基线提交加 diff 指纹去重;在容器里真跑一遍做可执行性校验(修复前失败、修复后通过、其余测试仍通过);丢掉无测试或不稳定的样本;格式化成 Agent 轨迹模板;切分训练与测试时按仓库隔离,绝不能让测试集仓库出现在训练集里——这是最经典的泄漏点;最后人工抽检一批轨迹。
二面 · 蒸馏方向与 LoRA 的低秩增量
OPSD 选 Forward KL 这一问,考的是两种 KL 方向的性质差别。设 teacher 分布为 p、student 为 q:Forward KL 写作 KL(p‖q),梯度上等价于在 teacher 分布下对 student 做交叉熵,只要词表上的完整分布就能算、不依赖从 teacher 采样,性质是覆盖性——p 有概率而 q 压到近零的位置会被重罚,于是 student 倾向于把 teacher 的多个模式都学到,输出偏宽、偏保守。Reverse KL 写作 KL(q‖p) 则相反,是众数寻优,student 会集中到 teacher 少数高概率模式上,输出更锐利,但有模式塌缩风险,且天然在 student 自己的分布下采样,形式更接近策略梯度。选 Forward KL 的底层逻辑通常落在两点:稳定性与覆盖性——不想丢掉基座原有的分布与多样性时,它的梯度方差比 RL 式稀疏信号小得多、目标更好解释;以及数据仍由 student 自己采样、属于 on-policy,避免了训练与推理分布错位的偏差。风险也要提:teacher 概率极低处同样会产生不小的梯度,容易被个别 token 带偏,常见缓解是加温度、只在高概率 token 上计算或加权截断、用 top-k 词表近似。
LoRA 原理要答出推导感而不是背名词。做法是冻结预训练权重 W₀,在旁路注入低秩增量 ΔW = BA,其中 A 是 r × k、B 是 d × r,秩 r 远小于原始维度,前向变成 h = W₀x + (α/r)·BAx。两个初始化细节必须说:A 用高斯随机初始化、B 初始化为零,保证训练起点处 ΔW 恰为零、模型行为与原模型一致,不会一上来就破坏预训练能力;α/r 是缩放系数,调它相当于在不改学习率的前提下调整旁路的有效步长,常用 α = 2r。可训练参数只有 r(d + k) 量级,7B 模型在 r 取 8 到 16 时通常只占总参数的千分之一到百分之一,梯度与优化器状态也只针对这部分,冻结主干不必保存一二阶矩——这才是单卡能微调的真正原因。追问一般绕不开四点:低秩为什么够用(微调带来的权重变化冗余度高,代价是需要注入大量新知识或处理很长上下文时不如全参);r 与目标模块怎么选(8 或 16 起步,只加在注意力的查询与值投影最省参数,铺到所有线性层效果更好但参数更多);学习率为什么要更大(参数少、梯度尺度小,通常大一个量级);推理会不会变慢(把 BA 合并回 W₀ 就没有额外开销,也可保留多套适配器热插拔,再往下是 4bit 主干加 NF4 与分页优化器的 QLoRA)。