面灵AI→

虾皮大模型后训练日常实习一二面:SWE Agent 后训练与 GRPO 深挖

轮次
一面+二面
时间
2026-10
来源
牛客网

《面试题目》

一面

  1. 介绍自己的 SWE Agent 项目,说明项目开展的初衷。
  2. 两张训练卡是否能够正常放下 7B 模型?请说明具体依据。
  3. 项目中选择 Qwen2.5 作为基座的原因是什么?为什么不选用更新的模型版本?
  4. 自研 SWE Agent 一共集成了多少工具能力?工具设计的思路是什么?
  5. 32K 上下文长度是否能够满足 SWE Agent 的任务需求?存在哪些局限?
  6. 训练过程中选择 NGRPO 算法的原因是什么?
  7. 训练过程中没有使用 DAPO 过滤失败样本组的考量是什么?
  8. 是否针对 NGRPO 做过消融实验?算法能否有效提升难题通过率?
  9. 大模型后训练全过程需要重点关注哪些核心指标?
  10. 简述梯度范数(Grad Norm)的概念和训练意义。
  11. RL 训练出现 Reward 长期不上涨,应该如何排查定位问题?
  12. 训练中 KL 散度崩盘代表模型出现了什么问题?
  13. 详细说明 GRPO 算法存在哪些固有缺点。

二面

  1. 自我介绍,重点介绍后训练相关的项目经历。
  2. 项目训练不采用 VERL 框架的原因与取舍逻辑是什么?
  3. Agent 强化学习场景下,如何设计与实现信用分配机制?
  4. 项目所用数据集的来源、构成与处理流程是什么?
  5. OPSD 训练策略选择 Forward KL Loss 的底层逻辑是什么?
  6. 详细阐述 LoRA 微调的基本原理。

《参考解析》

显存:先问卡型,再分四项报账

「两张卡够不够放 7B」缺了最关键的前提,稳妥的开场是反问卡型与单卡显存——两张 24GB 消费卡和两张 80GB 的 A100 是两个完全不同的答案。然后列四项账:bf16 权重约 14GB;全参微调还要加 fp32 主权重与 Adam 的一二阶矩,加上梯度总量超过 100GB,只能靠 ZeRO-2/3 或 FSDP 切分状态,两张 24GB 卡不可能;改用 LoRA 则主干冻结、可训练参数只占千分之几,优化器状态与梯度缩到几十几百 MB,QLoRA 把主干量化到 4bit 后权重只剩 4GB 左右。RL 另有两条专属开销:KL 惩罚要留一份参考模型权重(可用同一主干加适配器省下),rollout 要给推理引擎留 KV cache——7B 在 bf16 下每 token 几十 KB,32K 上下文单条就接近 2GB,并行采样几组余量就没了。收尾点一句:卡型决定上限,全参还是 LoRA 决定中间几十到上百 GB 的分法,KV cache 决定还剩多少。

选型与工具:Qwen2.5 的理由、工具约束与 32K 的边界

选 Qwen2.5 按三层说:中英与代码能力对 SWE 任务够用、尺寸档位齐全;tokenizer 与对话模板稳定,vLLM 和 SGLang 适配成熟,后训练配方经过验证;周期内基座不变更,超参与评测基线才有意义。不追新版本不是「新模型不好」,而是三个成本:框架适配通常滞后、新结构引入不确定性;换基座等于此前的超参与数据配比作废,要重跑基线与消融;小卡跑 RL 本就紧张,收益未必抵得过调试开销。工具集先给数量(常见五到十个,覆盖读文件、检索、编辑、执行测试与提交),再给四条约束:读写分离,写用精确替换避免不可逆破坏;职责单一、参数少而明确;输出必须有截断与预算控制,否则一次打印就能撑爆上下文;动作可计数可重放。32K 够不够要分场景:中等的单文件 bug 修复通常够,但仓库上下文加几十轮工具观察必然溢出,失效表现可观测——反复读同一个文件、重试失败过的动作、轮数上升而成功率不涨;即使不截断,中段信息的利用率也会下降。缓解手段要成体系:先检索定位再读片段、对历史观察做摘要、把中间结论外部化到计划文件、给每个工具设输出与调用上限。

GRPO 三连问其实是同一道题

为什么选 NGRPO、为什么不用 DAPO 过滤、GRPO 有什么固有缺点,三问考的是同一件事——你清不清楚短板在哪、改动针对哪一条。先立机制:同一道题采样一组回答,以组内平均奖励为基线,优势取 (r_i − mean) / std 并广播到该条回答的每个 token,目标是裁剪的重要性比乘优势再减去相对参考模型的 KL 惩罚;省掉 critic 等于省下一份与策略同量级的模型和显存。缺点按四维报:信号上,组内奖励全同时优势为零、该组不产生梯度,采样成本白费,而除以组内标准差在成功样本极少时会把噪声放大;粒度上,整条序列共享一个优势,回答内部哪个 token 关键毫无区分,长轨迹的信用分配很粗,还容易带来长度偏置;成本上,每步都要重生成整组轨迹,样本利用率低,rollout 与训练的显存调度也麻烦;稳定性上,裁剪范围、KL 系数、group size、学习率互相耦合,且所有 prompt 共用一个 KL 系数。

DAPO 的动态采样正是治「全对全错没梯度」,把准确率为 0 或 1 的组丢掉。不采用它的考量要具体:样本已付过 rollout 代价,算力净损失;过滤比例随训练进程漂移,后期吞吐骤降;训练分布被推向中等难度、简单题不再出现,会带来能力回退。所以「不过滤」必须配套别的机制——换掉依赖组内标准差的归一化、引入 token 级或步骤级信号、对难度加权——否则听起来就是没想清楚。NGRPO 那一问,面试官想听的是它在哪一处动手、解决上面哪个问题、代价是什么;答这类自研变体的套路是先讲动机、再讲改动、最后讲证据。消融则要交代口径:固定数据与采样预算、只改一处,按难度分层看难题通过率与 pass@k,「平均涨了但难题不动」是这类实验最常见的假提升。

故障排查:Reward 不涨、KL 崩盘、梯度范数

后训练要盯的指标分三层:过程健康度(按难度分层的奖励与准确率、KL、输出熵、回答长度、裁剪触发比例、重要性比分布、梯度范数、吞吐与显存)、结果指标(pass@1 与 pass@k、任务成功率、工具调用成功率与平均轮数、token 成本与延迟、格式合法率)、副作用与泛化(通用能力回归集的掉点、有没有靠格式或重复刷分、训练与线上分布是否偏离)。过程指标是仪表盘不是目标,KL 与熵只能解释现象,结论要落在任务指标和泛化上。

Reward 长期不涨按四层排查:数据与任务层先看难度分布,绝大多数样本全对或全错时优势恒为零、改超参没用;奖励层抽一批 rollout 人工核对分数与真实对错是否一致、有没有可被 hack 的路径;优化层看优势是否为零、梯度范数是否异常小、KL 是否贴零、熵是否塌缩、重要性比是否冲出裁剪区间、数据是否严重 off-policy;系统层检查采样温度与 top-p 是否压死探索、同一条 prompt 的多条回答是否几乎相同(组内无差异等于无信号)、多卡奖励汇总有没有错位。最后一步最关键:一次只改一个变量做对照。

KL 崩盘要分方向。KL 趋近零是「学不动」:策略被按在参考模型附近,通常是 KL 系数过大或学习率太小,表现是奖励曲线拉成直线。KL 迅速抬升才是崩盘:策略明显偏离参考分布,常伴随熵塌缩、长度暴涨、重复率上升、格式崩坏,本质是追着奖励跑而丢掉了原有语言分布,严重时就是 reward hacking;诱因是 KL 系数过小或未启用、奖励尺度没归一化、优势方差过大、数据 off-policy 太旧导致重要性比失控。处置是调系数、收紧裁剪、降学习率、加熵正则或长度惩罚,并检查奖励模型能否被利用。

梯度范数是可训练参数(或指定某一层)梯度向量的 L2 范数:它是更新幅度的代理量;是稳定性仪表,能提前发现梯度消失或爆炸、优势被异常放大;也是梯度裁剪的输入,按全局范数缩放正是为了挡住个别 batch 把策略推飞。RL 里要补两点:奖励尺度、KL 项、重要性比都会改变它的量级,换奖励函数后不同实验间不可直接比较;LoRA 只更新低秩分支,天然尺度远小于全参,裁剪阈值必须重设,照搬全参等于没裁剪。

二面:框架取舍与信用分配

VERL 那题考的是「你会为了什么放弃成熟框架」。它是当前主流的 RL 后训练框架,actor、rollout、critic 分离,支持 FSDP 与 Megatron,可接 vLLM 或 SGLang。不用它的理由集中在规模与形态:两张卡时 Ray 加多进程编排的固定开销与调试成本超过收益;Agent 的多轮工具调用、环境反馈与动态终止要深度改它的 rollout 抽象,自研轻量循环反而更快;与 torch、vllm、ray 的版本耦合紧,快速试算法变体容易被依赖卡住。代价也要自己先说:并行策略、容错、指标与日志都得自己写,规模一上去就要迁回。判据收成三个变量——卡数、数据规模、算法迭代频率。

信用分配是 Agent RL 里最能拉开差距的一题:整条轨迹几十步工具调用,最后只回一个成功或失败的结果奖励,哪一步该领功?机制按代价从低到高排四档:结果奖励加折扣回传,最简单但信息损失大;用环境天然可验证的信号当步骤奖励(编译是否通过、测试是否从失败转通过、调用是否合法、有没有重复无效调用或超预算),免费且不易被刷,性价比最高;过程奖励模型打分区分度高,但要防被利用,标准要尽量可验证并配人工抽检;训 critic 估中间状态价值最正统也最贵,长轨迹上价值难估准。取舍原则是中间奖励越多越容易引入偏差,宁可少而准,能用环境验证的就别用模型判分。

二面:数据集、Forward KL 与 LoRA

数据集按来源、构成、流程三段答。来源三条腿:带可执行测试的公开仓库级任务集是主力,从代码托管平台自建抓取的真实问题与修复提交对提供分布,强模型生成的合成任务补长尾但必须用单测筛。构成要说清维度:任务类型配比、语言与仓库分布、按改动文件数划分的难度层次、每题都带可复现的测试环境。流程是重头:按仓库加基线提交加 diff 指纹去重;在容器里真跑一遍做可执行性校验(修复前失败、修复后通过、原有测试仍通过);丢掉无测试或不稳定的样本;切分训练与测试时按仓库隔离,绝不能让测试集仓库进训练集——这是这个领域最经典的泄漏点。

OPSD 选 Forward KL 本质是两种 KL 方向的性质差别。设 teacher 为 p、student 为 q:Forward KL 即 KL(p‖q),梯度上等价于在 teacher 分布下对 student 做交叉熵,只要词表上的完整分布就能算、不必从 teacher 采样,性质是质量覆盖——p 有概率而 q 压到近零处会被重罚,于是 student 倾向于覆盖 teacher 的多个模式,输出偏宽偏保守。Reverse KL 即 KL(q‖p) 是众数寻优,student 集中到 teacher 少数高概率模式上,输出更锐利但有模式塌缩风险,且天然在 student 分布下采样,形式更接近策略梯度。选 Forward KL 通常看两点:稳定性与覆盖性——不想丢掉基座分布与多样性时它的梯度方差比 RL 稀疏信号小得多、目标也更好解释;以及数据仍是 on-policy,避免了训练与推理分布错位的偏差。风险要主动提:teacher 概率极低处同样会产生不小的梯度,容易被个别 token 带偏,缓解办法是加温度、只在高概率 token 上计算或加权截断、用 top-k 词表近似。

LoRA 要答出推导感:冻结预训练权重 W₀,旁路注入低秩增量 ΔW = BA,A 是 r × k、B 是 d × r,r 远小于原始维度,前向为 h = W₀x + (α/r)·BAx。两个初始化细节必答:A 用高斯随机初始化、B 初始化为零,保证起点处 ΔW 恰为零、模型行为与原模型一致;α/r 是缩放系数,调它相当于不改学习率而改旁路的有效步长,常用 α = 2r。可训练参数只有 r(d + k) 量级,7B 在 r 取 8 到 16 时只占总参数的千分之一到百分之一,梯度与优化器状态也只针对这部分,冻结主干不必存一二阶矩——这才是单卡能微调的原因。追问绕不开四点:低秩为什么够用(微调带来的变化冗余度高,代价是需要注入大量新知识或处理超长上下文时不如全参);r 与目标模块怎么选(8 或 16 起步,只加在注意力的查询与值投影最省参数,铺到全部线性层效果更好但参数更多);学习率为何更大(可训练参数少、梯度尺度小,通常大一个量级);推理会不会变慢(合并回 W₀ 就没有额外开销,也可保留多套适配器热插拔,再往下是 4bit 主干加 NF4 与分页优化器的 QLoRA)。