虾皮大模型后训练日常实习一二面:SWE Agent 后训练与 GRPO 深挖
- 轮次
- 一面+二面
- 时间
- 2026-10
- 来源
- 牛客网
《面试题目》
一面
- 介绍自己的 SWE Agent 项目,说明项目开展的初衷。
- 两张训练卡是否能够正常放下 7B 模型?请说明具体依据。
- 项目中选择 Qwen2.5 作为基座的原因是什么?为什么不选用更新的模型版本?
- 自研 SWE Agent 一共集成了多少工具能力?工具设计的思路是什么?
- 32K 上下文长度是否能够满足 SWE Agent 的任务需求?存在哪些局限?
- 训练过程中选择 NGRPO 算法的原因是什么?
- 训练过程中没有使用 DAPO 过滤失败样本组的考量是什么?
- 是否针对 NGRPO 做过消融实验?算法能否有效提升难题通过率?
- 大模型后训练全过程需要重点关注哪些核心指标?
- 简述梯度范数(Grad Norm)的概念和训练意义。
- RL 训练出现 Reward 长期不上涨,应该如何排查定位问题?
- 训练中 KL 散度崩盘代表模型出现了什么问题?
- 详细说明 GRPO 算法存在哪些固有缺点。
二面
- 自我介绍,重点介绍后训练相关的项目经历。
- 项目训练不采用 VERL 框架的原因与取舍逻辑是什么?
- Agent 强化学习场景下,如何设计与实现信用分配机制?
- 项目所用数据集的来源、构成与处理流程是什么?
- OPSD 训练策略选择 Forward KL Loss 的底层逻辑是什么?
- 详细阐述 LoRA 微调的基本原理。
《参考解析》
显存:先问卡型,再分四项报账
「两张卡够不够放 7B」缺了最关键的前提,稳妥的开场是反问卡型与单卡显存——两张 24GB 消费卡和两张 80GB 的 A100 是两个完全不同的答案。然后列四项账:bf16 权重约 14GB;全参微调还要加 fp32 主权重与 Adam 的一二阶矩,加上梯度总量超过 100GB,只能靠 ZeRO-2/3 或 FSDP 切分状态,两张 24GB 卡不可能;改用 LoRA 则主干冻结、可训练参数只占千分之几,优化器状态与梯度缩到几十几百 MB,QLoRA 把主干量化到 4bit 后权重只剩 4GB 左右。RL 另有两条专属开销:KL 惩罚要留一份参考模型权重(可用同一主干加适配器省下),rollout 要给推理引擎留 KV cache——7B 在 bf16 下每 token 几十 KB,32K 上下文单条就接近 2GB,并行采样几组余量就没了。收尾点一句:卡型决定上限,全参还是 LoRA 决定中间几十到上百 GB 的分法,KV cache 决定还剩多少。
选型与工具:Qwen2.5 的理由、工具约束与 32K 的边界
选 Qwen2.5 按三层说:中英与代码能力对 SWE 任务够用、尺寸档位齐全;tokenizer 与对话模板稳定,vLLM 和 SGLang 适配成熟,后训练配方经过验证;周期内基座不变更,超参与评测基线才有意义。不追新版本不是「新模型不好」,而是三个成本:框架适配通常滞后、新结构引入不确定性;换基座等于此前的超参与数据配比作废,要重跑基线与消融;小卡跑 RL 本就紧张,收益未必抵得过调试开销。工具集先给数量(常见五到十个,覆盖读文件、检索、编辑、执行测试与提交),再给四条约束:读写分离,写用精确替换避免不可逆破坏;职责单一、参数少而明确;输出必须有截断与预算控制,否则一次打印就能撑爆上下文;动作可计数可重放。32K 够不够要分场景:中等的单文件 bug 修复通常够,但仓库上下文加几十轮工具观察必然溢出,失效表现可观测——反复读同一个文件、重试失败过的动作、轮数上升而成功率不涨;即使不截断,中段信息的利用率也会下降。缓解手段要成体系:先检索定位再读片段、对历史观察做摘要、把中间结论外部化到计划文件、给每个工具设输出与调用上限。
GRPO 三连问其实是同一道题
为什么选 NGRPO、为什么不用 DAPO 过滤、GRPO 有什么固有缺点,三问考的是同一件事——你清不清楚短板在哪、改动针对哪一条。先立机制:同一道题采样一组回答,以组内平均奖励为基线,优势取 (r_i − mean) / std 并广播到该条回答的每个 token,目标是裁剪的重要性比乘优势再减去相对参考模型的 KL 惩罚;省掉 critic 等于省下一份与策略同量级的模型和显存。缺点按四维报:信号上,组内奖励全同时优势为零、该组不产生梯度,采样成本白费,而除以组内标准差在成功样本极少时会把噪声放大;粒度上,整条序列共享一个优势,回答内部哪个 token 关键毫无区分,长轨迹的信用分配很粗,还容易带来长度偏置;成本上,每步都要重生成整组轨迹,样本利用率低,rollout 与训练的显存调度也麻烦;稳定性上,裁剪范围、KL 系数、group size、学习率互相耦合,且所有 prompt 共用一个 KL 系数。
DAPO 的动态采样正是治「全对全错没梯度」,把准确率为 0 或 1 的组丢掉。不采用它的考量要具体:样本已付过 rollout 代价,算力净损失;过滤比例随训练进程漂移,后期吞吐骤降;训练分布被推向中等难度、简单题不再出现,会带来能力回退。所以「不过滤」必须配套别的机制——换掉依赖组内标准差的归一化、引入 token 级或步骤级信号、对难度加权——否则听起来就是没想清楚。NGRPO 那一问,面试官想听的是它在哪一处动手、解决上面哪个问题、代价是什么;答这类自研变体的套路是先讲动机、再讲改动、最后讲证据。消融则要交代口径:固定数据与采样预算、只改一处,按难度分层看难题通过率与 pass@k,「平均涨了但难题不动」是这类实验最常见的假提升。
故障排查:Reward 不涨、KL 崩盘、梯度范数
后训练要盯的指标分三层:过程健康度(按难度分层的奖励与准确率、KL、输出熵、回答长度、裁剪触发比例、重要性比分布、梯度范数、吞吐与显存)、结果指标(pass@1 与 pass@k、任务成功率、工具调用成功率与平均轮数、token 成本与延迟、格式合法率)、副作用与泛化(通用能力回归集的掉点、有没有靠格式或重复刷分、训练与线上分布是否偏离)。过程指标是仪表盘不是目标,KL 与熵只能解释现象,结论要落在任务指标和泛化上。
Reward 长期不涨按四层排查:数据与任务层先看难度分布,绝大多数样本全对或全错时优势恒为零、改超参没用;奖励层抽一批 rollout 人工核对分数与真实对错是否一致、有没有可被 hack 的路径;优化层看优势是否为零、梯度范数是否异常小、KL 是否贴零、熵是否塌缩、重要性比是否冲出裁剪区间、数据是否严重 off-policy;系统层检查采样温度与 top-p 是否压死探索、同一条 prompt 的多条回答是否几乎相同(组内无差异等于无信号)、多卡奖励汇总有没有错位。最后一步最关键:一次只改一个变量做对照。
KL 崩盘要分方向。KL 趋近零是「学不动」:策略被按在参考模型附近,通常是 KL 系数过大或学习率太小,表现是奖励曲线拉成直线。KL 迅速抬升才是崩盘:策略明显偏离参考分布,常伴随熵塌缩、长度暴涨、重复率上升、格式崩坏,本质是追着奖励跑而丢掉了原有语言分布,严重时就是 reward hacking;诱因是 KL 系数过小或未启用、奖励尺度没归一化、优势方差过大、数据 off-policy 太旧导致重要性比失控。处置是调系数、收紧裁剪、降学习率、加熵正则或长度惩罚,并检查奖励模型能否被利用。
梯度范数是可训练参数(或指定某一层)梯度向量的 L2 范数:它是更新幅度的代理量;是稳定性仪表,能提前发现梯度消失或爆炸、优势被异常放大;也是梯度裁剪的输入,按全局范数缩放正是为了挡住个别 batch 把策略推飞。RL 里要补两点:奖励尺度、KL 项、重要性比都会改变它的量级,换奖励函数后不同实验间不可直接比较;LoRA 只更新低秩分支,天然尺度远小于全参,裁剪阈值必须重设,照搬全参等于没裁剪。
二面:框架取舍与信用分配
VERL 那题考的是「你会为了什么放弃成熟框架」。它是当前主流的 RL 后训练框架,actor、rollout、critic 分离,支持 FSDP 与 Megatron,可接 vLLM 或 SGLang。不用它的理由集中在规模与形态:两张卡时 Ray 加多进程编排的固定开销与调试成本超过收益;Agent 的多轮工具调用、环境反馈与动态终止要深度改它的 rollout 抽象,自研轻量循环反而更快;与 torch、vllm、ray 的版本耦合紧,快速试算法变体容易被依赖卡住。代价也要自己先说:并行策略、容错、指标与日志都得自己写,规模一上去就要迁回。判据收成三个变量——卡数、数据规模、算法迭代频率。
信用分配是 Agent RL 里最能拉开差距的一题:整条轨迹几十步工具调用,最后只回一个成功或失败的结果奖励,哪一步该领功?机制按代价从低到高排四档:结果奖励加折扣回传,最简单但信息损失大;用环境天然可验证的信号当步骤奖励(编译是否通过、测试是否从失败转通过、调用是否合法、有没有重复无效调用或超预算),免费且不易被刷,性价比最高;过程奖励模型打分区分度高,但要防被利用,标准要尽量可验证并配人工抽检;训 critic 估中间状态价值最正统也最贵,长轨迹上价值难估准。取舍原则是中间奖励越多越容易引入偏差,宁可少而准,能用环境验证的就别用模型判分。
二面:数据集、Forward KL 与 LoRA
数据集按来源、构成、流程三段答。来源三条腿:带可执行测试的公开仓库级任务集是主力,从代码托管平台自建抓取的真实问题与修复提交对提供分布,强模型生成的合成任务补长尾但必须用单测筛。构成要说清维度:任务类型配比、语言与仓库分布、按改动文件数划分的难度层次、每题都带可复现的测试环境。流程是重头:按仓库加基线提交加 diff 指纹去重;在容器里真跑一遍做可执行性校验(修复前失败、修复后通过、原有测试仍通过);丢掉无测试或不稳定的样本;切分训练与测试时按仓库隔离,绝不能让测试集仓库进训练集——这是这个领域最经典的泄漏点。
OPSD 选 Forward KL 本质是两种 KL 方向的性质差别。设 teacher 为 p、student 为 q:Forward KL 即 KL(p‖q),梯度上等价于在 teacher 分布下对 student 做交叉熵,只要词表上的完整分布就能算、不必从 teacher 采样,性质是质量覆盖——p 有概率而 q 压到近零处会被重罚,于是 student 倾向于覆盖 teacher 的多个模式,输出偏宽偏保守。Reverse KL 即 KL(q‖p) 是众数寻优,student 集中到 teacher 少数高概率模式上,输出更锐利但有模式塌缩风险,且天然在 student 分布下采样,形式更接近策略梯度。选 Forward KL 通常看两点:稳定性与覆盖性——不想丢掉基座分布与多样性时它的梯度方差比 RL 稀疏信号小得多、目标也更好解释;以及数据仍是 on-policy,避免了训练与推理分布错位的偏差。风险要主动提:teacher 概率极低处同样会产生不小的梯度,容易被个别 token 带偏,缓解办法是加温度、只在高概率 token 上计算或加权截断、用 top-k 词表近似。
LoRA 要答出推导感:冻结预训练权重 W₀,旁路注入低秩增量 ΔW = BA,A 是 r × k、B 是 d × r,r 远小于原始维度,前向为 h = W₀x + (α/r)·BAx。两个初始化细节必答:A 用高斯随机初始化、B 初始化为零,保证起点处 ΔW 恰为零、模型行为与原模型一致;α/r 是缩放系数,调它相当于不改学习率而改旁路的有效步长,常用 α = 2r。可训练参数只有 r(d + k) 量级,7B 在 r 取 8 到 16 时只占总参数的千分之一到百分之一,梯度与优化器状态也只针对这部分,冻结主干不必存一二阶矩——这才是单卡能微调的原因。追问绕不开四点:低秩为什么够用(微调带来的变化冗余度高,代价是需要注入大量新知识或处理超长上下文时不如全参);r 与目标模块怎么选(8 或 16 起步,只加在注意力的查询与值投影最省参数,铺到全部线性层效果更好但参数更多);学习率为何更大(可训练参数少、梯度尺度小,通常大一个量级);推理会不会变慢(合并回 W₀ 就没有额外开销,也可保留多套适配器热插拔,再往下是 4bit 主干加 NF4 与分页优化器的 QLoRA)。