大厂推荐算法面经 10 问:DPO、GRPO、DAPO、GSPO 与强化学习训练细节
- 时间
- 2026-11
- 来源
- 牛客网
《面试题目》
- 你知道 DPO 的损失函数公式吗?
- GRPO、PPO 与 DPO 的区别是什么?
- GRPO / PPO 是 on-policy 还是 off-policy 的,DPO 呢?
- DAPO 对 GRPO 的改进有哪些?
- GSPO 对 GRPO 的改进有哪些?
- 比较一下 process reward 和 outcome reward。
- 强化学习训练时遇到 reward 上升,但 validation 时效果下降,有哪些解决思路?
- VeRL 框架是同步的还是异步的,具体的训练流程是什么?
- 了解 RL 的训推不一致问题吗?训推不一致的产生原因是什么?
- 你认为未来 SFT 阶段和 RL 阶段,哪个更重要?
《参考解析》
DPO 的损失函数:DPO 从「KL 正则化奖励最大化」的闭式最优解出发,把奖励函数用策略与参考策略的似然比替换掉,从而不需要显式奖励模型,直接在偏好对上做分类式优化。对偏好对 (x, y_win, y_lose),损失为
L_DPO = -E[ log σ( β·log(π_θ(y_win|x) / π_ref(y_win|x))
- β·log(π_θ(y_lose|x) / π_ref(y_lose|x)) ) ]
其中 β 控制偏离参考策略的强度,括号里的两项之差就是「隐式奖励差」。回答问题时要能说清两件事:为什么不需要奖励模型(奖励被写成 β·log(π_θ / π_ref) 的隐式形式),以及它为什么是离线算法(只用到固定的偏好数据,不做在线采样)。
PPO、GRPO、DPO 的区别:PPO 是标准的 actor-critic 在线算法,有独立的 value 网络估计基线,用重要性比率的 clip 目标限制每步更新幅度,并对 KL 做惩罚;GRPO 去掉 critic,对同一个 prompt 采样一组回复,用组内 reward 的均值与标准差归一化出优势,省掉价值网络、显存与调参成本都更低;DPO 连采样都不要,把偏好数据直接当监督信号,训练稳定但受限于离线数据分布,无法探索。三者的取舍是:有可靠奖励函数且允许在线采样就用 PPO / GRPO,只有人工或模型偏好对、算力有限就用 DPO。
on-policy 还是 off-policy:PPO 与 GRPO 都是在线的 on-policy 算法——数据由当前策略采样,重要性比率用来纠正一轮内多次更新带来的轻微偏离,但采样策略与更新策略偏离过大时训练就会崩。DPO 是 off-policy:它把离线偏好数据当固定数据集做监督式优化,与行为策略无关。追问常会落到「GRPO 能不能复用旧数据」,答案是能复用但需要重要性修正与截断,复用程度越高越接近 off-policy,稳定性越差。
DAPO 对 GRPO 的改进:核心是四处。Clip-Higher:把重要性比率的上下界解耦,上界放宽,避免低概率 token 被过度压制、探索能力过早消失;动态采样:过滤掉全对或全错的组(这类组优势恒为 0,白算),保证每个 batch 里的样本都有梯度信号;Token-Level 策略梯度损失:按 token 而不是按序列归一化,避免长序列被稀释、短序列被放大;Overlong 奖励整形:对超长被截断的回复单独给惩罚,减少「为了凑长度硬写」的奖励黑客。
GSPO 对 GRPO 的改进:把重要性比率从 token 级换成序列级——用整条序列的长度归一化似然比,clip 也作用在序列级。原因是 token 级比率在长序列与 MoE 模型上方差极大,个别 token 的比率异常会把整条序列的梯度带偏;序列级比率与「整条回复好不好」的奖励语义一致,训练更稳,对长 CoT 与 MoE 尤其友好。
process reward 与 outcome reward:outcome reward 只看最终结果,稀疏但客观,数学、代码这类有可验证答案的任务可以直接用规则校验,成本极低;process reward 对每一步给分,信号密集、credit assignment 更准,但标注昂贵、主观性强,且容易奖励黑客(模型学会讨好打分器而不是真把题做对)。工程上的常见做法是:能用规则验证的用 outcome,需要约束推理过程时用「outcome 为主 + 少量过程约束(格式、长度、步骤完整性)」,而不是纯 PRM。
reward 上升但验证集下降怎么排查:先分清是「奖励被刷」还是「泛化变差」。前者看奖励曲线与真实指标是否脱钩——长度暴涨、模板化输出、重复堆砌都是典型信号;后者看训练分布与验证分布是否漂移。可用的手段:加 KL 约束或调大 β、对奖励做归一化与截断、加长度惩罚、检查采样温度与评测温度是否一致、留一份独立奖励模型或人工抽检做旁证、按 step 早停。回答时给一个可执行的排查顺序比罗列名词更加分:先看长度与重复率,再看训练/验证的 reward 分布,最后才怀疑数据泄漏。
VeRL 是不是同步的:VeRL(HybridFlow)的主线是同步 on-policy 流程:rollout 引擎(vLLM / SGLang)生成回复 → 奖励计算 → 组内优势估计 → 训练引擎(FSDP / Megatron)更新 → 权重重分片回 rollout 引擎,一轮一轮推进。它也支持异步 / 部分 rollout 来提升吞吐,代价是数据有一定陈旧度,需要重要性修正。回答时把「默认同步、可按需异步」说清楚,并点出同步流程的关键工程点是两套引擎之间的权重同步(resharding)与显存复用。
训推不一致:同一个模型在训练引擎与推理引擎上算出的 logprob 不一致,导致重要性比率在第一步就不等于 1,训练信号被系统性带偏。成因有这几类:两套引擎的算子与精度不同(fp8 / bf16 累加、attention 实现、paged attention 与 flash attention 的数值差异);并行切分不同导致 MoE 路由结果不同;推理侧用了与训练不同的 chat template 或截断策略。缓解办法是统一精度与模板、用训练引擎重算 logprob、对 MoE 做路由回放、对比两套引擎在同一批输入上的 logprob 偏差并把它作为上线前的检查项。
SFT 与 RL 哪个更重要:两者解决的不是同一个问题,SFT 注入格式、领域知识与指令跟随,RL 在已有能力上按奖励做优化、突破示范数据的上限。趋势是 SFT 的占比下降但不会消失——它仍是冷启动与能力注入的最短路径,而 RL(尤其是可验证奖励的 RL)承担上限提升。回答时可以补一句判断依据:当任务有可靠、可自动化的奖励时,RL 的边际收益最高;当能力本身缺失或领域知识不足时,先补 SFT 与数据,RL 只会放大已有的错误。