面灵AI→

字节 data 广告部门一面:SFT 之后为什么还要 DPO、GRPO 的 loss 与 KL 方向

轮次
一面
时间
2026-10
来源
牛客网

《面试题目》

  1. 针对简历上的项目提问(问得很细,会从审稿人的角度追问)。
  2. SFT 已经算是监督微调,DPO 也算监督微调,那还有必要做 DPO 吗?
  3. GRPO 的 loss 是什么?描述一下。
  4. GRPO 中的 KL 散度是谁比谁?反过来会有什么后果?
  5. GRPO 里的优势(advantage)是怎么计算的?

《参考解析》

「SFT 和 DPO 都是监督微调,为什么还要 DPO」——关键在监督信号覆盖了什么。 SFT 是最大似然模仿:只在正样本上抬高 log π(y|x),模型没有见过「同样像样但不该选」的回答,所以它对负样本的概率分布没有约束,一个常见表现是回答变长、变啰嗦、爱堆套话。DPO 把偏好对 (chosen, rejected) 直接写成分类式目标,loss 形如 -log σ(β·[log(π_θ(y_w|x)/π_ref(y_w|x)) - log(π_θ(y_l|x)/π_ref(y_l|x))]),等价于在隐式奖励 r = β·log(π_θ/π_ref) 上做 Bradley-Terry。它同时抬高 chosen、压低 rejected,且以参考策略 π_ref 为锚防止模型跑飞,因此能修正 SFT 学不到的那部分偏好,不需要额外训 reward model、也不需要在线采样。所以两者不是替代关系:SFT 决定「会不会答」,DPO 决定「在几个都会答的版本里挑哪个」。项目里如果确实有偏好标注数据,这一步是有必要的;只有 SFT 数据、没有偏好对,DPO 才无从做起。

GRPO 的 loss 与优势函数是一体的。 GRPO(Group Relative Policy Optimization)对同一个 prompt 采样 G 条输出,用这组的奖励统计量做归一化代替 critic:Â_i = (r_i - mean(r_1..r_G)) / std(r_1..r_G)。这样省掉了与策略同规模的 value 网络,显存和训练成本都降下来,代价是优势只有组内相对意义,组内奖励全相同时(比如全对或全错)梯度会接近零。总目标是 PPO 式的裁剪目标减去 KL 正则:

J(θ) = E[ (1/G) Σ_i min( ρ_i Â_i , clip(ρ_i, 1-ε, 1+ε) Â_i ) ] - β·D_KL(π_θ ‖ π_ref)

其中 ρ_i = π_θ(o_i|q) / π_θ_old(o_i|q)。面试官追问「loss 是什么」时,只说「PPO 加分组归一化」不够,要能写出 ratio、clip 和 KL 三项分别在哪。

KL 的方向决定了正则的松紧。 GRPO 里约束的是策略相对参考策略的前向 KL,即 D_KL(π_θ ‖ π_ref),实践上用 k3 估计量 π_ref/π_θ - log(π_ref/π_θ) - 1(恒非负、方差小)。这个方向是 mode-seeking:只要 π_ref 概率不为零的地方,策略可以自由把概率质量集中到高奖励的回答上,所以探索空间更大,但容易收缩到少数几个模式、多样性下降。反过来写成 D_KL(π_ref ‖ π_θ) 是 mode-covering:π_ref 有质量的每个模式都要求 π_θ 也覆盖,一旦策略把某类回答的概率压到接近 0,惩罚会非常大。结果是模型被牢牢拽在参考分布附近、不敢偏离,探索被抑制,训练早期几乎学不动;同时它还要求模型去覆盖参考策略里那些低质量回答,等于在奖励和多样性之间强行折中。

优势函数答到「组内标准化 + 为什么不用 critic」就完整了。 补充一点加分项:组大小 G 是显式的超参,G 太小方差大、G 太大采样成本高;实现里通常还会对同一 prompt 的动态采样做过滤(全对/全错的组直接丢掉),这也是 GRPO 类实现(如 DAPO)常见的改动。