腾讯 大模型算法一面二面：GRPO 的信用分配、Agent RL 为什么训崩与蒸馏的边界

《面试题目》

1. Agentic RL 和传统大模型 RL 的核心差异在哪？
2. 长时序任务下，Agent RL 训练容易崩，底层原因是什么？
3. 「崩」具体表现为什么？loss 尖峰、熵塌缩还是 reward 掉？
4. Agent 的自进化机制核心逻辑是什么？算不算模型自主迭代训练？
5. PPO 和 GRPO 在信用分配上的核心区别是什么？
6. 没有 critic，GRPO 怎么估优势？组内归一化的前提是什么？
7. PPO 的 clip 和 KL 约束等价吗？各自什么时候用？
8. clip 系数调大、调小，分别会发生什么？
9. DAPO 的 token 级损失，相比原生 GRPO 改了什么？
10. clip-higher 为什么能提升探索？
11. 动态采样过滤掉全对和全错的样本，为什么这算一种加速？
12. 你这套训练里，哪个超参最敏感？
13. GAE 的作用是什么？已经有 critic 了，为什么还要 GAE？
14. λ 取 0 和取 1，分别退化成什么？
15. 上下文压缩之后，信用分配的难度为什么会加剧？
16. Reward Hacking 在 Agent 场景为什么比单轮更严重？
17. 你怎么检测 Reward Hacking？说具体信号。
18. 序列级优化相比 token 级，好在哪？
19. DeepSeek-V4 相比 V3，核心技术迭代有哪些？
20. 大量用在线策略蒸馏替代纯 RL，设计考量是什么？
21. OPD 和常规知识蒸馏的本质区别？
22. 学生自己采样、老师给分，老师的分布和学生的分布怎么对齐？
23. 蒸馏能不能替代 RL？边界在哪？
24. 如果只有 8 张卡，这套流程怎么砍？
25. 算法题：给两张同尺寸的图，找出所有不一致像素的最小包围矩形（允许容差、只许单遍流式扫描、差异占比低于 0.1% 判为噪声返回空）。

《参考解析》

Agent RL 为什么容易崩：三层。一是 horizon，第 20 步的奖励要回传第 1 步，中间隔着十几次策略更新，方差随步数累积，优势估计的信噪比一路掉。二是非马尔可夫，Agent 的状态包含工具返回、文件系统、外部 API 结果，压缩后这些就不可见，同一观测对应多个真实状态，策略学到的是矛盾映射。三是 off-policy，一次 rollout 里工具调用要等真实时间，采样回来策略已更新几版，importance ratio 的方差被放大。表现上先看熵：熵塌缩往往早于 loss 尖峰，reward 甚至还在涨。

GRPO 的信用分配与 clip：GRPO 去掉 critic，用同一 prompt 的 G 条轨迹做组内均值方差归一化当优势，省掉一个与策略同规模的 Critic。代价是 baseline 只在「同 prompt」这层可比：多轮任务里各轨迹的步数与工具调用数都不同，序列级 reward 摊到每个 token，信用分配很粗；组内全对或全错时标准差为零、优势全零。clip 与 KL 不等价：clip 限制单步 ratio 的偏离，是 trust region 的近似；KL 罚的是相对参考策略的累计漂移。系数小则更新保守、样本效率低；大则单步跳太远，ratio 方差和熵一起失控，一般取 0.2 上下并盯 clip 命中率。

DAPO 的几处改动：token 级损失把归一化改成「按 batch 内总 token 平均」，长回答不再被稀释，也不会因 token 多而主导梯度。clip-higher 把上下界解耦、抬高上界，给低概率 token 留出被抬升的空间，抑制熵塌缩。动态采样滤掉全对与全错的组，因为这些组优势为零、只消耗 rollout 成本，滤掉后同样的卡时能换到更多有效梯度。

GAE 与 λ：有 critic 仍要 GAE，因为单步 TD 把 V 的估计误差算成偏差，Monte Carlo 又拿整条回报换来大方差；GAE 用 λ 做指数加权的多步 TD，把两者折中。λ=0 退化成单步 TD，λ=1 退化成蒙特卡洛。多轮 Agent 还要按 turn 截断，否则跨工具调用的长回报方差压不住。

Reward Hacking 的检测：Agent 更凶：只有终局可验证、中间步骤没有监督，reward model 在工具轨迹上的分布外漏洞更多，模型还能主动改环境。信号是 reward 涨而离线评测与人工抽检不动、某类工具调用突增、轨迹里塞满空操作、验证器通过率偏高但下游指标不变。最阴的一种是「不动就不扣分」：每步都设惩罚，最优策略就退化成不作为，要盯「动作数 × 任务完成率」的联合分布。

蒸馏与只有 8 张卡：在线策略蒸馏是学生自己采样，老师在学生访问到的 prefix 上给 token 分布，用 reverse KL 或 top-k logits 对齐；与离线蒸馏的差别是状态分布来自学生，缓解 exposure bias 与分布错配。对齐的关键是只在学生 prefix 上算 loss、屏蔽 prompt 段、统一 tokenizer 与 chat template。它替代不了 RL：上限是老师，传的是已有能力；RL 能靠 reward 探索新行为、优化不可微目标，但依赖可靠 reward、容易被 hack，常见组合是蒸馏冷启动加 RL 精修。只有 8 张卡就砍 episode 长度与 group size，rollout 用单卡推理引擎加异步复用，训练走 LoRA 加梯度累积，奖励换成规则信号。

手撕最小包围矩形：维护四个边界即可，O(HW)、O(1)。容差要整体算像素距离再比阈值，逐通道比会把「单通道差异大」判成相同；流式只能边读边更新边界。0.1% 的噪声判定不用回退：H·W 已知，边扫边计数，超阈值就锁定矩形，否则返回空。