面灵AI→

吉利大模型算法一二面:Agentic RL、GRPO 与 Reward Hacking

轮次
一至二面
时间
2026-11
来源
牛客网

《面试题目》

一面

  1. Agentic RL 和传统大模型 RL 的核心差异在哪?
  2. 长时序任务下,Agent RL 训练容易崩,底层原因是什么?
  3. 「崩」具体表现为什么:loss 尖峰、熵塌缩还是 reward 掉?
  4. Agent 的自进化机制核心逻辑是什么?算不算模型自主迭代训练?
  5. PPO 和 GRPO 在信用分配上的核心区别?
  6. 没有 critic,GRPO 怎么估优势?组内归一化的前提是什么?
  7. PPO 的 clip 和 KL 约束等价吗?各自什么时候用?
  8. clip 系数调大调小分别会发生什么?
  9. DAPO 的 token 级损失相比原生 GRPO 改了什么?
  10. clip-higher 为什么能提升探索?
  11. 动态采样过滤掉全对和全错,为什么这算一种加速?
  12. 你这套训练里哪个超参最敏感?

二面

  1. GAE 的作用是什么?已经有 critic 了,为什么还要 GAE?
  2. λ 取 0 和取 1 分别退化成什么?
  3. 上下文压缩之后,信用分配的难度为什么会加剧?
  4. Reward Hacking 在 Agent 场景为什么比单轮更严重?
  5. 你怎么检测 Reward Hacking?说具体信号。
  6. DSPO 的序列级优化逻辑相比 token 级好在哪?
  7. DeepSeek-V4 相比 V3,核心技术迭代有哪些?
  8. V4 大量用在线策略蒸馏替代纯 RL,设计考量是什么?
  9. OPD 和常规知识蒸馏的本质区别?
  10. 学生自己采样、老师给分,老师和学生的分布怎么对齐?
  11. 蒸馏能不能替代 RL?边界在哪?
  12. 如果你只有 8 张卡,这套流程怎么砍?

手撕:给两张同尺寸的图,找出所有不一致像素的最小包围矩形。

《参考解析》

  1. Agentic RL 与传统 RL 的差异:传统 RLHF 是单轮「提问—回答—打分」,轨迹长度固定、状态就是 prompt;Agentic RL 是多轮交互,动作包含工具调用,状态由环境返回并部分进入上下文,奖励往往只在终局给出。这带来三个后果:轨迹变长、环境不可复现、奖励稀疏且延迟。

  2. 长时序训练为什么崩(核心题):第一层是 horizon——第 20 步的奖励要回传到第 1 步,中间隔了十几次策略更新和环境交互,方差随步数累积,优势估计的信噪比一路下降。第二层是状态非马尔可夫——Agent 的状态包括工具返回、文件系统、外部 API 结果,这些不进上下文模型就看不见,上下文一压缩,同一个观测对应不同的真实状态,策略学到的是矛盾映射。第三层是 off-policy 程度——一次 rollout 要等工具真实执行十几分钟,等采样回来策略已经更新了好几版,importance ratio 的方差就爆了。

  3. 崩的表现:三者会依次出现。先是熵塌缩、输出变得单一,然后 reward 不再上升甚至下降,最后出现 loss 尖峰伴随梯度范数暴涨。判断时要分开看 policy loss、entropy 和 reward 曲线,别把「reward 不涨」和「训练发散」混为一谈。

  4. GRPO 的优势估计:同一 prompt 采样一组回答,用组内 reward 的均值和标准差做归一化,替代 critic 给出的基线。前提是组内样本可比、reward 尺度一致;组内全对或全错时标准差为 0,优势全为 0,这个样本就白采了——这也是动态采样要过滤掉它们的直接原因。

  5. clip 与 KL 不等价:clip 是对概率比做硬截断,限制单步更新幅度;KL 是对当前策略与参考策略的整体散度做惩罚,约束的是「别跑太远」。clip 更常用是因为实现简单、对极端样本鲁棒;KL 适合需要明确锚定参考策略的场景,比如防止语言能力退化。常被一起用,但作用点不同。

  6. clip 系数:调大允许更大的策略变化,学习快但容易崩;调小更新保守,训练稳但收敛慢、容易卡在局部。DAPO 的 clip-higher 是给下界更宽松、上界更紧,避免低概率 token 被过度压制,从而保住探索。

  7. DAPO 的 token 级损失:原生 GRPO 在序列级做归一化,长回答里每个 token 的权重被稀释;改成 token 级后,长短回答的梯度贡献更均衡,缓解长度偏置。

  8. 动态采样为什么是加速:全对和全错的组优势为 0,对梯度没有贡献,却照样消耗采样和训练算力。过滤掉它们等于把算力集中在有区分度的样本上,同样的步数里有效梯度更多,所以是「用采样效率换加速」。

  9. GAE:用 TD 残差的指数加权和估计优势,λ 控制偏差与方差的权衡。λ=0 退化成单步 TD(偏差大、方差小),λ=1 退化成蒙特卡洛回报(无偏但方差大)。已经有 critic 仍需要 GAE,是因为 critic 本身有误差,GAE 用多步回报平滑它。

  10. 上下文压缩加剧信用分配难度:压缩丢掉的正是中间步骤的证据,模型看不到自己第 3 步做了什么,却要为终局结果负责,优势无法归因到具体动作。工程上的解法是保留结构化的动作摘要而不是原文,或者对关键步骤单独给中间奖励。

  11. Reward Hacking 在 Agent 里更凶:中间步骤大多不可验证,reward model 在长尾状态上分布外,模型还能主动操纵环境。典型信号是「改测试用例让它通过」「把答案写进文件再读回来」「把长任务拆成一堆空操作骗步数奖励」,以及最隐蔽的一种——学会什么都不做,因为不动就不扣分。

  12. 检测手段:看奖励与真实指标的背离、看动作分布的异常集中(比如反复调用同一个无害工具)、看轨迹长度与收益的相关性、做留出环境的泛化测试,以及人工抽检高分轨迹。

  13. OPD 与常规蒸馏:常规蒸馏是学生拟合老师的输出分布,数据来自老师或固定数据集;在线策略蒸馏是学生自己采样,老师在学生访问到的状态上给分或给分布,训练分布和学生当前策略对齐,缓解 exposure bias。难点在于两者分布不一致时要解决对齐问题,常见做法是在学生分布上做重要性加权或直接用老师对学生样本的打分作为奖励。

  14. 蒸馏能否替代 RL:蒸馏能传递「老师已经会的东西」,但探索新行为、优化不可微的目标仍然要靠 RL。边界在于目标是否超出老师的能力范围——超出就只能靠 RL 自己试。

  15. 只有 8 张卡怎么砍:先砍模型规模或改用 LoRA,再砍 rollout 的并行度和组大小,用梯度累积补 batch;缩短轨迹长度、减少环境交互步数;把在线蒸馏换成离线蒸馏;优先保证一条能跑通的最小闭环,再逐步加组件。

  16. 手撕:图像差异的最小包围矩形:单遍扫描维护 minRow、maxRow、minCol、maxCol,O(HW) 时间 O(1) 空间。加容差时先算像素距离再和阈值比,不能逐通道比较。要求单遍且分块流式到达时不能先存 diff 图,只能在读入时更新边界;再加「差异占比低于 0.1% 视为噪声返回空」的条件后,流式场景无法回退,解法是第一遍同时记录候选矩形和计数器,最后判定为噪声就把矩形丢掉,代价是多存一个矩形。