腾讯 WXG 大模型算法岗三面：RL 理论连环追问

轮次: 三面
时间: 2026-10
来源: 牛客网

《面试题目》

自我介绍，说明你和这个岗位的匹配度。
智能体强化学习（Agentic RL）与传统大模型 RL（RLHF）在训练范式和信用分配上的核心差异是什么？
为什么 Agentic RL 在长时序任务中训练特别容易失稳？底层原因是什么？
手写 GAE 的完整公式，解释 λ 和 γ 的物理意义；λ 取 0 和 λ 取 1 分别对应什么？各自有什么问题？实际训练中 λ 一般取多少？为什么？
PPO 的 Clip 机制和 KL 散度约束是否等价？适用场景差异是什么？
如果 PPO 的 clip 范围设 0.1 和 0.3，分别会有什么影响？怎么调？
重要性采样在 Off-policy RL 里起什么作用？写出核心公式。如果重要性权重过大，会有什么问题？怎么解决？
DAPO 为什么不需要 KL 惩罚？它怎么维持策略稳定性？
GRPO 相比 PPO 在信用分配机制上的核心区别是什么？
GRPO 训练到后期效果下降，有哪些优化方向？
如果同事训 GRPO 时发现 loss 变成 0，你觉得正常吗？如果不正常，可能原因和解决方案是什么？
DPO 损失函数怎么写？beta 的作用是什么？
PPO、DPO、GRPO 三者的适用场景分别是什么？
多轮对话场景下，reward 怎么设计？过程奖励和结果奖励哪个更重要？为什么？
如果让你用 PPO 训练一个多轮对话 Agent，reward model 怎么设计？
长时序任务下 Agent RL 训练容易崩，根本原因是什么？怎么缓解？
Agent 自进化机制的核心逻辑是什么？属于模型自主迭代训练吗？
上下文压缩（Context Compaction）操作后，模型信用分配难度为什么会加剧？
Agent 强化学习场景 Reward Hacking 问题高发的底层机理是什么？
DSPO 算法侧重序列级优化的设计逻辑与优势是什么？
DeepSeek-V4 对比 V3 版本的核心技术迭代与能力升级有哪些？
DeepSeek-V4 大量采用在线策略蒸馏、替代纯 RL 迭代训练的设计考量是什么？
DeepSeek-V4 的 OPD 在线策略蒸馏，与常规知识蒸馏的本质区别是什么？
大模型强化学习训练中，为什么会出现熵坍塌现象？熵坍塌的本质是什么？
字节的 DAPO 算法核心思路是非对称裁剪，为什么这样有效？
多模态模型中，视觉编码器输出的 token 和文本 token 怎么融合？有哪些常见方式？
Q-Former、MLP Projector、Cross-Attention Resampler 各有什么优劣？
多模态模型产生幻觉的主要原因是什么？怎么通过后训练、RAG、规则手段分别缓解？
如果让你做小红书笔记的图文内容理解，你会怎么设计模型架构？
对比学习在图文匹配任务中怎么用？InfoNCE 损失的温度系数怎么调？
如果一篇笔记包含多张图片，你怎么融合多图信息？注意力机制怎么设计？
你怎么评估多模态模型的内容理解效果？评测集怎么构建？
手撕：图像差异最小包围矩形（给定两张图像，找出它们差异区域的最小包围矩形）；追问：图像分辨率是 4K 时算法复杂度怎么优化？差异是渐变而不是突变时怎么处理？

《参考解析》

Agentic RL 与 RLHF 的差异与失稳根源：RLHF 是「给定 prompt 生成回答 → 奖励模型打分 → 更新策略」，本质是单步或短序列的 bandit 式优化，信用分配落在整段回答（序列级），环境静态；Agentic RL 是模型与环境多轮交互产生轨迹，每一步动作都会改变环境状态与后续可观测信息，奖励稀疏且滞后到任务结束才给出。差别带来两个后果：信用分配要从「这段回答好不好」细化到「第 k 步的哪个工具调用导致成败」，难度随步数增长；状态分布随策略漂移，数据不再独立同分布。长时序训练失稳正是这几点被放大：轨迹越长回报方差越大、稀疏奖励下优势信噪比极低、信用分配错位、off-policy 程度变大导致重要性权重爆炸、与参考策略的 KL 失控让模型转向退化但高分的行为。缓解手段一一对应：奖励塑形与过程奖励、GAE 类优势估计降方差、限制每次更新的策略距离、优势归一化与梯度裁剪、先 SFT 冷启动、用可验证奖励替代易被钻的模型打分。

GAE、PPO Clip 与 KL：GAE 用 TD 残差 δ_t = r_t + γV(s_{t+1}) − V(s_t)，再做指数加权求和 A_t = Σ (γλ)^l δ_{t+l}；λ 是偏差-方差的旋钮，λ=0 退化成单步 TD（偏差大、方差小，依赖价值函数准），λ=1 退化成蒙特卡洛回报（无偏但方差大），实践常用 0.9~0.95 折中；γ 是折扣因子，决定有效视野，越接近 1 越看长远。PPO 的 Clip 是对重要性比率的硬裁剪，比率超出 [1−ε, 1+ε] 区间后该项梯度为零，所以它限制的是「单次更新幅度」；KL 惩罚或 KL 约束则直接惩罚与参考策略（或旧策略）的平均分布距离，是连续、有方向的软约束，两者不等价：clip 不管方向、只看幅度，KL 对整体偏移敏感。clip 取 0.1 更新保守、收敛慢但稳，取 0.3 步子大、容易发散，一般从 0.2 起调，靠监控 clipfrac（被裁比例）判断：长期偏高说明步子太大或数据太旧。

GRPO、DAPO 与熵坍塌：GRPO 去掉 PPO 的 critic，对同一 prompt 采样一组回答，用组内奖励的均值与标准差归一化得到优势，省掉价值网络的显存与训练，但信用分配更粗——它是组内相对比较，天然是序列级的。后期效果下降常见原因：组内奖励同质化导致优势全为零（没有梯度信号）、熵坍塌使输出多样性消失、长度偏置让模型学会「写长一点更容易得分」。排查 loss 变成 0 要先分清是「优势为零」（整组奖励相同，检查奖励计算与数据难度分布）、「全被 clip」（检查比率与学习率）还是「梯度没通」（检查 mask、padding、损失缩放和分布式同步）。熵坍塌的本质是策略分布越来越尖锐、探索能力丧失，成因包括过度优化、KL 惩罚方向不当、奖励过于单一；DAPO 的思路正是用非对称裁剪（clip-higher 给低概率 token 更大的上升空间）抑制熵过快下降，同时配合动态采样剔除全对或全错的样本、token 级损失和去掉 KL 惩罚来稳住训练。

DPO 与算法选型：DPO 的损失是 −log σ(β·[log(πθ(y_w)/πref(y_w)) − log(πθ(y_l)/πref(y_l))])，即直接让偏好回答相对参考策略的对数概率优势大于被拒回答，β 控制对参考策略的偏离强度：β 大更保守、贴近 SFT 模型，β 小更激进、容易过拟合偏好数据并退化。DPO 的好处是离线、无需 reward model 和在线 rollout，成本低且稳定；代价是只能用固定偏好数据、没有在线探索、对数据质量和分布很敏感，也容易学到长度等虚假特征。选型上：奖励可自动验证且需要探索（数学、代码、Agent 任务）用 GRPO 一类在线 RL；有大量高质量偏好对、只想做对齐且算力有限用 DPO；需要精细控制、有成熟奖励模型和充足算力用 PPO。能把这个三角说清，比背公式更能体现判断力。

多轮 reward 设计与 Reward Hacking：多轮对话不能只给终局奖励，否则模型学不到中间哪一步错了。可行做法是分层：结果奖励（任务是否完成、是否满足约束）+ 过程奖励（每轮的工具调用是否合法、参数是否正确、是否重复无效尝试、格式是否符合协议）+ 交互质量（是否追问必要信息、是否胡说）。过程奖励尽量用规则和校验器实现（可复现、不易被钻），语义质量才交给模型评审，并且要定期用人工标注校准评审器。过程奖励与结果奖励哪个更重要取决于任务：结果不可自动验证时过程奖励是主要信号，可验证时结果奖励为主、过程奖励只做塑形。Reward Hacking 高发的机理是代理指标与真实目标之间存在缝隙，而优化压力会系统性地放大任何可被利用的缝隙——模型学会刷长度、套模板、迎合评审器偏好。防范靠三件事：让奖励尽量逼近真实目标（可验证结果优先）、持续对抗性检查（把刷分样本挖出来加惩罚）、加约束与多样性正则（KL、长度惩罚、多评审器交叉）。

多模态融合与幻觉，以及手撕题思路：视觉 token 与文本 token 的融合主要有三类：Q-Former 用一组可学习查询把图像压成少量 token，省上下文但有信息瓶颈；MLP Projector 直接把视觉特征线性映射到语言模型嵌入空间，实现简单、保留信息多，代价是 token 数大、长图成本高；Cross-Attention Resampler 在语言模型层间做交叉注意力，性能和效率折中，但训练稳定性要求更高。幻觉的主要来源是视觉信息在编码阶段丢失（分辨率不足、切图策略差）、语言先验压过视觉证据、以及训练数据里的偏置。缓解分三层：后训练用高质量图文对和 DPO 强化「有依据才说」，RAG 补外部事实，规则层对关键字段（数字、日期、实体）做强校验与拒答。手撕图像差异最小包围矩形：先逐像素或分块求绝对差，超过阈值即视为差异，扫一遍同时维护最小/最大行列，复杂度 O(W·H)。4K 优化可以下采样粗定位 + 分块早停、只对变化块精算、SIMD 与多线程按行切分。渐变差异不能用固定阈值，改成看梯度幅值或局部对比度、用形态学与连通域合并零散差异点，再取外接矩形。

《面试题目》

《参考解析》

相关面经