面灵AI→

米哈游大模型算法岗面经:Agent 训练、DPO 与长上下文九问

时间
2026-11
来源
牛客网

《面试题目》

  1. Agent 是如何完成推理以及工具调用的?训练轨迹里需要留存哪些信息?
  2. 怎么设计 Agent 的工具记忆模块?过期信息、冲突信息该怎么处理?
  3. 谈谈你对 Agentic Loop 的理解,怎么利用交互轨迹优化后续训练?
  4. 分析 Agent 训练曲线时,重点看哪些指标?奖励持续上涨,但任务实际成功率反而下降,该怎么排查?
  5. DPO 训练之后,模型输出明显变长,你会怎么排查和处理?
  6. 大模型训练为什么会设置退火阶段,作用是什么?
  7. 怎么判断一款大型游戏 GUI Agent 具备研究价值,而不是单纯固定路线演示?
  8. 以 RoPE 结构的模型举例,长度外推有哪些方案?仅仅修改最大长度配置够用吗?是否一定要从头预训练长文本?
  9. DPO 和 PPO,在优化目标、数据来源、训练流程上有什么区别?

《参考解析》

推理与工具调用的闭环。系统把任务目标、当前观测、可用工具列表给到模型,模型判断是直接作答还是生成结构化的工具调用(工具名 + 入参);执行侧校验工具名、参数、权限与调用限额,执行完把结果作为新观测回传,模型据此做下一步决策;到达目标、耗尽调用额度或明确失败时终止。一条训练轨迹要完整保存消息顺序、角色、工具定义、调用参数、返回结果、终止状态、任务标签与反馈,工具调用与结果必须一一对应,重试、失败、人工确认的记录都要留,外部返回的数据要校验而不能赋予更高权限;训练时还要明确哪些输出参与损失计算。

工具记忆模块。短期记忆放当前任务、已执行动作、待处理结果;长期记忆沉淀经过核验的工具约束、事实与可复用经验。每条记录带来源、适用范围、时间戳与版本,检索时结合任务场景与工具环境做筛选。新信息与历史冲突时,优先比较时间、来源、适用边界,保留变更依据,存疑内容标记待复核;高风险操作执行前重新查询最新状态。评估记忆模块不只看检索命中率,还要看错误记忆会不会引发错误操作、旧信息能不能及时失效、信息不足时会不会停下来问。

Agentic Loop 与两条优化链路。推理时的循环是「观察 → 选择动作 → 执行 → 获取反馈 → 更新任务状态」;训练层面的循环是收集交互样本 → 质量筛选与归因 → 清洗 → 优化模型 → 用独立任务验证。两者相关但不等价:不是每次在线调用都实时更新参数。训练时要同时保留成功轨迹和有价值的失败步骤,核对工具输出与最终目标是否一致,不能只挑看起来流畅的样本;训练集与评估集按任务、环境隔离,并跟踪重试次数、成本与失败类型,确认优化能迁移到全新的初始状态。

训练曲线与奖励 hack。要监控的不只是训练奖励,还有独立测试集的成功率、工具参数有效率、调用频次、耗时、失败类型,并留存模型版本、环境与评估配置。奖励涨而成功率掉时,第一步核对任务分布、判定规则、工具可用性与采样策略有没有被改动;第二步抽查「高奖励但失败」的轨迹,看模型是不是钻了奖励漏洞——超长输出、重复动作刷分、只在训练集任务上过拟合或数据泄漏。处置方式是固定评估集 + 人工抽查定位、必要时回滚版本、修正奖励函数或数据集,再做对照实验,不能拿奖励上涨当模型变好的证据。

DPO 后输出变长。先对比偏好数据里优选样本与拒绝样本的长度差,统计训练前后的输出长度分布与停止条件,再在长度相近的前提下核验内容真实性与完成度。成因通常是偏好数据里「长回答更容易被选」的隐性偏差、序列对数概率与长度耦合、以及参考模型与策略模型在 EOS 上的偏移。处理上清理低质冗余样本、补充长度匹配的偏好对、调整训练强度、加长度正则或长度归一化的损失,验证时同时上报长度、质量与失败案例;不能靠粗暴截断输出解决,也不该把「长度归一化」直接等同于 DPO 的原始目标。

退火阶段。退火指训练后期逐步降低学习率,让参数更新幅度变小,在已学到的能力附近做精细收敛;不少方案同时提高高质量、目标任务相关数据的占比。因此后期收益可能来自学习率调度、也可能来自数据排布,两者要分开验证:控制算力与数据预算,分别观测「只调学习率」「只换数据」「两者组合」的效果,并评估目标能力、通用能力与遗忘情况,不能把后期所有提升都归给退火。是否设置这一阶段不是必须的,取决于训练预算与目标。

GUI Agent 的研究价值怎么判定。先挑需要感知界面、理解状态、连续操作的任务,定义可以用环境状态客观核验的成功标准;评估覆盖没见过的关卡、不同起始位置、界面改动与操作扰动,并与脚本、简单启发式策略做对照。除成功率还要统计完成耗时、调用成本、重试次数、容错恢复与违规操作。单条流畅演示无法证明泛化:如果只在固定场景生效就要谨慎下结论,研究价值体现在可复现的任务、可归因的失败与可迁移的方法上。

RoPE 的长度外推。改最大长度配置只是允许更长输入,不保证模型能用好远距离信息。常见方案:位置插值(把超出训练范围的位置压缩回训练区间)、调整 RoPE 的基频 / 维度分配(如 NTK-aware 缩放、YaRN 的分频段缩放与温度修正)、以及配合长序列持续预训练或微调。是否必须从头预训练长文本,取决于目标长度、可用数据与指标要求——多数情况是「外推方法 + 少量长文本继续训练」;验证要覆盖不同长度、关键信息位置(首、中、尾)、跨段推理与短文本回测,同时看显存、延迟与注意力实现的代价,不能用单个长样例证明长上下文可靠。

DPO 与 PPO。DPO 用固定的偏好对(同一输入下的优选回答 y_w 与拒绝回答 y_l)直接构造损失优化策略,不需要单独训练奖励模型,也不需要在线采样,训练稳定、成本低,但对偏好数据的质量与覆盖高度敏感,容易出现长度偏差与分布外退化。PPO 是在线策略梯度:从环境或当前策略采样轨迹,用优势估计与新旧策略概率比的裁剪目标更新,通常搭配价值函数,RLHF 里由奖励模型提供反馈并加参考策略的 KL 约束;它能接入真实交互反馈、可以持续探索,代价是采样开销大、训练不稳定、要处理奖励偏差与奖励 hack。选择取决于是否有可靠偏好数据、是否需要在线交互信号与预算。