米哈游大模型算法岗:九问 Agent 训练、DPO 与长上下文外推
- 时间
- 2026-11
- 来源
- 牛客网
《面试题目》
- Agent 是如何完成推理以及工具调用的?训练轨迹里需要留存哪些信息?
- 怎么设计 Agent 的工具记忆模块?过期信息、冲突信息该怎么处理?
- 谈谈你对 Agentic Loop 的理解,怎么利用交互轨迹优化后续训练?
- 分析 Agent 训练曲线时,重点看哪些指标?奖励持续上涨但任务实际成功率反而下降,该怎么排查?
- DPO 训练之后,模型输出明显变长,你会怎么排查和处理?
- 大模型训练为什么会设置退火阶段,作用是什么?
- 怎么判断一款大型游戏 GUI Agent 具备研究价值,而不是单纯的固定路线演示?
- 以 RoPE 结构的模型举例,长度外推有哪些方案?仅仅修改最大长度配置够用吗?是否一定要从头预训练长文本?
- DPO 和 PPO 在优化目标、数据来源、训练流程上有什么区别?
《参考解析》
Agent 的推理与工具调用:一轮决策里,模型收到的是任务目标、当前观测和可用工具列表,它要么直接给出答案,要么输出结构化的工具调用指令(工具名 + 参数)。执行层负责校验工具名、入参合法性、权限与调用配额,执行结果作为新的观测回传,模型据此继续决策;任务达成、额度耗尽或判定失败时终止。轨迹留存的重点是「可回放」:消息顺序与角色、当轮的工具定义、调用参数、返回结果、终止状态、任务标签与反馈,调用与结果一一对应。重试、失败、人工确认都要留在轨迹里,否则训练时无法区分「模型判断错了」与「工具当时不可用」。外部返回内容必须当数据而不是指令处理,训练时还要明确哪些 token 参与损失计算——工具返回部分通常不参与。
工具记忆模块:要把「运行状态」与「可检索记忆」分开。短期记忆存当前任务的目标、已执行动作、待处理结果;长期记忆存经过核验的工具约束、事实与可复用经验,每条带来源、适用范围、时间戳与版本。检索时按任务场景与工具环境过滤,而不是全库向量召回。冲突处理先比时间与来源,再比适用边界:新记录写明变更依据,存疑的标为待复核;高风险操作执行前重新查询最新状态,不信任缓存。评估记忆模块不只看命中率,还要看错误记忆是否引发过错误操作、旧信息能否及时失效、信息不足时能否停下来问人。
奖励上涨但成功率下降:这是典型的代理目标被利用。排查顺序是先自证评估链路——任务分布、判定规则、工具可用性、采样策略有没有变;再看高分低成功率的轨迹,判断是不是超长输出、重复动作、把答案写进注释、绕开工具直接用记忆答;然后查训练集是否与评测集重叠。处理手段是固定一份独立评估集加人工抽查、修正奖励函数(长度与格式约束、可验证任务改用单测判分)、回滚到异常前版本做对照实验。指标上要同时看训练奖励、独立成功率、工具参数有效率、调用次数、耗时与失败类型分布,只报奖励曲线不能说明模型变好。
DPO 后输出变长:先做数据侧归因——偏好数据里优选样本与拒绝样本的长度差是多少,训练前后的输出长度分布与停止条件有什么变化;再在长度对齐的前提下比较内容质量,避免把「更长」直接当成「更差」。常见原因是偏好对里长答案被系统性偏好、序列对数概率对长度的归一化偏差、以及冗余重复样本。处理包括清理冗余样本、补充长度匹配的偏好对、加长度正则或显式长度惩罚、调低训练强度。验证时同时上报长度、质量与失败案例,不能简单截断输出——截断会破坏 EOS 学习,也会把完整答案切坏。
退火阶段:退火指训练后期逐步降低学习率,让参数在已学到的能力附近做精细收敛;不少方案同时提高高质量、目标相关数据的比例,所以收益可能来自学习率调度,也可能来自数据排布,两者要分开做对照。判断必要性看目标能力、通用能力与遗忘情况:控制算力与数据预算相同的条件下,比较「只降学习率」「只换数据」「两者都做」三组的评测结果,才能说清提升来自哪里。
GUI Agent 的研究价值:判据是泛化,而不是演示是否流畅。任务要挑需要感知界面、理解状态、连续操作的,成功标准用环境状态核验而非人工观感;评估覆盖未见过的关卡、不同起始状态、界面改动与操作扰动,并与脚本、简单策略做对照。除成功率外还看耗时、调用成本、重试次数、失败后的恢复能力和违规操作。只在固定场景生效、换初始状态就崩的,属于固定路线演示。
RoPE 长度外推:只改 max_position_embeddings 只是允许更长的输入,不保证模型能用上远处信息。常见手段是位置插值(把超出训练长度的位置压缩回训练区间)、调整 RoPE 的 base 或频率(NTK-aware、动态 NTK)、YaRN 一类分频段缩放,通常要配合长序列的继续预训练或微调才能稳定。是否必须从头预训练取决于目标长度与数据条件:多数情况是在原模型上做长上下文继续训练加少量微调即可;验证要覆盖不同长度、关键信息放在不同位置、跨段推理,并回测短文本能力有没有退化,同时看显存与注意力实现的成本。
DPO 与 PPO:DPO 用固定的偏好对直接优化策略,目标是最小化「优选回答与拒绝回答的对数概率差」经过 sigmoid 后的负对数,不需要单独训奖励模型,也不需要在线采样,工程简单、成本低,但对偏好数据质量高度敏感,且无法利用在线交互产生的新反馈。PPO 是在线策略梯度:与环境或奖励模型交互采样轨迹,用优势估计和概率比裁剪的目标更新策略,通常配价值网络与参考策略的 KL 约束,能接入真实反馈、上限更高,代价是采样开销、奖励偏差与训练稳定性都要额外处理。选型上,数据固定、追求性价比用 DPO;有可靠奖励信号、需要持续迭代用 PPO 或 GRPO 一类。