面灵AI→

深度赋智 Agent 算法一面:PPO、DPO、GRPO 的差别与 Harness 的理解

轮次
一面
时间
2026-11
来源
牛客网

《面试题目》

  1. 你的项目和一个经典的、面试官了解的项目有什么不同?为什么你的项目声称能解决噪声问题?
  2. 讲讲 RL 里经典的 PPO、DPO、GRPO、OPD,它们大体分别是怎么做的、相互之间怎么对比。
  3. 你们怎么提出这个方法的(方法论层面)?
  4. 你的 Agent 项目用什么开发的?
  5. 分模块介绍你的 Agent 项目,以及做这个项目的动机。
  6. 你了解哪些 Harness?具体有什么了解?
  7. Claude Code 的上下文压缩机制是怎样的?
  8. 反问:有什么建议?

《参考解析》

PPO、DPO、GRPO 的定位差异。 PPO 是 on-policy 的策略梯度方法,需要在线采样、用 critic(价值网络)估计 baseline 算优势,再用重要性采样比做裁剪,训练稳定但工程重(四份模型:策略、价值、参考、奖励)。DPO 绕开显式奖励模型与在线采样,直接用「偏好对」构造损失:把策略对 chosen 与 rejected 的似然比与参考模型的似然比做对比,等价于在偏好数据上做带 KL 约束的最大似然,优点是简单稳定、不需要 rollout,缺点是无法利用在线探索、对分布外样本敏感、偏好数据的质量直接决定上限。GRPO 介于两者之间:保留在线采样与奖励,但用同一 prompt 的一组采样做组内相对优势,去掉 critic,省显存与一份模型,适合有可验证奖励(答案对错、单测通过)的场景。三者的选择取决于「奖励是否可自动判定」「是否有高质量偏好数据」「算力预算」:可验证奖励 + 有 rollout 预算选 GRPO/PPO,只有偏好数据选 DPO。

方法论的问法怎么答。 面试官问「你们怎么提出这个方法」,考的不是包装,而是能否说清问题定义、假设、对照与验证。可用的结构是:先定义要解决的具体失效(例如长上下文下工具调用选择准确率下降),再给出可检验的假设(候选集过大导致注意力稀释),再说明干预(分层编排、描述精简),最后用对照实验证明(同批评测集上准确率、轮次、成本三项指标)。要主动交代反例与失败边界,例如「在候选工具少于 10 个时分层没有收益」,这比只讲收益更可信。

Harness 是什么。 在 Agent 语境里,Harness 指模型之外的那层执行框架:负责系统提示与工具的装配、对话历史与上下文管理、工具调用的解析与执行、权限与沙箱、重试与降级、日志与评测。它决定了同一个模型在不同产品里的实际能力差异——模型负责判断,Harness 负责让判断可靠地落地。Claude Code 这类编码 Agent 的 Harness 还包括文件读写与搜索工具、命令执行沙箱、子 Agent 派生、上下文压缩、以及计划与待办管理。评价一个 Harness 的维度是:工具是否好用(描述、参数、错误信息)、上下文是否可控(缓存、压缩、隔离)、执行是否安全(权限、审批)、行为是否可观测(日志、trace)、结果是否可复现。

上下文压缩机制。 常见做法有三层:一是裁剪,把旧的工具结果(尤其是大段文件内容、网页正文)替换成摘要或引用,只保留结论与关键片段;二是摘要,把较早的对话压缩成结构化摘要(目标、已完成的步骤、关键发现、未决问题),保留在上下文头部;三是隔离,把探索性工作放进子 Agent,只把结论带回主线程,避免中间过程污染主上下文。工程上还要配合提示缓存:压缩必须发生在「历史前缀之外」的位置,否则会破坏已缓存的 token 前缀,导致成本与延迟上升。评估压缩是否有效,看三点:压缩后任务成功率是否下降、依据链是否完整、token 节省比例。

项目介绍的答法。 分模块讲要按「动机—设计—取舍—结果」组织,而不是按代码目录。动机说清要解决谁的什么问题;设计说清模块边界与关键接口;取舍说清为什么不用另一种方案(成本、延迟、可维护性);结果给量化指标(准确率、轮次、成本、人工接管率)。面试官追问「和经典项目有什么不同」时,差异要落在具体机制上(例如候选集裁剪、结果归属校验、压缩策略),而不是「我们的场景更复杂」。