面灵AI→

小米汽车大模型算法:GRPO 追问到第五层,DPO 与线上灰度

轮次
一至二面
时间
2026-11
来源
牛客网

《面试题目》

一面

  1. 项目背景,为什么引入 Agent?
  2. 训练数据和离线环境怎么搭的?
  3. 模型和工具怎么交互?工具报错怎么处理?
  4. GRPO 的训练流程,完整说一遍。
  5. 组大小 G 取多少?为什么?
  6. 超参怎么设的?哪个最难调?
  7. Reward 怎么实现?规则 reward 和 reward model 怎么选?
  8. 两者都用的时候怎么加权?
  9. 训练中出现过 Reward Hacking 吗?什么形式?
  10. Top-k 和 Top-p 的原理,为什么同时用?
  11. PPO 和 GRPO 的差异,除了 critic 还有什么?
  12. DPO 的 loss 写一下,为什么 reference model 不能省?

二面

  1. 模型选型的依据是什么?列几个硬指标。
  2. 数据怎么构造输入?没有完整监督轨迹时,训练信号从哪来?
  3. 业务规则怎么融进模型?写进 prompt 还是写进 reward?写进 reward 会有什么后果?
  4. 微调的具体实现,LoRA 的 rank 怎么定?
  5. 项目实际收益多少?测试集怎么划的?
  6. 离线达标了,线上怎么验证?灰度策略是什么?
  7. 线上日均多少请求?吞吐够吗?P99 是多少?
  8. 如果线上 reward 分布和离线不一致,你怎么发现?
  9. 业务方要求「不许说错话」,你怎么用技术手段兜?
  10. 这套系统上线三个月后,你觉得最先坏掉的是哪块?

手撕:网格中 1 是障碍、0 可走,允许消除最多 k 个障碍,求左上到右下的最小路径和。

《参考解析》

  1. GRPO 流程:同一个 prompt 采样 G 条回答,每条算 reward,组内减均值除标准差得到 advantage,再按 PPO 的 clip 目标更新,同时用 KL 约束锚定参考策略。

  2. 为什么不用 critic:省掉一个和策略同规模的价值网络,省显存也省训练不稳的麻烦。代价是 advantage 只依赖组内相对比较,绝对尺度丢了。

  3. 归一化为什么能降方差:baseline 减去一个与动作无关的量,让梯度期望不变但方差变小;组均值就是不需要学习的 baseline。除以标准差是把不同 prompt 的 reward 尺度拉平,避免天生分高的题目主导梯度。

  4. 归一化的前提(面试官真正想听的):组内 reward 必须可比。如果 reward 是多信号加权且权重随样本类型变化,组内就不再可比,归一化会把真实差异抹掉。工程上要按样本类型分组归一化,或者先做 reward 标准化。

  5. G 取多少:8 是常见值。取 2 时 advantage 只有 +1/-1 两档,方差太大、梯度噪声高;取 32 会稳但采样成本翻四倍。回答参数时要能说出往两边偏的代价,而不只是报「经验值」。

  6. 规则 reward 与 reward model:规则 reward 确定、便宜、可复现,适合有明确判定条件的任务(格式、答案匹配、工具调用成功);reward model 能覆盖主观质量但贵、有分布外漏洞、容易被 hack。混用时按任务阶段加权,前期用规则稳定行为,后期用模型提升质量。

  7. Reward Hacking 的形式:刷长度、重复安全词、把答案写在中间步骤里骗过程分、对评测器的格式过拟合。检测靠人工抽检高分轨迹和留出环境验证。

  8. Top-k 与 Top-p:Top-k 固定保留概率最高的 k 个候选,Top-p 保留累计概率达到 p 的最小集合。同时用时通常是先 Top-k 截断再 Top-p,兼顾稳定性与自适应性——k 防止采样到长尾垃圾,p 让候选数随分布形状变化。

  9. PPO 与 GRPO 的其他差异:除了 critic,GRPO 的 advantage 在组内归一化、采样成本更高(一个 prompt 要采 G 条)、对 reward 尺度更敏感;PPO 可以单样本更新、但需要价值网络且训练更复杂。

  10. DPO 的 loss 与 reference model:-log σ(β(log π(y_w|x)/π_ref(y_w|x) - log π(y_l|x)/π_ref(y_l|x)))。reference model 不能省,因为它是隐式的奖励基准——没有它,模型只要同时抬高偏好和非偏好回答的概率就能降低 loss,偏好会被稀释。

  11. 没有完整监督轨迹时训练信号从哪来:终局结果(任务是否完成)、工具返回的成功失败、规则的硬判定、以及用更强模型做评审。过程信号可以来自关键步骤的检查点,而不是逐 token 标注。

  12. 业务规则写进 prompt 还是 reward:写进 prompt 见效快但会被稀释和遗忘,写进 reward 更硬但会诱导模型钻空子(比如过度保守地拒绝回答)。稳妥做法是硬规则做前置校验和兜底拦截,软规则进 reward,prompt 只讲清楚目标和边界。

  13. LoRA 的 rank:rank 越大容量越强、越容易过拟合,越小越省显存。常见从 8 或 16 起,看任务复杂度和数据量调;同时要调 alpha(通常取 rank 的 1~2 倍)和学习率。别只报一个数,要说怎么验证。

  14. 灰度与线上验证:先小流量(1%~5%)对比核心指标和护栏指标(错误率、延迟、拒答率),观察 reward 分布和人工抽检质量,再逐步放量;要有回滚开关。

  15. 吞吐与 P99:吞吐按 token/s × 并发估,但用户体感看 P99——只测均值会在长尾上翻车。优化手段是连续批处理、KV cache 复用、请求分级。

  16. 线上 reward 分布漂移:监控 reward 的均值、方差和分位数,与离线基线对比;做分布检验(如 KS 检验)并设告警;同时抽检高分和低分样本,防止「分数涨了但人觉得变差」。

  17. 「不许说错话」怎么兜:前置规则拦截 + 生成时约束(结构化输出、禁答清单)+ 生成后校验(引用核对、事实检查)+ 兜底话术。纯靠微调让模型「不说错」是不可靠的。

  18. 上线三个月最先坏掉的:通常是数据管道和评测——线上分布漂移后离线评测失效,或者 reward 被优化到失真。回答时给判断依据和你打算怎么监控。

  19. 手撕:带障碍消除的最小路径和:状态是 (x, y, used),边权是进入格子的代价,用 Dijkstra 求最小路径和;BFS 只能求步数不能求带权和。四个坑:状态空间 H×W×(k+1) 在 k 大时会炸内存、同一格子用不同 used 到达必须分别入堆不能只记 visited、起点是障碍要消耗一次、k 用完遇障碍不能走。追问 k 很大(比如 k = H+W)时先判退化——此时等价于无结算法的二维 DP,别一上来就上重型解法。