小米汽车大模型算法一二面：GRPO、Reward 设计与线上验证

《面试题目》

一面

1. 项目背景，为什么引入 Agent 方案？
2. 训练数据、离线环境怎么搭？模型和工具怎么交互？
3. GRPO 在项目里的训练流程，超参怎么设的？
4. Reward 怎么实现的？规则 Reward 和 Reward Model 怎么选？
5. 训练阶段遇到过哪些问题，怎么解决？
6. 有没有出现 Reward Hacking，怎么处理？
7. Top-k 和 Top-p 的采样原理，两个一起用的逻辑是什么？
8. PPO 和 GRPO 的差异？
9. DPO 的实现方式和 loss 形式？
10. DPO 里 Reference Model 的作用是什么？
11. 手撕：最小路径和。

二面

12. 模型选型的依据，要考虑哪些要素？
13. 训练数据怎么构造输入？缺完整监督轨迹时，训练信号从哪来？
14. 业务规则怎么融进模型？
15. 微调方式是什么？GRPO 的基本原理？
16. 项目实际收益如何？测试集表现怎么样？
17. 离线评测达标了，线上怎么验证？
18. 线上日均数据规模、模型吞吐、业务覆盖能力如何？
19. 手撕：二分查找。

《参考解析》

GRPO 去掉的是 PPO 里的 Critic。PPO 用价值网络估计基线，GRPO 改成对同一 prompt 采样一组回复、用组内奖励的均值（和标准差）做归一化当优势，省掉一个和策略同规模的模型，显存和训练稳定性都更好。代价是组内样本要足够、奖励尺度要稳，组太小方差大，组太大采样成本高。回答时把「组内归一化 → 优势 → 重要性采样比 → clip」这条链路讲清楚。

Reward 设计要能回答「为什么是这些项、权重怎么定」。规则 Reward 可解释、稳定、便宜，适合格式、长度、工具调用是否合法这类硬约束；Reward Model 能覆盖语义质量但会引入偏置和刷分空间。常见组合是规则打底 + 模型打语义分，再加 KL 惩罚防止偏离底座太远。Reward Hacking 的典型表现是模型在某一维度刷分、其他维度悄悄退化，处理办法是加对抗性检查、定期人工抽检、多指标联合评估，而不是只加一个惩罚项。

DPO 的 reference model 是「不许走太远」的锚。DPO 直接在偏好对上优化，loss 里用 policy 与 reference 的 log 概率比做隐式奖励，reference 固定为 SFT 模型，KL 约束被写进目标函数里，所以不需要在线采样和 Critic。它的问题是依赖偏好数据质量、对分布外样本泛化有限，长尾场景仍要靠在线 RL 补。

Top-k 与 Top-p 一起用时先截断候选集再按累积概率截断：Top-k 固定保留概率最高的 k 个 token，适合控制候选数量；Top-p 保留累积概率达到 p 的最小集合，能随分布形状自适应。两者叠加的顺序不同结果不同，工程上一般先 top-k 再 top-p，temperature 在 logits 上先做缩放。

线上验证不能只看离线指标。做法是灰度 + 对照：同流量分桶、固定评测集与人工评审口径、看业务指标（完成率、采纳率、投诉率）而不只是 loss 或 BLEU；同时监控延迟、成本和失败率，离线涨点但线上不涨，通常说明评测集和真实分布有偏。