美团 AI Agent 与 MiniMax 大模型算法：面试官都在问「怎么证明它行」

《面试题目》

美团 AI Agent 开发（一面，约 70 分钟）

1. 讲一个你做的 Agent 项目。
2. 它的成功率是多少？这个成功率怎么统计的？统计口径是谁定的？
3. 有没有人工复核？复核的一致性怎么保证？
4. 你这个 Agent 的评测集是怎么来的？公开数据集还是自己构造？
5. 自己构造的话，样本怎么采样？标注规则是什么？有没有覆盖长尾场景？
6. 评测集和训练数据有没有重叠？
7. Agent 上线之后，怎么知道是哪一步出了问题——规划错了、工具调用错了，还是最终表述错了？

MiniMax 大模型算法（后训练 / SFT / RL）

8. SFT 的数据从哪来？怎么配比？质量怎么筛？
9. 指令数据的多样性怎么保证？拒答样本怎么处理？多轮对话的上下文怎么组织？loss masking 的边界设在哪？
10. RL 的奖励信号怎么定义？稀疏奖励怎么缓解？
11. 奖励黑客（reward hacking）怎么发现和抑制？KL 约束加在哪个位置？
12. 离线评估和在线评估怎么配合？
13. 你怎么知道效果提升来自 RL 而不是 SFT 数据的变化？有没有做消融？基线怎么设？

《参考解析》

「成功率」这道题考的是口径意识。可用的答法是：先定义什么叫成功（任务完成且结果被用户接受），再说样本怎么来（线上抽样 + 人工标注）、统计周期和分母是什么、置信区间多大。别只报一个数字，数字背后的口径站不住，后面所有追问都会崩。

评测集要能说清「干净」。自己构造的评测集要讲采样策略（按业务场景分层、按难度分层）、标注规则（多人标注 + 分歧仲裁）、和训练数据的隔离（去重、时间切分）。评测集被训练数据污染是最常见的翻车点，面试官一定会问。

可观测性是 Agent 项目的硬要求。每一步的输入输出、工具调用参数与结果、耗时和 token 都要留痕，失败样本能回放。归因时按「规划 → 工具选择 → 参数 → 结果整合 → 表述」逐段定位，而不是笼统说「模型不行」。

SFT 的上限由数据分布决定。要讲清数据来源、配比、去重和质量筛选（规则 + 模型打分 + 人工抽检），以及 loss masking 的边界（只对 assistant 段计算损失）。多轮对话要保留上下文但控制长度，拒答样本要单独配比，否则模型会过度拒答或过度顺从。

RL 的奖励设计要能解释「为什么是这些项」。稀疏奖励可以用过程奖励、课程学习或中间信号缓解；reward hacking 的典型表现是单维度刷分、其他维度退化，靠多指标评估、对抗样本和人工抽检发现；KL 约束一般加在策略与参考模型的分布之间，防止偏离底座太远。

证明增益来源靠对照实验。固定数据、只改训练方式，或者固定训练方式、只改数据，分别跑消融；基线要包括 SFT 模型和上一版线上模型；指标要多维（任务指标 + 通用能力 + 安全性），单指标涨点很容易是过拟合评测集。