百度大模型算法岗一面：Agentic-GRPO、奖励函数与 CoT 数据构建

《面试题目》

1. 自我介绍。
2. 详细介绍简历中的核心项目，梳理整体技术链路与个人负责内容。
3. 讲解 Agentic-GRPO 的适用业务场景、解决的核心问题。
4. 项目中 GRPO 训练的数据规模、整体训练时长、训练配置概况。
5. 红蓝对抗的具体实现逻辑、对抗主体设计，是否采用同一智能体实现。
6. Agent 底层依托的基础模型架构。
7. GRPO 奖励函数的整体设计思路、维度划分、调优考量。
8. Qwen 微调任务的数据量级、数据筛选与配比策略。
9. CoT 推理数据集的构建流程与自动化/人工构造方式。
10. 自建数据集如何做质量校验、降噪、筛选，保证训练数据可靠性。
11. 日常开发主力编程语言，是否掌握其他编程语言。
12. 考察 SQL 相关基础知识与实操认知。
13. 梳理本科/研究生阶段主修的计算机核心课程。
14. 简述熟悉的主流机器学习算法体系。
15. 详细讲解交叉熵损失函数的原理、作用、适用场景。
16. 手撕：数组找最大值。
17. 手撕：最长公共前缀。

《参考解析》

1. Agentic-GRPO 解决什么问题。 传统 SFT 只能教模型「照着标准答案模仿」，遇到多步工具调用、需要试错的任务时，一条轨迹里前面错一步后面全错，且没有「哪种解法更好」的信号。GRPO 属于策略优化：对同一个 prompt 采样一组（group）轨迹，用奖励函数打分，组内做归一化得到优势（A_i = (r_i - mean(r)) / std(r)），再用带 KL 约束的策略梯度提升高分组轨迹的概率、压低低分组。它省掉了 PPO 的 critic 网络（不用再训一个价值模型），显存和工程复杂度都低一截，特别适合「奖励可程序化判定」的 Agent 任务：工具调用成功与否、答案是否正确、格式是否合规、步数是否超标，都能写成规则奖励。

2. 训练规模与配置怎么说。 面试官不是要精确数字，而是看你是否真的跑过：数据量级（多少条 prompt、每条采样几个 rollout、有效样本比例）、模型规模（7B/14B/32B）、并行方式（FSDP/DeepSpeed ZeRO、vLLM 推理与训练分离）、超参（学习率、KL 系数、clip 范围、group size、max length）、时长（多少 step、多少 GPU 小时）、显存与吞吐瓶颈。要能说出「group size 太小优势方差大、太大采样成本高」「KL 系数太大模型学不动、太小会 reward hacking」这类取舍。

3. 红蓝对抗的设计。 常见两种：① 同一模型换角色提示词，一个扮演攻击者（构造越权、诱导、注入的输入），一个扮演防守者（拒绝或安全完成），奖励由规则判定（是否泄露、是否越权、是否完成了合法部分）；② 两个不同模型/不同版本互为对手，避免同源偏差导致的「自说自话」。用同一智能体的优点是成本低、易对齐，缺点是模式趋同、攻击多样性不足；实际做法通常是「同模型 + 不同温度/不同工具集 + 人工种子攻击库」混合。对抗训练要注意奖励不能只看「拒绝率」，否则模型会学会一律拒绝，必须同时给「合法请求完成度」正奖励。

4. 奖励函数怎么设计。 分维度加权：正确性（答案/工具结果是否达标，权重最高）、格式（JSON/schema 是否合法）、过程（步数、无效调用、重复调用、超时）、安全（越权、泄露、注入）。每项都要可自动化判定，且判定器本身要稳（规则优先，模型判分只做兜底并抽样校验）。调优关注：① 奖励尺度要归一，否则某一项会淹没其他项；② 加惩罚项防止 reward hacking（比如「不调用工具直接编答案」要判 0）；③ 用离线评测集和线上 A/B 双向验证，避免只涨奖励不涨真实效果；④ 组内全对或全错时优势为 0，要过滤这类样本或提高采样多样性。

5. 数据构建与质量校验。 CoT 数据的来源有三类：强模型蒸馏（teacher 生成推理过程）、拒绝采样（同一题采多条，只保留答案正确的轨迹）、人工标注（高价值小批量）。构建流程是「种子题 → 生成 → 答案校验 → 去重 → 去污染 → 难度分层」。质量校验要做：① 结果正确性（用执行器/单测/参考答案校验，不只看文本通顺）；② 过程合理性（推理步骤与答案是否自洽，可用另一个模型做 critic 抽样）；③ 去重（MinHash/embedding 近邻，防止同一题刷屏）；④ 去污染（与评测集做 n-gram 比对，避免背题）；⑤ 配比（难度、领域、语言、长度分布，避免某类数据占满）。

6. 交叉熵与基础题。 交叉熵衡量两个分布的差异：H(p, q) = -Σ p(x) log q(x)，分类里 p 是 one-hot，退化成 -log q(正确类)，等价于最大化正确类的对数似然；它比 MSE 更适合分类，因为配合 softmax 时梯度是「预测减标签」，不会像 MSE 那样在饱和区梯度消失。适用场景是多分类、语言模型的下一个 token 预测；多标签用 BCE，类别不平衡可以加权重或 focal loss。SQL 基础常考 group by + having、join 类型、窗口函数、索引与执行计划。手撕两道都是热身：数组最大值一次遍历 O(n)；最长公共前缀以第一个字符串为基准逐位比较，或两两 reduce，时间 O(S)（S 为所有字符总数）。