百度 大模型算法 实习一面:SFT、OPD 与 GRPO
- 轮次
- 一面
- 时间
- 2026-10
- 来源
- 牛客网
《面试题目》
- 介绍项目对应的业务场景,说明基座模型大小、部署位置、数据规模与算力资源。
- SFT 训练时并行参数如何配置?训练过程中遇到过哪些问题?
- 解释 packing 技术的作用。
- MODP 和 SFT 有什么区别?融合版本的 MODP 如何实现?
- OPD 里 forward KL 和 reverse KL 的区别是什么?各自适配什么场景?
- OPD 能够生效背后的数学原理是什么?
- OPD 和 GRPO 之间有哪些差异?
- on-policy 与 off-policy 的区别是什么?
- 多轮对话场景,例如 100 轮交互,会存在哪些难点?
- SFT 和 RL 分别解决模型的什么问题?
- 训练过程有没有遇到 reward hacking,是怎么处理的?
- 手撕代码:实现多头注意力(MHA)。
《参考解析》
项目题要先报「规模与约束」:基座多大(参数量与上下文长度)、部署在哪(自建推理还是 API)、训练数据多少条或多少 token、用了多少卡什么型号、训练多久。这些数字决定了后面所有技术选择的合理性,面试官问这题是在建立判据——说不清规模,后面的方案讲解会被认为没有真实经验。
SFT 的并行配置按「显存瓶颈在哪」来选:单卡放不下模型就用张量并行(TP,通常不超过单机 GPU 数、需要高速互联);放得下模型但放不下优化器状态就用 ZeRO 分片(stage 2 分梯度与优化器、stage 3 分参数);跨机扩展用流水并行(PP)配合梯度累积;序列特别长时用序列并行或 context parallel。常见问题是 loss 不降(学习率、数据配比、mask 错位)、显存 OOM(batch 与序列长度、激活重计算)、多机通信成为瓶颈(bucket 设置、网络拓扑)、以及训练不稳定(bf16 溢出、梯度裁剪)。
packing 是把多条短样本拼进一个定长序列:避免大量 padding 浪费算力,把有效 token 密度提上来,吞吐能提升数倍。代价是要处理跨样本注意力污染——必须用 block-diagonal 的 attention mask,或按样本重置 position id,否则后一条样本会看到前一条的内容;另外要保证拼包时不切断关键结构(比如问答对)。
OPD 与 forward/reverse KL:这里 OPD 指 on-policy distillation,即用学生自己采样出的轨迹、由教师给分布监督。forward KL 写作 KL(teacher||student),期望教师分布覆盖学生,倾向于让学生覆盖教师所有可能的输出,容易过度分散,但在教师分布宽时更稳;reverse KL 写作 KL(student||teacher),让学生集中在教师的高概率区域,输出更尖锐、更贴近教师的最佳答案,但容易模式坍缩。蒸馏生效的原理是:学生在自己会遇到的状态分布上接受教师的 token 级监督,缩小了训练与推理的分布差距(exposure bias),因此比纯 SFT 在长生成任务上更稳。
OPD 与 GRPO 的差异:OPD 是蒸馏,监督信号是教师的 token 分布(稠密、每步都有梯度),目标是模仿;GRPO 是强化学习,监督信号是组内相对优势(稀疏、序列级),目标是提升奖励。GRPO 用一组采样结果的均值做 baseline 来估优势,省掉 critic 模型;OPD 不需要 reward model,但上限受教师能力约束。二者可以叠加:先用 OPD 把格式与推理风格拉起来,再用 GRPO 针对可验证奖励做优化。
on-policy 与 off-policy:on-policy 的训练数据由当前策略采样,分布随参数更新而变化,优点是无偏、稳定,缺点是采样成本高(每轮都要重新生成);off-policy 用旧策略或别的策略产生的数据,样本复用率高、成本低,但存在分布偏移,需要重要性采样或约束(PPO 的 clip、KL 惩罚)来纠正。SFT 本质是 off-policy(固定数据集),PPO 与 GRPO 是 on-policy(在线采样)。
100 轮多轮对话的难点:上下文长度与成本(历史累积导致 token 爆炸)、信息衰减(早期约束被淹没)、状态一致性(用户偏好变了要能覆盖旧值)、错误累积(早期的一次误解会影响后续所有轮)、以及评测(多轮的成功率怎么定义)。工程手段是滚动摘要 + 结构化状态槽 + 关键事实检索,而不是把全部历史硬塞进窗口。
SFT 与 RL 的分工:SFT 教「格式与基本能力」,让模型学会按指令输出、掌握领域表达,本质是分布匹配;RL 教「偏好与取舍」,在多个可行答案中把概率推向更优的那一个,适合有可验证奖励或明确偏好的任务(数学、代码、工具调用成功率)。实践顺序通常是先 SFT 打底,再 RL 提升上限。
reward hacking 的识别与处理:表现是奖励涨但人工评估或留出集变差、输出变得套路化(堆步骤、刷长度、钻规则漏洞)。处理手段:奖励里加可验证约束(单测通过、格式校验)、用多个奖励模型集成、加 KL 惩罚限制偏离参考模型、定期人工抽检并更新评测集、以及对「奖励与真实目标不一致」的部分做规则化替代。
手撕 MHA 的要点:输入张量形状 [B, L, D],用三个线性层投影出 Q、K、V 并 reshape 成 [B, H, L, d_head];缩放点积 scores = Q @ K^T / sqrt(d_head),加 causal mask(上三角置 -inf),softmax 后与 V 相乘,再拼回 [B, L, D] 过输出投影。要写对三件事:维度变换(transpose 的位置)、mask 用加法而不是乘法、以及数值稳定(softmax 前减最大值,或用框架的 scaled_dot_product_attention)。能顺手说出 MQA 与 GQA 是让 K/V 共享头以减少 KV Cache 显存,是加分项。