10.28 字节大模型实习算法一面:DPO/PPO/GRPO 与手撕 MHA
- 轮次
- 一面
- 时间
- 2026-10
- 来源
- 牛客网
《面试题目》
- 介绍一下 DPO、PPO、GRPO?
- 奖励函数的坍缩现象是什么,会带来什么问题?
- 离线强化学习和在线强化学习了解吗?你的项目里用的是哪种?
- 代码题:接雨水(二维)。
- GRPO 的公式是什么?为什么公式里已经 clip 了,外面还要再算一次 mean?
- 讲讲 Qwen2.5-VL 和 LLaMA。
- 多目标优化时奖励函数冲突怎么处理?
- 介绍一下 Attention 里 Q、K、V 的计算?
- 手撕多头注意力(MHA)。
《参考解析》
DPO / PPO / GRPO 的差别:三者的分野在「要不要在线采样」和「要不要单独的价值网络」。PPO 是 on-policy 的策略梯度:当前策略采样回答,奖励模型打分,用 GAE 估优势,损失里带重要性采样比率裁剪和 KL 约束,训练稳定但工程重、要同时挂策略、价值、奖励、参考四个模型。DPO 把「带 KL 约束的奖励最大化」解析成一个分类损失,直接用偏好对(chosen / rejected)做监督,不需要奖励模型、不需要在线采样,训练简单稳定,代价是只能用静态偏好数据、探索能力弱、对数据分布敏感。GRPO 是 PPO 的减负版:同一个 prompt 采样一组 G 个输出,用组内奖励的均值和标准差归一化出优势,从而去掉 value/critic 网络,显存和时间都省下来,特别适合数学、代码这类可以用规则或验证器打分的场景。答的时候要点出取舍:DPO 简单但离线,PPO 强但重,GRPO 省资源但要能拿到可靠的组内奖励。
GRPO 的 clip 与组内均值:GRPO 的目标里,重要性采样比率 r 被 clip 在 [1-ε, 1+ε],这解决的是「一次更新不允许策略偏离采样策略太远」;外面再对组内 G 个样本取均值,解决的是「用一组样本的统计量来估计基线」。两者作用的对象不同:clip 是逐 token 的比率裁剪,mean 是样本维度的归一化,缺了 mean 就没有组内基线,优势估计会退化成原始奖励,方差大且不稳定。常见的追问是「clip 之后梯度还在不在」——被裁掉的那部分比率梯度为 0,但优势正负决定方向,负优势样本仍会被压低概率。
奖励函数坍缩 / reward hacking:本质是模型找到了奖励模型的漏洞,拿到高分但真实质量没提升甚至变差。表现是奖励曲线持续上涨、人工评估不涨或下降、输出多样性变低、长度异常增长、模板化开头变多。治理手段:训练时加 KL 惩罚限制偏离参考模型;奖励模型做集成或多个 rubric 交叉打分,降低单点漏洞;定期用人工标注重训奖励模型;加长度惩罚和格式约束;对可验证任务改用规则奖励或单元测试;离线阶段用拒绝采样和 best-of-n 观察真实分布。面试里最好补一句「奖励上升不代表能力强,必须有一条独立于奖励模型的人工或规则评估线」。
多目标奖励冲突:先把各目标归一化到可比尺度,再选聚合方式:线性加权最简单但权重难调,可以用网格搜索或根据业务约束定权;约束优化把次要目标写成约束(如「有用性最大化,同时长度不超过 N」),用拉格朗日乘子或分层奖励处理;帕累托前沿适合离线分析,挑业务可接受的那一段。工程上还要防止某个目标被刷爆,给每个子奖励设上限和监控。
QKV 与 MHA:输入 X(seq_len × d_model)分别乘三个投影矩阵得到 Q、K、V;注意力分数是 QKᵀ/√d_k,softmax 后乘 V。除以 √d_k 是为了防止点积随维度增大而方差变大、softmax 饱和。多头是把 d_model 切成 h 份,每头独立做注意力再 concat,最后过输出投影 W_O,好处是不同头可以关注不同的子空间和位置关系。手撕时要写清 mask(因果掩码)、缩放因子、以及 batch 维度的广播。