面灵AI→

10.28 字节大模型实习算法一面(同场记录):奖励函数与 QKV 计算

轮次
一面
时间
2026-10
来源
牛客网

《面试题目》

  1. 介绍一下 DPO、PPO、GRPO?
  2. 奖励函数的坍缩现象和问题是什么?
  3. 离线强化学习和在线强化学习了解吗?你的项目里是哪种?
  4. 代码题:接雨水(二维)。
  5. GRPO 公式是什么?为什么 clip 了外面还要计算一次 mean?
  6. 讲讲 Qwen2.5-VL、LLaMA。
  7. 多目标优化奖励函数冲突怎么处理?
  8. 介绍一下 QKV 的计算?
  9. 手撕 MHA。

《参考解析》

离线与在线强化学习:在线 RL 是边采样边更新,策略和数据分布一起演化,PPO、GRPO 都属于这一类,优点是能探索、上限高,缺点是采样贵、训练不稳定、需要奖励模型在线打分。离线 RL 只用固定数据集学习,不与环境交互,DPO、CQL、IQL 是代表,优点是便宜可复现,缺点是有分布偏移、对数据覆盖要求高。回答项目时要说清「数据从哪来、奖励怎么来、有没有在线采样」,不要只报算法名。

奖励坍缩的排查顺序:先看奖励曲线与人工评估是否背离,再看输出长度、重复率、模板化比例这些代理指标;确认是 reward hacking 后,依次检查奖励模型训练数据是否有偏、是否有长度或格式漏洞、KL 系数是否太小、是否长期没有用新数据重训奖励模型。修复优先级是「换更可靠的奖励信号」高于「调超参」。

GRPO 的组内基线:同一 prompt 采样 G 条回答,奖励减去组内均值再除以标准差,得到每条样本的优势。这样不需要 critic 就能估计基线,显存占用大幅下降;代价是组内样本太少时统计量噪声大,奖励方差小的任务(比如全部通过或全部失败)优势会退化为 0,需要过滤这类组或换更强的验证器。

QKV 的工程细节:实际实现里 Q、K、V 的投影常合并成一个大矩阵一次算完再切分,推理时 K、V 会进 KV Cache 避免重复计算;训练时用 flash attention 做分块,减少显存读写。被追问「为什么多头」时,答「不同头学习不同的注意力模式,concat 后信息更丰富,且总计算量与单头相当」。