大模型算法实习
共 4 篇面经 · 百度 / 字节跳动
百度 大模型算法 实习一面:SFT、OPD 与 GRPO
百度大模型算法实习一面:项目业务场景与基座模型规模、SFT 并行参数与训练问题、packing 的作用、MODP 与 SFT 的差异及融合实现、OPD 里 forward KL 与 reverse KL 的区别、OPD 生效的数学原理、OPD 与 GRPO 的差异、on-policy 与 off-policy、长多轮对话难点、SFT 与 RL 的分工、reward hacking,最后手撕多头注意力。
百度 大模型算法 实习一面:SFT、OPD 与 GRPO
百度大模型算法实习一面:项目业务场景与基座模型规模、SFT 并行参数与训练问题、packing 的作用、MODP 与 SFT 的差异及融合实现、OPD 里 forward KL 与 reverse KL 的区别、OPD 生效的数学原理、OPD 与 GRPO 的差异、on-policy 与 off-policy、长多轮对话难点、SFT 与 RL 的分工、reward hacking,最后手撕多头注意力。
10.28 字节大模型实习算法一面(同场记录):奖励函数与 QKV 计算
同一场字节大模型实习算法面的另一份记录:DPO/PPO/GRPO、奖励坍缩、离线与在线强化学习、多目标奖励冲突、QKV 与手撕 MHA。
10.28 字节大模型实习算法一面:DPO/PPO/GRPO 与手撕 MHA
字节大模型实习算法一面:从 DPO/PPO/GRPO 的区别一路问到 GRPO 的 clip 与组内均值、奖励函数坍缩、多目标奖励冲突,最后手撕多头注意力。