面灵AI→

字节 data 广告部门一面:SFT 之后为什么还要 DPO、GRPO 的 loss 与 KL 方向

字节跳动 广告算法 一面

字节 data 广告部门一面,半小时、没有手撕。项目被逐层深挖,随后集中考大模型对齐:SFT 与 DPO 都算监督微调为什么还要做 DPO、GRPO 的 loss 写法、组内 KL 散度的方向反过来会怎样、优势函数怎么算。

2026-10

虾皮大模型后训练日常实习一二面:SWE Agent 后训练与 GRPO 深挖

虾皮 大模型后训练日常实习 一面+二面

虾皮大模型后训练日常实习一面二面面经:一面围绕自研 SWE Agent 项目追问显存估算依据、Qwen2.5 基座选型、工具集设计与 32K 上下文局限,并深挖 NGRPO、DAPO 样本过滤、GRPO 固有缺点、梯度范数、Reward 不涨的排查路径与 KL 散度崩盘;二面问训练框架取舍、Agent 强化学习的信用分配、数据集构成与处理、OPSD 的 Forward KL 选择以及 LoRA 微调原理。

2026-10