DeepSpeed 面试题

百度多模态大模型一面（9.10）：PPO 与 GRPO、DPO、持续学习、8 卡 A100 跑 7B VL 的 GRPO

百度 2026 年 9 月 10 日多模态大模型一面：项目深挖后进入训练目标与持续学习（PPO 与 GRPO 的差异、为什么做 DPO、持续学习的方法分类），再到 8 张 A100 训练 7B 视觉语言模型的 GRPO 场景题（Rollout / 推理加速、训练加速、验收指标）、通用训练加速手段、DeepSpeed ZeRO 三阶段、多头注意力变体（MQA/GQA/MLA/滑窗/稀疏）与 verl 类框架的加速机制，最后手撕 MHA。