并行策略 面试题

腾讯混元 AI Infra 一面

腾讯混元 AI Infra 一面面经，围绕大模型训练的四种并行展开：TP 的切分维度与通信、集合通信量怎么算与何时判定通信瓶颈、DP 与 TP 的取舍及训练与推理的差异、PP 的 Stage 划分与 Bubble，以及 CP 在长上下文场景下的跨卡 Attention。