面灵AI→

腾讯混元 AI Infra 一面:TP 切分与集合通信、DP/PP/CP 对比、QQ 空间推荐链路编码(同场重复投稿)

轮次
一面
时间
2026-11
来源
牛客网

《面试题目》

一、Tensor Parallel 张量并行

  1. 线性层、注意力模块、FFN 模块分别怎么做张量切分?
  2. 列并行、行并行的切分逻辑是什么?对应的通信位置在哪?
  3. 列并行切的是输入维度还是输出维度?
  4. 行并行的切分方式是什么?
  5. QKV 模块如何落地 TP?
  6. Attention 头怎么分配到不同卡上?
  7. FFN 两层结构该怎么搭配切分?
  8. 工程上为什么经常把列并行和行并行组合使用?
  9. TP 规模越大,推理速度就一定越快吗?

二、集合通信

  1. 张量并行场景里 All-Reduce、Reduce-Scatter、All-Gather 各自的作用是什么?通信量的计算方法是什么?
  2. 给定张量形状,怎么算出通信字节数?
  3. TP=2 和 TP=4,通信上会出现哪些变化?
  4. 通信量和 Batch、序列长度、隐藏层维度存在怎样的关联?
  5. 怎么判断当前系统已经进入通信瓶颈?

三、Data Parallel 数据并行

  1. 数据并行和张量并行的核心差异是什么?什么场景下优先扩容 DP 而不是 TP?
  2. DP 是否会在每一张卡上复制完整模型?
  3. DP 为什么能够提升整体吞吐?DP 能不能降低单条请求的延迟?
  4. 如果单卡显存放不下整个模型,靠 DP 可以解决吗?
  5. 线上推理服务的 DP,和训练阶段 DP 的实现有什么区别?

四、Pipeline Parallel 流水线并行

  1. 流水线并行对模型的切分思路是什么?为什么落地实现难度很高?
  2. 流水线 Stage 怎么划分?Micro-Batch 的含义是什么?
  3. 流水线气泡(Bubble)是怎么产生的?有哪些手段减少气泡带来的损耗?
  4. 各个 Stage 负载不均衡该怎么处理?
  5. 流水线并行为什么通常会拉高请求延迟?你有没有动手实现过流水线并行?

五、Context Parallel 上下文并行

  1. 上下文并行为什么适配长文本场景?序列被切分之后,跨卡的 Attention 计算如何完成?

六、工程编码题

  1. 实现 QQ 空间好友动态推荐链路,包含动态数据管理、用户行为仿真、打分排序、TopN 推荐完整流程。

《参考解析》

列并行与行并行的切分逻辑。 线性层写作 Y = X·A,A 的形状是入维 × 出维。列并行把 A 按输出维度切分,每张卡持有 h_out/n 列,输入 X 完整复制到各卡,各自算出输出的一部分列,因此列并行切的是输出维度;切完之后每张卡只有部分输出,若要拼成完整结果需要 All-Gather,但工程上通常不拼,而是直接接一个按输入维度切分的行并行层消化掉这份分片。行并行把 A 按输入维度切分,每张卡收到 h_in/n 行与对应的输入切片,各自算出部分和,输出必须做一次 All-Reduce 求和才能得到最终结果。一句话记法:列并行省通信、但要留着分片;行并行吃分片、但要做 All-Reduce。

Attention 与 FFN 怎么落地。 QKV 投影用列并行:头维度与输出列一一对应,按列切分天然等价于按头切分,每张卡分到 num_heads/n 个头,后续 attention 计算完全本地化,无需通信。输出投影 W_O 用行并行:它消费的正是各卡手里的头分片,输出做一次 All-Reduce。FFN 同样配对:第一层(h → 4h)用列并行,第二层(4h → h)用行并行,中间夹着激活函数,逐元素运算不破坏分片。因此一个 transformer block 内只需要两次 All-Reduce——attention 输出投影后一次、FFN 第二层后一次;block 边界不需要额外的 All-Gather。「为什么组合使用」的答案就是这一点:列并行加行并行把一个 block 包成闭环,通信次数被压到最少。

通信量与 TP 规模的代价。 记输入为 3 维 [batch, seq, hidden],单精度或半精度下字节数为 b·s·h·dtype_bytes。Ring 算法下 All-Reduce 等价于 Reduce-Scatter 加 All-Gather,每张卡发送 2(N-1)/N·S 字节;单独的 Reduce-Scatter 或 All-Gather 各为 (N-1)/N·S。所以 N=2 时系数是 1.0S,N=4 时涨到 1.5S,同时每卡计算量降到 1/4——通信与计算之比随并行度线性恶化。再叠加拓扑因素:2 卡通常落在同一台机器的 NVLink 域内,4 卡、8 卡往往要跨 PCIe 甚至跨机 RDMA,带宽与延迟都下台阶。所以 TP 规模变大不等于更快:小 batch、短序列时激活很小,All-Reduce 的固定延迟主导;层数浅时 kernel 太小,SM 利用率下降;跨机 TP 的收益经常为负。工程上的做法是 TP 不跨机、优先用 DP 扩吞吐,把 TP 控制在单机 NVLink 域内。

怎么判断进入通信瓶颈。 看四类证据:一是 profile 里 NCCL kernel 的耗时占比,若与计算 kernel 接近或超过,说明已被通信主导;二是通信与计算的重叠率,重叠差意味着 GPU 在等数据;三是扩展效率,TP 从 2 到 4 到 8 时吞吐是否还能接近线性,掉得快就是通信吃了收益;四是实测 All-Reduce 带宽与硬件理论带宽的比值,明显偏低说明拓扑或拥塞有问题。改善方向包括换更快的互联、增大 batch 提高计算占比、用序列并行与 TP 组合降低单卡激活、以及把 All-Reduce 与后续计算做 overlap。

DP 与 TP 的分工。 DP 在每张卡上复制完整模型、切分数据,梯度或输出按卡独立,只在需要汇总时通信;TP 则是把一个算子本身切开,靠通信把结果拼起来。DP 提升的是整体吞吐——同样的模型放更多副本并行处理不同请求,单条请求的延迟不变,因为一条请求仍然只走一张卡。因此单卡显存放不下整个模型时,堆 DP 没有任何帮助,此时必须先做模型切分(TP、PP 或量化)。线上推理的 DP 与训练的 DP 是两件事:推理侧是多个独立副本加负载均衡,副本之间不通信、不共享状态,扩缩容只是加进程;训练侧是数据并行加梯度 All-Reduce,需要同步梯度、维护优化器状态,规模上去还要 ZeRO 之类的分片来省显存。

PP 的切分、气泡与延迟。 流水线并行按层把模型切成若干 Stage,Stage 之间只传激活(点对点 send/recv),显存按 Stage 分摊,适合「单机放不下、跨机带宽又不够做 TP」的场景。落地难在三处:Stage 之间的负载必须均衡(按每层计算量与显存预算切,均匀按层数切经常失衡)、调度复杂(1F1B、interleaved 1F1B 才能压住气泡)、以及跨机通信与容错。气泡的来源是填满与排空阶段:p 个 Stage、m 个 micro-batch 时,气泡占比约为 (p-1)/(m+p-1),增大 micro-batch 数或用 interleaved 调度能把比例压下来。PP 拉高延迟的原因也在这里——一条请求必须串行走完所有 Stage,micro-batch 越多、单条请求的排队等待越长,因此它优化吞吐、牺牲时延,交互式推理很少单独使用。

CP 与长文本。 上下文并行把序列维切开,每张卡只持有自己那一段的 KV,但 attention 需要看到全局 KV,于是采用 ring attention:各卡把自己的 KV 分块沿环形依次传给下一张卡,收到一块就算一块的注意力,用 online softmax 增量累积,通信与计算重叠,从而把可处理的上下文长度扩展到超出单卡显存。它适配长文本的根本原因是 attention 成本随序列长度平方增长,单卡的显存与算力都撑不住,而按头切分受头数限制、按层切分解决不了单层内部的显存峰值,只有切序列维能线性摊薄。

工程编码题的做法。 这类题考的是把一条推荐链路拆成可运行模块的能力,回答时先给分层再讲关键实现。动态数据管理:内存里维护倒序时间线的动态表、用户关注关系图(邻接表)与已读集合,索引按用户维度组织,便于取「好友最近 N 条」。用户行为仿真:按曝光、点击、点赞的概率分布采样生成行为序列,随机种子固定以保证可复现,输出同时作为打分特征与评测样本。打分排序:多路召回(关注流、热度流、协同过滤)合并去重后,用特征加权打分(时间衰减、互动率、社交距离、内容相似度),权重可配置,避免写死在代码里。TopN:维护容量为 k 的小顶堆,复杂度 O(n log k),优于全排序;输出前做已读过滤与同作者打散。收尾补一句接口设计与可测试性——每个模块给独立函数与明确输入输出,便于替换打分函数与单独验证召回质量。