腾讯混元 AI Infra 一面:TP 切分与集合通信、DP/PP/CP 对比、QQ 空间推荐链路编码(同场重复投稿)
- 轮次
- 一面
- 时间
- 2026-11
- 来源
- 牛客网
《面试题目》
一、Tensor Parallel 张量并行
- 线性层、注意力模块、FFN 模块分别怎么做张量切分?
- 列并行、行并行的切分逻辑是什么?对应的通信位置在哪?
- 列并行切的是输入维度还是输出维度?
- 行并行的切分方式是什么?
- QKV 模块如何落地 TP?
- Attention 头怎么分配到不同卡上?
- FFN 两层结构该怎么搭配切分?
- 工程上为什么经常把列并行和行并行组合使用?
- TP 规模越大,推理速度就一定越快吗?
二、集合通信
- 张量并行场景里 All-Reduce、Reduce-Scatter、All-Gather 各自的作用是什么?通信量的计算方法是什么?
- 给定张量形状,怎么算出通信字节数?
- TP=2 和 TP=4,通信上会出现哪些变化?
- 通信量和 Batch、序列长度、隐藏层维度存在怎样的关联?
- 怎么判断当前系统已经进入通信瓶颈?
三、Data Parallel 数据并行
- 数据并行和张量并行的核心差异是什么?什么场景下优先扩容 DP 而不是 TP?
- DP 是否会在每一张卡上复制完整模型?
- DP 为什么能够提升整体吞吐?DP 能不能降低单条请求的延迟?
- 如果单卡显存放不下整个模型,靠 DP 可以解决吗?
- 线上推理服务的 DP,和训练阶段 DP 的实现有什么区别?
四、Pipeline Parallel 流水线并行
- 流水线并行对模型的切分思路是什么?为什么落地实现难度很高?
- 流水线 Stage 怎么划分?Micro-Batch 的含义是什么?
- 流水线气泡(Bubble)是怎么产生的?有哪些手段减少气泡带来的损耗?
- 各个 Stage 负载不均衡该怎么处理?
- 流水线并行为什么通常会拉高请求延迟?你有没有动手实现过流水线并行?
五、Context Parallel 上下文并行
- 上下文并行为什么适配长文本场景?序列被切分之后,跨卡的 Attention 计算如何完成?
六、工程编码题
- 实现 QQ 空间好友动态推荐链路,包含动态数据管理、用户行为仿真、打分排序、TopN 推荐完整流程。
《参考解析》
列并行与行并行的切分逻辑。 线性层写作 Y = X·A,A 的形状是入维 × 出维。列并行把 A 按输出维度切分,每张卡持有 h_out/n 列,输入 X 完整复制到各卡,各自算出输出的一部分列,因此列并行切的是输出维度;切完之后每张卡只有部分输出,若要拼成完整结果需要 All-Gather,但工程上通常不拼,而是直接接一个按输入维度切分的行并行层消化掉这份分片。行并行把 A 按输入维度切分,每张卡收到 h_in/n 行与对应的输入切片,各自算出部分和,输出必须做一次 All-Reduce 求和才能得到最终结果。一句话记法:列并行省通信、但要留着分片;行并行吃分片、但要做 All-Reduce。
Attention 与 FFN 怎么落地。 QKV 投影用列并行:头维度与输出列一一对应,按列切分天然等价于按头切分,每张卡分到 num_heads/n 个头,后续 attention 计算完全本地化,无需通信。输出投影 W_O 用行并行:它消费的正是各卡手里的头分片,输出做一次 All-Reduce。FFN 同样配对:第一层(h → 4h)用列并行,第二层(4h → h)用行并行,中间夹着激活函数,逐元素运算不破坏分片。因此一个 transformer block 内只需要两次 All-Reduce——attention 输出投影后一次、FFN 第二层后一次;block 边界不需要额外的 All-Gather。「为什么组合使用」的答案就是这一点:列并行加行并行把一个 block 包成闭环,通信次数被压到最少。
通信量与 TP 规模的代价。 记输入为 3 维 [batch, seq, hidden],单精度或半精度下字节数为 b·s·h·dtype_bytes。Ring 算法下 All-Reduce 等价于 Reduce-Scatter 加 All-Gather,每张卡发送 2(N-1)/N·S 字节;单独的 Reduce-Scatter 或 All-Gather 各为 (N-1)/N·S。所以 N=2 时系数是 1.0S,N=4 时涨到 1.5S,同时每卡计算量降到 1/4——通信与计算之比随并行度线性恶化。再叠加拓扑因素:2 卡通常落在同一台机器的 NVLink 域内,4 卡、8 卡往往要跨 PCIe 甚至跨机 RDMA,带宽与延迟都下台阶。所以 TP 规模变大不等于更快:小 batch、短序列时激活很小,All-Reduce 的固定延迟主导;层数浅时 kernel 太小,SM 利用率下降;跨机 TP 的收益经常为负。工程上的做法是 TP 不跨机、优先用 DP 扩吞吐,把 TP 控制在单机 NVLink 域内。
怎么判断进入通信瓶颈。 看四类证据:一是 profile 里 NCCL kernel 的耗时占比,若与计算 kernel 接近或超过,说明已被通信主导;二是通信与计算的重叠率,重叠差意味着 GPU 在等数据;三是扩展效率,TP 从 2 到 4 到 8 时吞吐是否还能接近线性,掉得快就是通信吃了收益;四是实测 All-Reduce 带宽与硬件理论带宽的比值,明显偏低说明拓扑或拥塞有问题。改善方向包括换更快的互联、增大 batch 提高计算占比、用序列并行与 TP 组合降低单卡激活、以及把 All-Reduce 与后续计算做 overlap。
DP 与 TP 的分工。 DP 在每张卡上复制完整模型、切分数据,梯度或输出按卡独立,只在需要汇总时通信;TP 则是把一个算子本身切开,靠通信把结果拼起来。DP 提升的是整体吞吐——同样的模型放更多副本并行处理不同请求,单条请求的延迟不变,因为一条请求仍然只走一张卡。因此单卡显存放不下整个模型时,堆 DP 没有任何帮助,此时必须先做模型切分(TP、PP 或量化)。线上推理的 DP 与训练的 DP 是两件事:推理侧是多个独立副本加负载均衡,副本之间不通信、不共享状态,扩缩容只是加进程;训练侧是数据并行加梯度 All-Reduce,需要同步梯度、维护优化器状态,规模上去还要 ZeRO 之类的分片来省显存。
PP 的切分、气泡与延迟。 流水线并行按层把模型切成若干 Stage,Stage 之间只传激活(点对点 send/recv),显存按 Stage 分摊,适合「单机放不下、跨机带宽又不够做 TP」的场景。落地难在三处:Stage 之间的负载必须均衡(按每层计算量与显存预算切,均匀按层数切经常失衡)、调度复杂(1F1B、interleaved 1F1B 才能压住气泡)、以及跨机通信与容错。气泡的来源是填满与排空阶段:p 个 Stage、m 个 micro-batch 时,气泡占比约为 (p-1)/(m+p-1),增大 micro-batch 数或用 interleaved 调度能把比例压下来。PP 拉高延迟的原因也在这里——一条请求必须串行走完所有 Stage,micro-batch 越多、单条请求的排队等待越长,因此它优化吞吐、牺牲时延,交互式推理很少单独使用。
CP 与长文本。 上下文并行把序列维切开,每张卡只持有自己那一段的 KV,但 attention 需要看到全局 KV,于是采用 ring attention:各卡把自己的 KV 分块沿环形依次传给下一张卡,收到一块就算一块的注意力,用 online softmax 增量累积,通信与计算重叠,从而把可处理的上下文长度扩展到超出单卡显存。它适配长文本的根本原因是 attention 成本随序列长度平方增长,单卡的显存与算力都撑不住,而按头切分受头数限制、按层切分解决不了单层内部的显存峰值,只有切序列维能线性摊薄。
工程编码题的做法。 这类题考的是把一条推荐链路拆成可运行模块的能力,回答时先给分层再讲关键实现。动态数据管理:内存里维护倒序时间线的动态表、用户关注关系图(邻接表)与已读集合,索引按用户维度组织,便于取「好友最近 N 条」。用户行为仿真:按曝光、点击、点赞的概率分布采样生成行为序列,随机种子固定以保证可复现,输出同时作为打分特征与评测样本。打分排序:多路召回(关注流、热度流、协同过滤)合并去重后,用特征加权打分(时间衰减、互动率、社交距离、内容相似度),权重可配置,避免写死在代码里。TopN:维护容量为 k 的小顶堆,复杂度 O(n log k),优于全排序;输出前做已读过滤与同作者打散。收尾补一句接口设计与可测试性——每个模块给独立函数与明确输入输出,便于替换打分函数与单独验证召回质量。