面灵AI→

腾讯混元 AI Infra 二面复盘:从 Hopper WGMMA 到 Blackwell UMMA 的底层追问

轮次
二面
时间
2026-11
来源
牛客网

《面试题目》

  1. 英伟达三代 GPU 架构指令集迭代差异。
    • 梳理 Ampere、Hopper、Blackwell 三代架构的核心升级差异,重点对比 TMA 传输机制、Tensor Memory 张量内存特性的迭代。
    • 硬件异步调度能力如何升级?
    • FP4、FP6 低位宽量化的硬件原生支持有哪些特性?
    • 结合推理场景,说明每一代升级对大模型推理提速、显存节省的实际价值。
  2. Hopper 与 Blackwell 矩阵计算指令底层差异。
    • Hopper 架构的 WGMMA 指令,为什么必须依赖完整 Warp Group 才能发起计算任务?
    • 新一代 Blackwell 架构的 UMMA 指令,能够支持单 Warp 独立执行的底层原理是什么?
    • Tensor Memory 硬件中,Scale Factor 缩放参数的工程落地与存储适配方案。
  3. 面向热点实例的 Cache-Aware 路由优化。
    • 行业主流的 Cache Score + Load Score 双维度负载评估方案如何设计?
    • 超参 Lambda 的取值依据、调优思路,以及参数变化对整体缓存命中率的影响。
    • 多实例部署场景下,跨实例 KV Cache 资源共享的实现思路与适用边界。
    • 自研 Cache 调度策略相较于 Dynamo 原生调度机制的核心优化与差异优势。
  4. Intel TILE Cache 系统级仿真工程。
    • 面向客户场景的 TILE Cache 仿真落地流程。
    • 如何基于仿真结果输出最优的模型并行配置与 PD 配比方案?
    • 系统层面的性能瓶颈定位与资源调优思路。
  5. W4A4 稀疏量化 Kernel 工程实现。
    • 基于 WMMA 指令集的稀疏矩阵计算实现逻辑。
    • W4A4 量化方案的精度取舍与量化映射规则。
    • 4 个 Tile 单元对应 1 个 Bitmap 稀疏掩码的设计思路。
    • Split Key 分片机制、Double Buffer 双缓冲、LSBD 流水线并行的优化价值。
    • M16N8K64 核心参数的设定依据,以及整套稀疏算子的落地适用场景。
  6. 上机笔试:手写实现 Softmax 前向计算,并给出全套工程优化思路,包括 Warp Shuffle 规约、寄存器复用、减少高频显存访存、数值溢出防护。
  7. 反问:团队核心业务方向与当前攻坚的技术难点;GPU 算力资源配置与人均硬件资源;调度系统、推理框架、底层算子三个方向的团队划分与业务侧重。

《参考解析》

这类面试的答题顺序应当与系统的层次一致。 先讲硬件提供了什么能力(搬运、计算、存储、同步),再讲指令如何调用这些能力,然后讲 kernel 如何组织数据与流水,最后讲服务层如何调度。任何一层答不上来,面试官都会往下一层追问;反过来,如果每一层都能给出「为什么这样设计、代价是什么」,即使细节记不全也不会失分。遇到不确定的参数,直接说明「这个数值需要查指令手册确认」,再给出推理方向,比编一个数字更可信。

TMA 与 Tensor Memory 改变的是数据通路,不只是带宽。 传统做法是线程逐条发起加载指令,地址计算与指令发射本身占用 issue 槽;TMA 用一份描述符表达多维 tile 的搬运,硬件完成地址生成与传输,线程只需等待 barrier,因而能把发射开销从搬运中剥离。Tensor Memory 则是把矩阵乘的累加器从寄存器文件移出,单 SM 获得一块专用的大容量暂存,寄存器压力下降后可以开更大的 tile、更多的常驻 warp。回答时要区分「省指令」「省寄存器」「省带宽」三种收益,不要笼统说「更快」。

低比特支持要同时谈吞吐、显存与精度。 FP8 在 Hopper 上已经可用,FP4/FP6 在 Blackwell 上原生支持并配合块缩放;位宽减半意味着同样显存能放更多权重与 KV,也意味着同样带宽能喂更多计算。但激活的离群值会让 4-bit 量化明显掉点,工程上要用分组缩放、敏感层保留高比特、校准集覆盖真实分布,并以任务指标验收。只回答「FP4 吞吐是 FP16 的数倍」而不谈精度与反量化开销,是这类题的常见失分点。

Cache-Aware 路由要讲清状态从哪来、分数怎么用、失败怎么兜底。 每个实例维护前缀缓存的结构(通常是 radix tree 或前缀哈希),路由层拿到请求后计算与各实例的最长公共前缀,折算成可跳过的 prefill 成本;同时读取队列长度与显存水位,估计等待时间。两路分数归一化后加权,选出综合最优的实例。工程上还要处理缓存状态过期、实例扩缩容、请求重试与超时:路由决策失败时退化为最少负载,不能因为缓存信息不可用就拒绝服务。评估指标除了命中率,还要看 TTFT 分位数、吞吐与负载方差,避免用平均值掩盖长尾。

TILE Cache 仿真回答的是「配置怎么选」,不是「cache 怎么做」。 讲清输入(负载 trace、算子形状、访问模式)、模型(容量、相联度、替换策略、预取)、输出(命中率、带宽需求、停顿分布)与校准方法,再说明如何把结果映射到并行策略:通信密集就减少切分、显存受限就增加切分、prefill 与 decode 的资源比例按各自耗时与 SLA 调整。瓶颈定位先看 roofline 判断算力还是带宽受限,再看 cache miss 与同步开销,最后才调 kernel 参数。

W4A4 稀疏算子的设计围绕「少搬、少算、别等」。 少搬是权重与激活都压到 4-bit、按组共享 scale,减少显存与带宽;少算是利用稀疏掩码跳过零块,4 个 tile 共用一张 bitmap 降低元数据比例;别等是用双缓冲与多 stage 流水把拷贝、反量化、MMA 重叠起来,Split-K 则是在并行度不足时切开归约维。每个优化都要说清代价:反量化增加指令、Split-K 增加 reduction、稀疏格式对 tile 对齐有要求。M16N8K64 这类形状的选择依据是指令支持、共享内存布局与复用率,不同 GPU 代际并不通用。

Softmax 的工程实现可以按「正确—稳定—快」三步讲。 正确版本是逐行求最大值、指数、求和、归一化;稳定版本处理全 -inf、极大值、NaN,并用减最大值的方式避免溢出;快版本再做向量化加载、warp 内蝶式归约、寄存器复用与 exp2 变换。若一行长度超过一个 block 能容纳的范围,就改成 block 级两阶段归约,或采用 online softmax 在流式读取中维护运行最大值与运行和。面试官追问「优化带来多少收益」时,给出可测量的对比维度(访存次数、指令数、占用率),比给一个凭感觉的百分比更好。

反问部分透露了团队分工。 调度系统、推理框架、底层算子三条线并存,说明岗位可能按其中一条深入,也可能需要跨层排障。反问时可以直接问「这个岗位最近半年主要解决哪一类问题」「团队如何衡量一次优化的收益」,从回答里判断工作内容与自己的经验是否匹配。