面灵AI→

曦望高性能异构计算研究员一面:DCU 微架构、GEMM 寄存器与 reduce

轮次
一面
时间
2026-10
来源
牛客网

《面试题目》

开场

  1. 麻烦你做个自我介绍。
  2. 你是哪个实验室的?
  3. 你们的 DCU 是那个集群,还是单台的 DCU 机器?讲一下 DCU 的微架构,warp(wavefront)调度你有看过吗?

项目拷打

  1. 调 hipBLAS 了吗?
  2. 具体到每一个 GEMM,它的规模是多大?是计算密集型还是访存密集型?
  3. 你做的优化是怎么做的?有没有用工具去看它是否还有更进一步提升的空间?
  4. CPU 项目里,你有没有看每条指令的延迟跟吞吐?
  5. 这个架构的架构图有看过吗?它是单发射还是双发射?

杂项

  1. 你做 GEMM 的时候用 mma 指令,它读数据是从哪里拿的?寄存器压力如何?
  2. 像 GEMM 或者 SpMV,你去看它寄存器用量多的原因。如果要降低寄存器压力,你会从哪些方面考虑?
  3. 你说「复用度不够」,那你是怎么看出来的?hip 或者 CUDA 能给你显示出「寄存器复用比较差」吗?
  4. 你知道 NV 的 stream 原理吗?多 stream 它有哪些 stream?
  5. 逻辑寄存器和物理寄存器的区别是什么?

方向与经历

  1. 你自己是想做什么方向?
  2. 感觉你一直在实验室做论文,没有去实习吗?

手撕

  1. 写个 reduce 吧,一维的就行。

《参考解析》

微架构与 wavefront 调度:先讲清执行单元的层级 自下而上分层说:一个 CU 里有多组 SIMD 单元、标量单元、LDS、向量寄存器堆与 L1;一个 wavefront 是一批同时执行的线程(AMD 系 64 宽),它占住一个 SIMD 槽位。调度器以 wavefront 为单位切换,靠的是每个 wavefront 都有独立的 VGPR 与 SGPR 上下文,切换只需换一组寄存器指针、不必保存现场,这正是 GPU 能用极小调度开销隐藏访存延迟的原因。被问「看过没有」,把 occupancy 与 VGPR 占用的关系讲清比背参数更有用:单个 wavefront 用得越多,能同时驻留的就越少。

GEMM 是计算密集还是访存密集:看算术强度 判据是算术强度,即每搬运一字节做多少次浮点运算,再与机器峰值算力/峰值带宽之比(roofline 的拐点)对照。M、N、K 都很小时块内复用不够、搬运占主导,是访存密集;K 大、tile 复用充分时才进入计算密集区。回答时要把规模与 tile 尺寸连起来:M/N/K 决定外层切块数与 K 方向的累加深度,tile 决定 LDS 与寄存器里的复用次数,K 每加一层累加,A、B 的复用就多一次。所以小规模 GEMM 上做指令级优化收益很低,先想办法提复用或把小矩阵拼成批处理。

寄存器压力:来源要说具体,手段要成对讲代价 压力来自三处:mma 的 A、B 片段与累加器 C 同时占 VGPR,tile 越大占用越多;软件流水要预取下一轮数据,双缓冲会把占用翻倍;编译器为避免 spill 会主动抬高用量。降低手段与代价要成对说:减小 per-wavefront 的 tile(寄存器降但单次计算变少、LDS 与指令开销上升)、减少流水深度(占用降但延迟暴露)、换更小的数据类型(精度与指令数受影响)、把部分数据挪到 LDS(LDS 带宽与 bank 冲突成新瓶颈)。「复用度不够」必须有证据:看 VGPR 数与 occupancy 实测值、看 bank conflict 计数、看 stall 原因是等内存还是等计算;rocm 或 CUDA 的 profiler 能给这些量,但不会直接告诉你复用差。

逻辑寄存器与物理寄存器,以及多 stream 逻辑寄存器是 ISA 里可见的编号(如 v0 到 v255),由编译器分配;物理寄存器是芯片里真实存在的存储单元。GPU 通常不做寄存器重命名,逻辑编号直接映射到物理条目,所以「用了多少个 VGPR」直接决定能驻留多少 wavefront,这与 CPU 的乱序执行模型不同;溢出会被 spill 到 scratch,一次 spill 就是一次访存。多 stream 的价值在于把互不依赖的任务塞进同一条设备队列,让拷贝与计算、多个 kernel 的尾部互相填补空闲;要点出 stream 之间没有顺序保证、需要事件或显式同步,且多 stream 不提高单 kernel 算力,只提高设备利用率。

手撕 reduce:树形归约、共享内存与 bank conflict 是评分点 骨架是两阶段:先在 block 内用共享内存做树形归约(每轮步长减半,i 与 i+stride 相加,轮间加 barrier),再把每个 block 的部分和写回全局,由第二段 kernel 或原子加汇总。写出朴素版之后通常按这几点追问:共享内存数组按 32 或 64 加 padding 避免 bank 冲突;能在 wavefront 内完成的层改用 shuffle,省掉 barrier;block 取 256 或 512 这种 2 的幂,非 2 的幂的规模尾部单独处理、别把越界元素当 0 混进去;原子加汇总实现简单但多 block 抢同一地址会串行化,量大时用两阶段更稳。