面灵AI→

清微智能高性能计算二面:每个优化点都要说清提升来自带宽、访存还是算力

轮次
二面
时间
2026-10
来源
牛客网

《面试题目》

  1. 麻烦你做个自我介绍。
  2. 这个算子具体是做什么的?
  3. 你在这个上面做了哪些调优的方法?
  4. 你做完这些之后,它能提升,是因为带宽利用率更高了、访存利用率更高了、还是算力利用率更高了,还是说算法简化了、不需要那么多计算量了?
  5. 如何减少同步读次数?
  6. 大概用了多少个 SM?
  7. 重叠的优化怎么实现的?
  8. 谈谈矩阵乘跟访存优化这件事。
  9. 性能提升多少?对比的基线是什么?

《参考解析》

这场的问法:问题少,但每一问都在逼你归因

面试官是部门负责人,全程 23 分钟,没有手撕没有八股,三个项目各问 2~4 层就进反问。特点是不问「你做了什么」,而问「提升来自哪一类资源」。这种面的准备重点不是把项目讲一遍,而是给每个优化点备好一条因果链:改了什么 → 哪项指标变了 → 为什么是这项指标变了 → 怎么证明不是别的原因。

「提升来自带宽、访存、算力还是算法简化」怎么答

先把四者摆成一个坐标系:带宽利用率看 HBM 实际吞吐占峰值的比例,访存效率看有没有合并且有没有 bank conflict、每次事务搬回多少有用字节,算力利用率看 SM 上各 pipe 的占用与 issue rate,算法简化看 FLOPs 总量本身有没有下降。答题按四步走:基线是多少 → 瓶颈判定落在哪一侧(profile 里 warp 的主要 stall 原因是什么)→ 这次改动动的是哪一项 → 复测数据。最忌讳笼统地说「做了 tiling 所以快了三倍」,因为 tiling 同时改善了合并访存、提高了数据复用(等效减少搬运量)、也可能顺带抬了占用率,面试官问的就是你能不能把这几项拆开。真拆不开就诚实说耦合,但给出 A/B:「只加 padding 不动分块,提升 8%,说明 bank conflict 那一项占这么多。」

同步读次数为什么是杀手,怎么减

全局内存的标量同步读延迟最大,每次都要等一次往返,还容易退化成不连续的小事务。减少的办法有成套组合:把每线程的标量读改成按块协作加载(一个 block 合力搬一个 tile 到 shared memory,一次搬运多次复用)、向量化读取(一次读 16 字节,减少指令数、提高单次事务的有效字节)、寄存器分块(一个线程算多个输出,同一份输入留在寄存器里)、用异步拷贝把加载与计算重叠(cp.async 或 TMA),以及砍掉不必要的同步点。答的时候要顺带说代价:shared memory 用量上升会压占用率,占用率一掉延迟就藏不住,这是要一起权衡的,不是免费优化。

SM 数量与「重叠」怎么讲

问「用了多少 SM」是在确认你知不知道自己这个 kernel 的并行规模:grid 乘 block 与 SM 数量的关系,决定了每个 SM 挂几个 block、occupancy 多少、能不能靠多 warp 隐藏延迟。问「重叠怎么实现」通常指计算与搬运重叠(双缓冲加异步拷贝)、kernel 与拷贝重叠(多 stream)、或多条流水线之间重叠;要讲清缓冲几份、谁来同步、边界与尾部怎么处理,含糊一句「用了双缓冲」会被立刻追第二层。

矩阵乘与访存,以及「基线是什么」

矩阵乘是讲访存最好的例子:朴素三重循环每次乘加都要读两个元素,算术强度极低;shared memory 分块把全局读次数从 O(N³) 降到 O(N³/T);寄存器分块再把每个线程的输出块做大,进一步复用;再处理 bank conflict(padding 或 swizzle)与大 K 的边界。算术强度约等于 2N³ FLOPs 除以 4N² 字节,也就是 N/2,N 一大就转成 compute-bound——这一条推导能一句话解释「为什么大矩阵优化重点是算力、小矩阵是访存」。基线那题必须给具体对象:是 cuBLAS、是框架里的默认算子、还是自己写的朴素版;还要交代 shape、dtype、精度、warm-up 与计时方式,否则「提升三倍」这个数字没有意义。