清微智能高性能二面:调优要能说清提升来自带宽、访存还是算力
- 轮次
- 二面
- 时间
- 2026-10
- 来源
- 牛客网
《面试题目》
- 麻烦你做个自我介绍。
- 这个算子具体是做什么的?
- 你在这个上面做了哪些调优的方法?
- 你做完这些之后,它能提升,是因为带宽利用率更高了、访存利用率更高了、还是算力利用率更高了,还是说算法简化了、不需要那么多计算量了?
- 如何减少同步读次数?
- 大概用了多少个 SM?
- 重叠的优化怎么实现的?
- 谈谈矩阵乘跟访存优化这件事。
- 性能提升多少?对比的基线是什么?
《参考解析》
「提升来自哪一类资源」怎么答:这是这场面试的唯一考点,回答要落到可测的量上。先给基线(优化前的耗时、对应的理论下限),再判断当前是哪种瓶颈:算力受限时看 FMA 利用率与指令吞吐,访存受限时看实际带宽占峰值的比例,延迟受限时看是否被同步与访存依赖串住。然后把优化动作映射过去——提高 tile 大小、增加数据复用、把重复读提到寄存器或共享内存,降低的是访存流量;调整 block 与 warp 的映射、避免 bank conflict、合并访问(连续线程读连续地址),提高的是访存效率;减少冗余计算、把不必要的高精度换成低精度(FP32→BF16/FP16,必要时用 TF32),降低的是算力需求;用算法层面的等价变换(Winograd、快速傅里叶、稀疏化)减少的是计算量本身。最后一定要区分「实测提速」与「只是资源利用率变好」:利用率提高但总时间没降,说明瓶颈在别处。
减少同步读次数:同步读通常指跨线程共享数据的读取、__syncthreads() 之后的共享内存读、以及从全局内存读常量/参数。减少的手段:把只读参数放常量内存或 __ldg(只读缓存),让一次加载服务整个 tile;用共享内存做 staging,一个线程块只从全局内存读一遍数据,之后所有复用都在片上完成;把同步次数从「每次迭代一次」合并成「每 K 次迭代一次」,用双缓冲(ping-pong)把「加载下一块」和「计算当前块」重叠起来,这样同一次同步服务两件事;减少 warp 内分支,让同一 warp 的访存合并,减少实际发出的内存事务数。要提醒一个代价:共享内存用多了会压低 occupancy,同步变少但并行度下降可能得不偿失,必须实测。
SM 数量与占用率:问「用了多少 SM」是在确认你对并行度有没有概念——网格大小除以每 SM 的常驻 block 数决定实际用到的 SM,块太小或网格太小都会让一部分 SM 闲置。要能说出:SM 数由硬件决定(可通过 cudaDeviceProp 查),占用率由寄存器用量、共享内存用量、线程数共同决定,occupancy 不是越高越好——计算密集且访存复用高的 kernel,适当降低占用率换取更大的 tile 往往更快。
重叠优化:核心是把「搬数据」和「算数据」放在不同的执行单元上同时进行。手段:多流(不同 stream 上的拷贝与计算可并发)、异步拷贝(cudaMemcpyAsync + pinned memory)、块内双缓冲(先预取第 i+1 块到另一半共享内存,同时算第 i 块)、以及把循环展开让编译器插入更多访存与计算交错的指令。要能指出重叠的上限:如果计算时间小于传输时间,重叠只能掩盖计算那么久,剩下的传输是净开销——这时候该优化的是传输本身(合并、减少往返、量化)。
矩阵乘的访存优化:朴素实现里每个输出元素要读一整行 A 和一整列 B,访存复杂度 O(N³),几乎全部时间在等内存。经典做法是分块(tiling):把矩阵切成能塞进共享内存的块,块内数据只从全局内存读一次,复用次数从 1 提到块边长;再往上是寄存器分块(每个线程算一个小 tile,比如 4×4,让每个从共享内存读出的值参与 16 次乘加);配合向量化加载(float4)与 bank conflict 规避(共享内存加 padding 或调整索引),合并访问保证每次事务都满载。要说得出的数字关系:算术强度(每次访存完成的浮点运算数)决定能不能打到算力峰值,这也是为什么大矩阵更容易接近峰值、小矩阵受限于启动与访存开销。
基线与测量:被问「提升多少、基线是什么」时不要只报百分比。要说清基线是「朴素实现」「厂商库(cuBLAS/cuDNN)」「上一个提交」,测的是端到端还是 kernel 内耗时,是否包含数据传输,用了什么计时方式(CUDA event 而非 host 计时,warmup 若干次取中位数),以及在同一张卡、同一 clocks 状态下测。对不上 cuBLAS 也不丢人,能说清差在哪个环节(比如缺少 split-K、未用 tensor core)反而是加分项。