面灵AI→

深度求索 AI 基础设施一面:FlashAttention 分块、NCU 指标与 RL 卡死

轮次
一面
时间
2026-10
来源
牛客网

《面试题目》

项目与训练链路

  1. 你有多少多卡、多节点的训练经验,实际使用的是哪些硬件?
  2. 有没有分析过模型训练的详细耗时,比如 Attention 前向、反向分别占多少?单个算子在完整链路里占多少?

FlashAttention 与硬件架构

  1. 不同版本的 FlashAttention 有什么区别?
  2. Tiling 具体做了什么?
  3. 为什么分块能够减少数据搬运?
  4. 分块之后是不是就不需要反复搬数据了?
  5. Blackwell 与 H200 有哪些架构差异?
  6. Tensor Core 是 Blackwell 独有的吗?

RL 链路

  1. RL 链路里卡死的具体表现是什么?程序是否退出、运行状态有什么变化?
  2. 这个卡死和训推一致性是什么关系?

性能分析

  1. 算子优化用哪些工具?
  2. NCU 中重点关注哪些指标,各代表什么?
  3. 怎样判断是计算瓶颈还是访存瓶颈?
  4. SM 利用率偏低时,下一步检查什么?
  5. warp 有什么特点?
  6. warp divergence 是什么?
  7. 为什么不同线程不能简单地独立执行各自的分支?

协作

  1. 实习中最大的挑战是什么?
  2. 既然任务由 mentor 对接和分配,为什么沟通仍然是挑战?具体怎么解决?

手撕

  1. 在线编程,CUDA 算子与算法题二选一:统计二维网格中的岛屿数量,只算上下左右四个方向相连的陆地。
  2. 这个方案是最优的吗?DFS 与 BFS 的复杂度各是多少,空间上有什么区别?

《参考解析》

FlashAttention 的核心是把注意力拆成能放进 SRAM 的块,避免中间矩阵落回 HBM。朴素实现要物化完整的 N×N 分数矩阵,读写量随序列长度平方增长;分块后外层遍历 K/V 块、内层遍历 Q 块,每块算出的分数立刻参与在线 softmax,只保留行最大值和归一化分母的 running 统计,最后再统一缩放。所以省掉的是 N×N 中间结果的写回与重读,Q、K、V 本身仍要按块加载,只是加载次数从平方级降到线性级。反向传播还要重算分数矩阵换显存,这是拿算力换带宽的典型取舍。

NCU 的指标要连成一条判断链,而不是看到百分比就下结论。先看 Speed of Light 里的 Compute 与 Memory Throughput,两者都低说明既没吃满算力也没吃满带宽,问题在延迟或同步,接着看 Achieved Occupancy 与 Theoretical Occupancy 的差距、以及 Warp State 里的 Stall 原因:长依赖停顿(Long Scoreboard)指向访存延迟,Barrier 指向同步,Not Selected 说明并行度够而计算排队。判计算还是访存还可以算算术强度,与机器的 ops/byte 拐点比。SM 利用率低先查 block 数是否够填满 SM、每块寄存器与共享内存是否把占用率压住,再查是否有串行化与尾效应。

warp divergence 的根因是 SIMT 的执行模型。一个 warp 的 32 个线程共用一条指令指针和指令发射单元,硬件按 32 宽执行同一条指令;遇到分支时若线程走向不同路径,只能把两条路径串行执行、用活跃掩码屏蔽不参与的线程,再在汇合点重新收敛。所以「每个线程各走各的分支」需要独立的取指与调度资源,等于把 SIMT 变成 MIMD。优化方向是让分支尽量以 warp 为单位一致(重排数据、把条件提成模板参数或编译期常量),或者把发散分支改成查表、谓词执行等无分支形式。

RL 卡死的排查靠控制变量逐步缩小范围。先固定现场:卡住时进程是否存活、GPU 利用率是否掉零、是全部 rank 还是个别 rank、能否抓到 py-spy 栈与 NCCL 日志。再按原配置缩小规模复现,一次只改一个变量——CUDA Graph 开关、TP 配置、确定性开关、Graph 的执行模式,观察现象是否随变量出现或消失。若只有开 Graph 才复现,重点查图捕获时的静态地址假设、跨流同步与融合通信路径的实现,因为图里不允许动态分配与主机侧同步。最后要说明它与训推一致性的关系:卡死是 hang,一致性是数值偏差,两者可能同源(通信融合改变了归约顺序),但必须用各自的证据分别证明。

岛屿数量的主线是数连通块,DFS 与 BFS 都是 O(mn)。每遇到一块未访问的陆地,计数加一,然后把它所在的整个连通块标记掉,每个格子入队或入栈一次、最多被四个邻居访问,总代价与格子数成正比。空间上 DFS 递归深度最坏是 O(mn)(蛇形全陆地),大网格会爆栈,改成显式栈或 BFS 队列更稳,队列宽度最坏也是 O(mn)。原地把访问过的陆地改成 0 可以省掉 visited 数组。并查集是另一条路,适合需要动态合并或统计多个连通分量的场景,代价是额外的父数组与近似常数的查找。