深度求索 AI 基础设施一面:FlashAttention 分块、NCU 指标与 RL 卡死
- 轮次
- 一面
- 时间
- 2026-10
- 来源
- 牛客网
《面试题目》
项目与训练链路
- 你有多少多卡、多节点的训练经验,实际使用的是哪些硬件?
- 有没有分析过模型训练的详细耗时,比如 Attention 前向、反向分别占多少?单个算子在完整链路里占多少?
FlashAttention 与硬件架构
- 不同版本的 FlashAttention 有什么区别?
- Tiling 具体做了什么?
- 为什么分块能够减少数据搬运?
- 分块之后是不是就不需要反复搬数据了?
- Blackwell 与 H200 有哪些架构差异?
- Tensor Core 是 Blackwell 独有的吗?
RL 链路
- RL 链路里卡死的具体表现是什么?程序是否退出、运行状态有什么变化?
- 这个卡死和训推一致性是什么关系?
性能分析
- 算子优化用哪些工具?
- NCU 中重点关注哪些指标,各代表什么?
- 怎样判断是计算瓶颈还是访存瓶颈?
- SM 利用率偏低时,下一步检查什么?
- warp 有什么特点?
- warp divergence 是什么?
- 为什么不同线程不能简单地独立执行各自的分支?
协作
- 实习中最大的挑战是什么?
- 既然任务由 mentor 对接和分配,为什么沟通仍然是挑战?具体怎么解决?
手撕
- 在线编程,CUDA 算子与算法题二选一:统计二维网格中的岛屿数量,只算上下左右四个方向相连的陆地。
- 这个方案是最优的吗?DFS 与 BFS 的复杂度各是多少,空间上有什么区别?
《参考解析》
FlashAttention 的核心是把注意力拆成能放进 SRAM 的块,避免中间矩阵落回 HBM。朴素实现要物化完整的 N×N 分数矩阵,读写量随序列长度平方增长;分块后外层遍历 K/V 块、内层遍历 Q 块,每块算出的分数立刻参与在线 softmax,只保留行最大值和归一化分母的 running 统计,最后再统一缩放。所以省掉的是 N×N 中间结果的写回与重读,Q、K、V 本身仍要按块加载,只是加载次数从平方级降到线性级。反向传播还要重算分数矩阵换显存,这是拿算力换带宽的典型取舍。
NCU 的指标要连成一条判断链,而不是看到百分比就下结论。先看 Speed of Light 里的 Compute 与 Memory Throughput,两者都低说明既没吃满算力也没吃满带宽,问题在延迟或同步,接着看 Achieved Occupancy 与 Theoretical Occupancy 的差距、以及 Warp State 里的 Stall 原因:长依赖停顿(Long Scoreboard)指向访存延迟,Barrier 指向同步,Not Selected 说明并行度够而计算排队。判计算还是访存还可以算算术强度,与机器的 ops/byte 拐点比。SM 利用率低先查 block 数是否够填满 SM、每块寄存器与共享内存是否把占用率压住,再查是否有串行化与尾效应。
warp divergence 的根因是 SIMT 的执行模型。一个 warp 的 32 个线程共用一条指令指针和指令发射单元,硬件按 32 宽执行同一条指令;遇到分支时若线程走向不同路径,只能把两条路径串行执行、用活跃掩码屏蔽不参与的线程,再在汇合点重新收敛。所以「每个线程各走各的分支」需要独立的取指与调度资源,等于把 SIMT 变成 MIMD。优化方向是让分支尽量以 warp 为单位一致(重排数据、把条件提成模板参数或编译期常量),或者把发散分支改成查表、谓词执行等无分支形式。
RL 卡死的排查靠控制变量逐步缩小范围。先固定现场:卡住时进程是否存活、GPU 利用率是否掉零、是全部 rank 还是个别 rank、能否抓到 py-spy 栈与 NCCL 日志。再按原配置缩小规模复现,一次只改一个变量——CUDA Graph 开关、TP 配置、确定性开关、Graph 的执行模式,观察现象是否随变量出现或消失。若只有开 Graph 才复现,重点查图捕获时的静态地址假设、跨流同步与融合通信路径的实现,因为图里不允许动态分配与主机侧同步。最后要说明它与训推一致性的关系:卡死是 hang,一致性是数值偏差,两者可能同源(通信融合改变了归约顺序),但必须用各自的证据分别证明。
岛屿数量的主线是数连通块,DFS 与 BFS 都是 O(mn)。每遇到一块未访问的陆地,计数加一,然后把它所在的整个连通块标记掉,每个格子入队或入栈一次、最多被四个邻居访问,总代价与格子数成正比。空间上 DFS 递归深度最坏是 O(mn)(蛇形全陆地),大网格会爆栈,改成显式栈或 BFS 队列更稳,队列宽度最坏也是 O(mn)。原地把访问过的陆地改成 0 可以省掉 visited 数组。并查集是另一条路,适合需要动态合并或统计多个连通分量的场景,代价是额外的父数组与近似常数的查找。