面灵AI→

寒武纪高性能计算库开发二面:SIMD/SIMT、Cache 与 C++ 语义

轮次
二面
时间
2026-11
来源
牛客网

《面试题目》

  1. 你项目里的依赖图分析是怎么做的?
  2. SIMD 和 SIMT 的区别?
  3. SIMT 里执行时遇到分支判断,是怎么执行的?
  4. 线程块在 wave 里调度,被 block 住之后会把它换出去、再把下一组具备执行条件的线程加进来,这个调度过程的开销主要在哪里?
  5. SIMD 和 SIMT 可以混合吗?
  6. 用 SIMD 写并行算法时,if (A > B) X = A; else X = B; 有没有更好、不走分支的写法?
  7. Bank Conflict 是什么原因导致的?
  8. 访问到同一个 bank 一定会冲突吗?有没有不冲突的情况?为什么?
  9. 假设有两级 Cache,CPU 要去 DDR 上访问一个数,这个过程中 L1、L2 是怎么配合工作的?
  10. L1 不命中、L2 命中,是把数据整块提出来覆盖到 L1 吗?L2 也不命中呢?
  11. 程序已经变成可执行文件了,CPU 执行它的取指、译码、执行是一个什么样的过程?
  12. 取指的时候从哪里取?指令怎么从内存里读出来?
  13. 怎么确认具体该访问哪一条指令?指令缓存满了的话什么时候更新?
  14. 对一个多级 for 循环怎么优化?先从代码层面讲,也可以讲流水线级别。
  15. 从寄存器读数据和从内存读数据,延迟大概差多少个数量级?从寄存器读一个数要几个周期?
  16. 通过 C++ 的一些语法给编译器提示信息,让它编出的代码更高效——有哪些方法?
  17. C++ 里左值、右值的概念?右值引用一般是什么场景?
  18. struct 和 class 的区别?现在很多人用 struct 也能定义方法,它能定义吗?区别到底在哪?
  19. static 修饰函数、修饰类的时候是什么作用?
  20. 写好的代码如何测试?有哪些测试环节?
  21. 代码完成到什么程度就可以去写单元测试了?
  22. 写单元测试需要掌握哪些东西?
  23. 深度学习这方面自己有了解过吗?
  24. 对团队有什么要求?对工作节奏、强度有什么期望?

《参考解析》

  1. SIMD 与 SIMT:SIMD 是一条指令对一段连续向量数据做相同运算,编程模型是显式的向量寄存器(AVX2 一次 8 个 float),适合规整的数组运算;SIMT 是单指令多线程,硬件把线程按 warp/wave 分组,组内线程执行同一指令但各自有寄存器和程序计数器,编程上写的是标量代码,由硬件完成向量化。差别在于「谁来组织并行」:SIMD 靠程序员和编译器,SIMT 靠硬件调度。

  2. SIMT 的分支:同一个 wave 内线程如果走不同分支,硬件会串行执行各分支,用掩码屏蔽不参与的线程,最后汇合。这叫分支发散,代价是有效并行度下降。所以 SIMT 代码里要尽量避免依赖数据的发散分支,能让所有线程走同一路径最好。

  3. wave 调度的开销:主要花在上下文切换上——把阻塞线程的寄存器和状态换出、把就绪线程换入、更新调度表;还有一部分是分支发散后的重收敛和数据依赖导致的流水线空转。所以提高占用率(occupancy)能隐藏延迟,但换入换出本身有成本,不是越多越好。

  4. SIMD 与 SIMT 混合:可以。GPU 上每个线程内部仍然可以用向量化指令处理多个元素(比如一个线程处理 4 个元素),相当于 SIMT 里套 SIMD;反过来 CPU 的多核加 SIMD 也是同一思路。混合的收益要看数据布局和寄存器压力。

  5. 无分支求最大值:用 max 指令或位运算实现,x = a > b ? a : b 一般会被编译器编译成 maxps 或 cmov,本身就没有分支;手写时可以用 a ^ ((a ^ b) & -(a < b)) 这类掩码写法,或者用 SIMD 的 _mm256_max_ps 一次处理 8 个。关键是把「分支」换成「选择」,让流水线不中断。

  6. Bank Conflict:共享内存被划分成若干 bank,同一 warp 内的线程如果访问落到同一个 bank 的不同地址,硬件只能串行处理,这就是冲突。如果访问的是同一个地址(广播),硬件可以一次广播给所有线程,不冲突。所以冲突的判据是「同 bank 不同地址」,而不是「同 bank」。

  7. 两级 Cache 的配合:CPU 发地址后先查 L1,命中直接返回;不命中则查 L2,命中则把数据按 cache line(通常 64 字节)整块填入 L1,同时返回给 CPU;L2 也不命中则访问内存(DDR),按块填入 L2 再填 L1。整块填充是因为空间局部性——附近的数据很可能马上要用。

  8. 取指译码执行:程序计数器指向下一条指令地址,取指单元按 PC 从指令 Cache 取指令,译码成微操作,然后发射到执行单元,访存、计算、写回按流水线重叠进行。分支预测器猜测跳转方向提前取指,预测错了要清空流水线重取。

  9. 指令 Cache 的更新:按 cache line 整块从内存加载,满了按替换策略(LRU 或伪 LRU)淘汰。顺序执行的代码局部性很好,所以指令 Cache 命中率高;但大量跳转、函数调用和巨型循环体会降低命中率。代码布局优化(热代码集中、减少不必要的内联膨胀)就是为它服务的。

  10. 多级循环优化:代码层面做循环交换让访存连续(按行遍历而不是按列)、循环分块(tiling)让工作集落在 Cache 里、循环展开减少分支并提高 ILP、把不变量提到循环外、消除重复计算;流水线层面保证相邻迭代无依赖、减少分支、用软件流水隐藏访存延迟。优化前先用 perf 或 ncu 找到瓶颈是访存还是计算。

  11. 寄存器与内存的延迟:寄存器访问通常 1 个周期级别;L1 约 4 个周期,L2 十几个周期,内存(DDR)在几十到上百纳秒,换算成周期是几百,相差两到三个数量级。这就是「访存墙」——算力涨得比带宽快,所以优化常常是减少访存而不是减少运算。

  12. 给编译器的提示:inline、constexpr、__restrict__(告诉编译器指针不重叠从而允许向量化)、alignas(对齐便于 SIMD 加载)、[[likely]]/[[unlikely]](分支提示)、#pragma unroll、#pragma omp simd、noexcept 与 final(帮助去虚化)。要注意这些只是提示,最终要看生成的汇编确认。

  13. 左值与右值:左值有名字、可取地址、生命周期较长;右值是临时值、不能取地址。右值引用 T&& 用于移动语义(把资源从临时对象「偷」过来,避免深拷贝)和完美转发(std::forward 保持参数的值类别)。这是 C++11 之后容器性能提升的关键。

  14. struct 与 class:语法上只差默认访问权限(struct 默认 public,class 默认 private)和默认继承方式(struct 默认 public 继承)。struct 完全可以有方法、构造函数、继承,也能有虚函数。工程习惯上 struct 用于纯数据聚合,class 用于有不变式和行为的类型。

  15. static 修饰函数和类:修饰普通函数表示内部链接,只在本编译单元可见;修饰类的成员函数表示它属于类而不是某个对象,没有 this 指针,不能访问非静态成员;静态成员变量在所有对象间共享,需要在类外定义。

  16. 测试环节:单元测试、集成测试、性能测试(benchmark 与 profiler)、回归测试、边界与异常测试、数值精度对比测试(和参考实现比误差)。高性能库还要做不同 shape 与不同硬件上的正确性矩阵。

  17. 什么时候写单元测试:接口定下来、行为明确时就可以写,通常先写测试再实现(TDD),至少要在提测前补齐。不要等「全部写完」,那时设计已经僵化。

  18. 写单元测试需要掌握什么:测试框架(gtest、Catch2、pytest)、断言与参数化、mock 与依赖注入、覆盖率工具、如何构造边界与异常输入、如何测浮点结果(用容差而不是等值比较)、以及如何让测试快速可重复。