面灵AI→

10 月大模型推理五场面试合集:量化、KV Cache 与 CUDA 执行机制

时间
2026-10
来源
牛客网

《面试题目》

后摩智能|大模型量化

  1. BF16、FP16 的表示范围有什么区别?指数位、尾数位是否相同?为什么它们的范围和精度不同?
  2. 最近有没有关注减少 KV Cache 开销的模型或注意力方案?线性注意力这一方向有哪些变化?能不能解释具体做法?
  3. FlashAttention 的具体计算流程是什么?在线 softmax 是怎么完成的?
  4. 近期关注的模型进展有哪些?

腾讯 WXG|推理

  1. 什么是 ILP / TLP?
  2. 一个 block 中的多个 warp 如何执行?
  3. 一个 SM 上能驻留多少线程、warp 或 block,会受到哪些资源限制?
  4. 如果一种优化减少了数据读取量,但在 kernel 中增加了解码、恢复等操作,为什么整体仍可能更快?收益到底来自减少访存,还是计算本身变快?减少的数据量与最终加速比应该怎样对应?
  5. 手撕:给定一个正整数 N,返回所有不大于 N 的孪生质数对。要求两个数都是质数且差恰好为 2,例如 (3, 5)、(5, 7)、(11, 13),注意不是任意两个相邻质数。

地平线|编译器|一面

  1. 手撕:给定多个区间,把每个区间独有的部分和相互重叠的部分切开。输出区间内部不能重叠但允许共享端点,覆盖范围与输入相同,并且任何一个原始区间都能用连续的输出片段拼回去。例如输入 [1,5]、[3,7]、[4,9],输出 [1,3]、[3,4]、[4,5]、[5,7]、[7,9]。

字节 Data|搜广推 Infra|一面

  1. 设计显存、内存、SSD 的分级存储:哪些数据放在 GPU,哪些放在 CPU 内存,哪些放在 SSD?如果请求不断到来、显存已满但新数据还要插入,应该淘汰哪些数据?
  2. 你了解参数服务器吗?搜广推的离散特征和 KV 存储一般怎么组织?
  3. 一道 LeetCode 题:给出 O(n) 解法后,不改变时间复杂度,能不能利用硬件特性让实际执行更快?可以往哪个方向想?
  4. 手写 Attention:输入已经是 Q、K、V,前面的线性投影已经完成,实现后面的矩阵乘法、softmax 等计算,朴素实现或优化实现都可以,语言不限。

阿里千问事业部|推理

  1. BF16、FP8、NF4 怎么取舍?如果一种存储方案保留 BF16 的数值精度,应该怎样与 FP8、NF4 比较?除了相对 BF16 基线省空间,还需要比较什么?如果某个业务中 FP8 的质量已经满足要求、并且有硬件原生支持,继续保留更高精度的方案,价值体现在哪里?
  2. 是否了解训练后量化和量化感知训练?能否说明这两类方法?
  3. 手撕:LeetCode 131 分割回文串,要求用 C++ 实现。给定字符串 s,返回所有分割方案,保证每个子串都是回文串;s 只包含小写英文字母,长度为 1 到 16。例如 s = “aab”,输出 [[“a”,“a”,“b”], [“aa”,“b”]]。需要返回全部合法分割,不是只判断整个字符串是否为回文,也不是求最少分割次数。

《参考解析》

BF16 与 FP16 都是 16 位,位宽分配不同,换来不同的范围与精度。FP16 是 1 位符号、5 位指数、10 位尾数,范围约 6×10⁻⁵ 到 65504;BF16 是 8 位指数、7 位尾数,指数与 FP32 一致,范围等同 FP32,但精度只有约两位十进制。所以 BF16 不容易溢出,适合梯度与激活跨度大的训练,代价是舍入误差更明显;FP16 精度更好但需要 loss scaling 防下溢。

在线 softmax 解决的是分块之后拿不到全局最大值。每处理一个 K/V 块,先算该块分数与局部最大值 m_blk,用新的全局最大值 m_new 把已累积的输出 O 按 exp(m_old − m_new) 缩放,再乘本块的 exp(score − m_new) 累加,分母 l 同样缩放。这样不必保存完整分数矩阵、也不用两遍扫描,最终 O/l 就是精确结果。代价是每块多几次标量缩放与 exp 重算,用算力换掉 N×N 中间矩阵的 HBM 读写。

「少读数据但多算几步仍然更快」要用算术强度算账。GPU 算力增长远快于 HBM 带宽,多数推理 kernel 卡在访存;如果省下的字节数乘带宽单价,大于新增解码、反量化指令的时间,整体就是赚的。判断依据是 roofline:算 kernel 的 ops/byte 与机器拐点比,落在带宽侧就值得用计算换访存。加速比也不等于「减少的字节比例」,因为原 kernel 可能本来就没跑满带宽。

ILP 与 TLP 是两种填满执行单元的思路。ILP 指单线程内互不依赖的指令并行,靠循环展开、拆分累加器、软件流水让调度器在等延迟时仍有指令可发;TLP 指用更多 warp 隐藏延迟。SM 能驻留多少 warp 由几项资源取最小值:每 block 线程数上限、每 SM 的 warp 槽位、寄存器文件(每线程寄存器数乘线程数)、共享内存与 block 数上限。所以压低寄存器用量常比加大 block 更能提高占用率,但占用率高不等于快,还要看 stall 原因。

量化的取舍不止省多少空间,还要看精度、硬件支持和工程成本。FP8 有原生 Tensor Core 支持,矩阵乘能直接吃到算力;NF4 是 4 位正态浮点加分块量化常数,压缩率更高但需要反量化,只在 decode 阶段划算。PTQ 用校准数据统计激活分布、离线定 scale,成本低但离群值会拉低精度;QAT 在训练里插入伪量化节点让模型适应舍入误差,精度更好但要重新训练。该不该继续用高精度,要看业务指标是否真的受益。

按端点拆分区间是一道扫描线。把所有起点和终点收集起来排序,或利用两个序列各自有序做双指针归并;然后在相邻端点之间维护覆盖计数:起点加一、终点减一,计数大于零的那一段就是输出。例子中端点 1、3、4、5、7、9 把数轴切成五段,覆盖数分别是 1、2、3、2、1,于是得到 [1,3]、[3,4]、[4,5]、[5,7]、[7,9]。允许共享端点意味着把区间看成半开区间,边界只归属一侧。排序 O(n log n),两端有序时归并加扫描是 O(n)。

分割回文串是回溯加预处理。从起点尝试每个切点,子串是回文就加入路径继续递归,到串尾收集方案;最坏情况有 2^(n−1) 种分割,回溯本身至少要输出这么多结果。优化点是把「判断回文」从 O(n) 降到 O(1):先用中心扩展或区间 DP 预处理 pal[i][j],整体从 O(n²·2^n) 降到 O(n·2^n)。用下标传递避免反复拷贝子串。