华为 AI 方向机考 10·23:自注意力复杂度、KV Cache 内存池与朴素贝叶斯纠错
- 轮次
- 笔试
- 时间
- 2026-10
- 来源
- 牛客网
《面试题目》
第一部分:选择题(150 分)
- 自注意力层输入序列有 n 个 token、每个 token 表示为 d 维向量(忽略 batch 与多头),计算注意力得分矩阵的复杂度是多少?
- 卷积神经网络中池化层的主要作用是什么?
- 关于主成分分析(PCA)降维,下列说法正确的是?(主成分按方差贡献排序且是原始特征的线性组合 / PCA 是有监督方法 / 目标是类间间隔最大 / 对量纲不敏感)
- 用约 5200 道带唯一标准答案的中学数学题评测大模型解题能力,最常用的指标是什么?
- 对实数域上的向量组,下列哪一条是它线性相关的等价刻画?
- 设随机变量服从参数为 λ 的泊松分布,则 P(X=2) 等于多少?
- Transformer 解码器自注意力里的因果掩码(Causal Mask)主要用来做什么?
- 卷积在通道数 C 很大时,哪种内存布局更利于向量化、缓存更友好(NHWC / NCHW / NHCW)?
- 循环神经网络展开到时刻 t 时,隐藏状态由哪些量决定?
- 某二分类模型精确率 0.6、召回率 0.9,F1 分数是多少?
第二部分:编程题
- 大模型推理 KV Cache 内存池管理(150 分):内存池有 m 个等大的 Block,每个 Block 能容纳 s 条 token 的 KV 数据;有 n 个推理请求,第 i 个请求要处理 tᵢ 条 token,占用 ⌈tᵢ/s⌉ 个 Block。请求按给定顺序到达,对每个请求可以接受或拒绝;允许在后续决策中撤销先前已接受的请求以释放 Block;被拒绝的请求不能再考虑、请求之间不能重排。在接受请求占用的 Block 总数不超过 m 的前提下,求最多能接受多少个请求。
- OCR 智能文字纠错(300 分):字符集为 26 个小写字母,模型给出发射计数 emit[c][o](真实字符 c 被识别成 o 的次数)与先验计数 prior[c],概率均做加 k 拉普拉斯平滑;对待纠错串里每个字符 o,按「先验 × 发射」的联合得分在 26 个候选里取最大者作为纠正结果,得分相同时取字典序最小的候选。原始帖在描述自训练流程时被截断,后续的标注与迭代部分没有给出。
《参考解析》
选择题的关键判断。
- 自注意力:QKᵀ 的每个元素是一次长度 d 的点积,得分矩阵有 n² 个元素,所以是 O(n²d);后面的 softmax 与乘 V 同阶。答案 A。
- 池化:在窗口内做最大/平均聚合,压缩特征图的高宽,从而降低后续计算量与参数量,并带来一定平移不变性。激活函数负责非线性、卷积负责特征提取、归一化负责均值方差对齐,都不是池化。答案 D。
- PCA:无监督、以投影方差最大(等价于重构误差最小)为目标、对量纲敏感需要先标准化;让类间间隔最大是 LDA 的目标。答案 A。
- 有唯一标准答案的题目,抽最终答案比对即可,指标是准确率;困惑度衡量语言建模能力,与解题对错不是一回事。答案 B。
- 线性相关的定义是存在不全为零的系数使线性组合为零向量;「个数少于维数」既不充分也不必要,是常见混淆项。答案 C。
- 泊松分布 P(X=k)=e^(−λ)·λ^k/k!,取 k=2 得 e^(−λ)λ²/2。答案 B。
- 因果掩码把上三角(未来位置)的分数置为 −∞,保证第 i 个位置只看得到 ≤i 的 token,并行训练时不泄漏未来信息;屏蔽 padding 是另一套 mask。答案 B。
- 卷积在每个空间位置做跨通道的矩阵乘,需要连续访问同一位置的 C 个通道值。NHWC 把通道放最内层,访存连续、利于 SIMD;NCHW 下同位置的通道值间隔 H×W,缓存不友好。答案 A。
- RNN 的 hₜ 同时依赖当前输入 xₜ 与上一时刻隐藏状态 hₜ₋₁。答案 C。
- F1 = 2PR/(P+R) = 2×0.6×0.9/(0.6+0.9) = 0.72。答案 C。
KV Cache 内存池这题的关键是把「可撤销」读成「可重排」。 题面允许后续撤销已接受的请求,等于把在线顺序决策变成了离线选择问题:任何一个最终合法的请求集合,都可以通过「先接受、后撤销」得到,因此顺序不影响答案。于是问题化为「从 n 个代价为 cᵢ=⌈tᵢ/s⌉、价值都为 1 的请求中,选出数量最多的子集,使总代价不超过 m」。价值全相同、代价全为正时,最优策略是先装最便宜的:把 cᵢ 升序排序后依次累加,第一次超出 m 就停。正确性用交换论证:若最优解选中的某个请求比未选中的某个更贵,换成便宜的那个不会让总代价变大、数量不变;反复替换后最优解一定是「最便宜的前 k 个」。要点有三个:向上取整不能写成整除;累加量级可能超过 32 位,用 64 位整数;「不超过 m」含等号。复杂度 O(n log n)。反例提醒:如果按到达顺序「能放就放」,样例里先接一个大请求就会挡住后面两个小请求,所以贪心必须建立在排序之后。
OCR 纠错这题的落点是「对数域里做加法」。 对每个被识别字符 o,需要对 26 个候选 c 比较 P(c)·P(o|c)。直接乘连乘会下溢,取对数后变成 log P(c) + log P(o|c) 的加法,比较结果不变。两个概率都用加 k 平滑:P(c) = (prior[c]+k)/(Σprior+26k),P(o|c) = (emit[c][o]+k)/(prior[c]+26k)——注意发射概率的分母是「真实字符 c 的总出现次数」加平滑项,而不是全局总数,这是最容易写错的地方。并列时取字典序最小的候选,实现上按 c 从 ‘a’ 到 ‘z’ 遍历、只在严格大于当前最优时才替换,就能天然满足。复杂度 O(26·L)(L 为待纠错串长度)。
这类机考的通用准备。 第一部分的选择题覆盖的是「AI 基础课的核心结论」,把线性代数(线性相关、特征值、PCA)、概率(常见分布、贝叶斯)、深度学习基础(注意力复杂度、卷积/池化、归一化、掩码、内存布局)、以及评测指标(准确率、F1、困惑度)这四块过一遍即可。第二部分两道题的共同点是「把工程问题翻译成标准算法模型」:内存池 → 排序贪心,纠错 → 对数域 argmax。训练时优先练这种「读题 → 建模 → 处理边界(取整、溢出、并列)」的流程,比刷题量更有用。