华为机考(AI 方向):十道选择题与 KV 缓存批处理调度模拟
- 轮次
- 笔试
- 时间
- 2026-11
- 来源
- 牛客网
《面试题目》
选择题
- 训练已接近收敛,验证损失不再明显下降,但参数仍在最优点附近来回小幅摆动。要让后期的参数更新更平缓、减轻震荡,实践中常用的做法是?(A 学习率衰减,如余弦退火或阶梯衰减;B 适当调大初始学习率;C 验证损失不再下降时提前停止;D 缩小网络权重的初始化方差)
- 推理时把 Attention 里原本分三步的 Q、K、V 线性投影合并成一次大矩阵乘法,这样做最主要的收益是?(A 参数量明显减少;B 减少 kernel 启动次数,同时提高带宽与算力利用率;C 注意力部分计算量降低一个数量级;D 提升数值精度)
- 某模型词表共 5 万个词,用 One-Hot 向量表示其中一个词,该向量的维度由什么决定?(A 词向量的嵌入维度;B batch size;C 输入句子的最大长度;D 词表大小)
- 对大模型权重做低精度量化,设量化误差在区间上服从均匀分布、步长为 Δ,求误差绝对值大于 Δ/3 的概率与该误差的方差。
- 实现 softmax 时,若某行 logits 很大(例如超过 100),直接求指数会溢出成 inf。工程上通用的稳定化写法是?(A 统一乘一个略小于 1 的系数;B 先减去本行最大值再求指数;C 先取绝对值再求指数;D 把指数结果截断到某个区间)
- 设事件 A、B 满足题面给出的三个概率值,判断二者是互斥、包含、独立,还是既不独立也不互斥。
- 矩阵 A 表示一个线性变换,它把列向量 x 映射为什么?给出计算结果。
- Sigmoid 函数的导数最大能取到多少?
- 某层使用 KV cache:batch = 1,已缓存序列长度 128,kv_heads = 8,head_dim = 64,K 与 V 均以 FP16(每元素 2 字节)存储。该层 KV cache 占用显存约为多少?
- 残差块写成 H(x) = F(x) + x,这种结构能缓解深层网络退化的核心逻辑是?(A 每层参数量减少;B 整个网络退化为线性模型;C 迫使 F 去拟合恒等映射;D 让 F 去拟合输出与输入的差)
编程题(150 分)
- KV 缓存批处理调度:时间窗口内共有 N 个请求,第 i 个请求由到达时刻、还需生成的 Token 数、处理时占用的显存单位数描述,系统可用显存为 M。每个时间步可让若干已到达且未完成的请求各生成 1 个 Token,占用显存之和不超过 M;请求累计处理满所需 Token 数即完成,完成的那一刻释放显存,释放出的显存从下一个时间步起才能分配。接纳规则完全固定:每个时间步在所有「已到达、未完成、尚未占住显存」的请求中,先按显存占用从小到大选,相同时到达更早者优先,装得下就接纳、装不下就继续等待,已接纳的请求一直处理到完成。系统也允许主动清空某个未完成请求的缓存,但它重新开始时要重新占用显存并重算已生成的 Token。求全部请求处理完毕所需的总时间步数。
《参考解析》
选择题的答案与理由。 1 选 A:后期震荡的本质是步长相对于损失曲面曲率偏大,学习率衰减让更新幅度趋近于零;调大初始学习率会加剧震荡,早停只减少轮数不改变幅度,初始化方差只影响训练初期。2 选 B:三个投影权重拼接后一次 GEMM 算完,FLOPs 与参数量都不变,收益来自 kernel 合并带来的访存与调度开销下降。3 选 D:One-Hot 长度等于词表大小,嵌入维度是后续 Embedding 层映射到的低维空间维度。4 的答案是概率 1/3、方差 Δ²/12:误差区间总长 Δ,满足 |E| > Δ/3 的两段合计长度 Δ/3,故概率为 1/3;区间长度为 Δ 的均匀分布方差是 Δ²/12。5 选 B:softmax 具有平移不变性,减去本行最大值后最大指数项为 1,既不上溢也不改变结果。6 的判据是看交集概率是否等于两个边缘概率之积:相等即独立;交集为零则互斥;若一方的概率等于交集则构成包含关系。7 按矩阵乘法逐行做点积即可,注意是 A 乘列向量,顺序不能反。8 的答案是 1/4:σ′(x) = σ(x)(1 − σ(x)),在 x = 0 处取最大值。9 的答案是 256 KB:K 与 V 各需 128 × 8 × 64 × 2 字节 = 131072 字节,两者合计 262144 字节。10 选 D:有了恒等捷径,网络只需学习残差,把 F 学到接近 0 即可实现恒等映射,比用非线性层直接拟合恒等映射容易得多。
编程题没有决策空间,是一道纯模拟。 题面允许主动清空缓存,但清空只会让已经付出的计算时间作废——显存虽然立刻释放,重新开始时既要重新占用显存,又要从被清空时的进度重算,收益为零、代价为正,因此最优策略是从不清空。既然不清空,每一步的接纳顺序就完全由规则决定,答案是唯一的,不需要贪心证明或动态规划。
模拟的三段操作,顺序决定成败。 每个时间步依次做:① 接纳——把全部请求按 (显存占用, 到达时刻) 升序排好,从头扫描,对「未完成、未占显存、已到达、且当前已用显存 + 该请求显存 ≤ M」的请求执行接纳;装不下时跳过继续看后面的请求,不能直接 break(后面可能有更小的请求装得下)。② 推进——所有被接纳的请求剩余 Token 数减一,时刻加一。③ 释放——把剩余 Token 数为 0 的请求释放,归还显存、完成数加一。释放必须放在时刻自增之后,才符合「释放出的显存从下一个时间步起才能分配」;若在自增前释放,同一时间步内刚空出的显存会被立刻复用,答案偏小。
常见错误与样例对照。 把接纳顺序当成输入顺序(按到达顺序),在部分数据上会明显偏大;遇到第一个装不下的请求就跳出循环,会漏掉后续可接纳的小请求;忽略容量限制假设全部并行,得到的步数远小于正解;只按 Token 总数估算而不模拟到达时刻,同样会错。样例 N=3, M=6,三个请求分别为 (0, 5, 4)、(1, 4, 4)、(2, 3, 2):时刻 0 接纳请求 0;时刻 2 请求 2 到达,4 + 2 = 6 恰好装满,二者并行;请求 1 需要 4 单位,4 + 4 > 6 只能等待;时刻 4 两者同时完成并释放;时刻 5 请求 1 被接纳,连续处理四个 Token 到时刻 8 结束,计数器自增后为 9,输出 9。复杂度 O(T × N),其中 T 为最大时刻,本题规模下完全够用。