小红书端侧推理一面:内存峰值、int4 变慢与 KV Cache
- 轮次
- 一面
- 时间
- 2026-11
- 来源
- 牛客网
《面试题目》
- 你做的端侧功能是什么?跑在什么芯片上?
- 模型多大,参数多少,什么精度?
- 首 token 多少毫秒,decode 多少 token/s?
- 内存峰值多少?怎么测的?
- 功耗涨了多少?用户能感知到吗?
- 机型和系统版本怎么适配?
- int8 和 int4 的量化公式写一下。
- 对称量化和非对称量化怎么选?
- per-tensor 和 per-channel 差在哪?
- 量化之后精度掉了多少?怎么评的?
- 哪些层不能量化?
- 量化校准集怎么选,多少条?
- 为什么 int4 之后反而更慢了?
- KV Cache 怎么存的?端上怎么省?
- 上下文 4K 的时候显存够吗?
- 多轮对话怎么复用 KV?
- 用户切到后台,推理任务怎么处理?
- 端云协同怎么分工?什么情况走云?
- 网络抖了,端上已经生成了半句,怎么办?
- 端上模型的效果怎么和云端对齐?
- 同一句话在不同机型上结果不一样,正常吗?
- 你怎么做 A/B?端侧灰度怎么放?
- 模型更新怎么下发?包多大?
- 用户投诉「回答变笨了」,你怎么定位?
- 反问
- 手撕:实现 per-channel 对称 int8 量化
《参考解析》
内存峰值要算四块,不是模型大小。 权重、KV Cache、激活值、算子临时 buffer。7B 模型 int4 权重约 3.8GB;KV Cache 按 2 × 层数 × 头数 × head_dim × 长度 × 字节数 算,2K 上下文几百 MB 到 1GB,取决于是否用 GQA;激活值在 prefill 阶段最大,attention 中间矩阵随长度平方增长;融合不好的算子还会多申请几份同尺寸 buffer。四块叠上 Android 的系统占用与图形内存,6GB 机器被 LMK 杀掉很正常,端上要按最坏机型倒推模型规格。测量用 dumpsys meminfo 看 PSS 分项、VmHWM 看峰值,并在加载、prefill、decode 三段分别打点——峰值几乎总在 prefill。
为什么 int4 反而更慢。 量化省的是读权重的字节数,代价是算之前把 int4 反量化回 fp16。芯片没有原生 4bit 指令时,反量化多一轮 kernel:读 int4、乘 scale、写 fp16 临时 buffer,再交给矩阵乘;模型本身计算受限时这笔开销比省下的带宽更贵。所以要看硬件:访存受限的单请求 decode,int4 能降带宽;有原生低精度指令才值得上。
KV Cache 怎么省。 GQA/MQA 减 KV 头数;KV 量化到 int8;只留最近窗口加少量 attention sink;复用 system prompt 与多轮共同前缀,按前缀哈希索引,命中不重算 prefill。多轮复用的坑在位置编码:拼接历史时 RoPE 位置要跟着偏移;工具返回插进上下文后,插入点之后的 KV 全失效。4K 上下文在 6GB 机器上不够,产品里通常压到 2K 以内。
per-channel 对称 int8 量化。 每个输出通道独立算 scale:scale = max(|w|) / 127,q = round(w / scale) 并 clip 到 [-128, 127],反量化 ŵ = q × scale。按通道而不是整张量,是因为各通道动态范围差得多,共用一个 scale 会把小通道压成 0。
def quant_per_channel(w, bits=8):
qmax = 2 ** (bits - 1) - 1 # 127
amax = np.abs(w).max(axis=1, keepdims=True) # [out, in] 按 out 取
scale = np.where(amax == 0, 1e-8, amax / qmax)
q = np.clip(np.round(w / scale), -qmax - 1, qmax).astype(np.int8)
deq = q.astype(np.float32) * scale
err = np.abs(deq - w)
return q, scale, deq, err.max(), err.mean()
坑:全零通道不兜住会除零出 inf;np.round 是银行家舍入,和 C 的 round 不一致,跨端对齐要统一;对称范围下界是 -128 不是 -127;轴写错就退化成 per-tensor。
离群点与 percentile 截断。 某行最大值若是孤立离群点,amax 被拉大、scale 变大,其余数值全被压到很小的量化格上,误差反而升高。做法是取 99.9 分位截断,超出部分 clip 后重算 scale,牺牲极少数大值换更小的均方误差;线上在候选比例上搜索,按校验集 MSE 挑。