KVCache 面试题
共 2 篇真实面经 · 涵盖 小红书 / 上海某自研小厂 等 2 家公司
小红书端侧推理一面:内存峰值、int4 变慢与 KV Cache
小红书端侧推理一面(60 分钟):从模型大小、首 token 延迟、内存峰值怎么测问起,深入量化公式与 int4 反而更慢,再问 KV Cache 复用与端云协同,最后手撕 per-channel 对称 int8 量化。
上海自研小厂Java开发一面面经(含AI应用考察)
上海某自研小厂Java一面,亮点是含AI应用考察(ReAct框架终止信号、KVCache原理、工具调用失败处理)。同时覆盖Java基础、锁对比、场景题(缓存宕机恢复、服务兜底)、代码题(单例模式、有效括号)。