端侧推理
共 2 篇面经 · 小红书
小红书端侧推理一面:内存峰值、int4 变慢与 KV Cache
小红书端侧推理一面(60 分钟):从模型大小、首 token 延迟、内存峰值怎么测问起,深入量化公式与 int4 反而更慢,再问 KV Cache 复用与端云协同,最后手撕 per-channel 对称 int8 量化。
小红书 端侧推理 一面:8 秒延迟拆解与 1024/256 父子块
小红书 Agentic 端侧推理优化实习一面,进二面。面试官每句话后面都跟着一个数字:system prompt 多长、单轮要选多少条工具、8 秒延迟用户能不能感知、是真实用户数据还是用线程数模拟的机型差异、父块 1024 子块 256 为什么这么切;后半场是医疗问答 RAG 的口语化改写、HyDE、BGE 重排与「模型说错一句话的代价」。