小红书 端侧推理 一面:8 秒延迟拆解与 1024/256 父子块
- 轮次
- 一面
- 时间
- 2026-10
- 来源
- 牛客网
《面试题目》
端侧 RAG 与函数调用
- system prompt 具体多长?里面包含哪些场景类型?
- 单轮工具调用大概涉及多少条工具选择?
- 你说「模型底子不够导致参数填错」,那到底是错在传参、错在上下文推导、还是错在记数字?
- 现在是谁在测、怎么测的?
- 这个延迟用户能感觉到吗?你手上是真实用户的数据,还是拿线程数模拟出来的机型差异?
- 八秒的响应,用户是会骂人的。你们在真机上到底动了哪些地方?
- 工具 schema 长什么样?名称、描述、参数、类型、枚举、示例,这几项你都写了吗?
- 参数约束为什么偏宽松?
- 参数类型或枚举值错了怎么解决?有没有考虑在函数内部调用做兼容?
- 任务规划怎么做的?生产上是先识别意图再推导工具依赖吗?
- 函数执行报错后怎么多步推理、重新规划?
- 检索为什么用父子索引?父块 1024、子块 256 的逻辑是什么?
医疗问答 RAG
- 口语化 query 的改写、扩写、分解怎么做?怎么避免重复生成?
- HyDE 具体怎么用?
- 重排为什么选 BGE 这一路?做过准确率对比吗?
- 医疗场景里,模型说错一句话的代价你能接受吗?
《参考解析》
system prompt 和工具数要报「token 口径」,不是字数。 端侧小模型(3B7B 量化后)的常见配置是 system prompt 6001500 token:里面装四类东西——角色与语气约束、可用场景枚举(比如问答/工具调用/闲聊/拒答)、输出格式(JSON 或固定标签)、以及安全与兜底规则;工具定义单独算,一条工具的 schema(名称 + 描述 + 参数 + 类型 + 枚举 + 示例)大约 80150 token,1520 条就是 1.53k token。所以一次请求的预填充量在 2.54.5k token 量级,这直接决定了首 token 延迟——端侧 7B 模型预填充大约 5001000 token/s 量级,3k token 就是 36 秒,这就是「8 秒」的大头。能报出「system 800 token + 工具 18 条 × 110 token ≈ 2.8k token」这种拆法,比说「挺长的」有用得多;再补一句中文 1 个字约 0.6~1 token,别把字数当 token 数。
8 秒必须拆成四段,而且要说明数据来源是哪种。 拆法是:首 token 延迟(预填充,跟输入 token 数近似线性)、解码时间(输出 token 数 ÷ 端侧解码速度)、工具执行(本地函数或网络请求)、以及调度与网络开销。解码速度有个硬上限可以当场算:端侧解码是内存带宽瓶颈,速度 ≈ 带宽 ÷ 模型大小,7B int4 约 3.54GB,手机 LPDDR5x 带宽 5060GB/s,理论上限 1215 token/s,实际打七折就是 10 token/s 左右;3B int4(约 1.8GB)能到 2530 token/s。所以「输出 200 token、7B 模型」光解码就要 15 秒以上,8 秒总延迟只可能是 3B 级模型 + 短输出,或者输出走了流式(用户感知的是首 token 时间)。「真实用户数据还是线程数模拟」要在实验有效性上答:改线程数只能模拟 CPU 并发,模拟不出 DVFS 降频、发热后的持续降频、内存带宽争抢、NPU 调度和后台应用抢占;正确口径是真机 + 冷启动/热机两种状态 + 分机型(旗舰/中端/三年前的老机)+ 报 P50/P90 而不是均值,用 Perfetto 或 Instruments 拿时间线,把算子耗时拆到 prefill/decode/工具三段。被问「用户能感觉到吗」,答案是 8 秒远超可接受阈值(交互式首响应通常要求 1 秒内、3 秒是容忍上限),所以必须靠流式输出 + 阶段提示把感知延迟压下来,而不是只优化总时长。
真机上能动的就那几处,每一处都要能算收益。 一是砍输入:system prompt 从 1500 降到 600 token(规则改成结构化短句、示例移出 system 放 few-shot 按需注入)、工具按意图召回 Top-K(不是每次把 20 条全塞进去,先做一次轻量意图分类再取 5 条,省 1.5k token 以上)。二是复用:system prompt 是固定前缀,把它的 KV cache 持久化到磁盘、下次直接加载,能省掉几乎全部预填充——代价是 KV cache 占内存(GQA 8 个 kv head 的 7B 模型约 128KB/token,3k 上下文就是 400MB 上下)。三是量化:weight-only int4 主要省内存带宽(解码提速约 2 倍),int8 KV cache 再省一半 KV 内存;要提醒精度损失在长尾上更明显,必须用业务 eval 集验证而不是只看困惑度。四是减少输出:结构化输出限制字段、给 max tokens 上限、把「解释」和「答案」分开(先出答案再按需解释)。五是投机解码/小模型草稿,前提是草稿模型和主模型同 tokenizer 且接受率够高,否则白算。最后是端云分流:简单 query 端侧直出、复杂 query 上云,代价是隐私与网络依赖,要按场景开关。
父子索引的 1024/256 是一组「检索精度 vs 生成上下文」的折中,要能把算术摆出来。 子块 256 token 是给 embedding 用的:向量模型对长文本会语义稀释,256 大致对应中文一到两段,检索粒度细、命中准;父块 1024 是送给生成模型的:只给 256 token 的碎片会缺上下文(指代、条件、表格跨行),回溯到 1024 的父块能保证答案所需的完整语义。命中路径是「子块召回 → 映射回父块 → 父块去重后拼进 prompt」。代价要讲清:索引条目变多(同一段文字被切两次)、父块重复送会浪费 token(多个子块命中同一父块要做去重与预算裁剪,比如最多带 3 个父块、总上下文不超过 3k token)、以及换 embedding 模型或换机型后这个切分点要重调。数量级可以给:10 万字的中文文档约 15 万 token,按 256 切约 600 个子块、按 1024 约 150 个父块;600 条 768 维 fp32 向量约 1.8MB,int8 量化后 0.5MB 以内——端侧完全放得下,所以真正的瓶颈不是向量存储而是上下文 token 预算。
工具 schema 的六项要写全,但「约束宽松」是端侧的现实选择。 六项是 name、description、parameters(JSON Schema 的 type/required/enum/default)、以及 examples;description 要写「什么时候用、什么时候不要用」,enum 要给全(少一个值模型就会编),example 给一条最短的正确调用。参数约束偏宽松的原因很实际:端侧小模型的指令遵循能力弱,schema 写得太严(比如 regex、嵌套对象、联合类型)会导致大量解析失败和重试,而重试一次的代价是几秒;宽松 schema + 运行时容错的总成功率更高。容错放在函数内部做,而不是让模型重试:类型强转(“3” → 3)、枚举模糊匹配(同义词表 + 编辑距离)、缺省值填充、缺参时只追问缺的那一个(而不是整段重问)、以及对「参数看起来对但语义不对」的二次校验(比如时间范围倒置)。参数填错要分类归因,这是那第三问的答法:错在传参(格式/类型)→ schema 与解析层的问题;错在上下文推导(该用哪个工具、参数该取对话里哪一句)→ 规划与上下文组织的问题;错在记数字(把用户说的「三号楼」记成「二号楼」)→ 不要让它记,把实体抽出来存成结构化槽位,工具直接读槽位。三类错的修法完全不同,笼统说「模型底子不够」会被继续追问。
口语化改写、HyDE、重排是三件不同的事,别混着答。 改写解决「用户说的和文档写的不是一个词」(「嗓子疼」→「咽痛」),扩写补全省略的主语和限定,分解把复合问题拆成可独立检索的子问题(「这个药孕妇能吃吗、哺乳期呢」拆两个)。避免重复生成的做法:改写结果做 embedding 去重(相似度高于 0.9 的合并)、限制生成条数(3~5 条)、用规则先兜一层(术语词典、同义词表),以及让改写模型输出「新增信息点」而不是自由发挥。HyDE 是先生成一段假设答案,再用这段答案的向量去检索——因为答案和文档在同一语义空间,比 query 更接近目标段落;用法上通常与原 query 的检索结果做加权融合(各取 Top-K 再合并重排),风险是假设答案本身错了会把检索带偏,医疗场景要慎用或只在高置信时启用。重排选 BGE 这一路(bge-reranker 系列 cross-encoder)的理由:中文效果稳定、开源可自部署(端侧也能跑小尺寸)、cross-encoder 把 query 和文档拼一起打分,精度显著高于双塔召回。但「做过准确率对比吗」必须给口径:固定测试集上对比 Recall@10、NDCG@10、MRR,以及引入重排后的端到端延迟增量(cross-encoder 重排 20 条在端侧约几十到两百毫秒,取决于模型尺寸),没有这组数就等于没做。
医疗场景的答案不是「尽量准确」,是「把不可接受的错误变成可拦截的错误」。 说错一句话的代价可能是健康损害,所以设计目标从「提高准确率」改成「降低有害输出率 + 提高可追溯性」:每个结论必须带原文出处(检索片段 ID + 位置),没有出处的结论不允许输出;剂量、禁忌、适用人群这类关键字段走规则校验(结构化知识库比对),模型只负责组织语言;设置拒答阈值,检索置信度低或问题超出范围时明确说「建议就医」而不是硬答;输出加免责声明并引导线下就诊;上线前要有安全 eval 集(事实性、拒答率、有害建议率、引用覆盖率),并且做灰度与人工抽检。可以给一个判断句:这类系统里「答得少但对」优于「答得多但偶尔错」,指标上就体现为拒答率可以高,但引用覆盖率和有害输出率必须是硬门槛。