面灵AI→

小红书 端侧推理 一面:8 秒延迟拆解与 1024/256 父子块

轮次
一面
时间
2026-10
来源
牛客网

《面试题目》

端侧 RAG 与函数调用

  1. system prompt 具体多长?里面包含哪些场景类型?
  2. 单轮工具调用大概涉及多少条工具选择?
  3. 你说「模型底子不够导致参数填错」,那到底是错在传参、错在上下文推导、还是错在记数字?
  4. 现在是谁在测、怎么测的?
  5. 这个延迟用户能感觉到吗?你手上是真实用户的数据,还是拿线程数模拟出来的机型差异?
  6. 八秒的响应,用户是会骂人的。你们在真机上到底动了哪些地方?
  7. 工具 schema 长什么样?名称、描述、参数、类型、枚举、示例,这几项你都写了吗?
  8. 参数约束为什么偏宽松?
  9. 参数类型或枚举值错了怎么解决?有没有考虑在函数内部调用做兼容?
  10. 任务规划怎么做的?生产上是先识别意图再推导工具依赖吗?
  11. 函数执行报错后怎么多步推理、重新规划?
  12. 检索为什么用父子索引?父块 1024、子块 256 的逻辑是什么?

医疗问答 RAG

  1. 口语化 query 的改写、扩写、分解怎么做?怎么避免重复生成?
  2. HyDE 具体怎么用?
  3. 重排为什么选 BGE 这一路?做过准确率对比吗?
  4. 医疗场景里,模型说错一句话的代价你能接受吗?

《参考解析》

system prompt 和工具数要报「token 口径」,不是字数。 端侧小模型(3B7B 量化后)的常见配置是 system prompt 6001500 token:里面装四类东西——角色与语气约束、可用场景枚举(比如问答/工具调用/闲聊/拒答)、输出格式(JSON 或固定标签)、以及安全与兜底规则;工具定义单独算,一条工具的 schema(名称 + 描述 + 参数 + 类型 + 枚举 + 示例)大约 80150 token,1520 条就是 1.53k token。所以一次请求的预填充量在 2.54.5k token 量级,这直接决定了首 token 延迟——端侧 7B 模型预填充大约 5001000 token/s 量级,3k token 就是 36 秒,这就是「8 秒」的大头。能报出「system 800 token + 工具 18 条 × 110 token ≈ 2.8k token」这种拆法,比说「挺长的」有用得多;再补一句中文 1 个字约 0.6~1 token,别把字数当 token 数。

8 秒必须拆成四段,而且要说明数据来源是哪种。 拆法是:首 token 延迟(预填充,跟输入 token 数近似线性)、解码时间(输出 token 数 ÷ 端侧解码速度)、工具执行(本地函数或网络请求)、以及调度与网络开销。解码速度有个硬上限可以当场算:端侧解码是内存带宽瓶颈,速度 ≈ 带宽 ÷ 模型大小,7B int4 约 3.54GB,手机 LPDDR5x 带宽 5060GB/s,理论上限 1215 token/s,实际打七折就是 10 token/s 左右;3B int4(约 1.8GB)能到 2530 token/s。所以「输出 200 token、7B 模型」光解码就要 15 秒以上,8 秒总延迟只可能是 3B 级模型 + 短输出,或者输出走了流式(用户感知的是首 token 时间)。「真实用户数据还是线程数模拟」要在实验有效性上答:改线程数只能模拟 CPU 并发,模拟不出 DVFS 降频、发热后的持续降频、内存带宽争抢、NPU 调度和后台应用抢占;正确口径是真机 + 冷启动/热机两种状态 + 分机型(旗舰/中端/三年前的老机)+ 报 P50/P90 而不是均值,用 Perfetto 或 Instruments 拿时间线,把算子耗时拆到 prefill/decode/工具三段。被问「用户能感觉到吗」,答案是 8 秒远超可接受阈值(交互式首响应通常要求 1 秒内、3 秒是容忍上限),所以必须靠流式输出 + 阶段提示把感知延迟压下来,而不是只优化总时长。

真机上能动的就那几处,每一处都要能算收益。 一是砍输入:system prompt 从 1500 降到 600 token(规则改成结构化短句、示例移出 system 放 few-shot 按需注入)、工具按意图召回 Top-K(不是每次把 20 条全塞进去,先做一次轻量意图分类再取 5 条,省 1.5k token 以上)。二是复用:system prompt 是固定前缀,把它的 KV cache 持久化到磁盘、下次直接加载,能省掉几乎全部预填充——代价是 KV cache 占内存(GQA 8 个 kv head 的 7B 模型约 128KB/token,3k 上下文就是 400MB 上下)。三是量化:weight-only int4 主要省内存带宽(解码提速约 2 倍),int8 KV cache 再省一半 KV 内存;要提醒精度损失在长尾上更明显,必须用业务 eval 集验证而不是只看困惑度。四是减少输出:结构化输出限制字段、给 max tokens 上限、把「解释」和「答案」分开(先出答案再按需解释)。五是投机解码/小模型草稿,前提是草稿模型和主模型同 tokenizer 且接受率够高,否则白算。最后是端云分流:简单 query 端侧直出、复杂 query 上云,代价是隐私与网络依赖,要按场景开关。

父子索引的 1024/256 是一组「检索精度 vs 生成上下文」的折中,要能把算术摆出来。 子块 256 token 是给 embedding 用的:向量模型对长文本会语义稀释,256 大致对应中文一到两段,检索粒度细、命中准;父块 1024 是送给生成模型的:只给 256 token 的碎片会缺上下文(指代、条件、表格跨行),回溯到 1024 的父块能保证答案所需的完整语义。命中路径是「子块召回 → 映射回父块 → 父块去重后拼进 prompt」。代价要讲清:索引条目变多(同一段文字被切两次)、父块重复送会浪费 token(多个子块命中同一父块要做去重与预算裁剪,比如最多带 3 个父块、总上下文不超过 3k token)、以及换 embedding 模型或换机型后这个切分点要重调。数量级可以给:10 万字的中文文档约 15 万 token,按 256 切约 600 个子块、按 1024 约 150 个父块;600 条 768 维 fp32 向量约 1.8MB,int8 量化后 0.5MB 以内——端侧完全放得下,所以真正的瓶颈不是向量存储而是上下文 token 预算。

工具 schema 的六项要写全,但「约束宽松」是端侧的现实选择。 六项是 name、description、parameters(JSON Schema 的 type/required/enum/default)、以及 examples;description 要写「什么时候用、什么时候不要用」,enum 要给全(少一个值模型就会编),example 给一条最短的正确调用。参数约束偏宽松的原因很实际:端侧小模型的指令遵循能力弱,schema 写得太严(比如 regex、嵌套对象、联合类型)会导致大量解析失败和重试,而重试一次的代价是几秒;宽松 schema + 运行时容错的总成功率更高。容错放在函数内部做,而不是让模型重试:类型强转(“3” → 3)、枚举模糊匹配(同义词表 + 编辑距离)、缺省值填充、缺参时只追问缺的那一个(而不是整段重问)、以及对「参数看起来对但语义不对」的二次校验(比如时间范围倒置)。参数填错要分类归因,这是那第三问的答法:错在传参(格式/类型)→ schema 与解析层的问题;错在上下文推导(该用哪个工具、参数该取对话里哪一句)→ 规划与上下文组织的问题;错在记数字(把用户说的「三号楼」记成「二号楼」)→ 不要让它记,把实体抽出来存成结构化槽位,工具直接读槽位。三类错的修法完全不同,笼统说「模型底子不够」会被继续追问。

口语化改写、HyDE、重排是三件不同的事,别混着答。 改写解决「用户说的和文档写的不是一个词」(「嗓子疼」→「咽痛」),扩写补全省略的主语和限定,分解把复合问题拆成可独立检索的子问题(「这个药孕妇能吃吗、哺乳期呢」拆两个)。避免重复生成的做法:改写结果做 embedding 去重(相似度高于 0.9 的合并)、限制生成条数(3~5 条)、用规则先兜一层(术语词典、同义词表),以及让改写模型输出「新增信息点」而不是自由发挥。HyDE 是先生成一段假设答案,再用这段答案的向量去检索——因为答案和文档在同一语义空间,比 query 更接近目标段落;用法上通常与原 query 的检索结果做加权融合(各取 Top-K 再合并重排),风险是假设答案本身错了会把检索带偏,医疗场景要慎用或只在高置信时启用。重排选 BGE 这一路(bge-reranker 系列 cross-encoder)的理由:中文效果稳定、开源可自部署(端侧也能跑小尺寸)、cross-encoder 把 query 和文档拼一起打分,精度显著高于双塔召回。但「做过准确率对比吗」必须给口径:固定测试集上对比 Recall@10、NDCG@10、MRR,以及引入重排后的端到端延迟增量(cross-encoder 重排 20 条在端侧约几十到两百毫秒,取决于模型尺寸),没有这组数就等于没做。

医疗场景的答案不是「尽量准确」,是「把不可接受的错误变成可拦截的错误」。 说错一句话的代价可能是健康损害,所以设计目标从「提高准确率」改成「降低有害输出率 + 提高可追溯性」:每个结论必须带原文出处(检索片段 ID + 位置),没有出处的结论不允许输出;剂量、禁忌、适用人群这类关键字段走规则校验(结构化知识库比对),模型只负责组织语言;设置拒答阈值,检索置信度低或问题超出范围时明确说「建议就医」而不是硬答;输出加免责声明并引导线下就诊;上线前要有安全 eval 集(事实性、拒答率、有害建议率、引用覆盖率),并且做灰度与人工抽检。可以给一个判断句:这类系统里「答得少但对」优于「答得多但偶尔错」,指标上就体现为拒答率可以高,但引用覆盖率和有害输出率必须是硬门槛。