字节跳动 AI Agent 开发二面:从 Prefill/Decode 问到沙箱边界,十问全是工程判断
- 轮次
- 二面
- 时间
- 2026-11
- 来源
- 牛客网
《面试题目》
- 先讨论模型服务:Prefill 和 Decode 的主要工作有什么不同?长资料输入和长脚本输出,优化重点一样吗?
- 推理服务把不同长度请求放进同一个 batch,padding 有什么浪费?按长度分桶会带来什么新问题?
- 你提到减少计算浪费。FlashAttention 是把注意力近似掉了吗?它为什么能省显存,却不意味着所有计算都变成线性?
- 同一段商品资料会被多次用于生成不同脚本。前缀缓存能否直接复用它?语义一样但文字不同可以命中吗?
- 假设开启前缀缓存后命中率很高,但用户总耗时几乎没改善,你会怎样解释和验证?
- Decode 占比很高时,为什么小模型打草稿、大模型验证的推测解码有机会加速?大模型是不是只需要判断「看起来对不对」?
- 换到 Agent 层:读取二十份素材再筛选,程序化工具调用和模型逐次发出二十个工具请求有什么差别?
- 程序里哪些调用可以一起执行?若 A 读取资料耗时 2 秒,B、C 都依赖 A 且分别耗时 3 秒、5 秒,D 依赖 B 和 C 耗时 1 秒,最短多久?
- 代码先筛掉大部分素材,只把三条摘要交给模型,会不会让结果更难核实?怎样保留筛选证据?
- 既然让模型写代码调用工具,沙箱到底需要隔离什么?只限制可导入的 Python 模块够吗?
《参考解析》
Prefill 与 Decode 的工作与优化重点。Prefill 处理已有输入,一次把所有输入 token 过一遍,为后续生成建立 KV Cache 与中间状态;它的计算形状是「大量位置可以并行」,所以更容易吃满算力,瓶颈常在算力与显存带宽的配比。Decode 每步只处理一个新 token,但要读取全部历史 KV,属于「少量计算 + 大量显存读取」,瓶颈常在带宽与 KV Cache 容量,并受逐 token 的依赖关系限制,无法像 Prefill 那样整段并行。因此优化重点不同:长资料输入值得做的是前缀复用、分块预填、压缩输入、缓存系统提示;长脚本输出值得做的是提高解码吞吐(连续批处理、投机解码、KV Cache 量化)、控制输出长度、减少无效重试。把「Prefill 算力受限、Decode 带宽受限」当铁律不严谨——模型规模、批量、硬件、上下文长度都会改变结论。工程上先按阶段拆指标:排队时间、首 token 时间、输出 token 速率、总 token 数,缺一项就无法定位。
padding 的浪费与分桶的代价。稠密批处理通常把批内序列补齐到最长长度,短请求因此参与多余计算,也白占 KV Cache 与显存;请求长度差异越大,浪费越严重。按相近长度分桶能减少 padding,但代价是「为凑一批而等待」——低峰期可能等不到同长度的请求,排队延迟反而上升。真正的解法是连续批处理(continuous batching):请求完成即退出、等待中的请求随时加入,配合分块预填(chunked prefill)把长输入切成小块与解码请求交错调度,避免一条长 Prefill 卡住所有 Decode。应用侧能控制的是:限制最大输入与输出预算、控制并发提交量、把长短任务分队列。要注意「发了 100 个 HTTP 请求」不等于「实现了高效 GPU batching」,服务端有自己的调度策略。
FlashAttention 是 IO 优化,不是近似。原始 FlashAttention 的核心是改变计算与数据搬运方式:把 Q/K/V 分块加载到片上 SRAM,用在线 softmax(running max 与 running sum)分块累加,避免把完整的 N×N 注意力矩阵写回高带宽显存再读回来。它算的仍是精确注意力的数学目标,不是丢掉部分 token 之间的关系;只有有限精度带来的数值差异需要单独讨论。省显存的原因是「不物化完整注意力矩阵」,显存从 O(N²) 降到 O(N);但计算量对稠密注意力仍是平方级的交互,少存一个中间矩阵、减少 IO,不等于把复杂度改成线性。真正把工作量降下来的是稀疏/滑窗/线性注意力这类改变连接集合的方法,两者思路不同。加速幅度还取决于形状与硬件,端到端若主要等在工具调用上,注意力再快也改善有限。
前缀缓存复用的是「兼容前缀的计算状态」,不是语义。它通常要求 token 级前缀完全一致,且模型、适配器、以及其他影响计算的条件相同;实现上常按块(block)识别,缓存键还可能包含父块或其他标识。所以语义相同但文字不同的资料不能命中——改了前面一个 token,后面所有位置的状态都依赖前文,无法直接复用。可操作的做法是把稳定内容组织成共享前缀:固定的系统规则、同一份商品资料、固定的输出格式说明放在前面,把本次的风格要求、随机请求 ID 放在后面;随机 ID 若放在开头会直接破坏复用。还要区分前缀缓存与语义缓存:后者是按「意思相近」直接复用结果,需要另行承担内容是否适用于当前问题的判断,风险更高。
命中率很高但总耗时没降,怎么查。第一步查分母:命中率是按「请求命中一次」算,还是按「复用的 token 数」算。大量只复用几十个 token 系统提示的请求,能把请求命中率做得很好看,却省不下多少输入计算。第二步做时间分解:总耗时 = 排队 + 输入计算 + 输出生成 + 工具等待 + 保存,前缀缓存只作用于输入计算这一段。用 Amdahl 定律给上限:一条请求 8 秒,其中可被优化的输入计算只有 2 秒,即便这部分完全消失,也只能降到 6 秒,最多 1.33 倍。第三步分组对照:按输入长度、复用长度、输出长度分组,比较缓存开/关在同一类请求上的耗时,区分冷启动与热缓存。第四步看副作用:缓存占用显存是否挤压了运行中请求、是否造成更多排队或驱逐。局部指标变好而整体延迟变差,不能算成功。
推测解码的加速原理与分布保证。草稿模型先串行提出 k 个候选 token,目标模型用一次前向并行验证这 k 个位置,凡是接受的前缀都能一次推进多个位置,于是把「k 次昂贵的串行解码」换成「k 次便宜的串行 + 1 次昂贵的并行」。它绝不是让目标模型评价草稿「看起来对不对」——经典采样里,设目标分布为 p、草稿分布为 q,草稿提出 x 后以 min(1, p(x)/q(x)) 接受,拒绝时从归一化的正部 max(p−q, 0) 重新采样,这个修正项是保持目标分布的关键;只比较两个模型的 top-1 是否相同就宣称分布不变是错的。收益取决于接受率、草稿成本、验证开销与批大小:草稿太慢或频繁被拒就得不偿失;高并发下验证会占用本可服务其他请求的算力。选型时要验证「固定质量下的实际吞吐与延迟」,而不是假定小模型参与就一定更便宜。
程序化工具调用与逐次工具请求。逐次调用是模型发一个工具请求、拿到结果、再决定下一个,每轮都要一次模型往返,中间结果全部进上下文,二十份素材意味着二十轮往返与大量无关文本。程序化工具调用让模型生成一段代码,在受控环境里循环、分支、调工具、聚合结果,中间数据留在代码里,只把必要摘要送回模型——收益来自「把确定性计算移出模型上下文」与「减少往返」。但不能说传统方式一定要二十次串行:普通工具调用也支持并行请求,差距主要在上下文体积与调度粒度。代价是多了生成代码本身的正确性、执行限制与审计成本,不能只拿输入 token 变少就宣称整体更好。
依赖图下的最短耗时。把任务画成有向无环图,只有前置完成且资源允许才能开始。给定各步耗时固定、资源充足、无调度开销:A 用 2 秒,完成后 B(3 秒)与 C(5 秒)并行,D 等两者都结束再花 1 秒,所以最短是 2 + max(3, 5) + 1 = 8 秒;关键路径是 A→C→D,把 B 从 3 秒优化到 1 秒不改变总时长。实际还要区分数据依赖与副作用冲突:两个调用输入独立但都改同一份草稿,就不能并行;拓扑排序只能检查环,不解决资源争抢与动态分支;某个前置失败时,下游要明确停止、降级还是换数据源,不能拿缺失结果继续算。
代码预筛之后怎么保住可核实性。会变难核实:模型看到的上下文短了,被筛掉的材料里可能正藏着反例或限制条件。要做的是把「筛选取证」留在模型之外——记录输入集合的版本与来源、过滤规则、每条的排除原因、输出条目的溯源标识;对价格、时效、适用范围这类事实,最终内容要能回查到原始记录,而不是只剩一段无法追溯的摘要。还要区分「扫完全部输入后剩三条」与「接口只返回第一页三条」:程序必须处理分页或显式标注未完整读取,否则一个看似精确的数量会掩盖漏读。可加抽样审计:从被排除集合里随机抽检是否误删关键材料,专门构造否定条件与边界样本。代码成功退出只说明没抛异常,不证明筛选逻辑符合业务含义。
沙箱要隔离什么。只限制可导入的 Python 模块远远不够——模块白名单只约束语言层可见接口,管不住文件系统、网络、进程、凭据与资源消耗。边界应落在操作系统或容器层:限定可读写的目录、禁止或白名单化网络出口、限制 CPU 时间/内存/输出大小、以最小权限运行、把长期服务凭据排除在运行环境之外、工具访问经受控代理。读写工具要分开授权:筛选素材可以给必要读取,修改共享草稿要额外版本与权限检查。程序可能合法地把一个请求放大成大量工具调用,所以工具侧也要有调用预算与并发上限,不能只限制代码运行秒数。任务超时后外部工具是否仍在执行,要靠工具契约确认,不能认为杀掉沙箱就撤销了已发出的外部操作。验证用例至少覆盖:死循环、超量输出、越界读文件、未授权网络请求、工具参数里塞入跨用户标识。