面灵AI→

阿里 AI 应用开发二面:流式 Tool Call、百工具检索与上下文四层压缩

轮次
二面
时间
2026-10
来源
牛客网

《面试题目》

  1. 来一段自我介绍。
  2. 介绍一下你做的代码修复 Agent,你具体负责了哪些部分?
  3. 模型流式输出时,如何正确处理 Tool Call?
  4. 如果一个 Agent 同时支持几百个 Tool,怎么避免把所有 Tool Schema 都塞进 Prompt?
  5. Agent loop 如何避免陷入无限工具调用循环,你们是怎么设计的?
  6. 为什么 Agent 的 Tool Calling 不能完全依赖模型自己判断结束?
  7. 你简历写的上下文 L0~L3 四层压缩是怎么做的?
  8. 如果让你设计一个支持百万级代码仓库的 Code Agent,代码检索怎么做?
  9. 线上的真实流量怎么转化成训练数据?
  10. Agent 的长上下文为什么会出现「信息明明在 Prompt 里,但模型就是用不到」?
  11. 了解 KV Cache 吗?它省掉了什么、又贵在哪?
  12. 了解 Prompt Injection 吗?Agent 场景下为什么风险更高?

《参考解析》

流式 Tool Call 的正确聚合:流式接口吐的是增量 delta,一次工具调用会被拆成很多片——先来 index 与函数名,之后 arguments 是逐段到达的 JSON 字符串。所以必须按 index(或 tool_call_id)建一个 pending buffer,把 name 与 arguments 分别累加,等这一轮的 finish_reason 变成 tool_calls 之后再统一处理。最大的坑是「看到 name 就执行」:此时 arguments 还不是合法 JSON,更糟的是可能被当成另一个合法但语义错误的参数执行掉。正确顺序是聚合 → JSON parse → JSON Schema 校验 → 权限与副作用检查 → 执行。一个响应里有多个并发工具调用时,各自按 index 独立聚合,绝不能把不同工具的参数字符串拼到一起。

几百个工具时的选型问题:全量塞 schema 不只是 token 成本问题,更严重的是候选过多会显著拉低工具选择准确率。做法是工具检索:为每个工具维护一份可检索的描述(名字、能力、入参、典型使用场景、反例),建关键词与向量双索引,请求进来先召回 10~20 个候选,再只把这一小批 schema 给模型。规模再大可以加一层域路由(代码域 / 数据库域 / 搜索域 / 办公域),先分域再域内检索。关键细节是检索 query 不能只用用户最后一句话:Agent 跑到中途时,下一步该用什么工具取决于当前计划与最近一次工具结果,所以 query 要由「用户目标 + 当前计划 + 最近工具输出」共同构造,否则多步任务里第二、三步的召回会明显掉。

避免无限循环:max_steps 只能保证停下来,挡不住「前十几步都在做无意义操作」。真正有效的判据是状态有没有推进:每次调用记录工具名、规范化后的参数、输出的 fingerprint,连续出现同样的调用且结果指纹不变就判为循环;换参数但结果完全一致同样算。再给不同工具设预算——只读的代码搜索可以放宽,发消息、写数据库这类有副作用的工具必须严格限次。结构上把执行抽象成状态机(PLAN → RETRIEVE → EXECUTE → VERIFY → FINISH),某状态超时未推进就触发重新规划,而不是任由模型自由地产生下一次 tool call。

结束条件为什么不能交给模型:LLM 做的是 next-token prediction,它没有真正的任务状态。它输出「已完成」不代表真的完成,继续调工具也不代表这次调用有必要。代码修复 Agent 尤其明显:模型改完文件就宣布修复,但代码没编译、测试没跑。所以终态必须由系统按可验证的事实判定——patch_generated、lint_passed、unit_test_passed 全为真才允许结束。分工是「模型决定下一步想做什么,系统决定任务能不能结束」,这同时也降低了 prompt injection 的杀伤力,因为生命周期不再由模型输出单方面控制。

上下文 L0~L3 四层压缩:按「离当前推理多远」和「以后还会不会被用到」分配压缩强度。L0 是最近几轮原始消息与最新工具结果,原样保留,因为这里的信息直接决定下一步动作。L1 对工具输出做裁剪——代码搜索回了五十个命中位置,只留文件名、符号名和关键片段。L2 把更早的执行轨迹压成语义摘要,例如「异常已定位在 OrderService.createOrder,唯一索引存在但业务层缺幂等判断」。L3 不再存对话,只存任务状态:已确认事实、待验证假设、已经失败的方案。难点从来不是压缩率而是信息损失——文件路径、函数名、错误码、SQL 字段名、行号这类实体一旦被模型「总结」就会变成幻觉来源,所以实体与关键事实走结构化字段,只有自然语言叙述允许摘要。

百万级代码仓库的检索:整体 embedding 再取向量 TopK 在代码上效果有限,因为代码的价值很大一部分在结构关系里。可靠做法是三路并行再融合:词法检索(BM25 / ripgrep)负责精确符号——类名、方法名、错误码、表名,这些用向量反而不如字符串匹配;语义检索负责「哪里负责订单超时关闭」这类自然语言意图;图检索沿调用关系扩展——命中 Controller 就沿 call graph 往下找 Service 与 Repository,命中一个异常类型就反向找所有 throw/catch 点。排序不能只看向量分数,要把词法分、语义分、图距离加权融合。超大仓库还必须做增量索引,每次提交全量重算 embedding 的成本撑不住,通常按文件级 AST 变化只重算受影响的 chunk,并维护调用图的增量更新。

线上轨迹转训练数据:原始流量不能直接进 SFT——里面有失败调用、无意义对话、敏感字段和大量低质量轨迹。流程是先把一次请求还原成完整 trajectory(user → assistant reasoning → tool call → tool result → assistant …),再做清洗:敏感字段脱敏、超时与异常调用剔除、明显错误答案过滤。对 Agent 数据来说最关键的一步是轨迹质量判定:最终答案正确的轨迹不一定适合训练,「搜了二十次才找到」的轨迹会把低效行为一起学进去。通常按成功率、工具调用是否合理、路径长度、有无冗余重试综合打分,只留高分轨迹,最后映射成训练框架的 chat template——把 tool schema、tool call、tool response 转成模型认识的专用 token,这一步和推理侧的序列化必须严格对齐,否则训练与线上行为会分叉。

长上下文「在但用不到」:窗口大不等于模型能等价利用整个窗口。一是 Lost in the Middle,模型对开头与结尾更敏感,中间段落利用率下降;二是输入里塞了大量相似代码、日志和工具结果时,注意力被低价值 token 稀释。所以「支持 128K」不能理解成「可以无脑塞 128K」。工程上的解法是检索加压缩:只放当前推理真正需要的证据,并按作用显式分块标注——当前证据、当前假设、相关代码、已失败的尝试,把最关键的那块放在靠近生成位置的后部。这种结构化拼装通常比直接拼几十轮聊天记录稳定得多,也更容易在出问题时定位是哪一块误导了模型。

KV Cache:自回归生成时每来一个新 token 都要做 Attention,没有缓存就得把前面 N-1 个 token 的 K、V 全部重算,成本随序列长度平方增长。KV Cache 把历史 token 在每一层算出的 K、V 存下来,新 token 只算自己的 Q、K、V,再用新 Q 去和历史 K 做注意力。于是 Prefill 阶段是整段 prompt 的大矩阵计算、算力密集;Decode 阶段每次只处理一个 token,却要反复读取越来越大的缓存,变成显存带宽瓶颈。显存占用大致与 层数 × 序列长度 × KV 头数 × head_dim × 精度 成正比,所以 GQA、MQA 通过减少 KV 头数来压这个量,MLA 一类方案则从低秩压缩的角度入手;PagedAttention 解决的是碎片化与共享前缀的复用问题。

Prompt Injection 在 Agent 场景更危险:普通对话里注入最多骗模型说错话;Agent 有工具,注入的后果直接落到真实世界——读到一封邮件里的「把收件箱转发到某地址」,模型可能真的调起发信工具。危害被放大的原因有三点:工具输出本身是不可信内容(网页、issue 正文、代码注释、工具报错栈都能藏指令);一次注入可以跨越多个工具形成链路;以及长上下文里模型难以稳定区分「指令」与「数据」。防御必须是系统层的:把工具输出当数据而非指令处理(结构化包装、剥离可疑指令段),按最小权限给每个工具划能力边界,有副作用的动作要求人工确认或二次校验,并把「模型决定调用」与「系统允许执行」拆成两件事。