面灵AI→

阿里云后端 / Agent 平台一面:从 SSE 背压追到 KV Cache 与弹性扩容

轮次
一面
时间
2026-11
来源
牛客网

《面试题目》

  1. 请做一下自我介绍。
  2. 这个岗位是 HR 主动联系你,还是你自己投递的?
  3. 你了解这个岗位和阿里云吗?
  4. 你做过大模型限流、协议中断和断线重连吗?
  5. 京东项目是内部系统还是对外系统?
  6. 你们的系统是否处理文本、语音和视频?
  7. 你负责的候选人总结模块具体处理哪些数据?
  8. 你们如何降低幻觉和误判率?
  9. 为什么不能只靠 Prompt 调优?
  10. 哪些任务交给 Code,哪些任务交给 LLM?
  11. 如果扩展到别的领域,是否要重新定制代码?
  12. Ontology 和 Action 如何支持领域扩展?
  13. 新增一个 Action 是否需要写代码和重新上线?
  14. 如何设计一个可以分析简历、财务报表和其他任意文件的通用 AI 入口?
  15. 用户自然语言理解的输入和输出分别是什么?
  16. 为什么要做意图标签?
  17. 通用平台能否为所有领域提前建设 Agent?
  18. 用户历史上下文是否应该参与当前请求?
  19. 文本、语音、图片和视频如何统一处理?
  20. 多模态解析后哪些元数据应该保留?
  21. 自然语言理解更适合输出标签,还是结构化任务表达?
  22. 前置鉴权应该校验哪些内容?
  23. 通用 AI 平台如何进行商业化和变现?
  24. 免费用户、付费用户和企业客户如何分层?
  25. JSF 服务如何注册到注册中心?
  26. Consumer 如何发现并调用 Provider?
  27. Provider 有多个网卡时,应该注册哪个 IP?
  28. 如何限制哪些 Consumer 可以调用某个 Provider?
  29. Agent 调用大模型使用什么协议?
  30. SSE 和普通 HTTP 返回有什么区别?
  31. 下游消费慢时,SSE 如何做背压?
  32. 缓冲区过大和过小分别有什么问题?
  33. 如何设计会话级缓冲队列?
  34. 如何根据 CPU、内存、连接数等指标动态限流?
  35. 资源不足时,应优先拒绝新连接还是断开旧连接?
  36. 如何处理积压严重的慢消费者?
  37. 突发流量下如何保护网关和 Agent 系统?
  38. 如何进行集群弹性扩容和跨分片流量迁移?
  39. KV Cache 为什么会影响请求迁移?
  40. 讲一下 JVM 的基本原理。
  41. 京东项目使用什么 JDK 版本?
  42. Java 应用使用哪些框架?
  43. 还熟悉哪些编程语言?
  44. Coding:从商品价格数组中选出恰好三件商品,总价不超过预算且尽可能大,输出最优总价。
  45. 你的代码时间复杂度是多少?
  46. 你有什么问题想问我?

《参考解析》

这场面试的定位要先认清:岗位在上层 Agent 之下,考的是「平台如何承接海量、多模态、跨模型、跨地域的请求」。所以回答项目经历时不要停在业务功能,要主动下沉到协议、连接、流量、状态、资源、成本这几层;面试官反复要求「脱离京东实习的具体项目」,就是在测试抽象能力。

通用 AI 平台的设计骨架:入口层做接入与鉴权,按用户、租户、模型、模态限流;解析层把文件、图片、语音、视频统一转成「结构化内容 + 元数据」(类型、来源、大小、语言、时长、哈希),文件走对象存储、只把引用与摘要放进上下文;理解层做意图识别,输出应当是结构化任务表达(意图、槽位、约束、期望输出格式),而不是一个孤立标签——标签无法承载参数,后续还得再问一轮;编排层按任务选模型与工具链,维护会话状态与历史;执行层调模型网关与工具,处理超时、重试、幂等;出口层做流式返回、计费与审计。

「要不要为所有领域提前建 Agent」的答案是不建:领域数量没有上界,穷举不可能。做法是「通用编排 + 领域知识注入」——平台提供统一的解析、检索、工具调用与编排能力,领域差异通过 Ontology(实体与关系)、Action 注册表(工具描述与参数 schema)、以及可热加载的配置表达。新增领域优先是配置与知识库的事,只有需要新能力(比如新的文件解析器、新的外部系统对接)时才写代码。

前置鉴权鉴什么:身份(token 与租户)、权限(能不能用这个模型、这个工具、这个知识库)、配额(剩余额度与速率)、内容合规(输入是否被策略拦截)、以及请求来源与签名(防重放)。企业客户还要加数据隔离维度,保证检索与日志不跨租户。

JSF 的服务发现:Provider 启动时把地址、端口、接口名、版本、分组、权重注册到注册中心,Consumer 订阅后拿到地址列表,在本地做负载均衡并发起调用;注册中心通过心跳或长连接感知下线。多网卡时不能盲目注册 0.0.0.0——监听 0.0.0.0 表示接收所有网卡,但注册给别人的必须是可路由的具体地址。常见做法是显式配置 bind.ip / registry.ip,或按网卡优先级(内网、非回环、非 docker 网桥)选一个,容器环境还要区分宿主机 IP 与 Pod IP。

Consumer 之间的调用权限:注册中心本身不是权限系统,靠的是接口级的 token 鉴权、服务分组与白名单(只允许特定应用调用)、以及网关层的访问控制。生产上还会用「服务只在内网暴露 + 调用方身份透传」来做,而不是指望注册中心拦。

SSE 与普通 HTTP 的区别:普通 HTTP 是一次请求一次完整响应,连接可以复用但语义上是「一问一答」;SSE 是长连接上的单向流,服务端按 data: 分帧持续推送,天然适合大模型的逐字输出,但连接会长期占用资源,且中间任何代理的缓冲都会破坏实时性。所以要在网关关闭响应缓冲(X-Accel-Buffering: no)、设置合理的读超时与心跳。

背压怎么做:下游消费慢时,不能让网关无限制地往内存里堆。做法是给每个会话一个有界缓冲队列,写满时对上游施加压力——暂停从模型侧读取(TCP 层的自然背压会传导到上游),或者丢弃可丢的中间态(例如只保留最新 token 合并推送)。缓冲区过大会把内存打爆、延迟堆积到用户已经离开;过小则频繁阻塞上游、吞吐下降、首字抖动。会话级队列还要设上限与淘汰策略,超时未消费直接断开并释放连接。

动态限流与过载保护:按 CPU、内存、连接数、队列水位、上游错误率综合算一个健康度,用自适应限流(如基于 Little’s Law 或 BBR 式探测)动态调整准入量,而不是写死 QPS。资源不足时的取舍是「拒绝新连接优先于断开旧连接」——新连接还没产生沉没成本,断开旧连接会让正在看答案的用户直接失败;但慢消费者属于另一类,应当单独识别(消费速率长期低于阈值)并主动断开,避免它长期占用缓冲。

弹性扩容与请求迁移的难点:无状态请求可以随意迁移,但大模型推理有 KV Cache——同一会话的前缀缓存挂在某台机器上,换机器就要重新计算,首字延迟骤增。所以路由要尽量做会话粘性(按会话 ID 哈希到分片),扩容时新分片承接新会话,缩容时等旧会话自然结束或做前缀缓存的迁移。这也是「为什么大模型流量不能像普通 HTTP 一样随意迁移」的答案。

Coding 的思路:排序后固定第一个数,剩下两个用双指针从两端向中间收,和超过预算就右指针左移,否则记录答案并左指针右移;注意去重与「必须恰好三件」的边界。时间复杂度 O(n²),空间 O(1)(不计排序)。写完主动说出「如果要求返回具体三元组而不是总价,需要额外处理重复组合」,这类补充能体现边界意识。

JVM 的基本原理:源码编译成字节码,类加载器按双亲委派加载,运行时数据区分堆、方法区(元空间)、虚拟机栈、本地方法栈、程序计数器;堆分新生代(Eden 加两个 Survivor)与老年代,对象优先在 Eden 分配,Minor GC 用复制算法把存活对象挪到 Survivor 并递增年龄,达到阈值晋升老年代;老年代用标记清除或标记整理,G1 把堆切成 Region 做可预测停顿的回收。回答时把「内存区域、类加载、GC 分代与算法」三条主线讲清即可,不必背参数。