阿里云后端 / Agent 平台一面:从 SSE 背压追到 KV Cache 与弹性扩容
- 轮次
- 一面
- 时间
- 2026-11
- 来源
- 牛客网
《面试题目》
- 请做一下自我介绍。
- 这个岗位是 HR 主动联系你,还是你自己投递的?
- 你了解这个岗位和阿里云吗?
- 你做过大模型限流、协议中断和断线重连吗?
- 京东项目是内部系统还是对外系统?
- 你们的系统是否处理文本、语音和视频?
- 你负责的候选人总结模块具体处理哪些数据?
- 你们如何降低幻觉和误判率?
- 为什么不能只靠 Prompt 调优?
- 哪些任务交给 Code,哪些任务交给 LLM?
- 如果扩展到别的领域,是否要重新定制代码?
- Ontology 和 Action 如何支持领域扩展?
- 新增一个 Action 是否需要写代码和重新上线?
- 如何设计一个可以分析简历、财务报表和其他任意文件的通用 AI 入口?
- 用户自然语言理解的输入和输出分别是什么?
- 为什么要做意图标签?
- 通用平台能否为所有领域提前建设 Agent?
- 用户历史上下文是否应该参与当前请求?
- 文本、语音、图片和视频如何统一处理?
- 多模态解析后哪些元数据应该保留?
- 自然语言理解更适合输出标签,还是结构化任务表达?
- 前置鉴权应该校验哪些内容?
- 通用 AI 平台如何进行商业化和变现?
- 免费用户、付费用户和企业客户如何分层?
- JSF 服务如何注册到注册中心?
- Consumer 如何发现并调用 Provider?
- Provider 有多个网卡时,应该注册哪个 IP?
- 如何限制哪些 Consumer 可以调用某个 Provider?
- Agent 调用大模型使用什么协议?
- SSE 和普通 HTTP 返回有什么区别?
- 下游消费慢时,SSE 如何做背压?
- 缓冲区过大和过小分别有什么问题?
- 如何设计会话级缓冲队列?
- 如何根据 CPU、内存、连接数等指标动态限流?
- 资源不足时,应优先拒绝新连接还是断开旧连接?
- 如何处理积压严重的慢消费者?
- 突发流量下如何保护网关和 Agent 系统?
- 如何进行集群弹性扩容和跨分片流量迁移?
- KV Cache 为什么会影响请求迁移?
- 讲一下 JVM 的基本原理。
- 京东项目使用什么 JDK 版本?
- Java 应用使用哪些框架?
- 还熟悉哪些编程语言?
- Coding:从商品价格数组中选出恰好三件商品,总价不超过预算且尽可能大,输出最优总价。
- 你的代码时间复杂度是多少?
- 你有什么问题想问我?
《参考解析》
这场面试的定位要先认清:岗位在上层 Agent 之下,考的是「平台如何承接海量、多模态、跨模型、跨地域的请求」。所以回答项目经历时不要停在业务功能,要主动下沉到协议、连接、流量、状态、资源、成本这几层;面试官反复要求「脱离京东实习的具体项目」,就是在测试抽象能力。
通用 AI 平台的设计骨架:入口层做接入与鉴权,按用户、租户、模型、模态限流;解析层把文件、图片、语音、视频统一转成「结构化内容 + 元数据」(类型、来源、大小、语言、时长、哈希),文件走对象存储、只把引用与摘要放进上下文;理解层做意图识别,输出应当是结构化任务表达(意图、槽位、约束、期望输出格式),而不是一个孤立标签——标签无法承载参数,后续还得再问一轮;编排层按任务选模型与工具链,维护会话状态与历史;执行层调模型网关与工具,处理超时、重试、幂等;出口层做流式返回、计费与审计。
「要不要为所有领域提前建 Agent」的答案是不建:领域数量没有上界,穷举不可能。做法是「通用编排 + 领域知识注入」——平台提供统一的解析、检索、工具调用与编排能力,领域差异通过 Ontology(实体与关系)、Action 注册表(工具描述与参数 schema)、以及可热加载的配置表达。新增领域优先是配置与知识库的事,只有需要新能力(比如新的文件解析器、新的外部系统对接)时才写代码。
前置鉴权鉴什么:身份(token 与租户)、权限(能不能用这个模型、这个工具、这个知识库)、配额(剩余额度与速率)、内容合规(输入是否被策略拦截)、以及请求来源与签名(防重放)。企业客户还要加数据隔离维度,保证检索与日志不跨租户。
JSF 的服务发现:Provider 启动时把地址、端口、接口名、版本、分组、权重注册到注册中心,Consumer 订阅后拿到地址列表,在本地做负载均衡并发起调用;注册中心通过心跳或长连接感知下线。多网卡时不能盲目注册 0.0.0.0——监听 0.0.0.0 表示接收所有网卡,但注册给别人的必须是可路由的具体地址。常见做法是显式配置 bind.ip / registry.ip,或按网卡优先级(内网、非回环、非 docker 网桥)选一个,容器环境还要区分宿主机 IP 与 Pod IP。
Consumer 之间的调用权限:注册中心本身不是权限系统,靠的是接口级的 token 鉴权、服务分组与白名单(只允许特定应用调用)、以及网关层的访问控制。生产上还会用「服务只在内网暴露 + 调用方身份透传」来做,而不是指望注册中心拦。
SSE 与普通 HTTP 的区别:普通 HTTP 是一次请求一次完整响应,连接可以复用但语义上是「一问一答」;SSE 是长连接上的单向流,服务端按 data: 分帧持续推送,天然适合大模型的逐字输出,但连接会长期占用资源,且中间任何代理的缓冲都会破坏实时性。所以要在网关关闭响应缓冲(X-Accel-Buffering: no)、设置合理的读超时与心跳。
背压怎么做:下游消费慢时,不能让网关无限制地往内存里堆。做法是给每个会话一个有界缓冲队列,写满时对上游施加压力——暂停从模型侧读取(TCP 层的自然背压会传导到上游),或者丢弃可丢的中间态(例如只保留最新 token 合并推送)。缓冲区过大会把内存打爆、延迟堆积到用户已经离开;过小则频繁阻塞上游、吞吐下降、首字抖动。会话级队列还要设上限与淘汰策略,超时未消费直接断开并释放连接。
动态限流与过载保护:按 CPU、内存、连接数、队列水位、上游错误率综合算一个健康度,用自适应限流(如基于 Little’s Law 或 BBR 式探测)动态调整准入量,而不是写死 QPS。资源不足时的取舍是「拒绝新连接优先于断开旧连接」——新连接还没产生沉没成本,断开旧连接会让正在看答案的用户直接失败;但慢消费者属于另一类,应当单独识别(消费速率长期低于阈值)并主动断开,避免它长期占用缓冲。
弹性扩容与请求迁移的难点:无状态请求可以随意迁移,但大模型推理有 KV Cache——同一会话的前缀缓存挂在某台机器上,换机器就要重新计算,首字延迟骤增。所以路由要尽量做会话粘性(按会话 ID 哈希到分片),扩容时新分片承接新会话,缩容时等旧会话自然结束或做前缀缓存的迁移。这也是「为什么大模型流量不能像普通 HTTP 一样随意迁移」的答案。
Coding 的思路:排序后固定第一个数,剩下两个用双指针从两端向中间收,和超过预算就右指针左移,否则记录答案并左指针右移;注意去重与「必须恰好三件」的边界。时间复杂度 O(n²),空间 O(1)(不计排序)。写完主动说出「如果要求返回具体三元组而不是总价,需要额外处理重复组合」,这类补充能体现边界意识。
JVM 的基本原理:源码编译成字节码,类加载器按双亲委派加载,运行时数据区分堆、方法区(元空间)、虚拟机栈、本地方法栈、程序计数器;堆分新生代(Eden 加两个 Survivor)与老年代,对象优先在 Eden 分配,Minor GC 用复制算法把存活对象挪到 Survivor 并递增年龄,达到阈值晋升老年代;老年代用标记清除或标记整理,G1 把堆切成 Region 做可预测停顿的回收。回答时把「内存区域、类加载、GC 分代与算法」三条主线讲清即可,不必背参数。