面灵AI→

AI Infra 一面:简历是 Agent 项目,却被问部署验收与 KV Cache 卸载

轮次
一面
时间
2026-10
来源
牛客网

《面试题目》

  1. 自我介绍。想做哪个方向——训练还是微调?
  2. token 成本分析怎么做?并发压测怎么做到的?并发压测通过的标准是什么?
  3. 知识库的构建是自己构建的还是已有的、直接引用?
  4. TensorRT 的部署是在什么卡上?数量有多少?有集群部署经验吗?
  5. 问论文里的算法。
  6. 功能都是基于 FastAPI 实现的吗?
  7. 问 KV Cache 的卸载方法,问对 KV Cache 的了解程度。
  8. 反问:从 AI Agent 转 AI Infra 的路线怎么走?

《参考解析》

这场的关键信号是「简历与岗位不匹配时,面试官会怎么问」。简历全是 Agent 项目,面试官没有强行考 Infra 理论,而是把问题落在「你项目里的部署、验收、测试」上——这是有经验的技术面官常用的策略:不考你不会的,考你到底做了什么。这也说明准备 Infra 岗时,「我做过什么系统、怎么验证的」比「我读过哪些论文」更重要。

token 成本分析要能拆到项。成本 = 输入 token × 输入单价 + 输出 token × 输出单价,其中输入 token 又分缓存命中与未命中(价格差一个数量级)。分析时要说清数据来源(网关日志、模型返回的 usage 字段)和统计口径(按请求、按会话、按用户),以及优化手段(提示词精简、上下文压缩、缓存复用、模型分级、批处理)。只说「优化了 prompt」是不够的。

并发压测的通过标准必须提前定义,这是那题真正的考点。常见的三条线:吞吐(QPS 或每分钟请求数)、延迟(P50/P95/P99,尤其是 P99)、错误率(超时、5xx、限流拒绝)。此外还要有稳定性判据(持续压测 N 分钟指标不劣化)和资源红线(CPU/内存/显存不持续增长)。压测方法上要说清:用什么工具、并发怎么加(阶梯式还是恒定)、数据是否真实(请求长度分布最关键,全用短 prompt 压出来的数字没有意义)、以及上下游是否一起压。

知识库「自建还是引用」这问是在测你对数据链路的掌控。自建意味着你要处理接入、切分、索引、更新、评估这一整条;引用现成的(如某个 RAG 服务或向量库托管方案)省事但可控性差。回答时说清选型理由和代价即可。

TensorRT 部署的问题看似在问硬件,实际在确认你有没有真的部署过。「在什么卡上、多少张」这两个问题,没部署过的人答不上来。如果要补这块知识,需要知道的是:TensorRT 的核心是图优化(算子融合、精度校准、kernel 自动调优)与序列化引擎(engine 与具体 GPU 架构绑定,换卡要重新构建);部署形态有单机多卡(每个进程一张卡)和集群(K8s + 设备插件 + 推理服务框架如 Triton);量化(FP16/INT8)能显著提速但要校准数据。

KV Cache 的卸载 是指把不活跃的 KV Cache 从显存换到 CPU 内存或磁盘,用的时候再换回来,目的是在显存受限时支持更长的上下文或更大的并发。相关技术有 vLLM 的 swap(把被换出的 sequence 的 KV 块写到 CPU 内存)、PagedAttention 的分页管理(把 KV Cache 切成固定大小的块,按需分配,减少碎片),以及 prefix caching(相同前缀复用已有块)。要能说清代价:卸载会引入 PCIe 传输延迟,所以只有「暂时不会用到」的块才值得换出;换出策略(LRU 之类)直接影响命中率。回答「了解程度」这类问题时,诚实划出边界比硬撑好——说清「我读过 PagedAttention 的设计、自己没实现过」是得体的。

从 Agent 转 Infra 的路线:切入点是「你已经在做的事里最接近 Infra 的那部分」——比如 Agent 项目的推理延迟优化、并发控制、上下文管理,都可以往推理服务的调度与资源管理上靠。补的短板是:推理引擎原理(调度、批处理、KV Cache 管理)、性能分析方法(profiling、roofline)、以及分布式部署(多卡并行、服务编排)。项目上最有说服力的是自己搭一个能跑出真实数字的推理服务并测出吞吐/延迟曲线。