科大讯飞星火推理工程部 AI Infra 面经:异构算力适配、GPU 池化与 vLLM SGLang 对比
- 时间
- 2026-10
- 来源
- 牛客网
《面试题目》
- 看你简历有在华为做过 AI Infra,主要做了什么?我看你之前的经历可能跟我们现在的推理模型相关。
- 聊聊你对原生和异构算力实践的理解。
- 从产品角度,你们有哪些弹性扩缩容策略?怎么管理 GPU 资源?
- 有没有用过开源框架跑模型?了解里面的模块作用吗?知道推理的瓶颈吗?
- 我们提供底层引擎(抠算力、降成本),中间做云原生弹性服务,上层出 API 和 AI 产品,你觉得哪个和你契合?
- 我们很看重算力和 AI Coding,你怎么看?
《参考解析》
异构算力这题的分水岭不在跑通,而在跑起来之后掉多少性能。 原生算力指南伟达那一套:CUDA 算子库齐全、开源框架默认按它的算子集和图模式写,升级路径清楚。异构(昇腾这类)要自己补的东西是:算子覆盖度(框架里某些 attention 变体、量化算子没有对应实现,得写自定义算子或退回慢路径)、动态 shape 与图模式(很多国产编译栈对变长输入的支持弱,需要 padding 或分档编译,档位选错就白编译一次)、通信库差异(NCCL 换成 HCCL,集合通信的拓扑与超时行为都不一样)、以及显存调度行为不同导致同一份 gpu-memory-utilization 在两边表现不一致。工程解法是插件式后端——把硬件适配收在一个 backend 里,框架主干跟上游一起走,避免 fork 之后再也合不回去。排障时最有效的手段是逐层对拍:同一个小模型、固定 seed、单算子对比输出,先确认是算子精度问题还是调度问题,再用 msProf 这类工具看时间线,别一上来就怀疑框架。
GPU 池化与弹性扩缩容要讲出「隔离性换利用率」这条主线。 MIG 是硬件级切分,显存和算力都隔离,最稳但切出来的规格固定、碎片难回收;MPS 让多个进程共享同一张卡,靠限制 SM 占比来分,隔离性弱、一个进程打满显存会连累别人;时间切片最灵活,代价是上下文切换和显存驻留。推理场景真正难的是缩容而不是扩容:扩容要等权重加载(几十 GB 从存储读到 HBM)、图捕获和 warmup,冷启动动辄几十秒到几分钟,所以常用「预留池 + 预热副本 + 缩容保护期」而不是纯粹按指标即时伸缩。指标上不能只看 QPS,队列深度、排队等待时间、KV Cache 使用率才是推理的先行信号——QPS 还没掉的时候队列已经堆起来了。
vLLM 和 SGLang 的区别,答成「一个省显存、一个省重复计算」最清楚。 vLLM 的核心是 PagedAttention:把 KV Cache 切成固定大小的 block,用 block table 做逻辑块到物理块的映射,于是序列不必占连续显存,碎片率从传统实现的六七成浪费降到几个百分点;Continuous Batching 则把调度粒度下沉到每个 decode step,谁生成完谁出队、新请求立刻补位,GPU 不再等整批跑完。SGLang 的核心是 RadixAttention:用基数树管理前缀 KV,相同前缀只留一份,多轮对话、Agent、RAG 这种前缀重复率高的负载能明显多榨出吞吐;它把前缀匹配做进了调度器(cache-aware scheduling),按共享前缀长度给请求排序,命中率比「碰运气」高得多。两者的 prefix caching 目标一致但地位不同:vLLM 里它是可开关的特性,SGLang 里它是架构中心。瓶颈这题要能落到数字上:Prefill 是 compute-bound(大矩阵乘,看 MFU),Decode 是 memory-bound(每生成一个 token 都要把权重和整个 KV Cache 读一遍,看 HBM 带宽利用率),长上下文时 KV Cache 显存按 2 × 层数 × KV 头数 × head_dim × 字节数 × token 数 线性涨,很快就把并发压死。
「底层引擎还是上层产品」是稳定性测试,回答要闭环。 面试官反复问这一题,怕的是你嫌底层脏活多、干两个月转去业务线。有效的答法不是喊口号,而是把两层的关系讲通:上层产品的体验瓶颈往往就在 TTFT 和单 token 成本上,并发一高就 OOM,壳做得再好用户也会走;正因为知道产品侧对延迟和成本有多敏感,才更愿意在引擎层把算力榨干。再补一句愿意从适配、压测、值班这些基础活干起,可信度会比空表态高。
AI Coding 在 Infra 里的落点要具体到手边的活。 三个真实场景:算子迁移时让它读 CUDA 实现、给出 CANN 侧的初稿和差异点(人只做验证);批量生成压测与 benchmark 脚本的样板代码;把又长又碎的编译/运行时报错喂进去定位方向。同时要说明边界——生成的东西必须过测试与压测,性能相关的改动一律以 profiling 数据为准,不能让模型「看着更快」就合进去。最后可以反问团队现在的 CI 与性能回归怎么跑,这类问题在 Infra 岗比问业务前景更加分。