面灵AI→

曦望二面(已挂):TP/PP 组合、PD 分离与 NUMA 亲和,最后一道大数相乘

轮次
二面
结果
已挂
时间
2026-11
来源
牛客网

《面试题目》

  1. 跨机部署用过哪些方式?TP、PP 的组合形式有哪些?
  2. PD 分离怎么部署?有没有在实际生产做过?Dynamo 扩容的原理是什么?
  3. NUMA 亲和怎么分配的?原理是什么?
  4. 模型预加载是怎么实现的?知道原理吗?
  5. k8s operator 开发过没有?怎么开发的?工作原理是什么?
  6. 算法题:大数相乘。
  7. 离职原因是什么?
  8. 你的职业规划是怎样的?

《参考解析》

TP、PP、DP 的取舍按通信与显存讲。 张量并行(TP)把单层矩阵切到多卡,通信发生在每层的前向与反向,适合 NVLink 这类高带宽域内互联,跨机做 TP 会被网络带宽拖死;流水并行(PP)把模型按层切段,跨段只传激活,通信量小但有流水气泡,需要足够多的 micro-batch 填充;数据并行(DP)复制模型、切分数据,梯度同步量大。实际部署常见组合是「机内 TP、机间 PP、外层 DP」,再叠加 ZeRO 或 FSDP 切分优化器状态。回答时要说明选择的依据:模型能否装下、互联带宽、吞吐与延迟目标。

PD 分离的动机是两类计算的资源画像不同。 Prefill 阶段一次处理整个 prompt,计算密集、显存占用随序列长度上升;Decode 阶段逐 token 生成,访存密集、对延迟敏感。把两者放在同一张卡上会互相干扰,分离后可以分别扩缩容,并把 KV Cache 从 prefill 节点传到 decode 节点。代价是 KV 传输带宽、调度复杂度与两套资源的配比。Dynamo 一类系统的扩容依据是队列深度、TTFT 与 TPOT 等指标,通过监控发现某一侧成为瓶颈后调整副本数;原理讲清「指标采集 → 决策 → 拉起实例 → 注册路由」这条链路即可。

NUMA 亲和的目的是让计算靠近内存与网卡。 多路服务器里 CPU 访问本地内存的延迟低于跨 socket;GPU 通过 PCIe 挂在一个 CPU 下,跨 NUMA 访问会多一跳。做法是用 numactl 绑核绑内存、把进程与网卡中断绑到同一 NUMA 节点、GPU 与网卡尽量同 PCIe switch。验证用 numastat、lstopo 与延迟测试,看是否出现跨节点流量。

模型预加载的核心是减少首次请求的等待。 常见做法是启动时把权重读入内存或显存、提前创建 CUDA context 与通信组、做一次 warmup 前向;权重加载可以用 mmap 加快、按层并行加载、从本地 NVMe 或共享存储读取;推理框架会把编译好的 kernel 与 plan 缓存下来。要说明「预加载完成」的判据:显存占用稳定、warmup 通过、健康检查就绪,避免流量打到还没准备好的实例。

k8s operator 是「CRD + 控制循环」。 自定义资源描述期望状态,operator 通过 informer 监听资源与关联对象的变化,在 reconcile 里对比期望与实际,调用 API 创建、更新、删除 Pod、Service、PVC 等,直到收敛;失败要幂等重试,状态写回 CRD 的 status。开发用 kubebuilder 或 operator-sdk 生成骨架,核心是写 reconcile 逻辑与处理并发、终态、删除保护。

大数相乘用字符串模拟竖式。 结果是 len(a) + len(b) 位,数组存每一位的乘积累加,最后统一进位;处理符号、前导零、其中一个数为 0 的情况。复杂度 O(nm),面试时先写清楚下标对应关系,再处理进位,最后去掉前导零。也可以提 Karatsuba 作为优化方向,但先把竖式写对。