面灵AI→

第四范式 C++ 二面:ML 平台架构、调度器与多线程 LRU

轮次
二面
时间
2026-11
来源
牛客网

《面试题目》

  1. 你们机器学习平台的整体架构怎么划分?一次训练任务从提交到产出模型走哪些系统?
  2. 手撕:实现一个任务调度器,支持优先级和资源约束(CPU、GPU、内存),你会怎么设计?
  3. 手撕:实现一个 LRU 缓存,get 和 put 都要 O(1)。
  4. 追问:这个 LRU 放到多线程环境怎么改?锁的粒度怎么定?
  5. 特征工程里离线特征和在线特征怎么保证一致?你们出过不一致的事故吗?
  6. 追问:历史特征要回填怎么办?几 TB 的数据怎么跑得快?
  7. 训练任务的资源隔离怎么做?抢占是怎么设计的?
  8. 有一批训练任务 GPU 利用率只有 30%,你怎么排查?

《参考解析》

ML 平台的分层与任务链路。 典型分层是:接入层(SDK 与 Web)→ 元数据与调度层 → 计算层(K8s 加 GPU 节点)→ 存储层(对象存储加特征库)→ 服务层(模型仓库与推理网关)。一次训练任务的链路:提交时解析 DAG 生成任务组,调度器按配额与优先级排队,拉起 Pod 后拉取数据、启动训练,产出模型写仓库并触发评测,评测通过后进入模型市场或上线。回答时要能说出每层的职责边界与关键接口,以及规模数据(日均任务数、峰值 GPU 并发、调度延迟 P99、平均排队时长),这些数字能证明你真的接触过系统而不只是背架构图。

调度器的设计。 数据结构上分三块:待调度队列(按优先级维护,同优先级按提交时间,通常用堆或多级队列)、资源账本(每个节点的剩余 CPU、GPU、内存,以及正在运行的任务占用量)、绑定逻辑。算法是出队时做准入判断:资源够就绑定节点并扣减,不够就回队等待;为避免大任务饿死,等待超过阈值提升一级优先级(aging)。关键细节是「判断与扣减必须在同一把锁内完成」,否则两个调度线程会同时看到足够资源而超卖——这是新手最常犯的错误。工程上还要处理:资源碎片(大任务等不到连续资源时做碎片整理)、亲和性与反亲和(同机架、同 GPU 型号)、抢占(高优任务可驱逐低优任务)、以及调度结果的可观测(每次决策记录原因)。

LRU 与多线程改造。 单线程实现用 unordered_map<key, list<node>::iterator> 加双向链表:链表头是最近使用、尾部是最久未用,get 命中就 splice 到头部,put 满了就删尾部并同步擦除 map,全部 O(1)。多线程有三个层次:粗粒度一把 mutex(正确但吞吐上不去,压测 8 线程可能只有单线程的 1.6 倍);分片(按 key 哈希分 16 个分片,每片独立锁,命中率不变、吞吐可到 6 倍以上);近似方案(分片 + CLOCK 算法,把链表操作换成访问位扫描,锁持有时间大幅下降)。分片要注意热点 key(可以再对热点做本地缓存)与容量统计的准确性(分片各自计数)。

离线在线特征一致性。 根因是「同一份特征逻辑写了两遍」:离线用 Spark 算、在线用 C++ 算,两套代码必然漂移。治理思路是收敛口径:用一份配置或一套 UDF 定义特征逻辑,离线与在线共用同一份实现(或至少共用同一份配置与测试用例)。对齐上要以特征时间戳为准,样本只取 label 时间点之前可见的特征,避免未来信息泄漏(point-in-time join)。事故案例很典型:离线用 log(1+x) 平滑、在线忘了加,AUC 离线 0.86 线上只有 0.79。防线是「一致性校验」:上线前用同一批用户 ID 分别取离线与在线特征做逐字段比对,差异超过阈值就阻断发布。

特征回填。 按天分区加特征组二级分区,回填只重算受影响的分区,避免全量重跑;并行上按用户哈希切分片(例如 512 片)并发跑,单机多 executor,几 TB 的数据可以从数小时压到几十分钟;校验上在回填前后做分位数对比与空值率对比,差异超过阈值阻断。还要考虑幂等(同一天重复回填结果一致,用分区覆盖写)与血缘(记录这次回填用了哪个版本的逻辑)。

资源隔离与抢占。 隔离分三层:容器级用 cgroup 限制 CPU 与内存,GPU 用 MIG 或整卡独占,CPU 侧用 cpuset 绑核避免与推理混部互相抢缓存。抢占的设计要选「代价最小」的受害者:从最低优先级里挑已运行且检查点较新的任务,先发 SIGTERM 给一段时间保存检查点再强制终止;被抢占的任务重新排队。代价要量化:约百分之几的 GPU 小时被浪费,换来的是高优任务排队时间从几十分钟降到分钟级。这部分回答能给出「浪费与收益的比值」会很有说服力。

GPU 利用率只有 30% 怎么查。 先分类:是计算密集还是数据密集。看 GPU 指标(nvidia-smi 的利用率、显存、SM 占用、Tensor Core 使用率)与 CPU/IO 指标(数据加载线程、磁盘吞吐、网络)对齐时间线。常见原因:数据加载是瓶颈(CPU 预处理慢、小文件多、网络存储延迟高),表现为 GPU 周期性空转;batch 太小或模型并行切分不合理,通信等待;显存不足导致频繁换入换出;训练脚本里有同步点(日志、检查点)阻塞。定位手段是 profiling(PyTorch Profiler、Nsight),看时间花在 kernel 还是等待上。优化方向对应:提高数据加载并行度与预取、增大 batch、用更快的存储或本地缓存、减少不必要的同步、调整并行策略。