面灵AI→

快手 AI Platform 一面:奇偶重排、显存观测与 MoE 负载均衡

时间
2026-11
来源
牛客网

《面试题目》

  1. 你之前在的部门训的是什么模型?
  2. 手撕:把数组中的奇数移到前面、偶数移到后面。
  3. 怎么看 GPU 使用的显存?
  4. 你了解哪些 MoE 的负载均衡方案?
  5. 你怎么做 profile?

《参考解析》

介绍训练过的模型:回答要落到可核对的要素上——模型类型与规模(参数量、层数、上下文长度)、训练阶段(预训练、继续预训练、SFT、对齐)、数据规模与配比、并行策略(数据并行、张量并行、流水并行、序列并行)与集群规模、自己负责的具体模块。面试官问这句是在判断你离真实的大规模训练有多远,泛泛说「训过大模型」等于没答。

奇偶重排:最直接的是双指针,left 从左找偶数、right 从右找奇数,交换后继续,时间 O(n)、空间 O(1),但不稳定,奇偶内部的相对顺序会变。如果要求保持相对顺序,原地做法要么用插入式移动(最坏 O(n²)),要么借助额外数组做两趟写入(O(n) 时间、O(n) 空间),工程上通常选后者。答题时要先问清是否要求稳定,这一句就能区分有没有想过约束。

显存观测:命令行层用 nvidia-smi 看每张卡的显存占用、利用率和进程,nvidia-smi --query-gpu=memory.used,memory.total --format=csv 便于采样,nvidia-smi dmon 能持续观察;容器内还要注意 MIG 与 CUDA_VISIBLE_DEVICES 的映射。框架层用 torch.cuda.memory_allocated() 看张量实际占用、memory_reserved() 看缓存分配器向驱动申请的量、max_memory_allocated() 看峰值,torch.cuda.memory_summary() 能打印分配器内部的块分布。两个数差得多说明存在碎片或缓存未释放;nvidia-smi 与框架统计对不上,通常是其他进程、CUDA context 开销或显存没有真正归还。排查 OOM 要先分清是峰值超限、碎片、还是泄漏(每步都涨)。

MoE 负载均衡:核心问题是路由会把 token 集中到少数专家,导致部分专家过载、其余闲置,在专家并行下还会放大 all-to-all 通信的不均衡。常见手段有四类:一是辅助损失,在总损失里加上专家负载的变异系数项(Switch Transformer、GShard 的做法),训练时把负载往均匀推;二是容量因子与 token 丢弃,给每个专家设定容量上限,超出部分丢弃或走残差,容量因子是吞吐与质量的旋钮;三是路由算法本身,Expert Choice 让专家选 token,天然均衡但因果性变差、不利于自回归推理;四是无辅助损失的偏置校正,给每个专家维护一个随负载调整的 bias 参与 top-k 选择,DeepSeek 系列用的就是这一类,避免辅助损失干扰主任务梯度。工程上还要监控每个专家的 token 数、丢弃率与 all-to-all 的等待时间,只看训练 loss 发现不了负载倾斜。

怎么 profile:先明确要回答的问题——是端到端慢、某个 kernel 慢、还是通信与计算没有重叠。端到端用 torch.profiler 或 Nsight Systems 抓时间线,看 CPU 侧是否有空泡、数据加载是否成为瓶颈、计算与通信是否串行;单个 kernel 用 Nsight Compute 看占用率、访存吞吐、bank conflict 与指令效率;Python 侧的热点用 py-spy 或 profiler 的 CPU 视图。采样要有代表性:预热若干步、跳过前几步的编译与显存分配、固定 batch 与序列长度、记录当时的时钟与功耗状态。最后把结论落成「改哪个参数、预期收益多少、怎么验证」,而不是只给一张火焰图。