MiniMax AI Infra 二面:告警治理、沙箱重定向与慢节点定位
- 轮次
- 二面
- 时间
- 2026-11
- 来源
- 牛客网
《面试题目》
- 自我介绍。
- 腾讯这段实习,为什么把工作流告警改为指标上报?为了解决什么?告警的含义是什么?如果失败了,不是会直接给业务方吗?为什么之前是日志关键字匹配?指标会记录什么内容?什么能导致 workflow 失败?
- 由 daemonset agent 执行安装 CRI,你怎么保证一定能安装成功?这个 agent pod 本身也是特权容器吗?如果用了常驻的新方案,可能会遇到一些攻击手段,你考虑过吗?
- 介绍下告警归属率,有没有考虑过怎样减少告警?
- 讲讲腾讯这段实习 workflow 的架构是什么样的?如果它挂了会怎么处理?
- 讲讲全栈实习上传重构的经历。
- 讲讲 cube sandbox 的开源,做了些什么?为什么要重定向到虚拟机执行?怎么能保证沙箱里面执行的命令跟本机执行的一样?测试过程中有遇到过重定向问题吗?定位到问题后是如何排查、预防处理的?
- 场景题:联合业务方,使用几千卡跑大模型训练,机器有好有坏,某个 GPU 可能出现慢节点,由于水桶效应整个任务被拖慢。有没有好的思路快速定位是哪一个节点出了问题?如果需要部署硬件采集,你会做哪些事情?采集架构怎么设计?
- 拓扑排序变种(Kahn 算法)。
- 反问环节。
《参考解析》
告警为什么改成指标:告警是「一次事件」,指标是「可聚合、可比较、可回溯的时间序列」。日志关键字匹配的问题是对格式变化极敏感、无法按模板 / 原因 / 节点聚合、无法看趋势与容量、重复告警多,而且「出现关键字」不等于「用户受影响」。改成指标后可以定义 SLI(workflow 成功率、创建成功率、安装成功率)、按标签分组做 increase / 分位数、配置持续时长与抑制规则,也能做容量规划。告警并没有被取消:面向业务方的失败通知仍然要有,指标面向平台做定位与治理,两者是不同消费者。
指标里应记录:计数(成功 / 失败 / 重试)、状态与阶段、耗时(排队、执行、总时长)、失败原因(带 reason 标签)、并发与队列深度、资源等待。workflow 失败的常见原因要能列全:镜像拉取失败、资源不足或配额超限、节点 NotReady、依赖服务不可用、超时、参数或模板错误、权限与凭证失效、上游产物缺失、容器 OOM、网络问题。失败的计数要按 (workflow, reason) 去重,重试不能重复计。
daemonset 装 CRI 怎么保证成功:DaemonSet 只保证「每个节点有一个 Pod」,不保证「安装成功」。要补的是:幂等脚本(已安装则校验版本后跳过)、明确的健康检查(CRI 端点可连、版本匹配、kubelet 已注册)、超时与指数退避重试、状态写回 Node annotation 或 CR 的 status、失败节点打标并从可调度池摘除、分批灰度与回滚、节点重启后的自愈。安装类 Pod 往往是特权容器:需要 hostPath 挂载宿主机目录、hostPID / nsenter 进入宿主命名空间,甚至 privileged。这等于把节点 root 权限交给一个 Pod,攻击面包括镜像供应链、agent 被攻破后横向控制所有节点、可写挂载污染宿主、以及常驻进程的漏洞。缓解手段是最小权限(只给必要 capabilities、只挂必要路径、只读挂载)、独立 ServiceAccount 与网络策略、镜像签名与准入校验、seccomp / AppArmor、把安装动作做成短生命周期 Job 而不是长期特权常驻,并对 agent 的调用做 mTLS 与审计。
告警归属率与降噪:归属率是「能归到具体服务、团队或变更的告警占比」,衡量告警是否可行动。提升办法是补齐标签(服务、命名空间、节点、版本、变更单)、建立服务目录与值班表、把无主告警收敛掉。降噪手段:同源聚合与去重、上游故障时抑制下游、按 SLO burn rate 而不是单点阈值告警、动态基线、分级(P0 到 P3 走不同通道)、自愈动作优先(重启、摘节点)、定期复盘误报并改规则。目标不是「告警越少越好」,而是「每条告警都有人能处理、处理了有用」。
workflow 架构与挂掉:以 Argo Workflows 为例,控制面是 workflow controller(watch Workflow CR,创建 / 推进 Pod),执行面是每个 step 的 Pod 与 executor(负责产物上传、日志、状态回报),状态存在 CR 与 etcd 中,产物在对象存储。controller 挂掉时,已经在跑的 Pod 通常会继续执行,但状态不再推进、新 workflow 不调度;恢复后 controller 依据 CR 里的状态继续 reconcile。所以要做的是:controller 多副本 + leader election、对 controller 做存活与延迟监控、限制并发与队列、保证 step 幂等可重入、产物路径带唯一 ID 避免覆盖、对长时间卡住的工作流设超时与清理。回答「挂了怎么处理」时,先分清是控制面挂、执行面挂还是依赖挂,再给对应的恢复与补偿。
上传重构这类经历题:按「旧实现的问题(一致性、失败重试、大文件、并发)→ 目标与约束(兼容旧客户端、不能停机)→ 方案(分片、断点续传、校验、异步化、灰度)→ 迁移(双写 / 读旧写新、开关、回滚)→ 结果(指标、故障率、时延)」讲。没有真实数据就不要编,讲清你负责的那一段与取舍即可。
沙箱为什么要重定向到虚拟机执行:容器沙箱共享宿主内核,隔离强度不足以跑不可信代码;重定向到虚拟机(或用户态内核)能拿到独立内核、独立网络与更强的资源边界,也能复现目标运行环境。代价是启动慢、IO 与系统调用有转发开销、环境差异。保证「沙箱里执行跟本机一样」要做的是:固定 rootfs 与工具链版本、一致的環境变量 / 工作目录 / 用户 / 权限、文件系统挂载与路径映射一致、系统调用与信号 / 退出码 / 标准输出透传、网络与 DNS 行为一致;测试上用差分测试——同一批命令在本机与沙箱各跑一遍,比较 stdout、stderr、退出码、产物哈希,覆盖边界与失败路径。遇到重定向问题,排查靠 strace 对比系统调用、比对挂载与环境、看转发层日志;预防靠契约测试、版本固定、CI 里跑双环境矩阵、以及把已知差异写成白名单而不是静默忽略。
几千卡训练里的慢节点:先分层定位,不要一上来就全量采集。① 训练框架侧:每个 rank 的 step time、数据加载时间、集合通信(all-reduce / all-gather)耗时,找出稳定偏离中位数的 rank;② 拓扑关联:把慢 rank 映射到节点、GPU、交换机端口、机架,看是否聚集在同一交换机或同一批机器;③ 主动探测:在怀疑的节点上跑 nccl-tests 或小规模 all-reduce 基准,与健康节点对比带宽与时延;④ 系统侧:GPU 利用率、显存、温度、功耗、XID / ECC 错误、PCIe / NVLink 错误计数、网卡丢包与重传、CPU steal。水桶效应下,慢节点往往表现为「通信等待变长但计算利用率不高」,要区分是 GPU 降频、链路降速还是网络拥塞。
硬件采集的部署分带内与带外:带内用 DCGM exporter 采 GPU 指标、node_exporter 采主机指标、交换机 telemetry 采端口计数器与 PFC / ECN,以 DaemonSet 部署 agent,边缘聚合后写入时序库;带外用 BMC / Redfish 采温度、风扇、功耗、电源与硬件告警,避免主机宕机后失去观测。架构上要给数据打上拓扑标签(集群、机架、交换机、节点、GPU 序号)并与训练任务元数据关联,设定合理的采样频率与保留期,控制采集本身的开销;告警按「单点异常 + 群体偏离」两条线设计,避免噪声。最后把「发现慢节点」到「自动隔离 / 换机 / 重调度」串成闭环,才算完整。
拓扑排序(Kahn):统计每个节点的入度,把入度为 0 的节点入队;每次出队一个节点加入结果,把它指向的节点入度减一,减到 0 时入队;队列空时若结果数量小于节点数,说明有环。时间复杂度 O(V+E)。变种常考:要求输出字典序最小的拓扑序(把队列换成小顶堆)、按层输出(BFS 分层,同一层的入度同时归零)、判断是否有环(结果数量比较)、以及「有多个合法顺序时输出任意一个」。实现时注意重边会让入度多算,需要去重或按题意处理。