MiniMax AI Infra 平台研发一面:稳定性建设、K8s 与容器隔离深挖
- 轮次
- 一面
- 时间
- 2026-11
- 来源
- 牛客网
《面试题目》
- 自我介绍。
- 讲讲腾讯的项目,负责的稳定性建设具体有哪些工作?失败的场景、症状、故障码长什么样?告警长什么样、有哪些?告警的内容有没有去看过?
- 解决「实例创建失败」告警的过程是怎样的?
- 工作流引擎是自编排的吗?工作流出问题的表现是什么样?遇到 workflow 问题你会怎么解决?
- 知道 Argo 有哪些开源的告警吗?把告警转化为指标,你是怎么做的?能具体讲讲吗?可以共享屏幕看看指标是怎么拿的吗?你的解决办法是什么?失败的总计数你是怎么处理的?
- 腾讯这段经历里,印象最深刻的问题是什么?你怎么定义自研容器?容器运行时出问题的概率高,还是 agent 出问题的概率高?做过统计吗?
- 控制面怎么发命令指派安装动作?之后怎么执行?有没有涉及 systemd 相关配置?
- 收敛规则配置是怎么收敛的?全链路可观测的 roadmap 是怎么做的?告警准确率 98% 是怎么计算的?
- 你对 K8s 的理解是什么?它是个什么样的东西?
- 容器的本质是什么?它的组成技术是什么?
- Linux 隔离跟虚拟化技术有些不同,其实隔离得不是很彻底,你知道为什么吗?
- 容器里的程序可以通过各种手段修改很多值,会污染宿主机的一些配置,有什么技术可以解决这个问题?
- 隔离技术是怎么实现的?说深一点。
- 反问环节。
《参考解析》
稳定性建设要能落到「信号—判定—动作」的闭环。讲实习时不要只说「做了监控」,要给出:监控对象(节点、运行时、控制面、工作流、业务 Pod)、信号来源(指标、日志、事件、探针)、失败的症状与故障码(例如 Pod 一直 Pending、镜像拉取失败、CRI 调用超时、节点 NotReady、workflow 卡在某个 template)、判定规则(阈值、持续时长、同比突增)、处置动作(自动重试、隔离节点、告警到人、回滚)。面试官追问「告警长什么样、内容看过没有」,是在验证你是否真的在一线处理过,而不是只搭了个看板。
实例创建失败怎么排查:按层往下切。① 调度层:资源不足、亲和 / 反亲和、污点与容忍、配额;② 镜像层:拉取失败、凭证过期、仓库限流;③ 运行时层:CRI 调用失败、容器运行时未就绪、cgroup 或存储插件异常;④ 网络层:CNI 分配 IP 失败、安全组、DNS;⑤ 控制面:apiserver 限流、controller 异常。方法是从 Pod 的 events 与 describe 入手,再看节点 kubelet 与运行时日志,最后用指标确认是单点还是面。把每次故障的根因沉淀成可检索的故障码与处置手册,比事后写复盘更有用。
工作流与 Argo 告警:Argo Workflows 自带 Prometheus 指标,常用的有 workflow 计数与状态、workflow 持续时间、Pod 处于 Pending 的数量、队列深度等;可以直接用 PrometheusRule 配 argo_workflows_error_count 之类的表达式,也可以接 Alertmanager。把「日志关键字告警」改成「指标告警」的动机:关键字匹配对格式变化极敏感、无法聚合与看趋势、容易重复告警;指标有标签(workflow 模板、命名空间、失败原因),可以做 increase(...[5m])、按模板分组、算失败率。失败总计数不要用日志条数,要用带 reason 标签的 Counter,按 (workflow, reason) 聚合;重复消费与重试要通过幂等键去重,否则计数会虚高。
告警准确率怎么算:先把「准确」定义清楚——告警发生后经人工或规则确认为真故障的比例,即 TP / (TP + FP);分母是窗口内全部告警,分子是确认有效的告警。要有标注口径(什么算误报:阈值抖动、重复告警、已知维护窗口)、抽样方式与统计周期,否则 98% 没有意义。降低误报的手段:多信号联合判定、持续时长与去抖、按基线做动态阈值、告警分级与抑制(上游故障时抑制下游)、定期复盘误报并改规则。
daemonset 安装 CRI 怎么保证成功:声明式 + 幂等 + 可观测。DaemonSet 保证每个目标节点有一个 Pod;容器内用 hostPath 挂载宿主目录、按需 privileged 或加必要 capabilities,执行安装脚本;脚本必须幂等(已安装则校验版本后跳过)、有超时与重试、失败时把状态写到 Node 的 annotation 或 CR 的 status 上,由控制面汇总。安装完成后做健康检查(CRI 端点可连、版本匹配、kubelet 能注册),再标记节点就绪。要关注滚动升级时的排空、节点重启后的自愈,以及安装失败不能把节点留在半可用状态。systemd 通常用于宿主机上的守护进程或开机自启,容器内装 CRI 更多是 hostPath + 脚本 + kubelet 配置,是否用 systemd 取决于组件是否跑在宿主机上。
收敛规则与可观测 roadmap:收敛的本质是「期望状态 → 实际状态 → 差异 → 动作」的控制循环。规则配置声明式地下发(CRD / ConfigMap),controller watch 变更后 reconcile,动作幂等,失败按指数退避重试,状态与最后一次错误写回 status;收敛判定要有明确的完成条件与超时,避免无限重试。全链路可观测按「指标、日志、链路、事件」四类信号铺,先定义 SLI(创建成功率、安装成功率、告警到处置的时长),再定 SLO 与告警,最后做归因(按节点、版本、区域、组件分层),roadmap 按「先能看见、再能定位、最后能自动处置」推进。
K8s 与容器本质:K8s 是声明式的容器编排系统——用户提交期望状态到 apiserver,etcd 持久化,各种 controller 通过 reconcile 循环把实际状态推向期望,scheduler 负责选节点,kubelet 负责在节点上拉起 Pod,Service / CNI / CSI 提供网络与存储。容器本质是「被内核隔离和限制的一组进程」,不是轻量虚拟机:namespace 做视图隔离(PID、网络、挂载、UTS、IPC、user、cgroup),cgroups 做资源限制(CPU、内存、IO、pids),rootfs + overlayfs 提供文件系统视图,capabilities / seccomp / AppArmor 收敛权限。它和宿主机共享同一个内核。
隔离为什么不彻底:共享内核意味着内核漏洞、未隔离的 /proc/sys 部分接口、设备节点、dmesg、内核模块、时间与负载信息都可能被容器看到或影响;默认的 capabilities 仍保留了一部分特权;user namespace 在很多发行版默认不开,容器内的 root 与宿主 root 的映射关系不完整;cgroup 早期版本对某些资源的限制不严。解决方向:开启 user namespace 与 rootless、最小 capabilities、seccomp / AppArmor / SELinux、只读根文件系统、独立网络命名空间与网络策略、cgroup v2、限制设备访问;需要更强隔离时用 Kata Containers、gVisor、Firecracker 这类用户态内核或轻量虚拟机。回答「怎么防止污染宿主机」时,把「限制谁能改」和「改了也影响不到宿主」分开讲:前者靠权限与挂载,后者靠命名空间与虚拟化边界。
隔离的实现细节:创建容器时通过 clone(CLONE_NEW*) 或 unshare 创建新的命名空间,setns 进入目标命名空间;用 cgroup 写限额并挂载;用 pivot_root 切换根文件系统;用 overlayfs 叠出可写层;用 seccomp BPF 过滤系统调用,用 capabilities 按位授予特权,用 LSM(AppArmor / SELinux)做强制访问控制。面试里能把这几个机制与「隔离什么、限制什么、还剩什么风险」对应起来,比背名词更有效。