MiniMax 一面 80 分钟:以为面应用岗,结果从 RoPE 问到 PagedAttention
- 轮次
- 一面
- 时间
- 2026-11
- 来源
- 牛客网
《面试题目》
常规与 Agent 应用
- 自我介绍。
- 你做过最像样的一个 Agent 项目是什么?
- 这个项目里,模型能力是瓶颈吗?
- 如果模型突然变强十倍,你这套系统里哪一部分可以直接删掉?哪一部分删不掉?为什么?
- 你平时怎么用 AI Coding?完整流程说一遍。
- Plan 模式和 Agent 模式的区别是什么?你在什么场景切换?
- AI 改坏过历史功能吗?怎么发现的?
- 你的 Skill 是怎么写的?给一个你觉得写得好的。
- 怎么验证一个 Skill 有效?
- RAG 链路里,你觉得最没用的一环是哪个?为什么?拿掉会怎样?
模型侧
- Transformer 的 attention 为什么要除 √d_k?换成别的缩放值会怎样?不缩放会怎样?
- softmax 在大维度下会有什么数值问题?
- GLM 和 GPT 的结构差异在哪?各自的取舍是什么?
- 为什么现在很多模型都选 decoder-only?
- RoPE 的数学形式写一下。
- RoPE 是绝对位置编码还是相对位置编码?为什么这么说?
- 它具备外推能力吗?为什么训到 4K 就很难直接用到 32K?
- 位置插值(PI)在做什么?会伤害短文本能力吗?
- NTK-aware 和 YaRN 的思路分别是什么?
- ALiBi 呢?和 RoPE 比差在哪?
- 长上下文的 attention 复杂度是多少?
- Sparse Attention 有哪几类典型做法?
- 滑动窗口 + 全局 token 的缺点是什么?
- Linear Attention approximates 什么?代价是什么?
- MoE 的 router 怎么训练?负载均衡怎么保证?
- aux loss 加太大有什么副作用?
- expert 并行里 all-to-all 的通信量怎么估?
- top-2 路由时,一个 batch 里 token 分布极不均衡会怎样?
- capacity factor 设多少?dropping token 会发生什么?
- 量化到 INT4,精度掉多少?你怎么测的?
- 权重量化和 KV cache 量化,哪个风险大?
- LoRA 的 A 和 B 为什么不能同时初始化成零?
- P-tuning 和 LoRA 差在哪?
- DPO 和 PPO 在数据选择上有什么区别?
- RLHF 里 reward model 过拟合了会怎样?
- 你怎么评估一个模型「变好了」?
- 评测集泄露怎么发现?
推理与工程
- KV cache 显存怎么算?给公式。
- 7B、32 层、32 头、head_dim 128、fp16、8K 上下文,单序列多大?batch 32 呢?
- PagedAttention 解决什么问题?
- 逻辑块和物理块怎么映射?
- block 取多大?太大太小各有什么问题?
- prefix cache 共享之后,一个请求继续生成会不会污染别人?
- copy-on-write 在哪一步触发?
- 连续批处理和静态批处理的区别?
- chunked prefill 会不会拖慢 decode?
- 投机解码的原理?草稿模型怎么选?
- 接受率低的时候反而变慢,为什么?
- vLLM 和 SGLang 你更熟哪个?
- 如果让你自己写一个最小推理服务,你先写哪一块?
手撕
- 用 numpy 实现 RoPE 的旋转变换;模型训练长度 2048、要推理 8192,用位置插值做外推,把实现补上,并说清两种做法的差别。
- 位置插值之后,相邻 token 的相对距离变成 0.25 个整数位置,模型的分辨率够吗?
- 位置插值要不要微调?不微调和微调几步差多少?
- 实现里
x[..., 0::2]是相邻两维一组,有些模型用前后半分组(half-split),两种等价吗? - 推理时 q 和 k 用了不同的 scale,attention score 会怎么样?
《参考解析》
为什么要除 √d_k:q 与 k 的每个分量独立、方差约为 1 时,点积的方差随维度线性增长(约为 d_k),数值会变得很大。softmax 对大幅度输入会饱和——最大项接近 1、其余接近 0,梯度几乎消失,训练不稳定。除以 √d_k 把方差拉回 1 量级,使 softmax 工作在梯度有效的区间。不缩放或缩放不足,注意力分布会过度尖锐;缩放过头则分布过于平坦,注意力失去区分度。
RoPE 与外推:RoPE 把 head_dim 两两分组看作复数,乘以 e^{i·m·θ},其中 θ 按维度递减(θ_i = base^(-2i/d)),等价于对 q、k 施加与相对位置相关的旋转,因此点积只依赖相对距离。它的外推能力有限:训练只见过 0~4K 的位置,超出后高频维度的相位变化超出训练分布,注意力打分失准。位置插值(PI)不改频率,而是把位置索引乘以 L_train/L_target,把 8192 的位置压回 2048 的区间,代价是相邻 token 的分辨率变细(0.25 个位置),短文本性能会下降,通常需要少量微调恢复。NTK-aware 不改位置,而是调大 base(如 10000 → 更大),让低频维度变化更慢,从而扩展有效长度;YaRN 在 NTK 分频基础上按维度分段插值并加温度缩放,兼顾长短文本。
KV cache 显存:公式是 2 × 层数 × KV 头数 × head_dim × 序列长度 × batch × 每元素字节数。按题给 7B(32 层、32 头、head_dim 128、fp16):每 token 每层 2 × 32 × 128 × 2B = 16KB,乘 32 层得 512KB/token;8K 序列约 4GB,batch 32 约 128GB。这就是为什么长上下文与高并发下必须用 GQA/MQA 减少 KV 头数、用量化压字节数、用 PagedAttention 管理碎片——否则显存先于算力成为瓶颈。
PagedAttention 与调度:它把 KV cache 切成固定大小的 block,逻辑块(按序列顺序编号)通过块表映射到不连续的物理块,按需分配、用完回收,避免预分配最大长度造成的内部碎片。block 太大浪费(最后一个块填不满),太小则块表膨胀、访存开销上升,常见取 16 个 token。prefix cache 共享时多个请求指向同一物理块,任何一方要继续写入就触发 copy-on-write:写时复制出新块,再修改块表,因此不会污染别人的前缀。连续批处理每步动态加入新请求、移除已完成请求,静态批处理要等整批结束,GPU 利用率差距很大;chunked prefill 把长 prompt 切成多段与 decode 混跑,能降低首字延迟并提升吞吐,但会占用 decode 的时间片,需要调度策略平衡。
MoE 与量化:router 是一个小的线性层加 softmax/top-k,用任务损失与负载均衡辅助损失联合训练;aux loss 太大时模型会为了均衡而牺牲路由质量,专家变得同质化。expert 并行的 all-to-all 通信量约为 token 数 × top-k × hidden × 精度字节 × 2(发出与收回)。token 分布极不均衡会导致热门专家过载、其他专家闲置,capacity factor 用来限制每个专家处理的 token 上限,超出部分被丢弃(dropping),表现为部分 token 实际没经过专家层、效果下降。INT4 权重量化通常掉点较小(困惑度上升几个百分点),KV cache 量化对长上下文与注意力精度更敏感;评估要在业务评测集与通用基准上分别跑,并看长序列与边界样本。
LoRA 与偏好对齐:A、B 不能同时初始化为零,否则梯度为零、永远学不动;常见做法是 A 随机高斯初始化、B 置零,保证初始时增量为零但梯度存在。P-tuning 调的是连续提示向量,不改模型权重,适合少样本适配;LoRA 改的是权重增量,容量更大、效果更稳。DPO 用偏好对直接优化策略,不需要单独训练 reward model,数据是 (prompt, chosen, rejected);PPO 需要 reward model 与在线采样,数据是 prompt 加实时生成的回复,工程复杂度更高但可控性更强。reward model 过拟合的表现是策略学会刷分(回复变长、讨好式表达)而真实质量下降,要靠留出偏好集、长度惩罚与多 reward 集成缓解。
评估与泄露:判断模型是否变好不能只看 loss,要在业务评测集(固定输入、明确评分标准)、通用基准(MMLU、GSM8K 等)与人工盲评三处看,并做分层(长文本、多轮、工具调用、拒答)。评测集泄露的迹象是基准分数异常高但真实场景无提升、同义改写后分数骤降;排查方式是拿新构造的题、检查训练语料是否包含评测原文、做时间切分(只用训练截止前的题)。
岗位错位这件事:帖主的结论值得记住——大厂的应用岗是把模型接进业务,独角兽的应用岗要求懂模型本身。投递前看这家公司近半年发布的是产品还是模型、岗位 JD 里写的是「RAG/Agent/工程」还是「训练/推理/对齐」,准备方向完全不同。