面灵AI→

MiniMax 一面 80 分钟:以为面应用岗,结果从 RoPE 问到 PagedAttention

轮次
一面
时间
2026-11
来源
牛客网

《面试题目》

常规与 Agent 应用

  1. 自我介绍。
  2. 你做过最像样的一个 Agent 项目是什么?
  3. 这个项目里,模型能力是瓶颈吗?
  4. 如果模型突然变强十倍,你这套系统里哪一部分可以直接删掉?哪一部分删不掉?为什么?
  5. 你平时怎么用 AI Coding?完整流程说一遍。
  6. Plan 模式和 Agent 模式的区别是什么?你在什么场景切换?
  7. AI 改坏过历史功能吗?怎么发现的?
  8. 你的 Skill 是怎么写的?给一个你觉得写得好的。
  9. 怎么验证一个 Skill 有效?
  10. RAG 链路里,你觉得最没用的一环是哪个?为什么?拿掉会怎样?

模型侧

  1. Transformer 的 attention 为什么要除 √d_k?换成别的缩放值会怎样?不缩放会怎样?
  2. softmax 在大维度下会有什么数值问题?
  3. GLM 和 GPT 的结构差异在哪?各自的取舍是什么?
  4. 为什么现在很多模型都选 decoder-only?
  5. RoPE 的数学形式写一下。
  6. RoPE 是绝对位置编码还是相对位置编码?为什么这么说?
  7. 它具备外推能力吗?为什么训到 4K 就很难直接用到 32K?
  8. 位置插值(PI)在做什么?会伤害短文本能力吗?
  9. NTK-aware 和 YaRN 的思路分别是什么?
  10. ALiBi 呢?和 RoPE 比差在哪?
  11. 长上下文的 attention 复杂度是多少?
  12. Sparse Attention 有哪几类典型做法?
  13. 滑动窗口 + 全局 token 的缺点是什么?
  14. Linear Attention approximates 什么?代价是什么?
  15. MoE 的 router 怎么训练?负载均衡怎么保证?
  16. aux loss 加太大有什么副作用?
  17. expert 并行里 all-to-all 的通信量怎么估?
  18. top-2 路由时,一个 batch 里 token 分布极不均衡会怎样?
  19. capacity factor 设多少?dropping token 会发生什么?
  20. 量化到 INT4,精度掉多少?你怎么测的?
  21. 权重量化和 KV cache 量化,哪个风险大?
  22. LoRA 的 A 和 B 为什么不能同时初始化成零?
  23. P-tuning 和 LoRA 差在哪?
  24. DPO 和 PPO 在数据选择上有什么区别?
  25. RLHF 里 reward model 过拟合了会怎样?
  26. 你怎么评估一个模型「变好了」?
  27. 评测集泄露怎么发现?

推理与工程

  1. KV cache 显存怎么算?给公式。
  2. 7B、32 层、32 头、head_dim 128、fp16、8K 上下文,单序列多大?batch 32 呢?
  3. PagedAttention 解决什么问题?
  4. 逻辑块和物理块怎么映射?
  5. block 取多大?太大太小各有什么问题?
  6. prefix cache 共享之后,一个请求继续生成会不会污染别人?
  7. copy-on-write 在哪一步触发?
  8. 连续批处理和静态批处理的区别?
  9. chunked prefill 会不会拖慢 decode?
  10. 投机解码的原理?草稿模型怎么选?
  11. 接受率低的时候反而变慢,为什么?
  12. vLLM 和 SGLang 你更熟哪个?
  13. 如果让你自己写一个最小推理服务,你先写哪一块?

手撕

  1. 用 numpy 实现 RoPE 的旋转变换;模型训练长度 2048、要推理 8192,用位置插值做外推,把实现补上,并说清两种做法的差别。
  2. 位置插值之后,相邻 token 的相对距离变成 0.25 个整数位置,模型的分辨率够吗?
  3. 位置插值要不要微调?不微调和微调几步差多少?
  4. 实现里 x[..., 0::2] 是相邻两维一组,有些模型用前后半分组(half-split),两种等价吗?
  5. 推理时 q 和 k 用了不同的 scale,attention score 会怎么样?

《参考解析》

为什么要除 √d_k:q 与 k 的每个分量独立、方差约为 1 时,点积的方差随维度线性增长(约为 d_k),数值会变得很大。softmax 对大幅度输入会饱和——最大项接近 1、其余接近 0,梯度几乎消失,训练不稳定。除以 √d_k 把方差拉回 1 量级,使 softmax 工作在梯度有效的区间。不缩放或缩放不足,注意力分布会过度尖锐;缩放过头则分布过于平坦,注意力失去区分度。

RoPE 与外推:RoPE 把 head_dim 两两分组看作复数,乘以 e^{i·m·θ},其中 θ 按维度递减(θ_i = base^(-2i/d)),等价于对 q、k 施加与相对位置相关的旋转,因此点积只依赖相对距离。它的外推能力有限:训练只见过 0~4K 的位置,超出后高频维度的相位变化超出训练分布,注意力打分失准。位置插值(PI)不改频率,而是把位置索引乘以 L_train/L_target,把 8192 的位置压回 2048 的区间,代价是相邻 token 的分辨率变细(0.25 个位置),短文本性能会下降,通常需要少量微调恢复。NTK-aware 不改位置,而是调大 base(如 10000 → 更大),让低频维度变化更慢,从而扩展有效长度;YaRN 在 NTK 分频基础上按维度分段插值并加温度缩放,兼顾长短文本。

KV cache 显存:公式是 2 × 层数 × KV 头数 × head_dim × 序列长度 × batch × 每元素字节数。按题给 7B(32 层、32 头、head_dim 128、fp16):每 token 每层 2 × 32 × 128 × 2B = 16KB,乘 32 层得 512KB/token;8K 序列约 4GB,batch 32 约 128GB。这就是为什么长上下文与高并发下必须用 GQA/MQA 减少 KV 头数、用量化压字节数、用 PagedAttention 管理碎片——否则显存先于算力成为瓶颈。

PagedAttention 与调度:它把 KV cache 切成固定大小的 block,逻辑块(按序列顺序编号)通过块表映射到不连续的物理块,按需分配、用完回收,避免预分配最大长度造成的内部碎片。block 太大浪费(最后一个块填不满),太小则块表膨胀、访存开销上升,常见取 16 个 token。prefix cache 共享时多个请求指向同一物理块,任何一方要继续写入就触发 copy-on-write:写时复制出新块,再修改块表,因此不会污染别人的前缀。连续批处理每步动态加入新请求、移除已完成请求,静态批处理要等整批结束,GPU 利用率差距很大;chunked prefill 把长 prompt 切成多段与 decode 混跑,能降低首字延迟并提升吞吐,但会占用 decode 的时间片,需要调度策略平衡。

MoE 与量化:router 是一个小的线性层加 softmax/top-k,用任务损失与负载均衡辅助损失联合训练;aux loss 太大时模型会为了均衡而牺牲路由质量,专家变得同质化。expert 并行的 all-to-all 通信量约为 token 数 × top-k × hidden × 精度字节 × 2(发出与收回)。token 分布极不均衡会导致热门专家过载、其他专家闲置,capacity factor 用来限制每个专家处理的 token 上限,超出部分被丢弃(dropping),表现为部分 token 实际没经过专家层、效果下降。INT4 权重量化通常掉点较小(困惑度上升几个百分点),KV cache 量化对长上下文与注意力精度更敏感;评估要在业务评测集与通用基准上分别跑,并看长序列与边界样本。

LoRA 与偏好对齐:A、B 不能同时初始化为零,否则梯度为零、永远学不动;常见做法是 A 随机高斯初始化、B 置零,保证初始时增量为零但梯度存在。P-tuning 调的是连续提示向量,不改模型权重,适合少样本适配;LoRA 改的是权重增量,容量更大、效果更稳。DPO 用偏好对直接优化策略,不需要单独训练 reward model,数据是 (prompt, chosen, rejected);PPO 需要 reward model 与在线采样,数据是 prompt 加实时生成的回复,工程复杂度更高但可控性更强。reward model 过拟合的表现是策略学会刷分(回复变长、讨好式表达)而真实质量下降,要靠留出偏好集、长度惩罚与多 reward 集成缓解。

评估与泄露:判断模型是否变好不能只看 loss,要在业务评测集(固定输入、明确评分标准)、通用基准(MMLU、GSM8K 等)与人工盲评三处看,并做分层(长文本、多轮、工具调用、拒答)。评测集泄露的迹象是基准分数异常高但真实场景无提升、同义改写后分数骤降;排查方式是拿新构造的题、检查训练语料是否包含评测原文、做时间切分(只用训练截止前的题)。

岗位错位这件事:帖主的结论值得记住——大厂的应用岗是把模型接进业务,独角兽的应用岗要求懂模型本身。投递前看这家公司近半年发布的是产品还是模型、岗位 JD 里写的是「RAG/Agent/工程」还是「训练/推理/对齐」,准备方向完全不同。