混元 面试题
共 3 篇真实面经 · 涵盖 腾讯 / 腾讯（混元） 等 2 家公司
腾讯混元 AI Infra 一面：张量并行/数据并行/流水线并行的连续追问
腾讯混元 AI Infra 一面题单：从张量并行的权重切分切入，连续追问 Linear/Attention/FFN 的行列并行与通信阶段、QKV 与多头注意力的切分方式、为什么 FFN 用列并行加行并行的组合、并行规模与加速比的瓶颈、All-Gather/Reduce-Scatter/All-Reduce 的通信量计算、如何判断训练进入通信瓶颈，再对比数据并行与张量并行的本质差异与扩容选择、流水线并行的 Stage 切分与 Bubble 优化、流水线对推理延迟的影响、上下文并行如何处理超长序列的跨卡 Attention，最后一道是 QQ 空间好友动态推荐的设计题。
腾讯混元 AI Infra 一面（同场重复投稿）：张量并行/数据并行/流水线并行的连续追问
腾讯混元 AI Infra 一面题单（与同批另一帖内容相同，属同场重复投稿）：从张量并行的权重切分切入，连续追问 Linear/Attention/FFN 的行列并行与通信阶段、QKV 与多头注意力的切分方式、为什么 FFN 用列并行加行并行的组合、并行规模与加速比的瓶颈、All-Gather/Reduce-Scatter/All-Reduce 的通信量计算、如何判断训练进入通信瓶颈，再对比数据并行与张量并行的本质差异与扩容选择、流水线并行的 Stage 切分与 Bubble 优化、流水线对推理延迟的影响、上下文并行如何处理超长序列的跨卡 Attention，最后一道是 QQ 空间好友动态推荐的设计题。
腾讯混元 AI Infra 二面：GPU 架构、KV Cache 与算子
腾讯混元 AI Infra 二面：从安培、Hopper、Blackwell 三代架构与 TMA、WGMMA/UMMA 指令差异，问到 Cache-aware 推理路由、跨实例 KV Cache 共享、稀疏算子设计与手撕 Softmax 算子优化，问题全部打在自研推理栈的细节上。
微信小程序
手机上刷面经，随时随地
扫码 / 长按识别，免下载直接打开
或在微信 搜一搜「面灵面经」