张量并行 面试题
共 2 篇真实面经 · 涵盖 腾讯 等 1 家公司
腾讯混元 AI Infra 一面：张量并行/数据并行/流水线并行的连续追问
腾讯混元 AI Infra 一面题单：从张量并行的权重切分切入，连续追问 Linear/Attention/FFN 的行列并行与通信阶段、QKV 与多头注意力的切分方式、为什么 FFN 用列并行加行并行的组合、并行规模与加速比的瓶颈、All-Gather/Reduce-Scatter/All-Reduce 的通信量计算、如何判断训练进入通信瓶颈，再对比数据并行与张量并行的本质差异与扩容选择、流水线并行的 Stage 切分与 Bubble 优化、流水线对推理延迟的影响、上下文并行如何处理超长序列的跨卡 Attention，最后一道是 QQ 空间好友动态推荐的设计题。
腾讯混元 AI Infra 一面（同场重复投稿）：张量并行/数据并行/流水线并行的连续追问
腾讯混元 AI Infra 一面题单（与同批另一帖内容相同，属同场重复投稿）：从张量并行的权重切分切入，连续追问 Linear/Attention/FFN 的行列并行与通信阶段、QKV 与多头注意力的切分方式、为什么 FFN 用列并行加行并行的组合、并行规模与加速比的瓶颈、All-Gather/Reduce-Scatter/All-Reduce 的通信量计算、如何判断训练进入通信瓶颈，再对比数据并行与张量并行的本质差异与扩容选择、流水线并行的 Stage 切分与 Bubble 优化、流水线对推理延迟的影响、上下文并行如何处理超长序列的跨卡 Attention，最后一道是 QQ 空间好友动态推荐的设计题。
微信小程序
手机上刷面经，随时随地
扫码 / 长按识别，免下载直接打开
或在微信 搜一搜「面灵面经」