面灵AI→

手推 self-attention 与 O(n²):除根号 d_k、多头与复杂度怎么答

某公司 大模型算法 一面

一道高频面试题的真实追问链:面试官让手推 self-attention 并解释为什么复杂度是 O(n²),帖主第一次把 O(n²d) 与 O(n²) 说混被打断纠正;随后追问为什么要除 √d_k、多头到底在表达什么、复杂度里 n 和 d 各指什么,最后用「FlashAttention 是在 IO 层面优化、没有改变复杂度」收尾。

2026-11