智元机器人高性能计算一面：DCU、warp 分支与 AVX-512

《面试题目》

开场

1. 先做一个自我介绍。

项目拷打

2. DCU 大概是一块什么样的芯片？从应用的角度说一下，如果你了解 GPU 的话，可以和 GPU 做一个对比。
3. warp 分支是一个普遍性的问题，你知道有哪些解法吗？
4. 你对 AVX-512 这个指令集有了解过吗，介绍一下。
5. 这个指令用起来有没有什么约束？比方说是不是有一些数据对齐、数据精度等等方面的约束？

几个问题

6. 结合你的了解，说一说你对 GPU 这个硬件的理解。
7. 详细说一说你对现在这个大语言模型的理解。

反问

8. 反问：问了集群和技术栈。

《参考解析》

DCU 与 GPU：从应用视角怎么对比

这题考的不是某块卡的参数表，而是你能不能把「众核加速卡」抽象成一套应用模型。稳妥的答法是先讲共性：都是主机加设备的分离架构，内核以 grid/block/thread 的层级卸载到设备上执行，靠大量线程的 SIMT 执行与多级存储（寄存器、片上共享内存、L2、板载显存）隐藏访存延迟。差异主要落在软件栈和生态：DCU 这类国产 GPGPU 走的是对标 ROCm/HIP 的路线，CUDA 代码需要迁移适配，算子库与调优工具的覆盖面和成熟度是实际选型时最需要确认的一点。不要凭印象报微架构细节，把不确定的部分明确说成「这是我没验证过的」，比编一个架构名更安全。至于「GPU 硬件的理解」，面试官想听的是带宽与算力的权衡：判断一个 kernel 是计算密集还是访存密集、算术强度落在 roofline 的哪一侧，以及占用率不是越高越好——寄存器与共享内存用量会反向限制并发 warp 数，最终要平衡 TLP 与 ILP 而不是一味堆线程。

warp 分支发散有哪些解法

根因是 SIMT：一个 warp 内的线程共用指令流，条件分叉时硬件只能把两条路径串行走一遍、用掩码屏蔽不该执行的 lane，于是并行度直接按分支比例掉。解法按代价从低到高排：能用谓词化（三元表达式、select、min/max）表达的短分支就让它变成无跳转的指令，避免真正的分叉；分支条件只在少数 lane 成立时，把循环改成固定 trip count 加掩码，或用 __shfl 之类的 warp 内通信把数据规整到「同一 warp 内条件一致」；分支代价大且数据可重排时，先 compact 出有效元素再集中处理，本质是把发散的分支换成一次规整加一段连续执行。取舍要说清：谓词化不省指令槽，发散路径短时最划算，路径长时反而浪费全部 lane 的算力；数据重排要额外的通信与内存流量，只有当分支足够长、比例足够悬殊时才回本。真正的判断依据是先测发散比例和分支长度，再决定改写方向，而不是一律重排。

AVX-512 的能力边界与约束

AVX-512 是 512 位宽的 SIMD 扩展，核心增量是更宽的向量寄存器、8 个掩码寄存器带来的谓词化执行，以及 gather/scatter、嵌入式广播等让访存更灵活的形式。约束主要三类：一是访存，对齐访问明显快于非对齐，跨越 cache line 的访问会被拆成多次，部分指令本身要求对齐，写代码时数据布局和 padding 要先设计好；二是频率与实现，512 位满宽执行会带来功耗与降频压力，部分处理器实际是把它拆成两个 256 位通路执行，所以「用了 AVX-512」不等于拿到两倍吞吐，得看具体型号；三是精度与可移植性，向量化会改变浮点归约的次序、FMA 融合也会改变舍入结果，与标量版本的末位差异是预期的，同时不同厂商和代际的支持程度不一，编译器也不一定自动生成 512 位指令。回答时把「掩码寄存器不能当通用向量寄存器随便运算」这类容易踩的点带一句，比单纯背指令列表更像真用过。

大语言模型的理解与岗位落点

讲 LLM 不要从论文目录讲起，按推理链路讲最清楚：文本先过 tokenizer 变成 token，经 embedding 与位置编码进入多层 Transformer，每层是自注意力加前馈网络、配残差与归一化，最后投影成词表 logits 采样出下一个 token；训练侧则是预训练、监督微调、偏好对齐三段。真正能体现 Infra 背景的是把推理拆成两个阶段：prefill 一次并行处理整段提示、以 GEMM 为主偏算力受限，decode 逐 token 生成、每步都要读全部权重和 KV Cache，偏显存带宽受限，所以优化手段完全不同——前者看算子融合与并行切分，后者看 KV Cache 管理、量化与批处理。把这套链路和反问到的技术栈对上（原帖作者推测团队主要做 AI Infra，涉及 CUDA、Triton、Cutlass 这类算子与框架层工作），就能自然说明自己想做的方向。另外这场面试约 15 分钟、没有手撕和 C++ 八股，环节里面试官也介绍了团队，形式上确实偏流程性，不必因为没被深挖就怀疑自己的表现；反问环节问集群与技术栈是最有效的动作，因为答案直接暴露岗位真实内容，也方便你判断要不要继续推进。