面灵AI→

曦望二面(已挂):TP/PP 组合、PD 分离与 NUMA 亲和,最后一道大数相乘

曦望 推理基础设施 二面

曦望二面集中在推理部署的工程细节:跨机部署用过哪些 TP、PP 组合,PD 分离在生产里怎么落地、Dynamo 扩容的原理,NUMA 亲和如何分配,模型预加载的实现,k8s operator 的开发与工作原理,最后一道算法是大数相乘,并问了离职原因与职业规划。

2026-11