面灵AI→

快手 AI Infra 一面:从进程线程到 1TB 文本外排序的系统连环问

轮次
一面
时间
2026-11
来源
牛客网

《面试题目》

  1. 自我介绍。
  2. 讲讲两段实习经历,主要 owner 的部分。
  3. 有做过前端的经历吗?
  4. Python 跟 Java 接触多吗?
  5. 数组跟链表的区别。
  6. 进程、线程、协程的区别。
  7. Linux 系统下进程与线程的底层结构是什么?怎么区分的?
  8. 查询某个进程号怎么查?
  9. top 命令怎么用?是干什么的?
  10. 资源问题排查的经验有没有?
  11. 一个程序想知道执行得慢、占用资源多,怎么解决?
  12. 一个 C++ 文件到可执行文件分几个步骤?
  13. 预处理是干什么?链接是干什么?
  14. 静态链接与动态链接的区别?
  15. 了解 MVC、DDD 吗?
  16. 讲讲 Docker 跟虚拟机的区别?
  17. 虚拟地址为什么存在?有什么好处?内存映射流程是什么?
  18. 了解哪些锁?
  19. C++ 智能指针干嘛的?为什么存在?
  20. 算法:把一个二维数组合成一个有序数组。两个数组用什么算法?n 个数组用什么算法?怎么计算时间复杂度?去重怎么改?最后强制要求用多路归并实现。
  21. i++ 跟 ++i 的区别?底层怎么做到的?
  22. 了解 Spark、Flink 这些中间件吗?讲讲。
  23. 1TB 英文文本,存储在共享的 1000 多个大小不均的文件里,目前有 10 台机器,每台内存 8G,设计处理流程(考虑单机怎么处理、多机怎么处理)。追问:那我分片足够多不就行了吗?有什么问题?
  24. 反问环节。
  25. 讲讲 CAP 理论。
  26. IO 多路复用解决了哪些问题?讲讲 poll,你的项目用的哪种?
  27. 操作系统用什么标志内核态与用户态?有几个等级?
  28. 讲讲指令流水线,分几个阶段?
  29. 了解体系结构吗?讲一讲。

《参考解析》

进程、线程、协程:进程是资源分配的单位,拥有独立地址空间;线程是调度单位,同进程内线程共享地址空间与文件描述符,各自有栈与寄存器上下文;协程是用户态的协作式调度,切换不经过内核,适合高并发 IO,但阻塞调用会卡住整个调度器。Linux 内核不区分进程与线程,两者都用 task_struct 表示,通过 clone 时的共享标志(CLONE_VM、CLONE_FILES、CLONE_THREAD)决定共享范围;线程组共享 tgid,/proc/<pid>/task 下可以看到组内每个线程。

排查工具:ps -ef / pgrep 找进程号,top -Hp <pid> 看线程级 CPU,pidstat、vmstat、iostat 看资源趋势,strace 看系统调用,perf top / perf record 采样热点,jstack、py-spy 分别看 Java 与 Python 的栈。回答「程序慢、占资源多」时先分清是 CPU 密集、IO 等待还是内存压力:CPU 高看热点函数与上下文切换,IO 高看磁盘 await 与网络重传,内存高看 RSS 增长与缺页。

C++ 编译链接:预处理(展开宏与头文件、处理条件编译)→ 编译(生成汇编)→ 汇编(生成目标文件)→ 链接(符号解析与重定位,生成可执行文件)。静态链接在链接期把库代码复制进可执行文件,产物大但部署简单;动态链接在加载期解析共享库符号,多个进程共享同一份代码段,升级库无需重编译,但要处理版本与 LD_LIBRARY_PATH。

虚拟地址与内存映射:虚拟地址让每个进程看到连续、独立的地址空间,带来隔离、按需分配、共享文件映射与便于链接等好处。mmap 的流程是内核在进程地址空间找到空闲区域,建立虚拟内存区域(VMA)并记录映射的文件与偏移,真正访问时触发缺页中断,由内核把文件页读入页缓存并建立页表项;写时复制与按需分页都依赖同一套机制。

锁与智能指针:互斥锁、读写锁、自旋锁、条件变量、信号量,以及无锁编程依赖的原子操作与内存序。选择依据是临界区长度(短临界区适合自旋)、读写比例与是否需要公平性。unique_ptr 独占所有权、只可移动;shared_ptr 用控制块维护强弱引用计数;循环引用用 weak_ptr 打破。要说明 make_shared 一次分配控制块与对象、以及「不要用同一裸指针构造两个 shared_ptr」这类所有权规则。

多路归并:两个有序数组用双指针归并,时间 O(m+n);n 个数组用最小堆维护每个数组的当前元素,每次取堆顶并补入该数组的下一个元素,时间 O(N log n)、空间 O(n)。去重时在取堆顶后跳过与上一个输出相等的元素,并在同一数组内部预跳过重复值。强制用多路归并实现,就是把所有数组的首元素入堆,循环弹出最小值写入结果。

1TB 文本排序的设计:单机受 8G 内存限制,先做外部排序——按块读入内存排序后写成有序段文件,再对这些段做多路归并;归并路数受文件描述符与读缓冲限制,可以分两阶段归并。多机做法是按词的首字节或哈希把数据分片到 10 台机器,每台先本地外部排序,再按分片范围归并,最后按序拼接;哈希分片要注意同一 key 必须落在同一台机器。追问「分片足够多不就行了」的答案是:分片过多会带来元数据与调度开销、大量小文件与随机读放大、归并路数受描述符与内存限制、shuffle 网络传输成本上升;更关键的是数据倾斜——高频词或单一前缀会让某些分片远大于其他分片,形成长尾,需要用采样确定分位点做范围划分,或对热点 key 加随机后缀做二次聚合。

i++ 与 ++i:前者返回自增前的值,后者返回自增后的值。对内置类型,编译器会先取出值、自增、再返回旧值的副本(后置需要临时对象);对自定义类型,后置运算符通过一个 int 形参区分,内部先拷贝临时对象再自增并返回临时对象,因此前置通常更高效。编译器优化后,内置类型的差异往往被消除。

CAP 与 IO 多路复用:CAP 指一致性、可用性与分区容忍性三者不可同时满足,网络分区不可避免,实际是在 C 与 A 之间取舍;多数系统按场景选择强一致(如金融账务)或最终一致(如 Feed、缓存)。IO 多路复用解决的是「一个线程管理大量连接」的问题:select 每次传入并返回整个描述符集合,需要遍历,且有 1024 上限;poll 用数组去掉上限,仍需遍历;epoll 把注册与等待分离,用红黑树管理监听集合、就绪链表返回事件,适合连接多而活跃少。ET 模式必须配合非阻塞读写直到 EAGAIN。

特权级与流水线:x86 用代码段寄存器与 CS 的 RPL 标志当前特权级,共四级 ring 0–3,内核运行在 ring 0、用户程序在 ring 3,切换通过中断、异常与系统调用门完成。经典五级流水线为取指、译码、执行、访存、写回,流水线提升吞吐但会因数据相关、控制相关与结构相关产生停顿,靠旁路、分支预测与乱序执行缓解。体系结构层面可谈缓存层级与局部性、NUMA、SIMD 与内存屏障。