面灵AI→

字节业务中台一面 86 问:从 HTTP 服务器、RPC 框架问到 ZooKeeper 与一致性哈希

轮次
一面
时间
2026-11
来源
牛客网

《面试题目》

一、开场与自我介绍

  1. 请你先做一个简短的自我介绍。
  2. 你在项目中提到了 HTTP 服务器,传统单线程服务器存在 IO 阻塞、内存碎片严重、资源利用率低等问题,你的这些结论是基于什么分析得出的?
  3. 这些问题分别是什么原因导致的?
  4. 为什么单线程服务器会出现严重的内存碎片问题?改成多线程之后,为什么就没有这个问题了?
  5. 你刚才提到了系统调用,什么是系统调用?
  6. 你提到一次性申请了一大块内存,那么这块内存具体是怎么管理的?
  7. 如果现在不断有请求进来,你如何进行内存分配和回收?
  8. 你了解 Linux 是如何管理内存的吗?
  9. 你的缓冲区涉及扩容和回收,那么缓冲区会不会产生内存碎片?
  10. 如果一个请求只使用了分配内存的一部分,剩余的内存空间应该怎么处理?
  11. 你在项目中提到了 IO 多路复用,能介绍一下 IO 多路复用模型吗?

二、HTTP 服务器项目:IO 多路复用与数据结构

  1. select、poll、epoll 分别是什么?它们之间有什么区别?
  2. epoll 的触发机制具体是怎么实现的?
  3. epoll 内核是如何知道哪个文件描述符已经就绪,并触发相应事件的?
  4. 你刚才提到了红黑树,红黑树是一种什么样的数据结构?
  5. 红黑树和我们平时所说的完全平衡二叉树有什么区别?
  6. 为什么已经有了平衡二叉树,还需要红黑树?
  7. 红黑树中的红色节点和黑色节点分别是什么概念?
  8. 什么样的节点叫红色节点?什么样的节点叫黑色节点?
  9. 你提到内核调度和 CFS 算法也使用了红黑树,为什么会采用这种机制?

三、HTTP 服务器项目:多线程与并发编程

  1. 你提到了 CAS 跨线程任务队列,这个具体实现了什么功能?
  2. 能不能详细介绍一下你的跨线程任务队列是怎么工作的?
  3. 你为什么要设计跨线程任务队列?
  4. 最开始使用标志位和定时轮询的方案,存在什么问题?
  5. 后来为什么改成 socketpair 通知机制?
  6. 使用任务队列和 socketpair 后,为什么又考虑改成 CAS 机制?
  7. 什么是 CAS?能具体介绍一下 CAS 的概念吗?
  8. CAS 底层是如何实现的?
  9. CAS 中 Compare And Swap 分别代表什么?
  10. CAS 如何保证多线程操作的安全性?

四、RPC 通信框架项目:项目介绍与服务注册发现

  1. 能不能介绍一下第二个 RPC 通信框架项目,你具体做了什么?
  2. 你刚才介绍的主要是服务注册与发现功能,对吗?
  3. 你提到使用 ZooKeeper 进行服务注册,ZooKeeper 是什么东西?
  4. ZooKeeper 提供了哪些功能?
  5. 你具体是怎么使用 ZooKeeper 的?
  6. 你提到了临时节点,临时节点具体是什么?
  7. 你在 ZooKeeper 中注册的临时节点,是由方法名、IP 地址和端口组成的吗?
  8. 一个服务方法对应一个临时节点,还是一个服务实例对应一个临时节点?
  9. 你提到服务端需要不断发送心跳,如果心跳中断,在客户端看来会发生什么?
  10. ZooKeeper 能够知道服务节点失效,那么客户端是如何感知服务不可用的?
  11. 如果客户端发起 RPC 请求,服务端已经挂掉了,你打算如何处理?
  12. 如果请求超时,需要重试其他服务实例,那么切换到其他节点的操作在哪里完成?
  13. 客户端是如何知道下一次应该选择哪个服务实例的?
  14. 如果集群中需要下调某一个服务方法或者 RPC 接口,你如何更新注册中心的信息?
  15. 如何让每个服务调用方都知道这个服务已经下线?
  16. 服务下线是不是只能通过直接关闭服务器来实现?
  17. 除了关闭服务器、等待心跳超时之外,还有没有其他更好的服务下线方式?

五、RPC 项目:ZooKeeper 高可用与分布式一致性

  1. 你的整个 RPC 通信框架比较依赖 ZooKeeper,那么 ZooKeeper 本身是如何保证高可用的?
  2. 如果 ZooKeeper 部署五台机器,其中三台存活、两台宕机,集群应该如何工作?
  3. 如果部署了多台 ZooKeeper 服务器,那么注册的数据是否需要复制到不同机器上?
  4. 不同机器之间的数据一致性问题应该如何保证?
  5. 你刚才提到了 Raft 共识算法,能介绍一下这个算法吗?
  6. Raft 算法中的 Leader 是如何选举出来的?
  7. Leader 如何将最新的数据复制到其他节点?
  8. Raft 如何保证数据已经真正写入,并且达到什么条件之后才向调用方返回写入成功?
  9. 如果集群中有一两个节点宕机,如何保证数据仍然具有一致性和高可用性?
  10. ZooKeeper 底层使用的是哪种一致性算法?
  11. 如果让你自己设计一个五节点的分布式集群,你会如何保证不同节点之间的数据一致性?
  12. 即使五个节点中有部分节点宕机,你会如何设计才能保证整个集群仍然可用?

六、RPC 项目:负载均衡

  1. 你在项目中实现了轮询、加权轮询和哈希负载均衡,分别介绍一下这三种策略。
  2. 轮询负载均衡具体是怎么实现的?
  3. 加权轮询是如何根据不同服务器的性能分配请求的?
  4. 哈希负载均衡是如何实现的?
  5. 如果集群中的服务器性能、CPU 和带宽存在较大差异,应该如何选择负载均衡策略?
  6. 什么是一致性哈希?
  7. 一致性哈希和普通哈希有什么区别?
  8. 一致性哈希是如何构建哈希环的?
  9. 如果现在向集群中增加一台服务器,一致性哈希环会发生什么变化?
  10. 增加服务器之后,为什么只需要迁移部分请求或数据?
  11. 如果现在从集群中减少一台服务器,一致性哈希环又会发生什么变化?
  12. 删除服务器之后,原来分配给这台服务器的请求应该如何重新分配?
  13. 一致性哈希环为什么能够保证只影响部分服务器负责的区间?
  14. 这个哈希环具体是怎么构造出来的?
  15. 为什么普通哈希计算出来的结果能够形成一个逻辑上的环?
  16. 哈希环的形成究竟是哈希计算方式的问题,还是数学映射方式的问题?

七、RPC 项目:自定义通信协议与 TCP/UDP

  1. 你能介绍一下自己设计的 RPC 自定义协议吗?
  2. 你的 RPC 协议具体分成哪几个部分?
  3. 为什么使用前四个字节表示整个数据包的长度?
  4. 读取完前四个字节之后,如何确定后面还需要读取多少数据?
  5. 你的协议中服务对象名、方法名和参数序列化数据是如何组织的?
  6. TCP 是字节流协议,会出现粘包和拆包问题,你是如何解决的?
  7. 你了解其他 RPC 框架是如何设计通信协议的吗?
  8. 除了你使用的长度字段方案,还有哪些常见的 TCP 粘包、拆包解决方案?
  9. 你刚才提到的这些协议设计方案,是不是都是基于 TCP 考虑的?
  10. 为什么你的 RPC 框架选择 TCP,而不是 UDP?
  11. 你在选择 TCP 和 UDP 时,具体是从哪些方面考虑的?

《参考解析》

单线程服务器的三点结论要能落到具体机制:IO 阻塞来自同步阻塞调用——一次 read 没数据就卡住整个线程,期间无法处理其他连接,并发度实际等于 1;内存碎片来自频繁分配与释放大小不一的缓冲区,空闲块被切碎、大块请求找不到连续空间,只能向内核再要内存,RSS 涨上去却用不满;资源利用率低是前两者的结果,线程在等 IO 时空转,CPU 与连接数都不饱和。

「多线程就没有内存碎片」这个前提要当场纠正:碎片由分配器行为决定,与线程数量无关,多线程甚至会因为竞争更严重。真实差别在分配器的实现——glibc 的 malloc 给每个线程独立的 arena 和 tcache,不同线程的分配各自落在自己的 arena 里,于是碎片被分散到多个区域,看起来「单线程的大块碎片消失了」,代价是内存占用更高、跨线程释放要加锁或走远程 free。真正的解法不是加线程,而是内存池:按请求大小分级(小对象用定长块 + 空闲链表,大对象单独映射)、对象复用避免反复向内核申请、缓冲区扩容时成倍增长而不是每次加一点。缓冲区扩容与回收本身也会产生碎片,所以扩容策略要能区分「临时膨胀」与「长期占用」,长期不用的块及时归还。

系统调用的回答要包含开销来源:系统调用是用户态主动请求内核服务的唯一入口,通过 syscall 指令(x86-64)切换到内核态,参数放在约定的寄存器里,返回值用负数编码错误、由库函数翻译成 errno。开销不只是指令本身:特权级切换、保存与恢复上下文、内核栈、可能的安全检查(如 copy_from_user)、缓存与 TLB 的扰动。这解释了为什么把大量小 read/write 合并、为什么 epoll_wait 一次返回一批事件、为什么零拷贝(sendfile)能省时间。

IO 多路复用的三代演进:select 用位图表达 fd 集合,上限 1024,每次调用把集合从用户态拷进内核、返回后还要遍历全部 fd 才知道谁就绪,复杂度 O(n);poll 换成 pollfd 数组,取消了数量上限,但仍要全量拷贝与线性扫描;epoll 把「注册」与「等待」拆开——epoll_ctl 把 fd 挂到内核的红黑树上只做一次,epoll_wait 只取就绪链表,复杂度与「就绪的 fd 数」相关而不是与「监听的 fd 总数」相关。水平触发只要缓冲区还有数据就持续通知,边缘触发只在状态变化时通知一次,后者要求一次读到 EAGAIN,否则会漏事件;边缘触发还必须配非阻塞 fd,避免卡在最后一个 read 上。

epoll 怎么知道哪个 fd 就绪:注册时内核把该 fd 的等待队列挂上回调(ep_poll_callback),网卡收到数据、协议栈把数据放进 socket 接收队列后唤醒等待队列,回调把这个 fd 对应的 epitem 挂到就绪链表 rdllist,epoll_wait 只需要把这个链表取走(必要时阻塞等待)。所以它本质是事件驱动 + 就绪队列,而不是轮询。红黑树在这里的作用是「按 fd 快速查找与增删监听项」,插入删除 O(log n),而不是用来找就绪事件。

红黑树与平衡二叉树的分工:AVL 严格保持左右子树高度差不超过 1,查找最快,但插入删除的旋转次数多;红黑树只要求最长路径不超过最短路径的两倍,查找略慢,插入删除的调整代价小,适合「增删频繁、查找也要快」的索引结构。epoll 用它管理监听的 fd,CFS 调度器用它按 vruntime 排序挑选下一个任务——调度器每秒要做大量插入删除,正是红黑树的典型场景。红色与黑色节点本身不代表业务含义,它们只是维持上述平衡性质的染色标记,规则是最长路径上的黑节点数相同、红节点不能相邻。

CAS 与跨线程任务队列的演进:CAS 是一条原子指令(x86 的 lock cmpxchg),比较内存值与期望值,相等才写入新值,返回是否成功;它保证的是单个变量的原子性,不是一段代码,所以复杂操作要配循环重试(自旋)。ABA 问题(值被改回原值,CAS 察觉不到)用版本号或 tagged pointer 解决;高竞争下自旋浪费 CPU,需要退避或换回互斥锁。队列方案的演进正好对应三种唤醒方式:标志位 + 定时轮询实现最简单,但空转耗 CPU、延迟等于轮询间隔;socketpair / eventfd 让等待方阻塞在 fd 上,事件到来由内核唤醒,延迟低但每次通知一次系统调用;CAS 无锁队列把入队与出队做成原子操作,避免锁竞争,但要自己处理内存回收(引用计数、hazard pointer 或延迟回收)。选型的判据是通知频率与延迟要求,而不是「无锁一定更快」。

ZooKeeper 的服务发现闭环:服务启动时在 /services/<接口>/<实例> 下创建临时节点,节点内容写 IP 与端口;客户端拉取一次列表并注册 watch。临时节点绑定会话,客户端与服务端之间靠心跳续期,心跳超时后服务端删除该临时节点,watch 触发,客户端收到通知后重新拉取列表——这就是「服务端知道节点失效、客户端如何感知」的完整链路。因此下线方式有三种,按优雅程度排列:主动删除临时节点(立即生效、可控)、优雅停机(先从注册中心摘除、等在途请求处理完再退出)、直接关进程(只能等会话超时,最长一个 session timeout,期间调用方会打到死节点)。客户端侧还要有兜底:本地缓存实例列表,调用失败按策略重试其他实例,并把这个实例临时拉黑一段时间。

Raft 与 ZAB:Raft 把一致性问题拆成三块——领导选举、日志复制、安全性。选举靠 term 与随机超时:候选者自增 term、拉票,拿到多数派即当选;日志复制由 leader 接收写请求、追加本地日志、并行发 AppendEntries,多数派落盘后提交并返回客户端,随后通知 follower 提交;任期号与日志索引共同保证「已提交的日志不会被覆盖」。五节点集群容忍两台宕机,因为剩余三台仍是多数派;一旦少于三台就无法选出 leader,只能读不能写——这正是「多数派可用」的含义。ZooKeeper 用的是 ZAB,思路与 Raft 同源(leader 提议、过半确认后提交),差别在恢复阶段与事务标识的设计,答题时说清「不是 Raft 但同类」即可。

负载均衡与一致性哈希:轮询实现最简单,要求各实例处理能力接近;加权轮询按权重分配,平滑加权轮询(SWRR)用「当前权重累加、选最大、减去总权重」避免连续打到同一台;一致性哈希把节点与请求都映射到 2³² 的环上,请求顺时针找第一个节点,增删节点只影响相邻区间,虚拟节点用来解决节点少时分布不均。回答「加一台机器环上发生什么」要说清:只有新节点逆时针到上一个节点之间的那段请求改投新节点,其余不变;删除节点则它负责的区间交给顺时针的下一个节点。普通取模做不到这一点——hash % N 在 N 变化时几乎全部重映射,这就是缓存雪崩的来源。

自定义协议与粘包:一个可用的 RPC 协议头至少要有魔数(校验与快速识别)、版本、序列化方式、消息类型(请求/响应/心跳)、请求 id(用于响应匹配)、以及长度字段。长度字段放在最前面(前四个字节表示整包长度)的好处是接收方先读 4 字节就知道还要读多少,用「读满再解析」的循环把字节流切成一个个完整包,粘包与拆包问题就此消失;如果用分隔符,就要处理转义与正文中出现分隔符的情况,效率也更低。TCP 是字节流、不保留消息边界,这是粘包的根源;UDP 保留边界但有丢包与乱序,且包大小受限。选 TCP 是因为 RPC 要求可靠有序、请求体可能很大;UDP 只在延迟极敏感、能容忍丢包的场景(如实时音视频、监控上报)才划算。重试要配合幂等:超时后重试其他实例,必须带请求 id 做去重,否则会重复下单、重复扣款。