字节业务中台一面 86 问:从 HTTP 服务器、RPC 框架问到 ZooKeeper 与一致性哈希
- 轮次
- 一面
- 时间
- 2026-11
- 来源
- 牛客网
《面试题目》
一、开场与自我介绍
- 请你先做一个简短的自我介绍。
- 你在项目中提到了 HTTP 服务器,传统单线程服务器存在 IO 阻塞、内存碎片严重、资源利用率低等问题,你的这些结论是基于什么分析得出的?
- 这些问题分别是什么原因导致的?
- 为什么单线程服务器会出现严重的内存碎片问题?改成多线程之后,为什么就没有这个问题了?
- 你刚才提到了系统调用,什么是系统调用?
- 你提到一次性申请了一大块内存,那么这块内存具体是怎么管理的?
- 如果现在不断有请求进来,你如何进行内存分配和回收?
- 你了解 Linux 是如何管理内存的吗?
- 你的缓冲区涉及扩容和回收,那么缓冲区会不会产生内存碎片?
- 如果一个请求只使用了分配内存的一部分,剩余的内存空间应该怎么处理?
- 你在项目中提到了 IO 多路复用,能介绍一下 IO 多路复用模型吗?
二、HTTP 服务器项目:IO 多路复用与数据结构
- select、poll、epoll 分别是什么?它们之间有什么区别?
- epoll 的触发机制具体是怎么实现的?
- epoll 内核是如何知道哪个文件描述符已经就绪,并触发相应事件的?
- 你刚才提到了红黑树,红黑树是一种什么样的数据结构?
- 红黑树和我们平时所说的完全平衡二叉树有什么区别?
- 为什么已经有了平衡二叉树,还需要红黑树?
- 红黑树中的红色节点和黑色节点分别是什么概念?
- 什么样的节点叫红色节点?什么样的节点叫黑色节点?
- 你提到内核调度和 CFS 算法也使用了红黑树,为什么会采用这种机制?
三、HTTP 服务器项目:多线程与并发编程
- 你提到了 CAS 跨线程任务队列,这个具体实现了什么功能?
- 能不能详细介绍一下你的跨线程任务队列是怎么工作的?
- 你为什么要设计跨线程任务队列?
- 最开始使用标志位和定时轮询的方案,存在什么问题?
- 后来为什么改成 socketpair 通知机制?
- 使用任务队列和 socketpair 后,为什么又考虑改成 CAS 机制?
- 什么是 CAS?能具体介绍一下 CAS 的概念吗?
- CAS 底层是如何实现的?
- CAS 中 Compare And Swap 分别代表什么?
- CAS 如何保证多线程操作的安全性?
四、RPC 通信框架项目:项目介绍与服务注册发现
- 能不能介绍一下第二个 RPC 通信框架项目,你具体做了什么?
- 你刚才介绍的主要是服务注册与发现功能,对吗?
- 你提到使用 ZooKeeper 进行服务注册,ZooKeeper 是什么东西?
- ZooKeeper 提供了哪些功能?
- 你具体是怎么使用 ZooKeeper 的?
- 你提到了临时节点,临时节点具体是什么?
- 你在 ZooKeeper 中注册的临时节点,是由方法名、IP 地址和端口组成的吗?
- 一个服务方法对应一个临时节点,还是一个服务实例对应一个临时节点?
- 你提到服务端需要不断发送心跳,如果心跳中断,在客户端看来会发生什么?
- ZooKeeper 能够知道服务节点失效,那么客户端是如何感知服务不可用的?
- 如果客户端发起 RPC 请求,服务端已经挂掉了,你打算如何处理?
- 如果请求超时,需要重试其他服务实例,那么切换到其他节点的操作在哪里完成?
- 客户端是如何知道下一次应该选择哪个服务实例的?
- 如果集群中需要下调某一个服务方法或者 RPC 接口,你如何更新注册中心的信息?
- 如何让每个服务调用方都知道这个服务已经下线?
- 服务下线是不是只能通过直接关闭服务器来实现?
- 除了关闭服务器、等待心跳超时之外,还有没有其他更好的服务下线方式?
五、RPC 项目:ZooKeeper 高可用与分布式一致性
- 你的整个 RPC 通信框架比较依赖 ZooKeeper,那么 ZooKeeper 本身是如何保证高可用的?
- 如果 ZooKeeper 部署五台机器,其中三台存活、两台宕机,集群应该如何工作?
- 如果部署了多台 ZooKeeper 服务器,那么注册的数据是否需要复制到不同机器上?
- 不同机器之间的数据一致性问题应该如何保证?
- 你刚才提到了 Raft 共识算法,能介绍一下这个算法吗?
- Raft 算法中的 Leader 是如何选举出来的?
- Leader 如何将最新的数据复制到其他节点?
- Raft 如何保证数据已经真正写入,并且达到什么条件之后才向调用方返回写入成功?
- 如果集群中有一两个节点宕机,如何保证数据仍然具有一致性和高可用性?
- ZooKeeper 底层使用的是哪种一致性算法?
- 如果让你自己设计一个五节点的分布式集群,你会如何保证不同节点之间的数据一致性?
- 即使五个节点中有部分节点宕机,你会如何设计才能保证整个集群仍然可用?
六、RPC 项目:负载均衡
- 你在项目中实现了轮询、加权轮询和哈希负载均衡,分别介绍一下这三种策略。
- 轮询负载均衡具体是怎么实现的?
- 加权轮询是如何根据不同服务器的性能分配请求的?
- 哈希负载均衡是如何实现的?
- 如果集群中的服务器性能、CPU 和带宽存在较大差异,应该如何选择负载均衡策略?
- 什么是一致性哈希?
- 一致性哈希和普通哈希有什么区别?
- 一致性哈希是如何构建哈希环的?
- 如果现在向集群中增加一台服务器,一致性哈希环会发生什么变化?
- 增加服务器之后,为什么只需要迁移部分请求或数据?
- 如果现在从集群中减少一台服务器,一致性哈希环又会发生什么变化?
- 删除服务器之后,原来分配给这台服务器的请求应该如何重新分配?
- 一致性哈希环为什么能够保证只影响部分服务器负责的区间?
- 这个哈希环具体是怎么构造出来的?
- 为什么普通哈希计算出来的结果能够形成一个逻辑上的环?
- 哈希环的形成究竟是哈希计算方式的问题,还是数学映射方式的问题?
七、RPC 项目:自定义通信协议与 TCP/UDP
- 你能介绍一下自己设计的 RPC 自定义协议吗?
- 你的 RPC 协议具体分成哪几个部分?
- 为什么使用前四个字节表示整个数据包的长度?
- 读取完前四个字节之后,如何确定后面还需要读取多少数据?
- 你的协议中服务对象名、方法名和参数序列化数据是如何组织的?
- TCP 是字节流协议,会出现粘包和拆包问题,你是如何解决的?
- 你了解其他 RPC 框架是如何设计通信协议的吗?
- 除了你使用的长度字段方案,还有哪些常见的 TCP 粘包、拆包解决方案?
- 你刚才提到的这些协议设计方案,是不是都是基于 TCP 考虑的?
- 为什么你的 RPC 框架选择 TCP,而不是 UDP?
- 你在选择 TCP 和 UDP 时,具体是从哪些方面考虑的?
《参考解析》
单线程服务器的三点结论要能落到具体机制:IO 阻塞来自同步阻塞调用——一次 read 没数据就卡住整个线程,期间无法处理其他连接,并发度实际等于 1;内存碎片来自频繁分配与释放大小不一的缓冲区,空闲块被切碎、大块请求找不到连续空间,只能向内核再要内存,RSS 涨上去却用不满;资源利用率低是前两者的结果,线程在等 IO 时空转,CPU 与连接数都不饱和。
「多线程就没有内存碎片」这个前提要当场纠正:碎片由分配器行为决定,与线程数量无关,多线程甚至会因为竞争更严重。真实差别在分配器的实现——glibc 的 malloc 给每个线程独立的 arena 和 tcache,不同线程的分配各自落在自己的 arena 里,于是碎片被分散到多个区域,看起来「单线程的大块碎片消失了」,代价是内存占用更高、跨线程释放要加锁或走远程 free。真正的解法不是加线程,而是内存池:按请求大小分级(小对象用定长块 + 空闲链表,大对象单独映射)、对象复用避免反复向内核申请、缓冲区扩容时成倍增长而不是每次加一点。缓冲区扩容与回收本身也会产生碎片,所以扩容策略要能区分「临时膨胀」与「长期占用」,长期不用的块及时归还。
系统调用的回答要包含开销来源:系统调用是用户态主动请求内核服务的唯一入口,通过 syscall 指令(x86-64)切换到内核态,参数放在约定的寄存器里,返回值用负数编码错误、由库函数翻译成 errno。开销不只是指令本身:特权级切换、保存与恢复上下文、内核栈、可能的安全检查(如 copy_from_user)、缓存与 TLB 的扰动。这解释了为什么把大量小 read/write 合并、为什么 epoll_wait 一次返回一批事件、为什么零拷贝(sendfile)能省时间。
IO 多路复用的三代演进:select 用位图表达 fd 集合,上限 1024,每次调用把集合从用户态拷进内核、返回后还要遍历全部 fd 才知道谁就绪,复杂度 O(n);poll 换成 pollfd 数组,取消了数量上限,但仍要全量拷贝与线性扫描;epoll 把「注册」与「等待」拆开——epoll_ctl 把 fd 挂到内核的红黑树上只做一次,epoll_wait 只取就绪链表,复杂度与「就绪的 fd 数」相关而不是与「监听的 fd 总数」相关。水平触发只要缓冲区还有数据就持续通知,边缘触发只在状态变化时通知一次,后者要求一次读到 EAGAIN,否则会漏事件;边缘触发还必须配非阻塞 fd,避免卡在最后一个 read 上。
epoll 怎么知道哪个 fd 就绪:注册时内核把该 fd 的等待队列挂上回调(ep_poll_callback),网卡收到数据、协议栈把数据放进 socket 接收队列后唤醒等待队列,回调把这个 fd 对应的 epitem 挂到就绪链表 rdllist,epoll_wait 只需要把这个链表取走(必要时阻塞等待)。所以它本质是事件驱动 + 就绪队列,而不是轮询。红黑树在这里的作用是「按 fd 快速查找与增删监听项」,插入删除 O(log n),而不是用来找就绪事件。
红黑树与平衡二叉树的分工:AVL 严格保持左右子树高度差不超过 1,查找最快,但插入删除的旋转次数多;红黑树只要求最长路径不超过最短路径的两倍,查找略慢,插入删除的调整代价小,适合「增删频繁、查找也要快」的索引结构。epoll 用它管理监听的 fd,CFS 调度器用它按 vruntime 排序挑选下一个任务——调度器每秒要做大量插入删除,正是红黑树的典型场景。红色与黑色节点本身不代表业务含义,它们只是维持上述平衡性质的染色标记,规则是最长路径上的黑节点数相同、红节点不能相邻。
CAS 与跨线程任务队列的演进:CAS 是一条原子指令(x86 的 lock cmpxchg),比较内存值与期望值,相等才写入新值,返回是否成功;它保证的是单个变量的原子性,不是一段代码,所以复杂操作要配循环重试(自旋)。ABA 问题(值被改回原值,CAS 察觉不到)用版本号或 tagged pointer 解决;高竞争下自旋浪费 CPU,需要退避或换回互斥锁。队列方案的演进正好对应三种唤醒方式:标志位 + 定时轮询实现最简单,但空转耗 CPU、延迟等于轮询间隔;socketpair / eventfd 让等待方阻塞在 fd 上,事件到来由内核唤醒,延迟低但每次通知一次系统调用;CAS 无锁队列把入队与出队做成原子操作,避免锁竞争,但要自己处理内存回收(引用计数、hazard pointer 或延迟回收)。选型的判据是通知频率与延迟要求,而不是「无锁一定更快」。
ZooKeeper 的服务发现闭环:服务启动时在 /services/<接口>/<实例> 下创建临时节点,节点内容写 IP 与端口;客户端拉取一次列表并注册 watch。临时节点绑定会话,客户端与服务端之间靠心跳续期,心跳超时后服务端删除该临时节点,watch 触发,客户端收到通知后重新拉取列表——这就是「服务端知道节点失效、客户端如何感知」的完整链路。因此下线方式有三种,按优雅程度排列:主动删除临时节点(立即生效、可控)、优雅停机(先从注册中心摘除、等在途请求处理完再退出)、直接关进程(只能等会话超时,最长一个 session timeout,期间调用方会打到死节点)。客户端侧还要有兜底:本地缓存实例列表,调用失败按策略重试其他实例,并把这个实例临时拉黑一段时间。
Raft 与 ZAB:Raft 把一致性问题拆成三块——领导选举、日志复制、安全性。选举靠 term 与随机超时:候选者自增 term、拉票,拿到多数派即当选;日志复制由 leader 接收写请求、追加本地日志、并行发 AppendEntries,多数派落盘后提交并返回客户端,随后通知 follower 提交;任期号与日志索引共同保证「已提交的日志不会被覆盖」。五节点集群容忍两台宕机,因为剩余三台仍是多数派;一旦少于三台就无法选出 leader,只能读不能写——这正是「多数派可用」的含义。ZooKeeper 用的是 ZAB,思路与 Raft 同源(leader 提议、过半确认后提交),差别在恢复阶段与事务标识的设计,答题时说清「不是 Raft 但同类」即可。
负载均衡与一致性哈希:轮询实现最简单,要求各实例处理能力接近;加权轮询按权重分配,平滑加权轮询(SWRR)用「当前权重累加、选最大、减去总权重」避免连续打到同一台;一致性哈希把节点与请求都映射到 2³² 的环上,请求顺时针找第一个节点,增删节点只影响相邻区间,虚拟节点用来解决节点少时分布不均。回答「加一台机器环上发生什么」要说清:只有新节点逆时针到上一个节点之间的那段请求改投新节点,其余不变;删除节点则它负责的区间交给顺时针的下一个节点。普通取模做不到这一点——hash % N 在 N 变化时几乎全部重映射,这就是缓存雪崩的来源。
自定义协议与粘包:一个可用的 RPC 协议头至少要有魔数(校验与快速识别)、版本、序列化方式、消息类型(请求/响应/心跳)、请求 id(用于响应匹配)、以及长度字段。长度字段放在最前面(前四个字节表示整包长度)的好处是接收方先读 4 字节就知道还要读多少,用「读满再解析」的循环把字节流切成一个个完整包,粘包与拆包问题就此消失;如果用分隔符,就要处理转义与正文中出现分隔符的情况,效率也更低。TCP 是字节流、不保留消息边界,这是粘包的根源;UDP 保留边界但有丢包与乱序,且包大小受限。选 TCP 是因为 RPC 要求可靠有序、请求体可能很大;UDP 只在延迟极敏感、能容忍丢包的场景(如实时音视频、监控上报)才划算。重试要配合幂等:超时后重试其他实例,必须带请求 id 做去重,否则会重复下单、重复扣款。