浪潮 C++ 二面:一次写请求到盘上的五层路径,与 LRU、日志结构存储手撕
- 轮次
- 二面
- 时间
- 2026-11
- 来源
- 牛客网
《面试题目》
- 一次写请求从应用 down 到盘上,中间经过哪些层?每层各做了什么?
- 顺序写和随机写差多少?能给个具体数字吗?
- 手撕:实现一个固定容量的 LRU 块缓存,get 和 put 都要 O(1),你怎么写?
- 手撕:实现一个追加写的日志结构存储,接口只有 append 和 read,你怎么设计?
- 追问:机器突然断电,你这个日志结构怎么保证不丢不坏?
- NVMe 和 SATA 的差别只是带宽吗?
- SPDK 到底解决了什么问题?代价是什么?
- IO 队列深度和并发是什么关系?队列深度是不是越大越好?
《参考解析》
写请求的五层路径:应用调用 write 把数据拷进内核的 page cache 就返回(除非 O_DIRECT 或 O_SYNC);文件系统把脏页组织成块,fsync 或 writeback 线程触发下刷,同时更新元数据与日志(ext4 的 journal);块层把请求合并、排序后放进调度队列(mq-deadline、none),多队列把请求分发到不同硬件队列;驱动把命令写进提交队列并敲门铃;设备固件把数据写进 NAND 页,必要时做垃圾回收与磨损均衡。每一层都可能是瓶颈:page cache 命中时应用几乎不等待,fsync 要等设备确认,GC 会让写延迟出现长尾。
顺序写与随机写的差距:机械盘上顺序写约 200 MB/s,4 KB 随机写只有 200~300 IOPS(约 1 MB/s),差距接近两个数量级,根源是寻道与旋转等待;NVMe SSD 上顺序写可达 3 GB/s 以上,4 KB 随机写能到几十万 IOPS,差距缩小到个位数倍率,但随机写仍然更吃队列深度、写放大与 GC。工程结论是机械盘上必须把随机写攒成顺序写(LSM、日志结构、批量刷盘),SSD 上随机读无所谓、随机写仍要尽量合并,因为写放大直接影响寿命与带宽。
LRU 块缓存:哈希表存 key 到链表节点的迭代器,双向链表按访问时间排序,头是最近使用、尾是最久未用。get 命中后把节点 splice 到头部;put 已存在则更新值并移到头部,不存在则插入头部,超容量就删尾部并同步删哈希表项。链表节点里直接存 value,减少一次间接访存。并发场景单锁会成为瓶颈,按 key 分片加锁(如 16 个分片)能把吞吐提上去;块缓存还要考虑脏块淘汰前必须先回写,否则丢数据。
追加写日志结构:每条记录是「长度 + 校验和 + payload」,用一次 pwrite 整条写入,避免半条记录被当成完整记录读出;内存维护 offset 到文件位置的索引,read 直接定位;重启时从头扫描重建索引,逐条校验,遇到第一条校验失败就截断到该位置(追加写保证坏记录之后不可能有合法记录)。空间回收靠分段:每段固定大小,段内有效比例低于阈值时后台 compaction 重写,控制空间放大。
断电一致性:写入顺序是「先写数据、再更新元数据」,元数据用双槽加原子切换(写新槽、校验、再写一个 8 字节的切换标记),任何时刻至少有一个槽完整;append 返回前必须 fsync 或 fdatasync,否则掉电丢的是 page cache 里的数据;批量提交可以把多次写合并成一次刷盘,用吞吐换持久性窗口。恢复时按校验和截断,再重放未完成的段。
NVMe 与 SATA:不只是带宽。SATA 走 AHCI,单队列、队列深度 32,命令要读命令表;NVMe 走 PCIe,支持最多 6.4 万个队列、每队列 6.4 万深度,命令固定 64 字节、直接映射主机内存,延迟从约 100 微秒降到 20 微秒级。差距主要来自协议栈深度与 PCIe 直连,不是闪存本身;NVMe 的多队列让每个核有独立队列,避免单队列锁竞争。
SPDK 解决了什么:三件事——用户态直接操作 NVMe 寄存器,省掉系统调用与中断;轮询代替中断,省掉上下文切换;每核独立队列加无锁环,省掉跨核同步。代价是轮询会占满一个核(空闲时也烧 CPU)、内核看不到这块盘(要自己做管理与监控)、内存必须用大页并锁定、调试只能靠自带日志与 trace。它适合专用存储服务,不适合通用主机。
队列深度与并发:按利特尔法则,吞吐 = 队列深度 / 平均延迟,所以增加队列深度能提升吞吐,直到设备或下游饱和。队列深度不是越大越好:超过设备并行能力后延迟上升、尾延迟变差;应用侧还要有足够的并发请求填满队列,否则只是空转。实践中按目标吞吐与 P99 延迟反推队列深度,并监控队列满、超时与重试。