腾讯云智 后台开发一面:HNSW 换 IVF_SQ8、JUC 与缓存三剑客
- 轮次
- 一面
- 时间
- 2026-11
- 来源
- 牛客网
《面试题目》
- 自我介绍。
- 实习项目拷打:业务背景、你负责的部分、技术难点。
- 你们图搜用的向量库是什么索引?刚开始用 HNSW,向量规模增长到 1000 万时内存占用太大报错,后来换成了 IVF_SQ8,为什么?
- 用了哪些模型?向量模型为什么不用 Qwen 的 embedding 模型?
- 你真做过模型部署和性能优化吗?
- 说说你对 Java 集合框架的理解。
- CopyOnWriteArrayList 的原理是什么?
- 对 JUC 包的理解?介绍常用工具及其底层实现。
- MySQL 的索引下推是什么?
- 介绍一下 Redis 的数据结构。
- Redis 的 SDS 字符串是怎么实现的?
- 缓存三剑客(穿透、击穿、雪崩)以及各自的解决方法。
- 算法:手写 LRU 缓存。
- 面试官介绍业务,反问业务架构。
- 能实习多久?
- 你是大数据专业的,平时用 Hadoop 多吗?
- 反问面试评价。
- 平时 AI Coding 用得多吗?(帖主自述四个月没写代码)
《参考解析》
HNSW 换 IVF_SQ8 是拿召回率换内存:HNSW 是分层可导航小世界图,每个向量要维护 M 条邻居边,加上原始向量本身,1000 万条 768 维 float32 光向量就约 30GB,图结构再翻一倍,内存直接打爆。IVF_SQ8 先用 k-means 把向量聚成若干倒排桶(nlist),查询时只扫最近的 nprobe 个桶,同时把向量做标量量化到 8 bit,存储降到原来的四分之一,还能常驻内存。代价是量化带来精度损失、nprobe 调小会漏召回、nprobe 调大则延迟上升,需要拿业务召回指标去标定;另外 IVF 系列对数据分布变化敏感,增量写入后要定期重训练聚类中心。答题时把「为什么原来选 HNSW(召回高、增量友好、免训练)」和「为什么后来必须换(内存上限、规模)」都讲清楚,比单说一个参数更有说服力。
向量模型选型要看语料、维度、成本与可复现性:不选某个模型通常有几类原因——中文语料与业务领域(商品图搜的文本描述、口语化 query)匹配度不够,维度太高导致存储与检索成本上升,推理吞吐或私有化部署不支持,以及已有链路的 embedding 不可更换(换模型要全量重建索引并做效果回归)。回答时给出对比维度与实测结论(同一批 query 的召回@10、人工相关性打分),比「团队习惯」有说服力。
CopyOnWriteArrayList 适合读多写极少:写操作先加 ReentrantLock,复制出新数组、在新数组上修改、再把内部引用指向新数组;读操作完全无锁,直接读当前引用,因此不会抛 ConcurrentModificationException,迭代器是创建时刻的快照。代价是每次写都复制整个数组(内存与 GC 压力随元素数线性增长),且读到的可能是旧数据,只保证最终一致。适用场景是监听器列表、配置项这类读远多于写且元素不多的结构;写多的场景用 Collections.synchronizedList 或 ConcurrentLinkedQueue。
索引下推是把能下推的条件下推到存储引擎:MySQL 5.6 引入,对于联合索引,即使某列因范围条件无法用于定位,也可以把该列上的其他条件下推到 InnoDB,在索引记录上先过滤再回表,减少回表次数。EXPLAIN 的 Extra 显示 Using index condition 即为生效。它不同于覆盖索引(Using index,根本不需要回表),两者常被混淆。
缓存三剑客的解法要成对说清代价:穿透是查不存在的数据,请求全部落到数据库,解法是缓存空值(设短过期)或布隆过滤器(有误判、不支持删除);击穿是热点 key 过期瞬间大量并发回源,解法是互斥锁重建(牺牲可用性)或逻辑过期加异步刷新(牺牲一致性);雪崩是大量 key 同时过期或缓存整体不可用,解法是过期时间加随机抖动、多级缓存、熔断降级与集群高可用。回答时补一句「先评估业务能接受多旧的数据」,比背方案更完整。
手写 LRU 用哈希表加双向链表:哈希表存 key 到节点,双向链表头部为最近使用、尾部为最久未使用;get 命中后把节点移到头部,put 已存在则更新并前移,不存在则插入头部并在超容时删尾节点。Java 里用 LinkedHashMap 的 accessOrder=true 加重写 removeEldestEntry 也能实现,但要能讲清底层就是这套结构。并发场景要加锁或用分段,Redis 的近似 LRU 则是采样若干 key 淘汰最久未使用的,不必维护全局链表。