上海某小厂 Java 后端一面:RAG 分块 Bug、20 亿去重与 CPU 100% 排查
- 轮次
- 一面
- 时间
- 2026-11
- 来源
- 牛客网
《面试题目》
- 请做一下自我介绍。
- 智能客服(RAG 大模型项目)里你遇到过最深刻的 Bug 是什么?
- AI 辅助开发是否降低了对开发者基础能力的要求?
- 进程与线程的区别?
- 多线程上下文切换(Context Switch)的定义与底层本质是什么?
- 阻塞队列(BlockingQueue)及其应用场景?
- Redis 常见数据类型及核心业务场景?
- Redis 主从同步是如何工作的?
- 生产中分库分表的场景与分片键(Sharding Key)选择?
- 为什么 MySQL 的表必须建主键?
- 20 亿 QQ 号,如何快速去重?
- 千万级 Excel 数据如何极速解析并入库?
- 线上服务器突然运行极其缓慢、CPU 飙高到 100%,你的标准排查链路是什么?
《参考解析》
RAG 里最有价值的 Bug 是「检索到了但上下文残缺」。 固定长度切分会把结构化内容切断:一张 Markdown 表格被 500 字硬切,后半段切片只有数据行没有表头,向量检索命中后模型看到的是「M 码对应胸围 96」却没有列名,于是把尺码答偏。修法有两层:切分时按结构做语义切片(表格、列表、标题作为边界,表格整体不拆),以及给每个子切片注入所属标题与表头元数据。这个案例的说服力在于「现象 → 定位 → 根因 → 修复 → 验证」完整,并且暴露的是分块策略这个 RAG 里最容易被忽略的环节。
AI 辅助开发与基础能力。 结论是不会降低、反而提高了对基础的要求。AI 产出的是「看起来对的代码」,冗余、边界缺失、错误处理糊弄是常态,能不能识别出来取决于你有没有底层功底;架构取舍、并发与事务的边界、性能瓶颈的判断,AI 给不出你项目的上下文。用 AI 的正确姿势是把需求、约束、验收标准写清楚,产出后逐行审、跑验证,关键路径自己重写。
上下文切换。 不是「线程间传数据」。它是 CPU 从一个线程切到另一个线程时的状态保存与恢复:把当前线程的寄存器状态、程序计数器保存进内核的 TCB(或栈),再从目标任务的控制块恢复寄存器和 PC,切换页表(进程切换时还要换 CR3、刷新 TLB)。触发原因有:时间片用完、阻塞(IO/锁)、被更高优先级抢占、主动 yield。开销包括保存恢复现场、调度器开销、以及最贵的 CPU Cache / TLB 失效,所以线程数远超核数时切换开销会吃掉吞吐。
阻塞队列。 队列满时入队阻塞、队列空时出队阻塞,天然实现生产者-消费者。典型场景是线程池的任务队列(ThreadPoolExecutor 的 workQueue)、日志异步落盘、消息削峰、流水线解耦。实现上 ArrayBlockingQueue 用一把锁 + 两个条件队列;LinkedBlockingQueue 用 takeLock/putLock 两把锁做读写分离,吞吐更高但默认无界容易堆积导致 OOM;SynchronousQueue 不存储元素,直接交给消费者(newCachedThreadPool 用它);PriorityBlockingQueue 按优先级出队。用的时候队列必须有界并配拒绝策略。
Redis 数据类型与场景。 String 做缓存、计数器、分布式锁(SET NX PX);Hash 存对象字段、购物车;List 做简单队列与时间线;Set 做去重、共同好友、抽奖;ZSet 做排行榜、延时队列(score 存时间戳)、带权重的推荐;Bitmap 做签到与布尔统计;HyperLogLog 做 UV 估算;GEO 做附近的人;Stream 做消息队列。回答时把「结构特性 → 对应业务问题」连起来,而不是背名字。
Redis 主从同步。 首次全量:从节点连上主节点后发 PSYNC,主节点 bgsave 生成 RDB 发给从节点,期间的新写入暂存在 replication buffer,RDB 加载完后把 buffer 里的命令补发。之后进入增量:主节点持续把写命令传播给从节点。网络短暂断开重连时,如果 offset 还在 repl_backlog_buffer(环形积压缓冲区)范围内,就只补发缺失部分(部分重同步),否则再走全量。要提的坑:主从是异步复制,主节点故障可能丢最后一段数据;从节点只读;主从延迟会导致读到旧数据,强一致读要走主节点或用 WAIT 命令。
分库分表与分片键。 触发点通常是单表数据量到千万级、单库连接数或磁盘到瓶颈。水平拆分的分片键选择原则:分布均匀(避免热点)、大多数查询都带它(避免跨库)、业务上不可变(改分片键等于迁移数据)。用户中心常用 user_id 哈希取模;订单可以按 user_id 分(保证用户维度查询落在单库),同时用订单号基因法把分片信息编进订单号,避免按订单号查时全库扫描。跨片查询、分布式事务、全局唯一 ID、扩容重分布是主要代价,要在设计时就考虑。
必须建主键的原因。 业务上是唯一性约束与引用锚点;底层上 InnoDB 是索引组织表,数据按主键顺序存放在聚簇索引的叶子节点,没有主键时它会选第一个非空唯一索引,再没有就隐式生成 6 字节的 row_id。隐式 row_id 全局共享一个计数器,并发插入时容易在页中间产生随机插入导致页分裂,且无法用于业务查询;显式主键(推荐自增或有序 ID)能让插入集中在最右侧、减少页分裂,二级索引也能存更短的主键。
20 亿 QQ 号去重。 QQ 号是纯数字且范围有限(无符号 32 位约 43 亿),用位图:一个号码占 1 bit,43 亿 bit ≈ 512MB,单机内存即可放下,逐条 SETBIT 后统计置位数就是去重结果,时间 O(n)、空间 O(范围)。如果 ID 空间极大或稀疏,改用布隆过滤器(有误判、可接受时用)或「哈希分桶 + 每桶位图/排序去重」的多机方案;也可以外部排序后归并去重,但慢得多。答题时先算内存再选结构,是这个题的核心得分点。
千万级 Excel 解析入库。 解析端不能用 Apache POI 的 XSSFWorkbook 全量加载(整棵树进堆必然 OOM),改用 EasyExcel 或 POI 的 SAX 事件模式逐行流式读取,内存恒定在几十 MB;入库端用批量插入(JDBC addBatch + executeBatch,MySQL 加 rewriteBatchedStatements=true 让驱动合并成多值 INSERT),每批几千条;用固定大小线程池并发处理不同 sheet 或分片,但数据库连接池要限量;失败行单独落到错误文件而不是整批回滚;大文件可以先用 split 或按行偏移分段并行解析。整体是「流式读 → 批量写 → 限流 → 错误隔离」。
CPU 100% 排查。 top 找高 CPU 的进程 PID → top -Hp <pid> 找高 CPU 的线程 TID → printf "%x\n" <tid> 转 16 进制 → jstack <pid> | grep -A 30 <0xTID> 看该线程栈(多抓几次确认是否一直在同一段代码,区分死循环与正常热点)→ 结合 jstat -gcutil 排除频繁 Full GC(GC 线程也会吃 CPU)→ 如果是 IO 等待看 iostat/vmstat。线上更快的做法是 Arthas 的 thread -n 3 直接列出最忙线程的栈。定位到代码后再判断是算法问题、锁自旋、还是正则回溯。