超星 Java 开发一面:CSV 导入 OOM、线程池与 RAG 的排查链路
- 轮次
- 一面
- 时间
- 2026-11
- 来源
- 牛客网
《面试题目》
- 简单做一下自我介绍。
- 介绍一下 CSV 导入 OOM 的问题,以及你是如何解决的?
- 为什么一个 300MB 的 CSV 文件,最终会占用 1.2GB 左右的内存?
- 订单入库性能优化前是什么方案?为什么要进行多线程优化?
- 线程池最大线程数为什么设置为 32?是如何确定的?
- 假设有 10 万条订单,开启 20 个线程并发写入,其中一个线程失败、其他线程成功,如何保证数据一致性?
- Redis 时间窗口聚合是如何实现的?
- 如果 Redis 宕机了,还有一部分数据没有落库,应该怎么办?
- 预检分诊 Agent 支持上传哪些类型的文档?文档上传后的离线入库流程是什么?
- 上传文档后有没有进行数据清洗?文档 Chunk 是如何切分的?如果一个段落太长应该如何处理?
- 使用的 Embedding 模型是什么?是公司提供的还是自己部署的?
- 如果 RAG 检索效果不好,应该从哪些方面排查?
- 企业中有大量过期、相似的文档,如何避免检索到过期或重复内容?
- 预检分诊 Agent 是如何评估效果的?有没有构建测试集?
- 简历中提到累计服务 18000 名同学,这个数字是注册人数还是累计访问人数?
- 教务系统开发和维护过程中遇到过哪些问题?空闲教室数据为什么要定期爬取并存储到自己的数据库?
- 平时常用哪些 Linux 命令?如何动态查看日志最后 N 行?
- 平时如何使用 AI 辅助开发?具体流程是什么?有没有沉淀自己的 Skill 或提效工具?AI 生成的代码如何验证正确性?有没有做代码规范审查?
- 为什么两段实习经历的时间都比较短?
- 期望薪资是多少?
《参考解析》
300MB 的 CSV 为什么吃掉 1.2GB。 文件大小不等于内存占用,中间有多层放大:一是字符编码,UTF-8 的英文 1 字节、中文 3 字节,读进 String 后 Java 内部用 UTF-16 表示,中文会翻倍;二是对象头与字段开销,一行解析成对象后,对象头(12 到 16 字节)、字段对齐填充、String 对象的 char 数组与引用,会让一条记录的内存占用远大于它的字节数;三是集合扩容,ArrayList/HashMap 扩容时旧数组与新数组同时存在,峰值翻倍;四是解析框架的缓冲(如一次性 readAllLines、DOM 式解析、全量 split)。解决办法是流式处理:逐行读取(BufferedReader 或框架的流式 API)、边读边写、分批提交(例如每 1000 条一批),避免把所有记录留在内存里;同时用 -Xmx 与堆 dump 验证峰值。
线程池 32 的依据。 不能拍脑袋,要按利特尔法则 并发数 ≈ QPS × RT 估算:如果入库接口的 QPS 与单条写入的 RT 已知,就能算出需要的并发度;再考虑数据库连接池上限(线程数不应超过连接池可用连接数,否则线程只是在等连接)、CPU 核数与上下文切换成本。32 这个数如果是因为「压测到 32 时吞吐最高、再往上因锁竞争下降」,那就是有依据的;回答时要能说出压测方法与拐点。线程池还要配有界队列、拒绝策略与监控。
部分失败的一致性。 10 万条、20 个线程,一个线程失败其余成功,核心是「要么整体可见、要么可对账」。方案有三类:其一,按批事务,每批一个事务,失败批整体回滚并记录,已成功的批次保留,最后用总账对账(成功数 + 失败数 = 总数);其二,全部在一个事务里(不现实,10 万条长事务会锁表、undo 膨胀);其三,把「写库」改成「投递到消息队列 + 消费端幂等写入」,失败重试与死信兜底,天然支持部分失败。工程上还要用业务唯一键做幂等(订单号唯一索引),避免重试造成重复;失败明细要落表,支持人工或定时补偿。
Redis 时间窗口聚合与宕机兜底。 常见实现是 ZSET(score 用时间戳,按范围计数并定期清理)或 INCR + EXPIRE 的分桶计数(每分钟一个 key,查询时合并窗口内的桶)。关键点是原子性:读改写要用 Lua 脚本或事务,避免并发丢计数;窗口边界要对齐。Redis 宕机导致未落库的数据丢失,防线要放在「先落库再聚合」或「双写 + 对账」:聚合结果只是展示用的派生数据,原始事件必须落持久化存储(数据库或消息队列),重启后可以从原始数据重算窗口。如果业务要求不丢,就不能把 Redis 当唯一存储。
RAG 的入库与切分。 入库流程是:上传 → 解析(PDF/Word/HTML 提取文本,保留页码与标题层级)→ 清洗(去页眉页脚、乱码、重复段落)→ 切分(按语义或标题层级,chunk 大小几百 token,带重叠)→ 向量化 → 写入向量库并保存元数据(来源、版本、生效时间、权限)。段落太长时按句子边界二次切分并保留父子关系(子块检索、父块返回),避免把一句话切断。切分质量直接决定检索效果,比换模型更重要。
检索效果不好的排查顺序。 先看「召回有没有命中正确文档」:把问题与期望文档拿出来单独测检索,如果连正确文档都召不回,问题在切分、Embedding 或检索参数(topK、相似度阈值、混合检索)。再看「命中了但答错」:上下文里有没有正确段落、是否被无关段落淹没、模型是否忽略上下文。最后看「问题本身」:是否需要多跳检索、是否需要查询改写。常见改进:混合检索(向量 + 关键词 BM25)、重排序(cross-encoder rerank)、按元数据过滤(时间、部门、权限)、查询改写与 HyDE、父子块与摘要索引。
过期与重复文档。 治理分三步:入库时做去重(内容哈希、相似度阈值),同一主题的新版本覆盖旧版本并把旧版本标记失效(软删除,保留审计);检索时按元数据过滤(status = active、生效时间),并在 prompt 里要求优先使用最新版本;定期做全量体检(相似簇报告、失效文档清理)。只靠向量相似度去重不够,语义相近但结论相反的两份文档都会被召回,必须有版本与来源的显式管理。
评估与指标口径。 RAG 的评估要分检索与生成两段:检索看召回率、MRR、命中率;生成看答案正确性、引用是否可追溯、拒答是否合理。测试集从真实问题里采样,覆盖常见、边界、无法回答三类。面试官追问「18000 是注册还是访问」是在核对数据口径,回答要明确统计方式与时间范围,不确定就说不确定——夸大数字比数字小更致命。
Linux 与 AI 辅助开发。 动态看日志用 tail -f、tail -n 200、grep -C、less +F,排查时配合 grep 过滤关键字、awk 提取字段、journalctl -u 看服务日志。AI 辅助开发的流程是:先写清需求与约束,让模型出方案或骨架,自己实现关键逻辑,再用编译、单测、lint 与 code review 验证;沉淀下来的提效工具可以是提示模板、代码片段、脚本或 Skill。AI 生成代码的验证重点是边界、错误处理与依赖版本,规范审查靠 lint 与 CI 而不是靠人盯。