面灵AI→

投递平台后端面:批量导入异步化、Kafka 重消费与混合检索

轮次
二面
时间
2026-11
来源
牛客网

《面试题目》

  1. 你们这个平台的团队大概多少人?项目多少人?
  2. 简单介绍一下 Vue 3、TypeScript、Go、Gin、MySQL、Kafka、Argo、Kubernetes 在开发过程中分别承担什么责任。
  3. 这个接口从 12.4 秒降到 650 毫秒,一开始就是你负责的,还是实习后接手的?
  4. 之前需要 12 秒,性能瓶颈在什么地方?这个瓶颈是怎么定位到的?
  5. 所以是通过接口响应和日志判断哪个环节出了问题?
  6. 定位之后怎么确定方案?异步是怎么做的?
  7. 用户批量导入之后,第一步怎么做父子任务拆分?
  8. 批量导入的都是文件吗?拆分子任务是根据文件类型和数据拆的吗?上传 10 个文件就创建 10 个子任务?
  9. 这 10 个子任务存储在哪儿?MySQL 里存的是什么数据,大概几条?
  10. 投递的异步是通过 Kafka 做的吗?
  11. 假设任务发生异常,或者项目重启导致任务中断,第一怎么识别,第二怎么继续执行?
  12. 从 Kafka 拿到一条消息处理时出现「1 除以 0」这类未知异常,任务终止了,这条消息怎么处理?后续还能正常处理吗?
  13. 消息已经被服务端拿到了,它怎么判断这条消息需要重新消费?
  14. Kafka 的 Offset 是什么?你对接 Kafka 时怎么告诉它已经完成还是没完成?
  15. 假设 5 个服务实例分别拿到 1 到 5 号消息,5 号先完成并提交了位点 5,1 到 4 号都失败了,还能拿到 1 到 4 吗?
  16. 位点已经是 5 了,前面因为异常或重启中断的任务怎么再拿到?
  17. 无论是异常还是重启,怎么识别哪些任务需要重新执行?能不能知道它执行到了哪一步,前面的步骤不再重复?
  18. 3 个或 5 个服务实例同时消费一个 Partition 可以吗?是因为要保证有序才由一个消费者消费一个 Partition 吗?
  19. 消费者拉取消息也是按 Offset 或时间戳取之后的吗?
  20. 你提到了重复投递,这块怎么做幂等?
  21. 用户批量导入同一批数据,现在这 650 毫秒主要消耗在哪里?做过评估吗?
  22. 异步之后就是上传 OSS 加入库的时间,相当于把链路切了一半,先存起来后面异步处理?
  23. 你用 Redis 分布式锁控制任务抢占,锁粒度、过期时间、异常释放分别怎么设计?
  24. 你说避免任务「创建多次」,具体指怎么创建多次?如果不加这把锁会有什么影响?
  25. 这个锁锁的是哪块业务,写库还是任务执行?是任务已经进 MySQL、取出来异步执行时加锁吗?
  26. 你说在 MySQL 之前做隔离,具体隔离什么?锁粒度到底是什么,锁的是什么内容?
  27. 如果锁的是唯一索引,它在什么情况下会调用两次?你防的是什么并发?
  28. 用户上传一个文件,这个唯一锁是从哪来的?
  29. 先上传一个文件、没等返回就关掉窗口,然后又上传同一个文件,唯一键是相同的还是不同的?
  30. 点两次按钮上传同一个文件,会创建几个任务?你怎么识别上传的是同一个文件?
  31. 如果修改了文件里的几个字,还能识别到是同一个文件吗?是通过哈希吗?
  32. 你做了专业术语和 Query 重复问题的优化,为什么选择向量检索、BM25 和 Rerank 这套方案?
  33. BM25 就是关键词检索吧?向量检索和 BM25 分别借助了什么库?
  34. 技术选型你参与了吗?对比了什么方案?向量库为什么这样选?Milvus 是云服务还是自部署?现在存了多少数据?
  35. 发现纯向量检索召回率较低后引入关键词检索,为什么选 MongoDB 而不是 Elasticsearch?文件在 MongoDB 里怎么存?
  36. 如果存的是图片、视频、网页等非文本数据,BM25 怎么把它们查出来?靠标签和元数据的话,Milvus 也能做等于、大于、小于这类过滤,为什么不用它?
  37. 两种检索方式的权重是固定的还是动态的?
  38. 召回率从 72% 提升到 85%,单纯是加了 BM25 带来的吗?问题重写起了多大作用?
  39. 你们对向量化模型做过对比吗?国内几家(千问、腾讯、字节)在相同输入下结果差异如何?

《参考解析》

12 秒到 650 毫秒要讲成「定位—拆分—验证」三段:定位靠三样东西——接口链路的耗时打点(网关、应用、SQL、外部调用各一段)、慢查询日志与执行计划、以及线程栈采样(连续抓取阻塞点)。常见瓶颈是「同步解析大文件 + 逐条写库 + 同步调用下游」串在一条请求里,于是把可异步的部分切出去:文件直传对象存储只做校验,落一条任务记录后立即返回,解析与入库交给消费者。650 毫秒的构成要能说清:上传与校验、元数据入库、任务投递,各自多少毫秒;异步段的耗时用任务完成时间单独统计,不要混进接口 RT。

Kafka 的重消费要区分「位点」与「业务状态」:位点只表示「这个分区消费到哪」,提交位点 5 意味着 0 到 4 都不会再被这个消费组投递。所以「5 号先完成先提交」在单分区串行消费下不会发生——同一分区同一时刻只有一个消费者,位点只能顺序推进;如果业务上确实出现乱序完成,说明用了多分区或多线程消费,那就要放弃「位点即完成」的假设。正确做法是业务侧维护任务状态机(待处理、处理中、成功、失败、可重试),用任务表加状态字段做补偿:定时扫描超时未完成的任务重新投递,消费失败时不要提交位点或投递到重试主题(带重试次数与退避),超过次数进死信队列。幂等靠唯一业务键(任务 id + 步骤)在写库时做 insert ... on conflict do nothing 或先查状态再执行,保证重复消费不产生副作用。

一个 Partition 只能被同一消费组内的一个消费者消费:这是 Kafka 的分区分配语义,目的是保证分区内顺序;多个实例要并行就增加分区数,让实例数与分区数匹配。消费者确实按位点拉取,auto.offset.reset 只决定没有位点时从最早还是最新开始;「按时间戳取」需要显式用 offsetsForTimes 查询。回答这一串追问的关键是承认边界:位点提交是「至多一次 / 至少一次」的取舍,业务上的「恰好一次」要靠幂等写来实现。

分布式锁要能说清「不加会怎样」:锁的粒度按业务键(用户 id + 文件指纹)而不是全局,避免所有上传串行;过期时间要大于最长处理时间并配看门狗续期,释放时用 Lua 比对持有者再删除,防止误删他人的锁。加锁的真正价值是防止「同一份数据被并发创建两条任务」和「同一任务被两个消费者同时处理」。但锁不能替代幂等——锁失效(过期、Redis 主从切换)时唯一索引是最后一道防线;两者的分工是锁降低冲突概率、唯一约束保证正确性。追问「唯一键从哪来」时,要说明是服务端按用户与文件内容哈希生成的,不是客户端传的。

文件去重靠内容指纹而不是文件名:客户端算 SHA-256(大文件分片算、再算分片清单的哈希),服务端二次校验;同一用户同一指纹在有效期内直接返回已有任务。改了几个字哈希就变,识别不出来是正常的——要按「同内容」去重就不该指望近似匹配,需要近似去重则用 SimHash 或向量相似度,并明确误判代价。

混合检索的选型要落到「为什么不用另一个」:BM25 解决的是专业术语、编号、缩写这类精确匹配,向量解决语义改写与同义表达,Rerank 用交叉编码器对候选做精排。选 MongoDB 做关键词侧,通常是因为已有文档存储、需要按元数据做多条件过滤、团队运维成本低;代价是 BM25 能力弱于 Elasticsearch(没有成熟的倒排索引与分词生态、相关性调优空间小),数据量大时应迁到 ES 或 OpenSearch。Milvus 支持标量过滤(等于、范围)但不做全文相关性排序,两者职责不同。权重不宜固定:按 query 是否含编号/专有名词、以及两路的分数分布动态调整,或者用 RRF 做排名融合,再用 Rerank 统一打分。召回率从 72% 到 85% 要拆开归因——分别测「只加 BM25」「只做问题重写」「两者都加」,否则说不清收益来自哪一步。