投递平台后端面:批量导入异步化、Kafka 重消费与混合检索
- 轮次
- 二面
- 时间
- 2026-11
- 来源
- 牛客网
《面试题目》
- 你们这个平台的团队大概多少人?项目多少人?
- 简单介绍一下 Vue 3、TypeScript、Go、Gin、MySQL、Kafka、Argo、Kubernetes 在开发过程中分别承担什么责任。
- 这个接口从 12.4 秒降到 650 毫秒,一开始就是你负责的,还是实习后接手的?
- 之前需要 12 秒,性能瓶颈在什么地方?这个瓶颈是怎么定位到的?
- 所以是通过接口响应和日志判断哪个环节出了问题?
- 定位之后怎么确定方案?异步是怎么做的?
- 用户批量导入之后,第一步怎么做父子任务拆分?
- 批量导入的都是文件吗?拆分子任务是根据文件类型和数据拆的吗?上传 10 个文件就创建 10 个子任务?
- 这 10 个子任务存储在哪儿?MySQL 里存的是什么数据,大概几条?
- 投递的异步是通过 Kafka 做的吗?
- 假设任务发生异常,或者项目重启导致任务中断,第一怎么识别,第二怎么继续执行?
- 从 Kafka 拿到一条消息处理时出现「1 除以 0」这类未知异常,任务终止了,这条消息怎么处理?后续还能正常处理吗?
- 消息已经被服务端拿到了,它怎么判断这条消息需要重新消费?
- Kafka 的 Offset 是什么?你对接 Kafka 时怎么告诉它已经完成还是没完成?
- 假设 5 个服务实例分别拿到 1 到 5 号消息,5 号先完成并提交了位点 5,1 到 4 号都失败了,还能拿到 1 到 4 吗?
- 位点已经是 5 了,前面因为异常或重启中断的任务怎么再拿到?
- 无论是异常还是重启,怎么识别哪些任务需要重新执行?能不能知道它执行到了哪一步,前面的步骤不再重复?
- 3 个或 5 个服务实例同时消费一个 Partition 可以吗?是因为要保证有序才由一个消费者消费一个 Partition 吗?
- 消费者拉取消息也是按 Offset 或时间戳取之后的吗?
- 你提到了重复投递,这块怎么做幂等?
- 用户批量导入同一批数据,现在这 650 毫秒主要消耗在哪里?做过评估吗?
- 异步之后就是上传 OSS 加入库的时间,相当于把链路切了一半,先存起来后面异步处理?
- 你用 Redis 分布式锁控制任务抢占,锁粒度、过期时间、异常释放分别怎么设计?
- 你说避免任务「创建多次」,具体指怎么创建多次?如果不加这把锁会有什么影响?
- 这个锁锁的是哪块业务,写库还是任务执行?是任务已经进 MySQL、取出来异步执行时加锁吗?
- 你说在 MySQL 之前做隔离,具体隔离什么?锁粒度到底是什么,锁的是什么内容?
- 如果锁的是唯一索引,它在什么情况下会调用两次?你防的是什么并发?
- 用户上传一个文件,这个唯一锁是从哪来的?
- 先上传一个文件、没等返回就关掉窗口,然后又上传同一个文件,唯一键是相同的还是不同的?
- 点两次按钮上传同一个文件,会创建几个任务?你怎么识别上传的是同一个文件?
- 如果修改了文件里的几个字,还能识别到是同一个文件吗?是通过哈希吗?
- 你做了专业术语和 Query 重复问题的优化,为什么选择向量检索、BM25 和 Rerank 这套方案?
- BM25 就是关键词检索吧?向量检索和 BM25 分别借助了什么库?
- 技术选型你参与了吗?对比了什么方案?向量库为什么这样选?Milvus 是云服务还是自部署?现在存了多少数据?
- 发现纯向量检索召回率较低后引入关键词检索,为什么选 MongoDB 而不是 Elasticsearch?文件在 MongoDB 里怎么存?
- 如果存的是图片、视频、网页等非文本数据,BM25 怎么把它们查出来?靠标签和元数据的话,Milvus 也能做等于、大于、小于这类过滤,为什么不用它?
- 两种检索方式的权重是固定的还是动态的?
- 召回率从 72% 提升到 85%,单纯是加了 BM25 带来的吗?问题重写起了多大作用?
- 你们对向量化模型做过对比吗?国内几家(千问、腾讯、字节)在相同输入下结果差异如何?
《参考解析》
12 秒到 650 毫秒要讲成「定位—拆分—验证」三段:定位靠三样东西——接口链路的耗时打点(网关、应用、SQL、外部调用各一段)、慢查询日志与执行计划、以及线程栈采样(连续抓取阻塞点)。常见瓶颈是「同步解析大文件 + 逐条写库 + 同步调用下游」串在一条请求里,于是把可异步的部分切出去:文件直传对象存储只做校验,落一条任务记录后立即返回,解析与入库交给消费者。650 毫秒的构成要能说清:上传与校验、元数据入库、任务投递,各自多少毫秒;异步段的耗时用任务完成时间单独统计,不要混进接口 RT。
Kafka 的重消费要区分「位点」与「业务状态」:位点只表示「这个分区消费到哪」,提交位点 5 意味着 0 到 4 都不会再被这个消费组投递。所以「5 号先完成先提交」在单分区串行消费下不会发生——同一分区同一时刻只有一个消费者,位点只能顺序推进;如果业务上确实出现乱序完成,说明用了多分区或多线程消费,那就要放弃「位点即完成」的假设。正确做法是业务侧维护任务状态机(待处理、处理中、成功、失败、可重试),用任务表加状态字段做补偿:定时扫描超时未完成的任务重新投递,消费失败时不要提交位点或投递到重试主题(带重试次数与退避),超过次数进死信队列。幂等靠唯一业务键(任务 id + 步骤)在写库时做 insert ... on conflict do nothing 或先查状态再执行,保证重复消费不产生副作用。
一个 Partition 只能被同一消费组内的一个消费者消费:这是 Kafka 的分区分配语义,目的是保证分区内顺序;多个实例要并行就增加分区数,让实例数与分区数匹配。消费者确实按位点拉取,auto.offset.reset 只决定没有位点时从最早还是最新开始;「按时间戳取」需要显式用 offsetsForTimes 查询。回答这一串追问的关键是承认边界:位点提交是「至多一次 / 至少一次」的取舍,业务上的「恰好一次」要靠幂等写来实现。
分布式锁要能说清「不加会怎样」:锁的粒度按业务键(用户 id + 文件指纹)而不是全局,避免所有上传串行;过期时间要大于最长处理时间并配看门狗续期,释放时用 Lua 比对持有者再删除,防止误删他人的锁。加锁的真正价值是防止「同一份数据被并发创建两条任务」和「同一任务被两个消费者同时处理」。但锁不能替代幂等——锁失效(过期、Redis 主从切换)时唯一索引是最后一道防线;两者的分工是锁降低冲突概率、唯一约束保证正确性。追问「唯一键从哪来」时,要说明是服务端按用户与文件内容哈希生成的,不是客户端传的。
文件去重靠内容指纹而不是文件名:客户端算 SHA-256(大文件分片算、再算分片清单的哈希),服务端二次校验;同一用户同一指纹在有效期内直接返回已有任务。改了几个字哈希就变,识别不出来是正常的——要按「同内容」去重就不该指望近似匹配,需要近似去重则用 SimHash 或向量相似度,并明确误判代价。
混合检索的选型要落到「为什么不用另一个」:BM25 解决的是专业术语、编号、缩写这类精确匹配,向量解决语义改写与同义表达,Rerank 用交叉编码器对候选做精排。选 MongoDB 做关键词侧,通常是因为已有文档存储、需要按元数据做多条件过滤、团队运维成本低;代价是 BM25 能力弱于 Elasticsearch(没有成熟的倒排索引与分词生态、相关性调优空间小),数据量大时应迁到 ES 或 OpenSearch。Milvus 支持标量过滤(等于、范围)但不做全文相关性排序,两者职责不同。权重不宜固定:按 query 是否含编号/专有名词、以及两路的分数分布动态调整,或者用 RRF 做排名融合,再用 Rerank 统一打分。召回率从 72% 到 85% 要拆开归因——分别测「只加 BM25」「只做问题重写」「两者都加」,否则说不清收益来自哪一步。