靖安科技全栈一面:Kafka、分布式登录与大文件上传全链路
- 轮次
- 一面
- 时间
- 2026-10
- 来源
- 牛客网
《面试题目》
- 介绍一个项目:背景、技术选型、你负责的部分。
- Kafka 在项目中主要解决什么问题?
- 不用 Kafka 能不能解决?为什么还要用?
- 如果有 100 个用户,Kafka 的 topic 怎么设计?
- 消息消费失败了,Kafka 怎么做重推?
- 登录模块怎么实现的?
- 如果项目是分布式的,登录模块怎么设计?如何确定用户当前是否有效?
- 采用认证中心机制时,认证中心的缓存时效和业务模块自己的认证时效,设计上要注意什么?
- 不限语言,讲一个客户端大文件上传的完整链路:读取、分块、后端校验、分片合并。
- 实现线程池时设置过哪些拒绝策略?
- 后端所有接口都严重超时,怎么排查?
- 线上非常紧急,你会直接看日志和代码吗?
- 进程、线程、协程的概念与区别。
- 线程和协程分别适合什么场景?
《参考解析》
Kafka 的定位:它解决的是“异步、削峰、解耦、可靠传递”。不用 Kafka 也能做:本地线程池、数据库轮询、RabbitMQ、Redis 队列都能替代,但要看量级和语义。Kafka 的优势是高吞吐、可持久化、分区顺序、消费者组水平扩展和回放能力;代价是运维复杂、延迟不如内存队列、消息语义要自己保证。回答“为什么用”要落到具体指标:峰值 QPS、允许延迟、是否需要重放、下游有几个消费者。
Topic 设计:100 个用户量很小,不需要一人一个 topic,那样会元数据爆炸。按业务事件建 topic(如 order-created、payment-succeeded),用 key(用户 ID 或订单 ID)决定分区,保证同一业务实体的消息有序;分区数按峰值吞吐和消费者并发定,一般从 3~6 起步,留扩展空间。消费者组按业务域拆,不同组各自消费全量。消息保留时间按回放需求设,key 要设计好避免热点。
消费失败与重推:先区分可重试(网络、下游超时)和不可重试(数据格式错、业务校验失败)。可重试用退避重试,超过次数进死信 topic;不可重试直接进死信并告警。消费端必须幂等:用业务唯一键、消息 ID + 去重表,或状态机条件更新。Kafka 本身有 offset 提交语义:先处理后提交(至少一次)可能重复,先提交后处理(至多一次)可能丢,Exactly-once 需要事务或幂等生产+消费去重。重推要有上限和人工补偿入口,避免毒消息堵住分区。
分布式登录:用户登录后由认证中心签发 token(JWT 或 opaque token),网关/业务服务校验签名或调认证中心 introspection。确定用户是否有效要看:token 是否过期、是否被吊销、用户状态是否正常、是否异地登录。JWT 无状态但有吊销难题,常见做法是短有效期 access token + refresh token,配合黑名单/版本号;opaque token 每次校验要查中心,能实时吊销但有性能开销。认证中心缓存与业务缓存的一致性:业务侧缓存 TTL 不能长于中心的有效期,中心吊销时通过事件广播或版本号让业务缓存失效;允许短暂不一致的业务要明确容忍窗口,资金类操作必须实时校验。
大文件上传:客户端先算文件哈希,向服务端申请上传任务,服务端返回已存在的分片(秒传/断点续传);客户端按固定大小切片(如 5MB),并发上传,每片带序号和哈希;服务端校验分片大小、哈希、权限,写入临时存储;全部分片到齐后合并,再校验整文件哈希,最后落库并清理临时文件。要处理分片乱序、重复上传、超时重试、并发合并锁、存储配额和病毒扫描。断点续传靠上传任务 ID + 分片位图;秒传靠内容哈希查重。
线程池拒绝策略:AbortPolicy(抛异常,默认)、CallerRunsPolicy(调用线程执行,起到反压)、DiscardPolicy(静默丢弃)、DiscardOldestPolicy(丢最老的再提交)。生产上更常用自定义策略:记录日志、降级、入持久化队列或返回明确错误。参数要按任务类型(CPU 密集/IO 密集)和下游容量设,不要用无界队列掩盖问题。
线上超时排查:先止损(限流、降级、回滚最近发布),再看监控确定范围(全部接口还是某个依赖、某台机器还是全集群),然后按“入口 QPS/线程池 → GC/CPU/内存 → 数据库连接池/慢查询 → 缓存 → 下游 RPC → 网络”逐层排除。看日志要找超时的时间分布和共同依赖,用 Trace 定位最慢 span;不要一上来就翻代码。紧急情况下先恢复,再复盘根因。
进程、线程、协程:进程有独立地址空间,是资源分配单位;线程共享进程内存,是 CPU 调度单位,切换由内核完成;协程是用户态轻量级线程,由程序自己调度,切换成本低,适合高并发 IO。协程不适合 CPU 密集任务,因为无法利用多核,且一个协程阻塞会拖住调度线程。