字节后端一面:NATS 选型、下游超时与重试,再到实时链路与 ClickHouse 预聚合
- 轮次
- 一面
- 时间
- 2026-11
- 来源
- 牛客网
《面试题目》
- 自我介绍。
- 介绍一下你的分布式流量监控项目。
- 采集和计算之间为什么选用 NATS?
- 批量查询多个下游,如果超时,接口应该怎么返回?
- 有个跨系统任务调用下游超时,但下游可能已经执行成功,任务恢复后你怎么判断是否需要重试?
- 现在让你做一条搜推广事件的实时数据链路,你会怎么设计?
- 同一个事件也可能重复上报,怎么解决?
- 这条链路用 Kafka 时,你会选什么字段做分区键?
- 按事件发生时间做分钟聚合,如果一条数据晚到了二十分钟,怎么决定是否接收?
- 消费者幂等这个场景怎么保证?
- 使用 ClickHouse 存储这些数据,你会怎么设计分区键、排序键和预聚合表?
- 看板已经有每分钟的点击率,现在要算全天点击率,怎么汇总?
- 实时看板和次日离线报表的点击量对不上,怎么定位差异?
- 埋点口径修复后,要回补前三天的数据,怎么安排回补和实时任务并行,校验通过后如何切换查询结果?
- 项目拷打。
- 手撕反转链表。
《参考解析》
为什么选 NATS。这类监控链路的核心诉求是低延迟、多消费者、消息不要求长期留存:NATS 是轻量级的发布订阅,单节点吞吐高、连接开销小,at-most-once 语义足够应付「指标丢一条不影响趋势」的场景。Kafka 的优势在持久化、分区顺序与回放,代价是运维与延迟更高。答题时把「业务对消息的可靠性要求」放在最前面,再说协议与部署成本,而不是单纯比吞吐。
批量查询下游超时的返回。不能整批失败也不能无限等:设置总超时预算,超时就返回已拿到的部分结果,并在响应里标明每条的状态(成功 / 超时 / 未查询),让调用方决定是否降级。若协议允许,用 partial=true 加错误明细,而不是抛 500。要补一句:超时后要取消未完成的请求,避免下游还在跑、连接池被占满。
下游可能已执行成功时是否重试。前提是这个接口本身要幂等:调用方生成业务幂等键(订单号 + 操作类型),随请求带给下游,超时后用同一个键查询执行结果或直接重放。下游没实现幂等键时,退一步查对账:按业务主键回查状态、看流水表里有没有这条记录。绝不能「超时就重试」了事,那是重复扣款、重复发货的根源。
实时链路的分层。采集(SDK / 网关)→ 消息队列(Kafka)→ 实时计算(Flink 或自研消费)→ 存储(ClickHouse / Redis)→ 服务层与看板。每一层都要说明失败时的语义:采集端本地缓冲与重发、队列至少一次投递、计算端幂等、存储端去重或可重复聚合。
重复上报与幂等。采集端给每个事件生成全局唯一 event_id(设备 ID + 会话 + 序号),服务端按 event_id 去重;消费侧用 Redis SETNX + TTL 或布隆过滤器挡短时间重复,最终以存储层的去重表(ReplacingMergeTree 或按主键聚合)兜底。要说明去重窗口与代价:窗口越长内存越大,跨窗口重复只能靠存储层。
分区键的选择。按 user_id 或 device_id 分区能保证同一用户的事件有序,便于会话级聚合;按 event_id 会打散顺序但负载均衡;按时间分区会产生热点。搜推广场景通常选 user_id(或 ad_id 视聚合粒度),并说明热点账号的处理方式(加盐、拆分)。
迟到数据。先定义水位线(watermark)与允许延迟:20 分钟属于可接受范围就开窗口等待,超时则进侧输出(side output)单独修正,或写入「迟到分区」由离线任务重算。关键是先和业务确认「看板允许多久的延迟」,再决定丢弃还是补偿,不能默认丢。
ClickHouse 表设计。分区键用 toDate(event_time)(按月或按天,避免分区过多);排序键按查询模式排,通常是 (event_type, ad_id, toStartOfMinute(event_time)) 之类的前缀;预聚合用 AggregatingMergeTree 或物化视图,把分钟粒度存成 sumState / uniqState,查询时 sumMerge。要说明「排序键前缀决定索引命中」,把最常用的过滤维度放前面。
全天点击率怎么算。点击率不能对分钟点击率求平均,必须回到分子分母:全天 CTR = 全天点击数之和 / 全天曝光数之和。所以分钟表要同时存点击数、曝光数,汇总时两个字段各自 sum 再相除。这是这题唯一的坑,答对就够。
实时与离线对不上怎么定位。按链路分段比对:同一时间窗、同一维度,先比采集量(SDK 上报 vs 网关日志),再比入队量(Kafka 生产与消费 offset 差),再比计算结果(实时表 vs 离线表),再比去重口径(是否同一 event_id 去重、窗口边界是否一致)。常见原因是时区与窗口边界、迟到数据被丢、去重口径不同、离线补数覆盖。定位方法是拿一个小时的数据做全链路对账,逐段收敛差异。
历史回补与切换。回补任务写影子表(或带版本标记的分区),与实时任务并行、互不覆盖;校验用总量、分维度、分时段三层比对,差异在阈值内再切查询:先切读流量的一小部分(按租户或按看板灰度),观察一段时间再全量。切换要可回滚——保留旧表一段时间,配置化指定查询目标,而不是改代码重新发布。
反转链表。迭代版三指针(prev / cur / next),注意保存 cur.next 再改指向,返回 prev;递归版边界是 head == null || head.next == null。写完补一句复杂度 O(n) / O(1),并说明递归版在长链表上有栈溢出风险。