面灵AI→

字节后端一面:NATS 选型、下游超时与重试,再到实时链路与 ClickHouse 预聚合

轮次
一面
时间
2026-11
来源
牛客网

《面试题目》

  1. 自我介绍。
  2. 介绍一下你的分布式流量监控项目。
  3. 采集和计算之间为什么选用 NATS?
  4. 批量查询多个下游,如果超时,接口应该怎么返回?
  5. 有个跨系统任务调用下游超时,但下游可能已经执行成功,任务恢复后你怎么判断是否需要重试?
  6. 现在让你做一条搜推广事件的实时数据链路,你会怎么设计?
  7. 同一个事件也可能重复上报,怎么解决?
  8. 这条链路用 Kafka 时,你会选什么字段做分区键?
  9. 按事件发生时间做分钟聚合,如果一条数据晚到了二十分钟,怎么决定是否接收?
  10. 消费者幂等这个场景怎么保证?
  11. 使用 ClickHouse 存储这些数据,你会怎么设计分区键、排序键和预聚合表?
  12. 看板已经有每分钟的点击率,现在要算全天点击率,怎么汇总?
  13. 实时看板和次日离线报表的点击量对不上,怎么定位差异?
  14. 埋点口径修复后,要回补前三天的数据,怎么安排回补和实时任务并行,校验通过后如何切换查询结果?
  15. 项目拷打。
  16. 手撕反转链表。

《参考解析》

为什么选 NATS。这类监控链路的核心诉求是低延迟、多消费者、消息不要求长期留存:NATS 是轻量级的发布订阅,单节点吞吐高、连接开销小,at-most-once 语义足够应付「指标丢一条不影响趋势」的场景。Kafka 的优势在持久化、分区顺序与回放,代价是运维与延迟更高。答题时把「业务对消息的可靠性要求」放在最前面,再说协议与部署成本,而不是单纯比吞吐。

批量查询下游超时的返回。不能整批失败也不能无限等:设置总超时预算,超时就返回已拿到的部分结果,并在响应里标明每条的状态(成功 / 超时 / 未查询),让调用方决定是否降级。若协议允许,用 partial=true 加错误明细,而不是抛 500。要补一句:超时后要取消未完成的请求,避免下游还在跑、连接池被占满。

下游可能已执行成功时是否重试。前提是这个接口本身要幂等:调用方生成业务幂等键(订单号 + 操作类型),随请求带给下游,超时后用同一个键查询执行结果或直接重放。下游没实现幂等键时,退一步查对账:按业务主键回查状态、看流水表里有没有这条记录。绝不能「超时就重试」了事,那是重复扣款、重复发货的根源。

实时链路的分层。采集(SDK / 网关)→ 消息队列(Kafka)→ 实时计算(Flink 或自研消费)→ 存储(ClickHouse / Redis)→ 服务层与看板。每一层都要说明失败时的语义:采集端本地缓冲与重发、队列至少一次投递、计算端幂等、存储端去重或可重复聚合。

重复上报与幂等。采集端给每个事件生成全局唯一 event_id(设备 ID + 会话 + 序号),服务端按 event_id 去重;消费侧用 Redis SETNX + TTL 或布隆过滤器挡短时间重复,最终以存储层的去重表(ReplacingMergeTree 或按主键聚合)兜底。要说明去重窗口与代价:窗口越长内存越大,跨窗口重复只能靠存储层。

分区键的选择。按 user_id 或 device_id 分区能保证同一用户的事件有序,便于会话级聚合;按 event_id 会打散顺序但负载均衡;按时间分区会产生热点。搜推广场景通常选 user_id(或 ad_id 视聚合粒度),并说明热点账号的处理方式(加盐、拆分)。

迟到数据。先定义水位线(watermark)与允许延迟:20 分钟属于可接受范围就开窗口等待,超时则进侧输出(side output)单独修正,或写入「迟到分区」由离线任务重算。关键是先和业务确认「看板允许多久的延迟」,再决定丢弃还是补偿,不能默认丢。

ClickHouse 表设计。分区键用 toDate(event_time)(按月或按天,避免分区过多);排序键按查询模式排,通常是 (event_type, ad_id, toStartOfMinute(event_time)) 之类的前缀;预聚合用 AggregatingMergeTree 或物化视图,把分钟粒度存成 sumState / uniqState,查询时 sumMerge。要说明「排序键前缀决定索引命中」,把最常用的过滤维度放前面。

全天点击率怎么算。点击率不能对分钟点击率求平均,必须回到分子分母:全天 CTR = 全天点击数之和 / 全天曝光数之和。所以分钟表要同时存点击数、曝光数,汇总时两个字段各自 sum 再相除。这是这题唯一的坑,答对就够。

实时与离线对不上怎么定位。按链路分段比对:同一时间窗、同一维度,先比采集量(SDK 上报 vs 网关日志),再比入队量(Kafka 生产与消费 offset 差),再比计算结果(实时表 vs 离线表),再比去重口径(是否同一 event_id 去重、窗口边界是否一致)。常见原因是时区与窗口边界、迟到数据被丢、去重口径不同、离线补数覆盖。定位方法是拿一个小时的数据做全链路对账,逐段收敛差异。

历史回补与切换。回补任务写影子表(或带版本标记的分区),与实时任务并行、互不覆盖;校验用总量、分维度、分时段三层比对,差异在阈值内再切查询:先切读流量的一小部分(按租户或按看板灰度),观察一段时间再全量。切换要可回滚——保留旧表一段时间,配置化指定查询目标,而不是改代码重新发布。

反转链表。迭代版三指针(prev / cur / next),注意保存 cur.next 再改指向,返回 prev;递归版边界是 head == null || head.next == null。写完补一句复杂度 O(n) / O(1),并说明递归版在长链表上有栈溢出风险。