金山云一面:有界 Channel 打满、sync.Pool、ClickHouse 写入重试与滑动窗口限流
- 轮次
- 一面
- 时间
- 2026-11
- 来源
- 牛客网
《面试题目》
- 自我介绍。
- 介绍一下你的分布式流量监控项目。
- 项目压测时,PPS 是在采集端、消费端还是计算完成后统计的?
- 有界 Channel 很快就满了,怎么处理?
sync.Pool有啥用?- 写入 ClickHouse 失败后,怎么重试?
- 如果 ClickHouse 写入和查询同时变慢,怎么排查?
- 线上收到延迟告警,你这个系统的排查步骤是什么?
- Trace 上下文怎么传递?
- 如何处理下游接口失败?
- 要获取整个集群的 P99 延迟,有什么方案?
- 假如有业务方给请求指标加了
user_id标签,预期对整个链路会有哪些影响? - 项目拷打。
- 滑动窗口限流算法,说一下思路。
《参考解析》
PPS 在哪里统计决定了这个数字的含义。采集端统计的是「收到多少包」,消费端统计的是「处理了多少」,计算完成后统计的是「聚合进存储的多少」。三者不一致时差值就是丢包或积压。回答时先明确压测目标:如果是测采集能力,就在采集端计数并同时记录丢弃数;如果测端到端吞吐,要用同一时间窗在两端各打点做对账。只说一个数字不说明位置,等于没答。
有界 Channel 打满。先分清是瞬时突发还是持续过载。瞬时突发:扩大缓冲、加批处理(攒批再发)、用非阻塞写并在满时降级(丢弃低优先级样本、只保留计数)。持续过载:说明下游消费能力不足,要么加消费者、要么在入口做背压或限流,把压力前移。关键是丢的时候要可观测:记录丢弃计数与原因,绝不静默丢。select + default 的非阻塞写是最常用的落地方式。
sync.Pool。用于复用临时对象、降低 GC 压力:高频分配的小对象(buffer、请求结构体、序列化中间结果)放 Pool 里取用,用完 Put 回去。注意它不是缓存,GC 会清空,不能用来保存有状态的数据;取出的对象要 Reset,否则残留字段会串数据;对象大小差别大时按尺寸分池。
ClickHouse 写失败重试。区分错误类型:网络抖动、超时、TOO_MANY_PARTS(写入过快产生太多分区片段)可以退避重试,SYNTAX_ERROR、schema 不匹配、类型错误重试没有意义。落地通常用批量写 + 本地磁盘队列(WAL)兜底:写失败先落盘,后台按指数退避重放,同时用幂等键或 ReplacingMergeTree 保证重复写入不影响结果。要说明重试上限与死信队列,避免无限重试拖垮内存。
写入与查询同时变慢。先看资源:CPU、内存、磁盘 IO、system.query_log 里的慢查询与 ProfileEvents。写入侧常见原因是分区片段过多(小批频繁写)、merge 跟不上;查询侧常见原因是扫描分区过多、排序键没用上、大聚合没走预聚合表。两者同时慢往往指向同一件事:merge 压力大或磁盘打满。处置是控制写入批次大小、限制并发查询、把重查询路由到副本。
延迟告警的排查顺序。先确认告警真实性(是单一指标抖动还是多指标同时异常、影响面多大),再看时间线对齐最近的变更(发布、配置、流量突增),然后按链路从入口往下游逐段看:采集延迟、队列积压(消费 lag)、计算耗时、写入耗时、查询耗时。每段都要有对应的监控面板,缺哪段就先补监控。最后才是看代码与依赖。
Trace 上下文传递。用 W3C traceparent(trace-id、span-id、采样标记)作为标准头,HTTP 走 header、gRPC 走 metadata、消息队列写进消息属性、异步任务随任务参数落库。进程内用 context 传递,跨线程要注意显式携带。采样策略要说明:头部采样(入口定)保证同一条链路要么全采要么全不采。
下游失败的处理。按可重试性分类:超时与 5xx 可重试(带退避与抖动),4xx 不重试。熔断(连续失败率超阈值直接短路)、降级(返回缓存或默认值)、隔离(不同下游用独立连接池与线程池,避免一个慢下游拖垮全部)。所有降级都要在响应与指标里可见。
集群 P99 怎么算。不能把各实例的 P99 求平均。方案有三:一是各实例上报分桶直方图(Prometheus histogram / t-digest),中心侧合并分桶后算分位数;二是上报原始延迟样本(成本高,通常采样);三是用可合并的 sketch(t-digest / DDSketch)保证合并误差可控。回答时补一句:分位数不可加,必须合并分布。
加 user_id 标签的影响。user_id 是高基数标签,直接后果是指标序列数爆炸(用户数 × 其他标签组合),导致采集端内存与 CPU 上升、存储膨胀、查询变慢,严重时打爆 Prometheus。处置:不要把它作为指标标签,改用日志或 trace 携带;确实要按用户维度聚合就走采样或专门的明细表;必须保留时限制基数(只保留 top N 用户或做哈希分桶)。
滑动窗口限流。用 Redis ZSET 存请求时间戳:每次请求先 ZREMRANGEBYSCORE 清掉窗口外的成员,再 ZCARD 判断是否超过阈值,未超则 ZADD 当前时间戳并设过期。要用 Lua 保证三步原子。缺点是内存随请求量增长(每个请求一个成员),高 QPS 下可改用「固定窗口 + 令牌桶」近似,或按秒分桶计数再做滑动求和。要说明窗口边界效应以及为什么滑动窗口比固定窗口更平滑。