佑驾创新数据闭环开发面经:实时算一天 UV 怎么理解
- 轮次
- 一面
- 时间
- 2026-10
- 来源
- 牛客网
《面试题目》
- 实时计算场景下,「一天的 UV」怎么计算?
《参考解析》
这题的关键是「实时」和「一天」的矛盾:UV 需要全天去重,而流式数据是不断到达的,不能等一天结束再算。可用的方案有三类:一是用 Redis 的 HyperLogLog 按天维护去重基数,误差约 0.8%,内存极小;二是用位图(Roaring Bitmap)存用户 ID 映射,精度高但内存随用户量增长;三是把明细落到 OLAP(ClickHouse/Doris)按天做精确去重,牺牲实时性换准确。
工程上通常分两层:实时大屏用 HLL 出近似值,T+1 用明细表校准精确值。还要处理迟到数据和跨天边界——按事件时间开窗、用 watermark 容忍延迟,跨天时把窗口切成两个自然日。
「数据闭环」岗位还会问湖仓一体:原始数据入湖(对象存储 + Iceberg/Hudi)保留明细,清洗后进仓做指标;闭环的关键是把线上效果数据回流到训练集,形成「采集 → 标注 → 训练 → 评估 → 上线」的循环。