智元机器人数据开发三面:数仓分层、Zookeeper 选举与 Iceberg 读合并
- 轮次
- 三面
- 时间
- 2026-11
- 来源
- 牛客网
《面试题目》
- 自我介绍。
- 拉家常。
- 你做的数据开发,是数据入湖、离线数仓这一块吗?
- 上游数据源是什么?
- 你负责的数仓,是集团全域数据集市,还是单个业务域的数据集市?
- 数据类型是什么?
- 数据量大概多大?你们的目标是什么?
- 怎么做数据埋点?核心观测指标有哪些?
- 指标体系怎么搭建?
- Agent 开发底层是什么语言?
- 问项目细节。
- Agent 测试的目标是什么?
- 问第二段实习。
- 数据分析 Agent 项目是怎么做的?
- 了解 Zookeeper 吗?它的选举机制是什么?
- Zookeeper 如何保证数据一致性?
- 你用过 Iceberg 吗?
- Iceberg 是读合并(MOR)还是写复制(COW)?
- 简单说下 Iceberg 的读合并机制。
- 你现在还在校吗?
- 你有什么想问我的?
- 提前实习能否安排?
- 有没有接触其他公司?
- 你更倾向什么方向?薪资预期怎么样?
- 手上大概有几家意向?
《参考解析》
数仓的边界要说清:面试官会连续追问「入湖、离线数仓、埋点和入库是否涉及」,回答要明确自己负责的是原始数据之后的那一段:离线数仓开发,同时覆盖中间的数据处理与整条 ETL 链路。说不清边界会被认为对链路没有整体认识。
指标体系怎么搭:先按业务过程拆(曝光、点击、转化、留存),每个过程定义原子指标与口径,再组合成派生指标;维度上保证可下钻(时间、渠道、版本、人群)。落地要解决三件事:口径唯一(指标字典)、可追溯(每个指标能回到源表与计算逻辑)、可监控(波动告警与异常归因)。
Zookeeper 选举:节点数一般为奇数,采用过半投票、少数服从多数。主节点故障后其余节点进入 Looking 状态发起投票,先比 zxid(事务 ID,越大越优先),再比 myid,得到过半票的节点成为 Leader。奇数是为了在同样容错能力下减少节点数,避免投票出现平票。
Zookeeper 一致性:依靠事务日志(WAL)与内存快照。写请求由 Leader 处理,转成事务提案广播给 Follower,过半节点落盘 Ack 后提交并回复客户端;Follower 通过同步 Leader 的日志与快照追平。Leader 宕机后新 Leader 以最新 zxid 为准,保证已提交的写不丢。它提供的是顺序一致性 + 单一视图,不是强一致读——读请求可能落到落后的 Follower,需要强读时用 sync。
Iceberg 的 MOR 与 COW:Iceberg 采用读合并(Merge-On-Read),新写入与删除以增量文件(数据文件 + 删除文件)记录,查询时按元数据合并。读合并的过程:先读元数据文件与 manifest 定位快照,通过分区裁剪选出相关数据文件,连同删除文件一起读取,在扫描时应用删除并组装成完整结果。好处是写入快、不用重写整份数据;代价是读放大,需要定期做 compaction 合并小文件。