乐享元游复试(数据开发):ODS/DWD 分层、分桶与 Agent 落地效果
- 轮次
- 复试
- 时间
- 2026-10
- 来源
- 牛客网
《面试题目》
- 小米这段 ETL 项目对应的业务场景是什么?ODS 层的原子数据分为哪几类?
- 数据分层是 ODS 直接到聚合层吗?DWD 明细层主要做哪些清洗工作?
- 去重是依靠业务逻辑还是表引擎特性?去重的判断依据是什么?
- ODS 和 DWD 层的存储架构是什么?用的什么平台?
- 建表时重点关注哪些点?分区怎么设计?
- 什么是分桶?分桶的作用是什么?分桶过多或过少分别有什么问题?
- 项目中多表关联是在哪个环节做?举一个关联场景的例子。
- 这套 ETL 流程是实时还是离线?
- 做 AI 检测相关优化,有哪些优化思路和措施?知识库是怎么对接调取信息的?数据怎么对外提供调用?
- 这个 Agent 项目上线了吗?有没有效果反馈?团队规模多大?
- 你理想的数据开发岗位和业务方向是什么?有没有考虑转产品经理?
《参考解析》
分层与清洗:标准四层是 ODS(贴源,原样落地,只做分区与压缩)→ DWD(明细,做去重、脏数据过滤、字段标准化、维度退化、拉链/快照)→ DWS(按主题聚合的宽表)→ ADS(面向报表与应用的结果层)。原帖被追问「是不是 ODS 直接到聚合层」,就是在考有没有真正的 DWD——跳过明细层会导致口径无法复用、问题无法回溯。DWD 的清洗动作要能举例:空值与异常值处理、时间与时区统一、枚举字典映射、金额单位统一、主键去重、以及把 JSON 字段展开成列。
去重依据:优先业务唯一键(订单号 + 业务线 + 日期),而不是靠引擎的 ROW_NUMBER 随便取一条。做法是用窗口函数按唯一键分组、按更新时间取最新,并把重复条数与去重率作为数据质量指标日报出来。依靠引擎特性(如 Doris 的 Unique Key 模型、Hive 的 INSERT OVERWRITE)只是实现手段,判据仍要来自业务。
分区与分桶:分区按时间(天/小时)最常用,目的是裁剪扫描范围、便于按天重跑与生命周期管理;分区字段要选查询必带且基数可控的列,避免小文件过多(按小时分区 + 数据量小就会产生大量小文件,需要合并)。分桶按 hash(分桶键) % bucket 数,作用是让相同键落到同一文件,从而支持桶内 join(bucket map join)与采样,减少 shuffle。分桶过多会产生大量小文件、元数据压力大、task 启动开销高;过少则单桶过大、并行度不足、倾斜无法缓解。
多表关联位置:宽表化放在 DWS,明细关联放在 DWD。举例:订单明细 join 商品维表补充类目,在 DWD 完成;按类目统计 GMV 在 DWS 做;跨主题的漏斗在 ADS 拼。要能说明「维表 join 用 map join 广播小表」「大表 join 大表按分桶键对齐避免 shuffle」这类工程细节。
实时还是离线:多数 ETL 是 T+1 离线(Hive/Spark),核心指标或有实时要求的场景走 Flink 实时链路,两条链路的口径必须由同一份指标定义驱动,否则会出现「离线与实时对不上」。
Agent 与数据服务:AI 检测优化通常指减少误报/漏报(调整阈值、补样本、规则与模型融合)、降低推理成本(批处理、缓存、蒸馏)。数据对外服务走 API 网关(统一鉴权、限流、字段脱敏)+ 指标服务(按指标编号取数,避免每个调用方自己写 SQL)。上线效果要有对比数据:准确率、人工复核量、平均处理时长。没上线就要如实说「还在灰度」,别把 demo 说成生产。