光轮智能 Data Infra 一面:数仓分层、加盐打散与 Spark Shuffle
- 轮次
- 一面
- 时间
- 2026-11
- 来源
- 牛客网
《面试题目》
- 请简单自我介绍。
- 介绍 ODS 到 DW 的分层及这样分层的原因。
- 介绍项目中的看板:指标链路与验收指标是什么?
- 项目中 Iceberg 解决了哪些痛点?
- 新增字段后,历史数据怎么处理?
- 小文件怎么处理,为什么要合并?
- 什么是数据倾斜,怎么处理?
- 加盐的流程和弊端是什么?
- 什么是广播小表?什么场景用?
- 做过哪些 DQC 规则?
- 报表产出基线如何保障?
- 基线各环节的最晚产出时间怎么定?
- 介绍 Spark 与 MapReduce,重点讲 Shuffle。
- 如何减少大任务的 Shuffle 数据量?
- 能否提前实习?职业规划是什么?是否了解我们公司?
- 你有什么想问的?
《参考解析》
数仓分层与指标链路:ODS 保留原始埋点与业务库快照,DWD 做清洗、去重、维度关联形成明细宽表,聚合层(DWS)按业务维度预聚合,ADS 面向看板与接口出结果表,维度表单独维护。分层的原因是解耦(上游表结构变化只影响相邻层)、复用(一份明细支撑多个看板)、可溯源(指标异常能逐层回查)。指标链路要能倒背:从看板上的一个数字出发,说清它来自哪张 ADS 表、由哪些 DWD 明细按什么口径聚合、依赖哪些上游任务与维度。验收指标不是「跑出来了」,而是数据量级是否合理、主键是否唯一、关键字段空值率是否在阈值内、与上游或历史同期对比是否在合理区间,以及产出时间是否满足基线。答不出链路就说明只是写 SQL 的人,这也是面试官反复追问「看板怎么验收」的原因。
Iceberg 与新增字段:Iceberg 用元数据记录 Schema 与快照,新增列是元数据变更,不重写历史数据文件;读取时老文件缺这一列,引擎按列名解析(Iceberg 用 field id 而非列名定位,改名不会错位),缺值按 null 或默认值返回。同理,删除列也只是逻辑删除,历史快照仍能读。这与 Hive 需要重写数据或加分区形成对比。要注意的是:如果新增列需要按新列回溯计算,那还是要跑一次历史重算,这与「元数据演进」是两件事。
数据倾斜与加盐:倾斜是某些 key 的数据量远大于其他 key,表现为少数 task 处理时间远高于同 Stage 的其他 task(Spark UI 里 Shuffle Read Size 与 Spill 明显偏大)。定位:看 Stage 的 task 耗时分布、抽样 key 的计数分布、看 SQL 中 Join 与 groupBy 的 key 基数。治理:热点 key 加盐打散(加随机前后缀 → 局部聚合 → 去盐再聚合)、小表广播(/*+ BROADCAST */,把 BroadcastHashJoin 替代 SortMergeJoin,消掉 Shuffle)、提前在 ODS/DWD 清洗脏数据与空值、按分区与分桶预组织数据、调整并行度与 AQE skew join。加盐的弊端要说透:分片数难定(太小无效、太大产生大量小任务),Join 时对端表通常要按同样规则复制多份,内存与网络开销上升;而且加盐破坏 key 的语义,聚合后必须再去盐合并。超大表场景下更稳的做法是先分区分桶让关联数据落在同一分区内计算,再对剩余热点单独处理。
DQC 与产出基线:DQC 分链路级与表级。链路级看任务是否按时启动与完成、失败是否重试、连续失败是否熔断并告警(飞书/电话)、上游依赖是否就绪;表级看行数波动(环比阈值)、主键重复、关键字段空值与枚举越界、指标值突变(如订单量跌 50%)。规则要配「阻断」与「仅告警」两档,核心表阻断下游、非核心只告警,否则规则一多就没人看。基线保障靠血缘:梳理关键报表的上游链路,避开上游高峰错峰启动,为每个环节定最晚产出时间(基于历史 P90 运行时长加弹性窗口),并对关键路径设预警点;超时后按「资源、倾斜、下游依赖、数据量突增」顺序排查。
Spark Shuffle 与优化:Shuffle 是宽依赖(groupBy、join、distinct、repartition)触发的跨节点数据重分布,写端按分区器落盘(map 端聚合与排序)、读端拉取,涉及磁盘 IO、网络传输与序列化。MapReduce 的 Shuffle 是同一模型的鼻祖:map 输出分区排序落盘、reduce 拉取归并。减少 Shuffle 的手段:能广播的小表广播、能预聚合的先局部聚合(reduceByKey 替代 groupByKey)、用分区表或分桶让 Join 免 Shuffle(bucket join)、合并小文件减少 task 数、只 select 需要的列以减小传输、合理设置并行度避免过多小分区、必要时用 AQE 合并小分区与处理倾斜。