坤电科技数据开发面经:数仓分层、数据血缘与 Spark Shuffle
- 时间
- 2026-11
- 来源
- 牛客网
《面试题目》
- 自我介绍,介绍一下实习经历。
- 你平时怎么读取需求文档?文档长什么样?
- 埋点数据都埋在哪些位置?
- 数仓分层开发时,怎么配置任务调度和资源?
- 项目中如何使用数据血缘?平台是自动生成血缘吗?
- 多个上游任务依赖时,调度逻辑是怎样的?上游任务慢怎么处理?
- 埋点和指标数据的数据清洗怎么做?
- 介绍一下你们项目的数据分层模型,每层的作用是什么?一共多少张表?
- 项目做了哪些存储和性能调优?ORC 和 Parquet 怎么理解?
- 介绍 Spark 的宽窄依赖、Shuffle,Shuffle 为什么是性能瓶颈?
- 算法题:最大乘积子数组。
《参考解析》
-
怎么读需求文档:先确认指标口径(分子分母、时间窗口、去重维度),再看数据源和更新频率,最后确认产出形式(宽表、报表还是接口)。口径不清就直接问,比做完返工便宜。
-
埋点位置:页面曝光、点击、页面停留、表单提交、接口调用与异常,客户端和服务端各埋一部分。客户端埋点覆盖交互,服务端埋点保证结果准确,两边用统一的用户标识和事件 ID 对齐。
-
调度与资源:按分层设定调度周期和依赖,ODS 同步 → DWD 清洗 → DWS 聚合 → ADS 产出;资源按任务的重要性和数据量分组(关键链路高优先级队列),错峰跑批。要能说出「依赖怎么配、失败怎么重跑、资源怎么隔离」这三件事。
-
数据血缘:表级血缘用于变更影响分析,字段级血缘用于排查指标异常。多数平台靠解析 SQL 自动生成,解析不到的部分(脚本、外部导入)要手工登记;血缘不准时最典型的后果是改了一个上游字段,下游几十张表静默出错。
-
上游慢任务:先看关键路径上是谁在拖,做依赖分级和超时告警,能并行的拆并行,能预聚合的提前算;实在来不及就降级——先出核心指标,非核心延后,并显式标注数据未就绪,而不是让下游读到半截数据。
-
数据清洗:去重(同一事件重复上报)、补全(维度缺失回填)、过滤(测试流量、爬虫、异常值)、标准化(时间时区、枚举值统一)、校验(主键唯一、金额非负、外键存在)。清洗规则要可回溯,脏数据落一张隔离表而不是直接丢。
-
分层模型:ODS 原始层保留贴源数据,DWD 明细层做清洗和维度关联,DWS 汇总层按主题做轻度聚合,ADS 应用层直接服务报表和接口。层数不是越多越好,小团队三层也够,关键是每层职责清晰、不跨层取数。
-
ORC 与 Parquet:都是列式存储。Parquet 更通用、生态支持广,嵌套结构友好;ORC 压缩率和谓词下推在 Hive 体系里表现好,支持更细的索引。选型看引擎和团队习惯,同一份数据不要混着存。
-
宽窄依赖与 Shuffle:窄依赖是一个父分区只对应一个子分区,可以在同一 stage 内流水线执行;宽依赖需要跨分区重新分发数据,触发 Shuffle。Shuffle 是瓶颈是因为要落盘、走网络、做排序和聚合,数据量大时磁盘 IO 和网络成为主要成本,还可能数据倾斜。优化手段是减少 Shuffle 次数、用 broadcast 替代 join、调整分区数、处理倾斜 key。
-
最大乘积子数组:同时维护以当前元素结尾的最大值和最小值,因为负数乘负数会翻正,遇到负数时交换两者再更新,O(n) 时间。