面灵AI→

阿里云数据开发复试:数仓分层、数据倾斜与任务稳定性

轮次
复试
时间
2026-11
来源
牛客网

《面试题目》

  1. 讲一个你负责的数据项目,从数据源到应用层的完整链路是什么?
  2. 为什么要分层?ODS、DWD、DWS、ADS 各自解决什么问题?
  3. 维度建模里星型和雪花怎么选?缓慢变化维怎么处理?
  4. 离线与实时链路怎么选?Lambda 和 Kappa 架构的取舍是什么?
  5. 一条 SQL 跑得很慢,你怎么定位和优化?
  6. 数据倾斜是怎么产生的?有哪些解决办法?
  7. 任务经常延迟,怎么保证 SLA?调度依赖出问题怎么办?
  8. 上游数据质量有问题,怎么尽早发现、怎么止损?
  9. 同一指标在两个报表里对不上,怎么排查?
  10. 百万级数据导出,怎么避免 OOM 和超时?
  11. 数据权限与脱敏怎么做?
  12. 你怎么衡量一个数据项目的价值?

《参考解析》

分层的目的不是规范好看,而是隔离变化与复用。 ODS 保留原始数据、便于回溯;DWD 做清洗与规范化(去重、字段统一、维度补全),是最重要的明细层;DWS 按主题做轻度聚合,供多个应用复用;ADS 面向具体报表或接口做定制。分层带来的代价是存储与链路变长,所以小团队不必机械照搬,但「明细与聚合分离、公共口径沉淀在中间层」这两条要守住。回答时结合自己的项目说明哪一层解决过什么具体问题(比如上游字段变更只改 DWD,不改下游几十张报表)。

星型与雪花:星型把维度打平、冗余存储,查询时 join 少、性能好,是数仓主流;雪花把维度规范化,节省存储但 join 多、维护复杂。缓慢变化维常用三种:类型 1 直接覆盖(不保留历史)、类型 2 加版本与生效时间(保留历史,最常用)、类型 3 加当前值与上一个值(只保留有限历史)。选择取决于业务是否需要按历史维度回溯。

离线与实时:离线适合全量计算、复杂加工、对时效要求不高的场景,成本低、口径稳定;实时适合监控、风控、实时推荐等分钟级需求,成本高、状态与乱序处理复杂。Lambda 同时维护批与流两套链路,口径容易不一致;Kappa 只用流、把历史数据也当流重放,架构简单但对存储与流处理能力要求高。实际项目常见的是「流式预处理 + 离线校准」的混合方案。

SQL 优化:先看执行计划(分区裁剪、是否走索引、join 顺序、数据量),再看是否全表扫描、是否有笛卡尔积、是否重复计算;常见手段是分区过滤、列裁剪、提前聚合、小表广播、避免在 join 条件上用函数、控制并行度。数据倾斜表现为少数 task 处理的数据量远大于其他 task,解决方式包括:对倾斜键加随机前缀打散后再聚合、把大表与小表改为 map join、拆分热点键单独处理、调整并行度与内存参数。定位靠任务的反压与各 task 的输入输出量,而不是凭感觉加资源。

SLA 保障:给每个任务定基线完成时间与优先级,关键链路单独队列与资源组;监控任务开始时间、耗时、产出表的分区是否就绪;依赖失败时先判断是上游延迟还是自身问题,必要时用上一周期数据兜底并标记。大促前做容量评估与压测,把最坏情况下的资源预留出来。

数据质量:分层设卡——接入时校验行数、主键唯一性、空值率、枚举值范围;加工后校验指标波动(同比、环比超出阈值告警);对外输出前做一致性校验。发现问题先止血(阻断下游、回滚分区),再定位(对比上游变更、代码发布、数据源异常),最后补数据并复盘。质量规则的覆盖率和告警的准确率要定期复盘,否则规则会形同虚设。

指标对不上:按「口径—数据源—加工逻辑—时间范围」四层排查。先确认两边对指标的定义是否一致(是否含退款、是否去重、时区与截止时间),再确认数据源是否同一张表,然后比对加工链路(过滤条件、join 方式、维度关联),最后检查分区与跑批时间。大部分不一致来自口径和时间边界,而不是数据错误。

百万级导出:不要一次性查全量再写文件。做法是分页或游标流式读取、边读边写、控制批量大小;导出走异步任务,前端拿任务 ID 轮询或推送结果;文件写对象存储并给临时下载链接;对超大导出做列裁剪与压缩。JVM 侧避免把结果集全部放进 List,使用流式 ResultSet 或分批查询,同时限制并发导出数,防止拖垮数据库。

权限与脱敏:按库表列授权,敏感字段(手机号、身份证、地址)在出口统一脱敏,脱敏规则集中管理而不是散落在各 SQL 里;访问留审计日志;对外提供数据时用视图或数据服务,不直接开表权限。

项目价值:不要只讲「做了多少张表、多少条任务」。讲清楚它支撑了什么决策或业务动作、节省了多少人力、把某个指标从多少提升到多少、下游有多少方在用。数据项目的价值最终体现在使用方,而不是产出量。