满帮数据分析面经:数仓分层、Spark 调优、两道 SQL 与决策树
- 时间
- 2026-10
- 来源
- 牛客网
《面试题目》
- 自我介绍。
- 数仓分几层?
- ODS 层数据怎么产出?
- 用的是 SQL on Spark 还是原生 Spark?写过原生 Spark 吗?
- 解释一下 MapReduce 原理。
- 什么是数据倾斜?怎么解决?
- Spark 任务性能优化有哪些方式?
- SQL 题一:有 uid、页面、访问时间三列,求每个用户每个页面的访问次数,以及每个用户访问最多的页面。
- SQL 题二:基于访问明细生成 session_number,间隔大于 10 分钟算一个新 session。
- 解释决策树,以及决策树回归。
- 多树集成算法有哪些?投票方式是什么?
- GBDT 怎么做预测?
- 项目里有没有做过机器学习预测?
- 你怎么用大模型?解决了什么业务问题?RAG 知识库怎么构建?
- 实习能保证的节奏、可接受的工作地点、老家在哪?
- 反问:满帮数据分析的工作内容和面试轮次?
《参考解析》
数仓分层答 ODS→DWD→DWS→ADS,外加一张 DIM。ODS 贴源、只做抽取和字段对齐,不做清洗;DWD 做清洗、去重、维度退化,一行一个业务事件;DWS 按主题做轻度聚合(人、货、车、线路这些粒度);ADS 直接面向报表和看板。分层不是为了好看,是为了三件事:口径只在一层定义、上游变更不至于穿透到报表、以及同一份明细能被多个主题复用。被追问「为什么不能直接从 ODS 出报表」时,就从这三条答。
ODS 怎么产出,取决于源库压力:业务库走 CDC(Canal/Debezium 订阅 binlog,或 Flink CDC 直接读)拿增量,落 Hive 按 dt 分区,保留原始字段和抽取时间;量小或源库不让订阅的走 DataX/Sqoop 抽全量快照。这里会追问「全量和增量怎么合并」——要么每天一份全量快照(存储换简单),要么增量 merge 成拉链表(存储省、查当前态要额外一步)。ODS 层不要做类型转换和去重,否则回溯问题时原始数据就没了。
SQL on Spark 和原生 Spark 的差别,本质是「谁替你决定执行计划」。Spark SQL 走 Catalyst 优化器 + Tungsten 代码生成,能自动做谓词下推、列裁剪、join 重排、AQE 动态合并分区;写 DataFrame/Dataset API 还能吃到这些优化,写 RDD 就全是自己控制。面试官问这个,多半是想确认你知不知道 groupBy 背后是几次 shuffle、repartition 和 coalesce 什么时候用哪个。MapReduce 就答 map→shuffle(分区、排序、combine)→reduce,以及它为什么慢:每个阶段都落盘、没有 DAG 复用,Spark 的改进是把中间结果尽量留在内存并用 DAG 串起多个 stage。
数据倾斜要先说现象:同一个 stage 里少数 task 跑了几十分钟、多数几十秒,shuffle read 分布极不均匀。定位靠看 key 的分布(大 key 占比)和 task 时长分布。解法分场景:聚合类倾斜用加盐两阶段聚合(先给热点 key 加随机前缀局部聚合,再去前缀全局聚合);join 类倾斜如果小表能放下就广播成 map join,大表对大表则拆出热点 key 单独处理;通用手段是提高并行度、开 AQE 的 skew join。Spark 调优按代价从低到高说:分区裁剪和列裁剪、换 ORC/Parquet 加压缩、广播小表、控制 shuffle 分区数、避免不必要的 distinct 和笛卡尔积、Kryo 序列化、最后才是内存和 GC 参数。
第一道 SQL 是两段:先 group by uid, page 数出次数,再用 row_number() over (partition by uid order by cnt desc) 取 1。要主动补一句并列怎么处理——业务要「并列全留」就改用 rank() 再筛 rk = 1;只留一条就用 row_number(),但 order by 里得补一个 tie-breaker(比如页面 id),否则同一份数据跑两次结果可能不一样。
第二道 SQL 的标准写法是一次窗口扫描:lag(visit_time) over (partition by uid order by visit_time) 取上次访问时间,算差值,超过 10 分钟标记 1,再对这个标记做 sum() over (partition by uid order by visit_time) 累加,得到的就是 session_number。坑有三个:同一秒多条记录要先去重或加 tie-breaker,否则 lag 的顺序不稳定;跨天要按用户而不是按日期重开;时间差用秒还是分钟要统一。用「回表按时间区间匹配」也能做,但那是 O(n²) 的思路,Spark 上会直接炸。
决策树:按特征逐层划分子集,分类树用信息增益/增益率/基尼系数选分裂点,回归树用平方误差的下降量,叶子输出该组样本的均值。要提一句剪枝和深度限制,否则单棵树必然过拟合。多树集成分两大流派:Bagging 的随机森林(样本+特征双随机,分类多数投票或概率平均,回归取均值),Boosting 的 GBDT(每棵树拟合上一轮的负梯度,预测是所有树输出按学习率累加,分类再过 sigmoid)。GBDT 怎么做预测这问就是考「累加」两个字:F(x) = F0 + lr × Σ tree_i(x),F0 是初始值(回归是均值,分类是对数几率),所以它天然是串行的、不能像 RF 那样并行建树。
大模型那问要落到业务:知识库问答的链路是文档解析→切分(按语义而不是固定长度)→embedding→向量库→召回 top-k→rerank→拼 prompt 并要求带引用→答案评测。真正决定效果的往往不是模型,而是切分粒度和评测集:没有一批标注好的「问题-正确出处」,调参就是盲调。
反问透露的信息值得记:这个岗位在风控方向,做货运资金链路的黑产识别,日常包括专题指标分析、规则策略、风控模型、AI 研判、处置阈值分析和图计算团伙挖掘。所以前面那些数仓和 SQL 题不是通识考察,是要你上手就能从运单和资金流水里把异常团伙捞出来——图计算和阈值设计那块,值得在面试前想一想。