快手数据开发面经:湖仓一体、Spark 数据倾斜与连续登录 SQL
- 时间
- 2026-10
- 来源
- 牛客网
《面试题目》
- 请简单做个自我介绍。
- 做数据爬虫会遇到什么问题?反爬机制严重吗?验证码这类怎么处理?
- 数据清洗怎么做?
- 项目做了湖仓一体,介绍一下,面向什么业务?
- 数据来源是什么?
- 数据采集完之后怎么给到你们?
- 数据量大概是什么规模?
- 你觉得 Iceberg 对比 Hive 的优势是什么?
- Hive 也能存大量数据,性能差距在哪?
- 项目落地过程中最大的挑战是什么,怎么解决?
- 有没有改进思路?
- 聊下大表 Join 的数据倾斜,热点 Key 加盐打散怎么做?
- 怎么在 Spark UI 定位异常 task?
- SQL 经过优化器优化,原始 SQL 和执行计划不一样,多处 Join 的时候怎么定位是哪一处 Join 出问题?
- 定位到倾斜 Key 之后怎么修改 SQL?举个例子,A 表和 B 表 Join,A 表 id 倾斜。
- A 表 id 加后缀之后,B 表 id 没有后缀,匹配不上,B 表怎么处理?
- 另一种思路,A 表拆成十份,B 表也拆成十份,小份之间 Join,这个思路怎么实现?
- ORC 和 Parquet 压缩、分桶了解吗?
- ORC 和 Parquet 区别是什么?
- 开启 AQE 主要作用是什么?
- 你觉得自己设置分区比 AQE 自动设置性能更高,高的点在哪?
- Flink、ClickHouse 这些了解程度怎么样?
- 写 SQL:一张表有 user_id、登录日期,写出 SQL 找出连续七天登录的用户 id。
- 算法题:再说说链表反转。
《参考解析》
Iceberg 对比 Hive 的优势:Hive 表本质是 HDFS 目录加分区目录,查询计划依赖 metastore 加文件 listing,文件级统计很少,提交靠 rename,做不到快照隔离和原子覆盖。Iceberg 用 metadata.json → manifest list → manifest 三层元数据记录每个数据文件的 min/max、null 数、行数,规划阶段就能裁剪文件、不用扫目录;写入通过新快照原子提交,支持 ACID、时间旅行、增量读、隐藏分区和分区演进,而且引擎无关(Spark、Flink、Trino 共用一套表)。所谓性能差距,主要来自规划阶段的文件裁剪与避免 listing,以及写入时不用大量小文件 rename。
Spark 数据倾斜的定位:进 Spark UI 的 Stage 详情看 task 分布,倾斜的典型特征是少数 task 的 Shuffle Read Size、Spill、Duration 远高于中位数,甚至把 executor 打挂。结合 SQL 的 explain 找到 Join/GroupBy 的 shuffle 边界,再抽样看 key 的分布确认热点值。定位到热点 key 之后有三类改法:热点 key 加随机后缀、小表按后缀膨胀后 Join,聚合完再去后缀;拆成大 key 单独处理,其余走正常链路;两阶段聚合,先局部聚合再全局聚合。AQE 的 skew join 也能在运行时把大分区拆开,但前提是统计信息准确、倾斜发生在 shuffle 之后。
加盐后 B 表匹配不上怎么办:A 表热点 id 加 0 到 N-1 的后缀,B 表(通常是小表或维表)要复制 N 份、每份打上对应后缀再 Join,这样每个后缀都能匹配到一份;Join 完把后缀去掉再做一次聚合。代价是 B 表膨胀 N 倍,所以只对真正热点的那几个 key 做,不要全表加盐。另一种拆十份的思路是 range/哈希重分区:A、B 都按 id 的哈希对 10 取模写成 10 个分片,同名分片之间 Join,把单点压力摊到 10 个 task;实现上可以先加一列 pmod(id, 10) 作为分区键,再按这个键分桶写临时表,或者用 repartition(10, col) 后分别处理。
ORC 与 Parquet:两者都是列式存储,按行组切分、列内做编码和压缩。ORC 的统计信息和索引更强,文件、 stripe、行组三级都有 min/max 与布隆过滤器,压缩通常用 ZLIB/ZSTD,Hive 生态原生支持;Parquet 的嵌套结构支持更完整(Dremel 编码),Spark、Presto、Arrow 生态更广,压缩可选 Snappy/GZIP/ZSTD。选择主要看查询引擎和团队栈,同等压缩算法下两者差距不大;分桶则是按分桶键哈希把数据切成固定数量的文件,用来避免 shuffle、做 bucket join,和文件格式是两件事。
AQE 的作用与手动分区的取舍:AQE 在 shuffle 之后用真实统计做三件事:合并过小的 shuffle 分区、把倾斜的大分区拆开、在 sort-merge join 与 broadcast join 之间动态切换。它解决的是静态预估不准的问题,适合数据分布不稳定、SQL 由多方拼接的场景。手动设置分区数在两种情况下更好:一是对数据量和分布非常了解,能一次把分区定到合适大小,省掉 AQE 的运行时代价;二是分区键本身有业务含义,按业务键分区还能顺带裁剪。代价是数据量涨了要人工调,估错就会小文件过多或单分区过大。
连续七天登录 SQL:先去重出用户每天的登录记录,再用「日期减行号」把连续区间分成同一组,最后按组计数。核心写法:
WITH t AS (
SELECT DISTINCT user_id, login_date FROM user_login
),
g AS (
SELECT user_id, login_date,
date_sub(login_date, row_number() OVER (PARTITION BY user_id ORDER BY login_date)) AS grp
FROM t
)
SELECT user_id
FROM g
GROUP BY user_id, grp
HAVING COUNT(*) >= 7;
注意 login_date 要先转成日期类型并去掉时分秒,同一天多次登录必须 DISTINCT,否则行号会把一天拆成多行、连续区间算错。
链表反转:迭代法用三个指针 prev、curr、next,逐个把 curr.next 指向 prev,然后整体后移,时间 O(n)、空间 O(1);递归法是先反转后面的链表再把当前节点接到末尾,代码短但递归深度等于链表长度。面试里优先写迭代,顺手说明边界:空链表、只有一个节点、反转后要返回新的头节点。