坤电科技 数据开发二面:从数据链路追问到 CDC 中断恢复
- 轮次
- 二面
- 时间
- 2026-11
- 来源
- 牛客网
《面试题目》
- 辛苦你先做个自我介绍。
- 描述一下数据链路:数据从哪些系统过来,经过哪些层,做了哪些处理,最终如何产出缺陷率、测试覆盖率等指标?
- 你们是如何定义某个指标的?
- 产出的这份数据你们怎么使用?
- 你觉得在这套链路里面,最核心的表是什么?
- 如果没有一张核心表,怎么做重点维护?
- 业务方最经常用的是哪个表?
- 如果有一个 CDC 任务中断两个小时之后恢复,你怎么保证数据不丢?
- 时区零点偏移问题是怎么产生的?会造成什么影响?怎么解决?后续如何持续保障?
- 使用事件时间写入会出现时间分布不均匀、日志量不均匀,进而引发数据倾斜,怎么处理?
- HDFS 存储下降怎么核算的?量级是 TB 级还是 PB 级?
- 你使用 AI 的频率高吗?它对写论文有帮助吗?老师怎么保证学生写论文不是全部依靠 AI?
- 你自己做过 AI Agent 吗?怎么做的,整体思路是什么?
- 你有什么问题想问我?
《参考解析》
数据链路要按「源—层—指标—消费」四段讲:源系统(业务库、埋点、测试平台、缺陷系统)→ 接入层(CDC、日志采集、接口同步)→ 明细层与汇总层(清洗、去重、维度关联、口径统一)→ 指标层(缺陷率 = 缺陷数 / 有效用例数或需求数,测试覆盖率 = 已覆盖用例 / 全部用例)→ 消费层(报表、看板、告警、下游接口)。每一段说清楚「谁写入、按什么粒度、多久一次、失败怎么补」,比罗列组件名更能体现你懂链路。指标定义要给出分子分母、统计周期、去重规则、口径变更记录,面试官问「怎么定义一个指标」时,答「先定业务问题,再定口径,最后定变更流程」是得分点。
核心表与重点维护:核心表通常是「事实明细表 + 维度表」里被下游引用最多的那张,判断依据是下游任务依赖数、查询频次与口径唯一性。没有单张核心表时,重点维护的做法是给关键表打上责任人、SLA、血缘与质量规则,对高频查询的表做汇总层与物化视图,对多表口径不一致的地方建「指标字典」把口径收敛到一处,并用调度依赖图找出「被引用最多的节点」优先保障。
CDC 中断两小时怎么保证不丢:先看 CDC 的位点(binlog 位点、GTID、Kafka offset)是否持久化,恢复时从上次提交位点续读,而不是从当前时间开始;其次确认中断期间源库的 binlog 保留时长是否覆盖两小时(MySQL 默认过期时间常被忽略,这是最常见的丢数原因);再对目标侧按主键做幂等写入(upsert 或按版本号覆盖),并用「源表行数 / 校验和」与目标表对账;最后补一段回刷任务,把中断窗口的数据重放到下游汇总层,重放完成后才恢复增量。落地时把「位点监控 + 延迟告警 + 对账任务」三件套做进调度,而不是靠人工发现。
时区零点偏移与数据倾斜:零点偏移通常来自「事件时间按 UTC 存储、报表按本地时区聚合」或者「分区字段用服务器本地时间而数据里是 UTC」,表现为每天的 00:00 附近数据被切到前一天或后一天,跨天的指标(日活、日订单)出现重复或缺失。解决方式是全链路统一时间语义:存储统一 UTC、分区按业务时区(如 Asia/Shanghai)划分、聚合时显式做时区转换,并在写入侧校验时间字段的合法区间;持续保障靠数据质量规则(每日分区行数波动、跨天重复主键检查)与口径文档。事件时间写入导致倾斜,是因为真实事件在时间上不均匀(白天多、夜里少),按事件时间做窗口或分区会让某些分区特别大,处理办法是加盐打散、两阶段聚合、对热点 key 单独拆分,或改用处理时间做分区、事件时间只用于窗口计算。
HDFS 容量核算与 AI 部分:容量核算要回答「原始数据量 × 副本数 × 压缩比 × 保留周期 + 中间表与快照」这几个因子,再给出当前量级(TB 还是 PB)与增速;只说「大概几百 T」而不给算法,容易被追到底。AI 部分面试官真正想听的是「你用 AI 解决了什么具体问题、怎么验证效果」,写论文与 Agent 只是引子:Agent 的整体思路可以按「目标拆解—工具集—状态与记忆—失败重试—评测」讲,并给出一个自己跑通的例子(比如自动汇总面试题、自动生成周报),说明工具调用边界与人工复核点。