老虎国际数据平台开发一面:Iceberg 小文件、数据倾斜与 k 个一组反转链表
老虎国际 数据平台开发 一面
老虎国际数据平台开发一面,前半段围绕 Iceberg(解决 Hive 什么问题、存储架构、小文件产生与合并后如何定位数据)、数据血缘、数据质量监控、大表比对与数据倾斜排查;中间问 YARN 的 ResourceManager 与 NodeManager、Kafka 能否只消费一次;最后是 Python 二维列表赋值坑、SQL 取第二高薪水与「k 个一组反转链表」的思路,并介绍了平台组的分工。