光轮智能 Data Infra 二面:指标口径对齐、NL2SQL 多 Agent 校验与百亿级文件治理
- 轮次
- 二面
- 时间
- 2026-11
- 来源
- 牛客网
《面试题目》
- 自我介绍。预计什么时候毕业?拿到 offer 能否提前实习、能实习多久?倾向的工作地点?
- 不同团队同名指标口径不一致,你如何对齐口径?
- 不同团队对指标定义各有诉求(例如 GPU 利用率),你最终如何定义、拉齐指标?
- 如果业务方修改核心指标定义、要求全量更新存量历史数据,如何评估影响面?如何利用血缘定位下游?
- 是否不会直接覆盖历史数据?是否会做数据快照?
- 大表关联容易出现数据倾斜,你如何治理?
- 用户提出自然语言取数需求时,Agent 如何确定查询哪张表?
- 如果 Agent 生成的 SQL 执行报错,你怎么处理?
- 自然语言转 SQL 不可避免会生成不符合业务的 SQL,你如何解决?
- 多 Agent 互相校验的触发条件是什么,如何控制成本?
- 写 SQL 的 Agent 和审核 Agent 之间如何传递上下文?
- 如果要管理百亿级视频、点云这类非结构化文件,你会怎么设计?
- Agent 生成全表扫描 SQL、把数据库资源打满,你怎么防范?
- 加盐打散会增大数据量、打满 IO,超大表场景下如何优化?
- 了解 Hive 吗?如果在 Hive 上做这套优化,落地步骤是什么?
- 你有什么想问的?
《参考解析》
指标口径怎么对齐:靠制度而不是靠沟通技巧。每个指标建一条口径文档:业务含义、计算公式、统计粒度、时间口径(自然日/交易日、时区)、数据来源表与字段、过滤条件(是否含测试单、退款单)、负责人与变更记录。建表时把定义写进字段注释与数据字典,开发前与相关团队过一遍,差异点当场标注。GPU 利用率这类天然多义的指标更是如此——按卡按时间加权还是按任务峰值、是否含空闲卡,不同口径能差一倍。做法是「主口径 + 可选口径」:选最贴合大多数业务场景的那一个作为主口径对外唯一发布,其余作为带标注的附加字段并存,让使用者自己换算,而不是强行统一到某一个团队的习惯。
改核心指标定义的影响面评估:先确定要改的字段属于哪一层,再用血缘图向下游扩散。下游是视图就只改上游;下游是独立落表的,要按换算逻辑重写;只改字段定义需要重算历史,单纯新增字段不需要重写。重算时复制一份数据出来更新、保留原始数据一个周期以便回退,依托平台快照能力定期维护,不直接覆盖线上历史。评估要给出三件事:受影响的下游任务与报表清单、重算的时间与资源成本、切换窗口与回滚方案;缺任何一个都会被追问。
倾斜治理与加盐的代价:常规手段是提前在 ODS 清洗重复与空值降低量级、探查 key 分布后对热点加盐、热点逻辑单独拆出、调整并行度匹配资源。但超大表上加盐会把数据量放大数倍、Shuffle IO 打满,这时应改用「分区 + 分桶」把关联数据预组织到相近的分区与桶内,在分区内部完成计算后再传输,必要时把任务拆批计算再合并结果。Hive 上的落地步骤:建表时按业务日期分区、按 Join key 分桶(桶数与文件大小匹配),写入时 DISTRIBUTE BY ... SORT BY ... 或开 hive.enforce.bucketing,Join 时保证两边桶数成倍数关系以走 MapJoin 或 bucket map join;同时开 map 端聚合与小文件合并。湖格式(Iceberg)在元数据裁剪与隐藏分区上更省事,但分桶思想一样适用。
NL2SQL 的选表与校验:选表不能只靠向量相似度。做法是按业务域拆分 Agent(每个域知道自己那几张表与口径),路由层根据问题选域,再由域内 Agent 结合表注释、字段注释、指标口径文档与历史查询样例做检索与重排,最后让模型在候选表里选并给出理由;低置信度时反问用户而不是硬猜。SQL 报错的处理是「限定边界 + 失败可回退」:Agent 只做查询、不直接改数据,提前限定可用表与权限、设置超时与扫描行数上限,先在测试环境或样本数据上验证逻辑再放行;线上报错时熔断链路、读日志修正 SQL 或转人工。
多 Agent 互审的成本控制:默认先执行生成 SQL,执行失败或校验规则不通过才触发审核 Agent,避免每轮都双跑;也可以设最大校验轮次,超过转人工。上下文传递要结构化:写 SQL 的 Agent 输出标准化的 SQL 与它引用的表/字段/口径说明,审核 Agent 拿到这些加上知识库做权限、口径、语义合理性检查,输出可执行 SQL 与修改理由,而不是把整段对话原样丢过去。
百亿级非结构化文件:文件本身不进数据仓库,进对象存储(按业务与时间分桶,冷热分层),数据库里只存元数据:文件 ID、业务标签、采集时间、来源设备、大小、校验和、存储路径、关联的业务主键。检索走标签与向量索引(视频抽帧特征、点云降采样特征入向量库),用 Iceberg 或 Hive 管理元数据表以支持分区裁剪与快照。要设计生命周期(热存 → 冷存 → 归档/删除)、去重(内容哈希)、以及「文件与标签不一致」的巡检。全表扫描的防范:查询侧强制分区谓词、限制单次扫描的分区数与字节数、给 Agent 单独的低权限账号与资源组、慢查询熔断。