熙牛医疗 数据开发实习一面:数据治理、数仓建模与 SQL 口头作答
- 轮次
- 一面
- 时间
- 2026-11
- 来源
- 牛客网
《面试题目》
项目与动机
- 先做个自我介绍。
- 上一段实习了多久,为什么只有两个月?
- 上一段实习离学校很远,为什么去那里实习?
- 你们部门多少人,你的角色是什么?
- 你说的 285 个目录,审核标准是谁定的?
- 不合规的目录怎么处理,闭环怎么走?
- 三源台账比对,具体是哪三个来源,怎么比?
- 你怎么看待偏治理、偏文档这类工作?
数据治理概念
- 数据源、元数据、数据血缘分别是什么?
- 你们做数据治理,具体治理的是什么问题?
- 数据质量怎么衡量,有没有指标?
- 口径不一致怎么处理,举个例子。
- 业务部门不配合整改怎么办?
- 数据标准、数据目录、元数据这三者是什么关系?
数仓与建模
- 事实表和维表有什么区别?
- 举个例子,医院场景里哪个是事实表?
- 缓慢变化维了解吗?有几种类型?
- 星型模型和雪花模型的区别是什么?
- 为什么要分 ODS / DWD / DWS / ADS 四层?
- ODS 层要不要做清洗?
- 拉链表是什么,什么场景下用?
- 一个表有 108 列,你怎么处理?
SQL 手写(口头作答)
- 统计 2026 年 10 月各科室的就诊人次和就诊人数。
- 在上面的基础上,只要人次大于 100 的科室。
- 用一行输出「已就诊人数」和「总人数」两列。
- 要输出所有科室,10 月没有就诊的显示 0。
- where 和 having 的区别是什么?
- 窗口函数是什么?row_number、rank、dense_rank 的使用场景有什么区别?
大数据组件
- Hadoop 三件套分别是什么?
- HDFS 上一个 500MB 的文件怎么存,块多大,几个副本?
- Hive 内部表和外部表的区别是什么?
《参考解析》
数据源、元数据与数据血缘:数据源是数据的产生地,包括业务库、日志与埋点、第三方接口、文件与手工报表;元数据是描述数据的数据,通常分三类——技术元数据(表结构、字段类型、分区、存储位置、任务依赖)、业务元数据(指标口径、业务含义、责任人)、管理元数据(权限、生命周期、质量规则);数据血缘是表与字段之间的上下游加工关系,由解析 SQL 或采集执行计划得到,能落到表级与字段级。三者的关系是:元数据是底座,血缘是元数据之上的关系图。血缘的实际用途有三块:变更影响分析(改字段前先看下游有哪些任务和报表)、故障定位(报表异常时沿上游回溯到第一个出错节点)、成本与冗余治理(识别无人使用的表和重复加工链路)。
数据质量怎么衡量:常用六个维度——完整性(非空率、关联缺失率)、唯一性(主键与业务键重复)、准确性(与权威源比对、值域校验)、一致性(跨表同一指标是否相等、明细与汇总是否对得上)、及时性(分区产出时间与延迟)、有效性(格式、枚举、业务规则)。落地方式是在各层配置稽核规则:空值率与波动率阈值、环比突变、主外键一致性、枚举越界、金额勾稽,产出质量分并按表与主题域汇总,异常进告警工单并绑定责任人。只报「质量分」而不给失败明细与影响范围,业务侧不会认。
口径不一致与业务不配合:先定位口径定义在何处(指标字典、元数据、还是某个人的口头约定),再比对四件事:过滤条件(是否含退款、是否只算有效账户)、时间窗(自然日还是账期、时区)、去重键(按订单还是按用户)、维表关联方式(内连接会丢未匹配数据)。找到差异项后用同一份数据双跑验证,把结论固化成指标定义并由业务确认 owner,而不是每次争议重新算一遍。业务部门不配合整改时,把问题翻译成业务后果(报表对不上会影响结算、错误口径会影响考核),给出整改成本与替代方案,并通过制度层(发布流程、指标准入)把校验前置,靠个人催办无法持续。
事实表、维表与分层:事实表记录业务过程的可度量事件,行多列少,带维度外键与度量值;维表描述实体属性,行少列多,用于过滤与分组。医院场景中,就诊记录、挂号、收费明细、检验报告是事实表;患者、科室、医生、药品、时间、机构是维表。星型模型是事实表直接连一组不再规范化的维表,join 层级浅、查询快、易理解;雪花模型把维表继续拆成规范化的子维表(科室 → 院区 → 城市),省存储、口径更清晰,但 join 多、查询复杂。通常以星型为主,只对大维表做适度雪花。分层的目的在于职责单一与可回溯:ODS 贴源保留原始结构与增量;DWD 做清洗与规范化(去重、空值处理、维度退化、一致性维表);DWS 按主题与粒度轻度汇总;ADS 面向报表与接口。ODS 原则上不做业务清洗,只做技术处理(类型统一、编码转换、分区、脱敏、去重);提前做业务清洗会丢掉原始证据,口径变更时无法复算。
缓慢变化维与拉链表:SCD1 直接覆盖,不保留历史,实现最简单但无法回溯;SCD2 新增一行并用 start_date、end_date 与当前标志保留版本,能回答「某时刻的状态」;SCD3 增加一列「上一版本值」,只保留有限历史。拉链表是 SCD2 在 Hive 场景的落地:每条记录带 start_date 与 end_date,未失效记录的 end_date 取极大值(如 9999-12-31);更新时把旧记录的 end_date 改为变更日前一天并插入新记录,查询某日快照用 start_date <= dt and end_date >= dt。适用场景是数据量大、变更不频繁又需要历史回溯的实体,如用户、商家、商品、账户。注意点是分区表按变更日增量合并而不是全量重写、开链闭链保证不重叠不空洞、与事实表关联时按业务日期取对应版本。
SQL:人次、人数与补零:人次是行数,人数是去重患者数:
SELECT d.dept_name,
COUNT(*) AS visit_cnt,
COUNT(DISTINCT v.patient_id) AS patient_cnt
FROM visit v
JOIN dept d ON d.id = v.dept_id
WHERE v.visit_time >= '2026-10-01' AND v.visit_time < '2026-11-01'
GROUP BY d.dept_name
HAVING COUNT(*) > 100;
where 在聚合前过滤行、不能引用聚合函数;having 在 group by 之后过滤分组。能下推到 where 的条件应尽量下推,减少参与聚合的数据量,两者混用时先想清楚过滤的是「行」还是「组」。一行输出「已就诊人数」与「总人数」用条件聚合:
SELECT COUNT(DISTINCT CASE WHEN v.patient_id IS NOT NULL THEN v.patient_id END) AS visited_cnt,
COUNT(DISTINCT p.patient_id) AS total_cnt
FROM patient p
LEFT JOIN visit v
ON v.patient_id = p.patient_id
AND v.visit_time >= '2026-10-01' AND v.visit_time < '2026-11-01';
全科室补零要以科室表为主表左连接事实表,计数写 COUNT(v.id) 而不是 COUNT(*)——后者会把补出来的空行算成 1;时间条件必须写在 on 里,写到 where 会把左连接退化成内连接。窗口函数用于在不改变行数的前提下做组内排名与累计:row_number 同值不并列(1、2、3),rank 同值并列且跳号(1、1、3),dense_rank 同值并列不跳号(1、1、2);取每组最新一条通常用 row_number() over (partition by 键 order by 时间 desc) 再筛 rn = 1。
108 列宽表的处理:先判断问题来源——是查询只需要少数列却 select *、还是表本身职责过多。优化顺序是:查询侧只取必要列(列式存储下能显著减少 IO);按访问频率与主题做垂直拆分(主表放高频核心字段,扩展属性放子表或 KV);低基数字段用字典编码;冷字段归档到历史表;必要时用宽表模型服务分析场景,但要在 ETL 层明确粒度与更新方式。直接对 108 列做水平拆分通常不是首选,因为业务主键仍是同一个。