面灵AI→

九方智投数仓二面:Agent 知识库怎么测质量,效果怎么拆模块衡量

轮次
二面
时间
2026-10
来源
牛客网

《面试题目》

Agent 方向

  1. 怎么测试知识库的质量?
  2. 怎样衡量各个模块的效果?

其他

  1. 介绍一下你的科研方向。
  2. 讲一下 Flink 的原理。
  3. 用几个词描述一下自己。

《参考解析》

知识库质量要拆成「料」和「用」两层:料这一层看切分与内容本身——块大小是否把一句话切碎、表格与标题层级有没有丢、同一事实是否存在多个互相矛盾的版本、时效性字段(生效日期、版本号)对不对。用这一层看检索与生成:同一批真实问题,top-k 里能不能命中正确块(recall@k、MRR),命中了模型是否照着答(忠实度)、有没有答到问题之外(上下文相关性),库里没有答案时会不会老实说不知道。没有评测集就谈质量是空的,所以第一步永远是从线上日志和业务方手里抽一百到三百条真实问题,人工标注金标答案与对应块,之后所有改动都在这套集上回归。

模块效果衡量靠「分段归因」而不是只看端到端:端到端指标决定做不做(任务完成率、一次答对率、用户追问率、采纳率、转人工率、单次成本与延迟),分段指标决定改哪里(召回命中、重排后首位命中、生成忠实度、工具调用成功率)。做法是先把链路切成可独立评测的环节,每个环节有自己的离线集与线上埋点;再对单点改动跑 A/B 或灰度,看目标指标涨没涨、有没有把别的指标拖下去。要警惕两类假象:端到端涨了但样本量不够、以及评测集和线上分布不一致——后者在金融问答里尤其常见,问题措辞一变,离线指标就失真。

Flink 的核心是「有状态的流 + 一致的快照」:数据以无界流进入 DataStream 或 SQL 作业,算子可以持有本地状态;事件时间靠 watermark 推进,配合窗口处理乱序与迟到数据;容错靠 checkpoint——JobManager 周期性在流里插入 barrier,算子把状态快照到远端存储,失败后从最近一次快照恢复,配合两阶段提交 sink 做到端到端精确一次。运行时按 slot 划分资源,TaskManager 承载多个 subtask,反压通过输出缓冲与信用机制沿链路回传。落到数仓场景,常见组合是 Kafka 进、双流 join 做宽表、写 Hudi 或 Paimon 落地,真正难的是状态大小与 checkpoint 时长——状态一涨,恢复时间就从秒级变成分钟级,得靠状态过期、RocksDB 调优和增量 checkpoint 压住。

科研方向讲「问题、方法、结果」三段就够:一句话说清解决什么问题、为什么原有方法不行、你做了什么改动、用什么数据验证、指标提升多少。面试官不追细节时不要主动展开公式,但要在结尾留一个可以追问的钩子(比如「主要代价是训练时间翻倍」),把话题引到你熟的地方。

用几个词描述自己,选岗位相关且能被例子支撑的:数仓岗合适的是「结构化」「对口径较真」「能落地」。说完每个词补一个十秒的例证——比如「对口径较真」对应你发现某张报表的两个来源口径不一致、最后统一到 DWD 层。这类题不是考词汇量,是看你能否在很短时间里给出一个自洽的自我定位。