面灵AI→

网易云音乐全栈三面:因子提取、LLM 打分与 Agent 项目怎么评测

轮次
三面
时间
2026-11
来源
牛客网

《面试题目》

  1. 请简单做一下自我介绍。
  2. 介绍一下这个项目整体情况、项目定位。
  3. 这个项目你给自己定了什么目标,有没有量化指标?
  4. 因子是怎么提取、怎么评估的?
  5. LLM 打分高低的关键是什么?
  6. 搭建这套 Agent 系统、优化效果时,遇到的最大挑战是什么,怎么解决的?
  7. 项目有没有做评测,评测标准是什么?
  8. 输出结果打分模块有没有做自动化评测?
  9. 简单介绍一下 Agent 项目。
  10. Agent 目前任务准确率大概多少?
  11. 你有什么想问我的?

《参考解析》

三面只问项目,考察的是「你是否真的想过」:一轮接一轮地追问定位、目标、指标、评测,实质是在验证这个项目是你主导思考的还是照着教程搭的。开场先把定位讲清楚:解决谁的什么问题、在什么场景下用、和替代方案比强在哪。不要一上来讲技术栈。

量化目标必须提前定:没有指标的优化等于没有方向。可用的指标分三层——业务层(节省的人工时长、覆盖率、转化)、任务层(准确率、召回率、F1、人工接管率)、系统层(响应时间、成本、失败率)。回答时说清基线是多少、目标是多少、实际做到多少。如果确实没定过指标,也如实说,并补一句「现在回头看应该怎么定」,比编一个数字安全。

因子提取与评估:因子是能区分样本好坏的中间特征。提取方式有规则(关键词、正则、结构化字段)、统计(频次、比例、分布特征)、以及模型抽取(LLM 或小模型从文本里抽结构化字段)。评估因子要看三件事:区分度(好坏样本在该因子上的分布差异,可用 AUC、IV 值或简单分位数对比)、稳定性(跨批次、跨时间是否漂移)、以及正交性(因子之间是否高度相关,避免重复计分)。流程上是先人工标注一小批样本,再看每个因子的分布,最后用简单模型(逻辑回归)看权重是否符合直觉。

LLM 打分的关键在三处:评分标准要可操作(每一档给明确的判据与示例,而不是「优秀、良好」这种模糊词)、输入要给足证据(把待评内容与参考标准一起给,必要时先抽取要点再评)、输出要结构化且可校验(要求给出分数、理由与引用的原文片段,便于人工复核与统计)。温度设低、多次采样取多数或均值能降低波动。绝大多数「打分不稳定」的问题,根因是标准不清或输入信息不全,而不是模型不行。

最大的挑战通常是「评测与迭代闭环」:Agent 系统的难点不在搭起来,而在每次改提示词或换模型后不知道是变好还是变坏。解法是建一套固定评测集——按任务类型与难度分层抽样、每条有标准答案或判据、跑批自动化、输出对比报表;再配人工抽检纠正评测集本身。有了闭环,优化才有方向。

评测标准与自动化评测:评测标准要写清「什么算对」——完全匹配、关键信息命中、还是人工评分达标;不同任务类型用不同标准。自动化评测的实现方式:规则校验(结构化输出是否符合 schema、数值是否在范围、引用是否存在于原文)、与标准答案比对(精确匹配、编辑距离、语义相似度)、以及用另一个模型当裁判(需要先用人工标注校准裁判的一致性,否则只是把不确定性转移了)。打分模块本身也要评测:拿一批人工打过分的样本,看模型打分与人工的相关系数与偏差分布。

准确率要给出定义:说「准确率 85%」之前先定义分母——是所有请求还是只算成功解析的请求、是否包含拒答、样本怎么抽的。最好给出分层结果(简单任务 95%、复杂任务 70%)与失败案例的类型分布。这比一个笼统的数字更能说明你理解系统边界。

反问环节:三面通常是主管或跨部门负责人,适合问团队当前最重要的目标、这个岗位在前三个月要交付什么、以及团队怎么看 AI 在业务里的定位。