网易云音乐全栈三面:因子提取、LLM 打分与 Agent 项目怎么评测
- 轮次
- 三面
- 时间
- 2026-11
- 来源
- 牛客网
《面试题目》
- 请简单做一下自我介绍。
- 介绍一下这个项目整体情况、项目定位。
- 这个项目你给自己定了什么目标,有没有量化指标?
- 因子是怎么提取、怎么评估的?
- LLM 打分高低的关键是什么?
- 搭建这套 Agent 系统、优化效果时,遇到的最大挑战是什么,怎么解决的?
- 项目有没有做评测,评测标准是什么?
- 输出结果打分模块有没有做自动化评测?
- 简单介绍一下 Agent 项目。
- Agent 目前任务准确率大概多少?
- 你有什么想问我的?
《参考解析》
三面只问项目,考察的是「你是否真的想过」:一轮接一轮地追问定位、目标、指标、评测,实质是在验证这个项目是你主导思考的还是照着教程搭的。开场先把定位讲清楚:解决谁的什么问题、在什么场景下用、和替代方案比强在哪。不要一上来讲技术栈。
量化目标必须提前定:没有指标的优化等于没有方向。可用的指标分三层——业务层(节省的人工时长、覆盖率、转化)、任务层(准确率、召回率、F1、人工接管率)、系统层(响应时间、成本、失败率)。回答时说清基线是多少、目标是多少、实际做到多少。如果确实没定过指标,也如实说,并补一句「现在回头看应该怎么定」,比编一个数字安全。
因子提取与评估:因子是能区分样本好坏的中间特征。提取方式有规则(关键词、正则、结构化字段)、统计(频次、比例、分布特征)、以及模型抽取(LLM 或小模型从文本里抽结构化字段)。评估因子要看三件事:区分度(好坏样本在该因子上的分布差异,可用 AUC、IV 值或简单分位数对比)、稳定性(跨批次、跨时间是否漂移)、以及正交性(因子之间是否高度相关,避免重复计分)。流程上是先人工标注一小批样本,再看每个因子的分布,最后用简单模型(逻辑回归)看权重是否符合直觉。
LLM 打分的关键在三处:评分标准要可操作(每一档给明确的判据与示例,而不是「优秀、良好」这种模糊词)、输入要给足证据(把待评内容与参考标准一起给,必要时先抽取要点再评)、输出要结构化且可校验(要求给出分数、理由与引用的原文片段,便于人工复核与统计)。温度设低、多次采样取多数或均值能降低波动。绝大多数「打分不稳定」的问题,根因是标准不清或输入信息不全,而不是模型不行。
最大的挑战通常是「评测与迭代闭环」:Agent 系统的难点不在搭起来,而在每次改提示词或换模型后不知道是变好还是变坏。解法是建一套固定评测集——按任务类型与难度分层抽样、每条有标准答案或判据、跑批自动化、输出对比报表;再配人工抽检纠正评测集本身。有了闭环,优化才有方向。
评测标准与自动化评测:评测标准要写清「什么算对」——完全匹配、关键信息命中、还是人工评分达标;不同任务类型用不同标准。自动化评测的实现方式:规则校验(结构化输出是否符合 schema、数值是否在范围、引用是否存在于原文)、与标准答案比对(精确匹配、编辑距离、语义相似度)、以及用另一个模型当裁判(需要先用人工标注校准裁判的一致性,否则只是把不确定性转移了)。打分模块本身也要评测:拿一批人工打过分的样本,看模型打分与人工的相关系数与偏差分布。
准确率要给出定义:说「准确率 85%」之前先定义分母——是所有请求还是只算成功解析的请求、是否包含拒答、样本怎么抽的。最好给出分层结果(简单任务 95%、复杂任务 70%)与失败案例的类型分布。这比一个笼统的数字更能说明你理解系统边界。
反问环节:三面通常是主管或跨部门负责人,适合问团队当前最重要的目标、这个岗位在前三个月要交付什么、以及团队怎么看 AI 在业务里的定位。