模思智能多模态 voice 方向评测岗测评面:Handoff 设计与评测质量缺口
- 轮次
- 一面
- 时间
- 2026-10
- 来源
- 牛客网
《面试题目》
- 自我介绍
- 介绍一下你在这段实习中做的事情
- 聊聊你怎么做多 Scaffold 的适配(举 A/ 和 Gemini 返回结构的区别,以及关于 system 提示词的处理)
- 三阶段 Handoff 提升 SWE-Bench 系列难题通过率约 25%+、单任务推理成本降低约 30%+,是怎么量化计算的?
- Rubric 评测可以聊聊吗?
- 你在这段实习中自己负责了哪些部分?
- 下面的实习做的测开,你做的什么内容?
- 为什么不把工具计算的数字直接放到上下文中?你观测过吗?
- 为什么要做多轮对话(对多轮 Observation 进行摘要压缩和滑动窗口截断)?有新任务直接开一个新的 session 不行吗?
- 你怎么看 voice Agent 评测?对他的了解有多少?
- coding agent 的执行链路中,怎么判断模型执行有没有实现任务进度的熵增(报错信息场景下判断错误范围在缩小)?
- 看到你有在做开源项目的建设,你最近在做什么?
- 你对这个方向怎么看?(模型强大开发难度下降—执行黑盒不可观测—评测质量缺口大—愿意往这方面靠—跟发展方向一致)
《参考解析》
多 Scaffold 适配的差异,要举出可验证的细节。 主流差异集中在这几处:① 工具调用的表达——有的框架用独立的 tool_calls 字段并支持并行调用,有的把工具调用编码在文本里(需要解析标签),参数是 JSON 字符串还是对象也不一致;② 消息角色体系——system 提示词的处理差异最大:有的模型会重写或合并 system,有的把 system 当作普通 user 消息,多轮里 system 的优先级也可能不同,所以适配层要保证「system 语义」在多后端下一致(必要时改写成 user 前缀或使用框架提供的 instructions 字段);③ 停止原因与错误语义——finish_reason 的取值、限流/内容过滤/超时分别返回什么码,直接决定重试策略;④ 上下文窗口与计费口径——输入输出 token 统计方式不同,影响成本核算与截断策略。适配的正确做法是归一化到内部中间表示并写契约测试,把差异锁在一个薄适配层里。
「不把工具计算的数字直接放进上下文」是评测与可靠性设计的关键取舍。 把精确数字(金额、计数、时间差)交给模型转述会引入两类错误:一是抄写/复述错误(模型可能四舍五入、漏位、或把 12.34 写成 12.3),二是不可校验(数字混在自由文本里,无法用程序验证它是否等于工具返回的真实值)。更稳的做法是:工具结果结构化保留,最终呈现时由代码模板填充数字(模型只负责选择与措辞),或者对模型输出做后校验:从输出里抽出数字与工具返回值比对,不一致就重写。至于「有没有观测过」——回答必须给出观测方式与结论(比如对比同一批任务的「数字复述错误率」在使用模板填充前后各是多少),否则就是纸上谈兵;如果没有观测数据,就老实说「这是我在设计时基于 X 案例的判断,还没做系统观测」,这比硬编一个数字安全得多。
多轮对话做摘要压缩 + 滑窗,而不是「有新任务就开新 session」,原因是「上下文里存在的隐性状态」。 开新 session 会丢掉:用户已表达的偏好与约束(不要用某库、必须兼容某版本)、已经确认过的决策与否定(「刚才那个方案不行」)、以及当前任务的中间产物引用(改了哪个文件、跑过什么命令)。丢掉这些会导致重复问、重复试、甚至做出与之前冲突的改动。摘要压缩 + 滑窗是在成本与连续性之间折中:近期对话保留原文(保真),远期压成结构化状态(事实、决策、待办、约束),并对外置的长期记忆按需检索回灌。压缩的代价是丢细节——所以关键做法是「结构化压缩 + 关键项自检(数字/否定/约束是否还在)+ 需要时按引用回查原文」,而不是让模型自由复述。什么时候可以开新 session:任务边界清晰、互不依赖时(例如评测里每个独立题目),这时开新 session 反而更干净、更可复现——判据是任务之间有没有共享状态。
「任务进度的熵」这个提法,本质是在问「怎么用可观测信号判断 agent 是在收敛还是在打转」。 可用的信号:① 错误范围是否在缩小(报错从「整个模块失败」变成「某个断言失败」、从编译错误变成测试失败,说明进展在推进);② 重复动作率(同样的工具+相似参数反复调用说明在打转);③ 通过测试数/断言数的单调性;④ 修改范围的收敛(diff 是否在变小、是否开始触及无关文件);⑤ 距离目标的「剩余未知项」是否减少(待办清单在变短)。工程上可以定义一个进度分(比如「新增通过的测试数 − 新引入的失败数」)并按步记录,用它做提前终止或轮换策略;同时要防「假收敛」——只改测试断言让测试变绿、或把问题掩盖成 skip。这也可以用来自证「Handoff 有效」:对比有无 Handoff 时进度分的上升速率与最终成功率,而不是只报一个总通过率。
voice Agent 评测的难点与评法。 难点:输入输出都是流式与多模态(音频有噪声、打断、方言、口音),延迟本身就是体验指标(首字延迟、打断响应时间);语音交互存在轮次边界模糊(用户打断、沉默、重叠说话),评测必须按时间轴对齐而不能只看文本;主观性更强(语气、自然度)。可行做法是分维度量化:任务成功率(意图是否完成)、准确性(ASR 的词错率 WER、关键实体识别、工具调用参数正确率)、时延指标(首包延迟、端到端延迟、打断响应)、对话质量(轮次打断处理、澄清提问是否恰当、是否过度确认)、语音质量(TTS 自然度 MOS、是否复读/截断)、鲁棒性(噪声、远场、方言、连续打断)。构造上要建场景化任务集(订票、客服、闲聊、多轮变更)并做模拟用户自动对话(用另一个模型扮演用户,跑多轮并对结果自动判定 + 人工抽检)。质量缺口在于:文本评测的成熟方法论(精确匹配、rubric)在语音上需要重新定义,且「好」的标准高度依赖产品场景。
Rubric 评测的写法要「可观察、可判定、可复现」。 每个维度给出:判据描述(以第二/第三人称写明什么算通过)、通过/不通过的正反例、以及判定所需的证据(引用轨迹中的哪一段、哪条命令、哪个文件)。评分的稳定性措施:多判定者(模型或人)独立打分并计算一致率、把边界样本抽出来人工仲裁形成标定集、对判定模型本身做回归(改了判定提示词要重跑标定集)。最容易踩的坑是把 rubric 写成形容词(「回答专业」「方案合理」),这会退化成主观印象分;以及维度之间不独立(同一个缺陷被扣三次),要规定互斥的判定边界。回到面试官的原始问题「两条都通过测试的轨迹怎么比质量」:rubric 应该覆盖测试之外的东西——改动最小性、是否引入副作用、可复现性、成本与步数、以及边界处理(异常路径有没有被考虑)。