快手测试二面:Agent 评测体系、Scaffold 适配与线上离线不一致
- 轮次
- 二面
- 时间
- 2026-10
- 来源
- 牛客网
《面试题目》
- 你在实习一做的 Multi-Model Relay 解决了什么问题?为什么需要多个 Agent 接力?
- 适配了 10+ Scaffold:它们的主要差异是什么?你负责的适配部分有哪些?
- Checkpoint 需要保存哪些状态,才能让下一个 Agent 真正接着做?
- 三阶段 Handoff 各做什么?如果交接摘要与实际代码状态冲突,系统如何处理?
- 你如何判断一次失败来自模型、工具、运行环境,还是评测标准?
- 最终测试都通过的两条 Agent 轨迹,你会如何比较质量?Rubric 怎样避免「看起来合理」的主观评分?
- 简历中「通过率提升 25%+、成本降低 30%+」的统计口径是什么?如何证明提升来自你的方案?
- 在实习二的业务报告 Agent 中,如何防止取数口径错误、计算错误和没有证据的业务结论?
- 如果让你为快手某个 Agent 功能设计上线前评测,你会怎样构建任务集、核心指标和回归流程?
- 线上发现 Agent 成功率下降,但离线评测没有变化,你会按什么顺序排查?
- 场景题:购物下单、添加到购物车这个功能你会从哪些方面设计测试?
- 算法:三数之和
《参考解析》
多 Agent 接力的价值在于「上下文与工具集的隔离」。 单个 Agent 干长任务会遇到三个问题:上下文越滚越长导致关键信息被稀释(中间遗忘)且成本线性上涨;工具集过大导致选择准确率下降(工具描述互相干扰);不同阶段需要的能力不同(探索 vs 精确编辑 vs 验证),用同一个提示词很难同时最优。接力(Relay)就是用显式的交接点把任务切成阶段,每段只带必要状态、只暴露必要工具,从而同时降低成本与提高选择准确率。代价是交接信息会丢——这正是后面追问 Checkpoint 与交接冲突的由来。适配多家 Scaffold(模型/框架)的差异主要集中在:返回结构(工具调用的字段名、消息角色体系、是否支持并行工具调用)、系统提示词的处理方式(有的框架会重写/拼接 system prompt,有的不支持 system 角色)、多模态与缓存字段、以及错误语义(限流/超时/内容过滤的错误码不同)。适配层的正确设计是归一化为内部统一的中间表示(标准化的消息、工具调用、停止原因),把差异收敛在一个薄适配器里,并对每个 Scaffold 建一份契约测试(用固定输入验证解析结果),否则每换一个后端都要重新发现问题。
Checkpoint 要保存「能恢复执行的最小状态集」,交接摘要要有权威来源。 需要保存的通常包括:任务目标与约束(不可丢)、已完成步骤与产出物引用(文件路径、补丁、diff 的哈希而非全文)、当前计划与待办、已确认的事实与决策、工具调用的关键结果(失败原因、重试计数)、以及执行环境信息(工作目录、分支、依赖版本)。要注意「保存摘要」与「保存事实来源」的区别:摘要不可信,事实(代码仓库状态、测试结果)才是权威。所以交接摘要与实际状态冲突时,以可验证的事实为准:先做校验(如重新 git status/跑一次关键测试/对比文件哈希),若不一致则以实际状态重建交接上下文,并把冲突记入日志与指标(冲突率高说明交接机制本身有问题)。工程上更稳的做法是让摘要只作为「提示」,把状态外置成结构化存储(任务表 + 产物引用),每个 Agent 启动时从存储重新读取真实状态。
失败归因的方法论是「分段可观测 + 对照实验 + 人工标注」。 分段可观测:给规划的每一步打点(用了哪个工具、输入输出、耗时、是否成功),看失败集中在哪一段——如果模型输出的工具参数就错了是模型问题;参数正确但工具报错是工具/环境问题;工具返回正确但模型没采纳是提示词或上下文问题;结果正确但被判失败是评测标准问题。对照实验:固定其他变量只替换一个(换模型、换提示词版本、禁用某个工具、换网络环境),观察指标显著性变化,这是唯一能分离变量责任的方法。人工标注:抽样看轨迹并打标签,统计各类占比,同时用于校准自动判定(如果自动判定与人工一致率低,先修评测)。Rubric 避免主观的做法:把评分项写成可观察的二元判据(如「是否在最终答案中给出可执行的命令且该命令在干净环境中执行成功」)而不是「回答是否专业」这类形容词;每个维度给明确的通过/不通过示例(正负样例);用多个独立判定者(人或模型)并计算一致性(Kappa/一致率),不一致的样本进入人工仲裁;同时记录「通过了对齐测试」与「未通过但看起来合理」的样本用于迭代 rubric。**「两条轨迹都通过测试,如何比较质量」**可以从四个维度比:改动范围(diff 越小越可控)、是否引入不必要的副作用(改了无关文件、改了配置、降级了断言)、鲁棒性(同样的任务换一次运行是否还能通过,即稳定性)、以及效率(步数/token 成本)。统计口径问题(25%/30% 这类数字):必须能说清对照基线(跟什么比:旧流程?无 Relay 的单 Agent?)、样本量(多少任务、多少轮)、评测方式(用哪个 benchmark、多少题、几次运行取平均)、以及因果性(是否同时改了别的变量)。如果没有对照组,就老实说「这是与改动前同一批任务的对比,样本 N,存在 X 的偏差」,编数字最容易被追问穿。
业务报告 Agent 的防线,可以按「口径、计算、结论」三层设计。 ① 口径层:把指标定义(分子分母、时间范围、过滤条件)写成机器可读的指标字典,Agent 只能引用字典里的指标而不能自由写 SQL 聚合表达式;对生成的 SQL 做静态校验(只允许白名单表与字段、只允许 SELECT、必须带时间范围与分区条件、禁止笛卡尔积与大表全扫);执行前先做口径一致性检查(同一指标在不同报表里定义是否一致)。② 计算层:关键数字不由模型口算或估算——把取数交给确定性代码/工具(模型只负责翻译与编排),对计算结果做交叉校验(总量与分项求和是否一致、同比环比的基数是否存在、异常值阈值告警);SQL 执行失败要结构化回灌原因并限制重试次数。③ 结论层:强制证据引用(每个结论必须挂到具体数据点或查询结果),没有证据支持的业务判断要么删掉要么标注为「推测」;输出做一致性检查(结论与数字方向是否矛盾),并保留「无法得出结论」的合法出口。这套设计的通用原则是把模型的自由度限制在它擅长的层(理解与编排),把确定性的计算与判断交给代码。
「线上成功率下降但离线评测没变化」的排查顺序,核心是找「线上线下不一致的维度」。 建议顺序:① 先止损与确认(影响面、是否某个功能/模型/租户、能否回滚或切换模型);② 看流量与行为变化——任务类型分布是否变了(用户开始问新问题)、输入长度/复杂度是否变了、是否存在大量新用户或爬虫;③ 看依赖与配置——模型版本或路由是否变更(渠道切换、限流降级到小模型)、提示词/工具版本是否发布、检索索引是否更新、数据库或下游接口是否变慢或返回结构变了;④ 看评测本身的盲区——离线评测集覆盖不到线上分布(这正是要先看流量分布的原因)、评测用的是缓存的模型或旧数据、评测的判定标准比线上宽松;⑤ 看统计口径——成功率的定义是否变了(超时算不算失败、用户中断算不算)、是否存在采样偏差。改进动作:把线上失败样本回流进评测集、加线上影子评测/灰度对比、把「分布漂移」纳入监控(输入长度、工具调用分布、模型返回码),而不是等成功率掉了才发现。
购物车/下单功能的测试设计,按「功能、边界、并发、一致性、异常、体验」六条线铺。 功能:加购(单件/多件/同商品累加数量)、改数量、删除、勾选与全选、优惠券与促销叠加、库存与限购、失效商品处理、跨端同步(App/小程序/Web 同一账号)。边界:数量 0/1/最大限购、金额精度(分为单位、免运费门槛的临界值)、超长备注、库存刚好为 1 时两人同时下单。并发与一致性:同一商品并发加购/下单的超卖控制(库存扣减用原子操作或队列串行)、优惠券并发使用、幂等(重复提交不重复下单)。异常:库存不足、商品下架、价格变动(下单前的价格校验)、网络中断后重试、支付超时与取消、库存回滚。数据一致性:购物车与订单、缓存与数据库、跨端同步的最终一致性与冲突合并策略。体验与兼容:弱网/断网提示、大数量商品列表性能、多端 UI 一致性、以及埋点是否准确(加购转化率统计)。测试策略上强调「确定性断言用自动化脚本(接口 + 数据校验),探索性与组合场景用人工/探索测试」,并对资金与库存相关路径做全量回归。
三数之和的要点是排序 + 双指针 + 去重。 先排序,外层固定第一个数 i,内层用左右指针 l = i+1、r = n-1 向中间收敛:和小于目标就 l++、大于就 r--、相等则记录并同时移动双指针跳过重复值。去重有三处:外层 i 与前一元素相同就跳过、内层找到解后 l 和 r 分别跳过相同的值。复杂度 O(n²) 时间、O(1) 额外空间(不计排序),比三重循环的 O(n³) 好得多。边界要主动说:数组长度小于 3 直接返回空、可以提前剪枝(排序后若 nums[i] > 0 则后面都为正、可直接 break)。