面灵AI→

上海模算归巢测试开发一面(Agent 产品方向):怎么测 Agent、怎么测大模型网关

轮次
一面
时间
2026-10
来源
牛客网

《面试题目》

  1. 自我介绍。
  2. 第一段实习负责的主要内容是什么?
  3. 提效 67% 这个数据是怎么得出来的?
  4. 用 Coze 搭的工作流是怎样实现自主评审的?
  5. 你怎么理解测试和测试开发?
  6. 第二段实习介绍一下。
  7. 针对实习工作中的 Agent 你怎么测试?
  8. 大模型网关怎么测试?
  9. 你之前提到的 LLM as judge 了解过吗?
  10. CI/CD 有搭建过吗?
  11. 以后的职业规划是什么?

《参考解析》

Agent 怎么测是这类岗位的核心题,答案要分层:单步能力(工具能否被正确选中与调用、参数是否符合 schema、错误处理是否给出可纠正的信息)→ 链路(多步任务能否收敛、步数是否超预算、上下文是否被正确携带)→ 结果(终态是否达成目标,用规则断言 + LLM 评审)→ 稳定性(同输入多次运行的方差、超时与重试、并发下的资源竞争)。工程上要建评测集(真实用户 query + 期望终态 + 可接受的中间路径),做回归跑批,并监控线上成功率与成本。

大模型网关怎么测:功能上测路由与模型映射、鉴权与配额、流式输出与中断、参数透传(temperature / max_tokens / tools);非功能上测并发与限流、超时与降级(主渠道失败切备用)、重试幂等、计费与用量统计准确性;兼容性测 OpenAI 协议的字段完备性(不同 SDK 都要能跑),以及上游报错的透传是否合理(不能让用户看到内部渠道细节)。可靠性还要做长稳与配额打满的压测。

「提效 67% 怎么算的」这类数据追问是测开岗的必答题:要说清分子分母、基线是怎么取的(同一批任务在前后两个版本上的耗时 / 人力)、样本量与统计口径、有没有排除干扰因素(环境差异、任务难度不同)。答不出计算方式,这个数字反而是负分——面试官想问的其实是「你会不会量化」。

测开与测试的区别落在「造工具 vs 用工具」:测试负责设计用例、执行验证、判断质量;测开要把重复验证沉淀成平台与工具(自动化框架、评测跑批、Mock 与流量回放、质量看板),用工程手段提升整个团队的验证效率。答的时候给一个自己造过的工具(哪怕是脚本),比下定义强。

LLM as judge 要讲清适用与风险:用强模型按评分标准给输出打分,优点是能覆盖开放式回答、成本低于人工;风险是位置偏见、长度偏好、与被测模型同源的自我偏好、评分不稳定,所以要固定 prompt 模板、给明确的评分档位(GSB 或 1~5 分带判据)、做 AB/BA 双跑消偏、并用人工标注的小样本校准一致性(Kappa / 一致率)。