美团 Agent 应用研发终面备考题单:友好架构、Agent 评测与非功能指标
- 轮次
- 终面
- 时间
- 2026-11
- 来源
- 牛客网
《面试题目》
- 什么是对 Agent 友好的基础架构?怎样衡量?
- 智能面试间中的 Agent 如何评测?
- 除了功能正确性,非功能层面有哪些评测方式和指标?
- 如何看待系统开发与 Agent 开发的关系?
《参考解析》
对 Agent 友好的架构,本质是把「模型看不见的东西」都变成可读的契约。 作者最初只想到「接口好调用」,往下就没了词,实际要拆成四层:①能力怎么被发现——工具要有稳定的名字、一句话用途说明和参数 schema,注册在一处可枚举的清单里,而不是散落在代码注释中;②参数与返回值怎么讲清——入参用 JSON Schema 约束类型、枚举与必填项,出参保持字段稳定,不要把同一个语义在不同接口里写成不同字段名;③调用出错后怎么处理——错误要结构化(错误码 + 可读原因 + 是否可重试),并区分「参数错」「权限不足」「下游超时」「业务拒绝」这四类,模型才能决定是改参数、换路径还是停下来问人;④权限由执行端检查——模型说「可以调用」不算数,真正的鉴权、额度、危险操作确认必须在工具的执行侧完成。衡量这套架构不能只看「接口通不通」,要看任务完成率、失败后的恢复率(重试成功、换工具成功)、以及每次任务的耗时与成本。
Agent 的评测,难点在分清「回答看着挺好」和「任务真的完成了」。 作者卡住的正是这一点。可行的做法是先把一次任务的成功条件写死:产出物是什么、环境状态要变成什么样、哪些字段必须存在且取值合法。评测时三条线一起看:最终内容(是否满足条件)、工具调用轨迹(调了哪些工具、顺序是否合理、有没有绕路或重复调用)、实际结果(数据库、文件、页面状态是否真的改了)。只拿顺利跑完的一次当答案是不够的,必须把工具报错、超时、返回空结果这三类异常路径也做成用例,看 Agent 是重试、降级还是把错误原样抛给用户。主观项(比如面试评价是否中肯)用评分 rubric 交给模型判,但要固定 rubric 并抽样人工校准,否则评分本身漂移。
非功能指标要能算出数,不能只报名字。 常用四类:延迟(端到端 P50/P95,以及首字或首步响应的延迟,两者要分开,用户体感由前者决定)、稳定性(任务成功率、错误率、重试率、超时率,失败和超时必须计入分母)、吞吐(单位时间可并发的会话数、单机 QPS)、成本(每任务 token 消耗、工具调用次数、折算金额)。作者自己反思「老忘把失败和超时也算进去」,这是这类指标最常见的错——只统计成功请求的耗时,会把最慢的那部分样本从分母里删掉,P95 因此虚低。每个指标都要写清计算公式与统计口径,面试里被追问「具体怎么算」时才有得答。
系统开发与 Agent 开发不是替代关系。 接口、状态机、权限、幂等、可观测性这些底座仍然要做,Agent 的增量在于「控制流由模型决定」:调用哪个工具、调几次、失败后怎么绕,不再由代码写死。这带来三个新问题——输入输出不确定,所以要有评测集与回归;行为不可完全预测,所以要有护栏(额度、危险操作确认、超时中断);链路长,所以要有轨迹记录,否则出了问题无法归因。回答这题的关键是把「哪些交给模型、哪些必须留在系统里」讲具体,只说「相辅相成」等于没答。