面灵AI→

拼多多 Agent 二面三题:A/B 与灰度放量、业务提效、权限撤销

轮次
二面
时间
2026-11
来源
牛客网

《面试题目》

  1. 变更上线时,怎样设计 A/B 实验或灰度发布?
  2. Agent 怎样在业务中提效?
  3. Agent 的权限管理怎样设计?

《参考解析》

先分清 A/B 与灰度各自回答什么:A/B 比较两个方案谁更好,需要随机分组、统计功效与明确的成功指标;灰度控制新版本的影响面,按流量比例逐步放开,核心是护栏与回滚速度。两者可以叠加,由灰度承载 A/B,但目标不同:A/B 结束要给出「是否采纳」的结论,灰度结束要给出「是否全量」的结论。小流量运行一段时间没有报错,只说明没有明显故障,不构成「新方案更好」的证据。

分组单位与分流口径:分流单位要与业务一致性边界对齐,同一个会话、同一个任务、同一个用户应固定在同一版本,否则一个任务被两个版本各处理一半,指标无法归因。用稳定哈希(用户 ID 或会话 ID 加实验盐)分流,保证可复现;实验组与对照组除被比较的变量外,其余配置完全一致;样本量按基线指标与最小可检测差异预估;观察窗口要覆盖业务的完整周期,包括一次完整任务的生命周期与用户回访。

放量判据与暂停回滚条件:放量前先定三组指标。效果指标看任务合格完成率、人工接管率、返工率;成本指标看单位合格结果的 token 与工具调用成本、端到端时延;护栏指标看错误率、超时率、投诉与安全事件。判据要写成可执行的规则:效果指标相对基线不劣化且成本不上升,才继续放量;任一护栏指标越过阈值,立即暂停并回滚。每一档(1%、5%、20%、50%)观察足够时长再进入下一档,回滚路径提前演练,确保配置切换在分钟级生效。

选环节:先找结果可判定的业务环节:提效的前提是「做得对不对」可以被检查。优先选输出有明确验收标准的环节,例如结构化字段抽取、工单分类与初判、按模板生成的回复;避开责任无法归属、结果只能靠主观评价的环节。选定后先量基线:原人工或规则流程的耗时、准确率、每日处理量。没有基线,提效就只是主观判断。

核算:端到端成本而不是单步耗时:Agent 环节变快不等于业务变快。要把人工复核、返工重做、异常处理与系统对接的成本一起算进去:单条处理时间下降但复核率上升,总成本可能更高。可用的口径是「单位合格产出成本」,即模型与工具成本、人工复核工时、返工成本之和除以合格产出数,同时看端到端时延的 P50 与 P95。如果提效只体现为把工作从一侧挪到另一侧,例如模型生成、人工逐条校对,要如实说明,并给出降低复核率的后续手段。

权限模型:主体、资源、动作、有效期:最小权限不是一句原则,要落成四元组:谁发起(用户身份与任务身份)、能操作哪个资源(资源类型加资源 ID 或范围)、允许做什么(动作白名单,读写分离)、权限多久失效(随任务结束或固定时长)。资源粒度要细到单条记录或单个项目,而不是整个库的读写;权限来源要可追溯,能回答由哪条授权产生;默认拒绝,未显式授权即不可执行。

执行前复查与中途撤销:授权发生在任务开始时,副作用发生在执行工具时,两者之间可能隔很久。因此每次工具调用前都要重新校验:权限是否仍有效、资源归属是否变化、任务是否已被取消。撤销要即时生效:权限状态放在可快速读取的存储里并带版本号,执行侧校验版本;长任务在每一步之间检查取消信号;已发出的不可逆操作要有补偿或转人工。只在提示词里写「禁止操作」不构成控制,模型可以不遵守,控制必须落在执行侧。

子 Agent 不继承越权:把任务委派给子 Agent 时,传递的应是收窄后的权限,而不是父任务的完整凭证:按子任务所需的最小集合重新签发,带独立有效期与可追溯的委派链;子 Agent 可调用的工具集也要收窄,避免它绕过父级审批直接执行高危动作。需要人工审批的动作,无论由哪一级 Agent 发起,都在执行侧拦截并回到审批流程;父 Agent 的授权不会自动成为子 Agent 的授权。