字节面经-字节跳动运营岗面经-06
- 轮次
- 面试合集
- 时间
- 2026-10
- 来源
- 牛客网
《面试题目》
(面经 01)
- 自我介绍
- 能不能讲讲多智能体项目的背景和想要解决的问题?我们从最新的项目开始聊起。
- 你为什么选择这个架构,你想解决的问题是什么?
- 是科研的搜索吗?
- 那你当时是为什么会设计这样的架构,为什么是一个主智能体带 3 个子智能体,为什么不是带 4 个?
- 为什么不是一个串行的?
- 当时设计这个架构是怎么考虑别的?
- 你觉得这个项目里的难点是什么?
- 那你具体是怎么让不同的 Agent 的边界比较清晰的?
- 你所谓的校验是什么?
- 然后我看你这边是做一些评测吗?
- 你在别的项目中有没有做过一些评测的工作,那个评测的工作他不是用一些通用的评测架构或者通用的评测集去做的,而是针对哪个项目本身的特殊性去做的一个评测,有这样的经验吗?
- 在办公场景下,如果用户的任务是需要做 PPT,那么你怎么去评测,从哪些维度评测 PPT 做得好不好?
- 如果是做自动化评测的话你会用什么方式?
- 可以具体谈谈你的一些想法。
- 那你的 workflow 你会怎么设计的?
- 你提到一个图文比例,假如说这个东西它要去自动化评测,你要怎么去告诉模型怎么样的图文比例是合适的?
- 训练是什么意思?
- 你要专门训一个小模型去做这个图文比例的评测吗?
- 你怎么判断一个任务它光 prompt engine 还是说搭建 agent 方式就能做成,还是说必须走训练?
- 因为训练相对来说比较重嘛。相对来说训完之后自由度会低一些,怎么判断一个任务用什么方式解决的。
- 效果不好这个事情你怎么去分析?
《参考解析》
多智能体架构:主智能体带 3 个子智能体的拆分依据
拆分的依据应该是能力边界,不是数量好看。一个站得住的多智能体设计,通常按「谁负责规划、谁负责取事实、谁负责产出、谁负责校验」来切:主智能体持有目标和全局状态,负责把任务拆成子任务、决定调用顺序、汇总结果并判断是否继续;子智能体各自拥有专属的工具集和上下文(比如一个只管检索与证据收集、一个只管内容生成、一个只管事实核查),互不共享上下文,只通过结构化的交接物(子任务描述 + 产物 + 证据)通信。判断拆得对不对有两个检验:子智能体能否被单独评测(有明确的输入输出和验收标准),以及去掉它之后主智能体是否明显做不好(说明它有独立价值)。反过来,如果两个子智能体的工具集高度重叠、输入输出格式一样,那就该合并——多一个 Agent 就多一轮模型调用、多一份状态同步成本。访谈里被追问「为什么是 3 不是 4」时,正确的答法是按「每增加一个 Agent 能消除哪类错误」来论证,而不是说架构图上是三个。
为什么不用串行、为什么不做成 4 个
串行的主要问题是错误传播和路径僵化:前一步的输出直接决定后一步的输入,中间没有校验点,一旦检索阶段拿到错的资料,后面生成和核对都建立在错的基础上;而且串行把可以并行的步骤(比如同时查多个数据源、同时产多个候选)变成了等待。真实业务里更合理的形态是「主智能体负责编排 + 关键节点并行 + 每个关键产物过校验」。至于为什么不是更多个子智能体,要落到边际收益递减与协调成本上:Agent 数量增加会带来上下文交接的信息丢失、调用轮数与 token 成本线性上涨、失败分支的组合爆炸、以及调试难度上升(出了问题很难定位是哪个 Agent 的锅)。一般做法是先把 2~3 个职责最清晰、最容易被评测的角色拆出来,跑通之后再按「某类错误反复出现且能被独立定位」的信号决定要不要继续拆。这个回答的加分点在于承认「3 是当前阶段的结论,不是理论最优」,并说出当初是怎么验证的。
Agent 边界如何划清
边界清晰不靠 prompt 里写「你只负责 X」,而靠接口和权限来约束。可落地的四条:① 工具集隔离——每个 Agent 只挂自己职责范围内的工具,检索 Agent 拿不到写文件的能力,校验 Agent 拿不到修改产物的能力(它只能报告问题),用工具清单在物理上限制它能做什么;② 输入输出契约化——子任务用固定 schema 下发(目标、约束、可用的资料 id、期望产物格式),返回也用 schema(产物 + 证据 + 置信度 + 未解决的疑点),schema 校验不通过直接打回重做;③ 状态与上下文隔离——每个子 Agent 只看到自己的那部分上下文,避免互相污染,也让「它为什么这么做」可复现;④ 升级规则明确——什么时候该把问题交回主智能体(比如资料缺失、目标冲突、连续两次校验不通过),而不是自己硬猜。再加一条工程手段:把每个 Agent 的调用都打上 trace,能按 Agent 维度看成功率、耗时和 token,边界模糊的地方在数据上会表现为「两个 Agent 反复互相打回」。
「校验」与「评测」的区别
这两个词经常被混着用,面试里分清是加分项。校验(validation)是单次任务内的动作:产物合不合格、有没有依据、格式对不对,它是流程的一部分,结果决定「这一步要不要重做」,通常是规则 + 模型混合(schema 校验、引用是否存在于检索结果中、数字能否从素材里找到出处),要求快、可自动执行、有确定的通过标准。评测(evaluation)是跨多次任务的动作:系统整体在一批样本上表现如何,输出的是指标(准确率、覆盖率、幻觉率、人工采纳率、平均耗时与成本),用来做版本对比和迭代决策,需要在固定的数据集上跑、有基线、可复现。区别可以概括为「校验管这一次对不对,评测管这个版本好不好」;而校验的结果本身就是评测数据的来源——线上每次校验失败都是天然的负样本,攒起来就是评测集,这条闭环是评测体系能不能持续的关键。回答时最好能说出自己项目里的具体指标口径与样本量,否则容易被追问到底。
针对项目特性的评测集设计
通用评测集(MMLU 这类)测的是模型通用能力,回答不了「我的系统在我这个场景下行不行」,所以要自建。步骤是:① 从真实流量里采样——把线上用户问过的问题、真实任务按类型分层抽样,这比编题更贴近分布;② 定义什么算对——每个样本要有参考答案或至少是可判定的验收标准(事实正确、引用有出处、格式符合、任务完成),主观项要有评分细则或多人标注对齐;③ 分层而不是只给总分——按任务类型、难度、输入长度、是否多轮、是否含专有名词分层,这样指标掉了能立刻知道是哪一类退化;④ 保留难例集——把线上失败案例固化下来专门跑,防止迭代时「修了 A 坏了 B」;⑤ 控制成本——全量人工标注不可持续,常见做法是人工标注小规模黄金集(几十到几百条)做校准,再用模型评审(LLM as judge)大规模跑,并定期用黄金集校验评审模型自身的一致性。最后要能回答「这个评测集多久更新一次、谁来标、标注一致性多少」。
办公场景下 PPT 的评测维度
评测要能落到可判定,所以先把「好 PPT」拆成几层。① 内容正确性与完整性:事实有没有错、数据有没有出处、是否覆盖了要求的要点、逻辑结构是否成立(结论先行、层次清楚),这一层可以用规则 + 模型对着素材核验,事实类的必须能指回原文;② 结构与叙事:页序是否合理、每页是否只讲一件事、有没有过渡,可用「小标题与正文是否一致」「每页要点数是否超阈值」这类可量化规则;③ 视觉与排版:图文比例、留白、字号层级、是否溢出、颜色对比度、中英文标点统一,这一层大多可以用程序判定(文本框溢出检测、字号阶梯、对比度计算),比让模型「看」更稳;④ 信息密度:每页字数、要点数、图表占比,做成区间而不是绝对值;⑤ 任务达成度:结合用户目标(汇报 / 提案 / 培训)判断,这层必然主观,用人工评分或 LLM judge 加细则。还要说清评测对象的边界:评的是「这一版 PPT 相对素材与需求是否合格」,不是「好不好看」;不同用途的标准不同,所以评测前要先确认场景与约束。
自动化评测的 workflow 与数据 pipeline
人工打标的问题不是标不准,而是不可扩展、不一致、不可复现——所以要把它变成流水线。整体分三段:数据段——任务样本入库(统一 schema:输入、约束、参考产物或判定标准、来源与版本)、失败案例回流、按类型分层抽样组批;执行段——对每个样本跑被测系统(要固定模型版本、参数、prompt 版本,否则指标不可比),把产物、耗时、token、工具调用轨迹一起落库;判定段——先跑确定性规则(格式、schema、必填项、引用是否存在、数字能否对回素材),规则判不了的转 LLM judge,judge 用固定评分细则和输出 schema(分数 + 理由 + 证据片段),再对 judge 做校准:与人工黄金集的一致率低于阈值就调细则而不是调样本;汇总段——按分层出指标、与上一版本对比、把退化项和失败样本自动列成待排查清单。工程上的三个要点:全流程可重跑(同样的输入必须得到同样的判定)、每一条判定都可追溯到证据、评测本身要有限流与成本预算(judge 的 token 消耗往往比被测系统还大)。做自动化之后,人从「逐条打标」转成「定义标准 + 抽检校准 + 处理 bad case」,这才是这个岗真正要产出的能力。
图文比例这类模糊指标怎么让模型可判
关键是把主观标准翻译成可执行的判定规则,而不是把「你觉得图文比例合适吗」丢给模型。分三步。① 先量化——把「图文比例」拆成能算的量:整份 PPT 的图片面积占比、文字页与图文混排页的比例、每页平均要素数、图与对应说明的距离;这些用解析工具直接算,不消耗模型。② 再定区间与场景——什么算合适取决于用途:汇报型可以 30%~50% 配图、培训型更高、纯数据页可以只有图表;把区间按场景写进标准表,判定就变成了「是否落在区间内 + 是否与页面主题匹配」,前者是规则、后者才需要模型。③ 最后给模型判据和例子——让它判的那部分必须给:判定维度(是否相关、是否冗余、是否抢注意力)、分档标准(好 / 可接受 / 差 各是什么样)、几个正例和反例、以及要求输出「分数 + 理由 + 证据(哪一页)」。核心原则是能用程序算的绝不交给模型,模型只判真正需要语义理解的那一小块,并且每次判定都要有理由和证据可复核。这也顺带回答了「要不要专门训一个小模型」:判据能写成规则就不需要训;只有当某类判断反复出现、规则和提示词都稳定不下来、且有足够标注数据时,才值得考虑训一个小的判别模型。
Prompt 工程、Agent、训练三条路径怎么选
选择判据是任务的可枚举程度、对确定性的要求、以及有没有数据和算力。① **Prompt 工程(含结构化输出、few-shot、规则后处理)**适合:任务单步或步骤固定、输入输出格式明确、对延迟和成本敏感、标准能用文字写清楚——它是最便宜的起点,也是必须先跑到极限的一步,很多「看起来要训模型」的问题其实是 prompt 没写清楚或没给判据。② Agent(工具调用 + 多步编排)适合:步骤依赖中间结果、需要访问外部数据或执行动作、路径无法预先枚举——代价是 token 与延迟上升、行为不确定、需要更强的错误处理和评测。③ 训练 / 微调适合:任务高频且量大(推理成本能摊回来)、有稳定的标注数据、判断标准难以用文字表达但标注者能一致地判、或者要求极低延迟与小模型部署。它的代价是自由度低(改了标准要重训)、需要数据迭代和维护,所以一般只在「prompt 与 agent 都到瓶颈、且业务量足够大」时才走。回答这类题的关键是把三条路径说成成本与确定性递增的阶梯,并给出一个自己判断的例子(比如「某类判定规则能写清 → prompt;需要查库核验 → agent;判据说不清但标注一致率高 → 才考虑训」)。
效果不好怎么分析
先做归因分层,别急着改 prompt。可以按这个顺序查:① 数据层——输入本身有没有问题(资料缺失、格式乱、问题歧义、超长被截断),这一步能解释掉相当比例的「效果不好」;② 检索 / 工具层——该拿到的信息有没有拿到(召回率多少、有没有把关键内容切碎、工具调用失败或超时);③ 模型层——上下文是否过长导致关键信息被淹没、指令是否含糊、输出格式是否不稳定、任务是否超出模型能力;④ 编排层——步骤顺序、重试与降级逻辑、状态传递有没有丢信息;⑤ 评测层——先确认指标本身可信(样本量够不够、判定是否一致),避免「评测抖动」被当成效果退化。动作上要先建可复现的样本集:把 bad case 固定下来,同样的输入反复跑,看是稳定失败还是随机失败——稳定失败是系统问题,随机失败是模型不稳定或采样问题。最后要能给出「改了什么 → 指标怎么变」的前后对比,而不是凭感觉调参;并且注意初期效果不好往往只是 workflow 还没迭代,先跑几轮再判断路线对不对,避免过早放弃或过早换方案。