字节大模型算法岗三面:Agent Harness 分几层、校验 Agent 与评测闭环怎么搭
- 轮次
- 三面
- 时间
- 2026-11
- 来源
- 牛客网
《面试题目》
- 两个项目都是在校完成的吗?
- 介绍首个智能体项目架构,以及你负责的模块。
- 谈谈你对 Harness 的理解。
- Agent Harness 属于智能体发展的哪一阶段,包含哪些核心组件?
- 多 Agent 对比单 Agent,核心优势是什么?
- 校验类 Agent 一般怎么设计?
- 任务队列的幂等机制如何实现?
- 电商项目 Cache Breakpoint 的思路是什么,怎么稳定 80% 命中率?
- 对话窗口 32 轮这个阈值是怎么确定的?
- 多 Agent 并发抢任务,如何避免重复领取?
- MRR(平均倒数排名)如何计算?
- LangFuse 排查 badcase 的方式是什么?
算法题:岛屿数量、对称二叉树。
《参考解析》
先想清楚「在校项目」这道题真正在问什么。它问的是可验证性与贡献边界:项目有没有真实使用场景、你有没有独立决策、结果能不能量化。回答顺序建议是「场景与规模 → 我的角色 → 关键技术决策 → 结果与遗憾」:先说项目服务谁、日请求量或用户量大概多少(校内项目就说课程/实验室规模,别夸大);再说团队几个人、你负责哪一块、哪些是你独立设计的;然后挑一个你做过权衡的点展开(为什么用这个存储、为什么这样拆工具);最后给数字与不足。面试官追问「这段代码现在还能跑吗」「如果重做会改哪里」时,能答上来就说明你真的做过。
Harness 的出现是 Agent 从「提示词工程」走到「系统工程」的标志。早期做 Agent 靠一段长提示词加几个函数调用,模型稍微换个输入就崩;现在大家意识到决定上限的是模型外的运行时:循环怎么控制、工具怎么描述、上下文怎么裁剪、失败怎么重试、权限怎么管、轨迹怎么留、效果怎么评。可以把智能体的发展粗略分成三段:提示词编排阶段(few-shot、CoT)、工具调用阶段(function calling、ReAct)、Harness 工程化阶段(可观测、可评测、可治理、可回放)。这个划分不是学术定义,而是为了说明「为什么现在面试官都在问 Harness」——它是把 demo 变成产品的分水岭。
组件按「一次任务的生命周期」来记更不容易漏:任务进来先做意图理解与规划(Planner),然后进入循环(Agent Loop)反复「想一步—调工具—看结果」,中间所有状态写进上下文与记忆(Context/Memory),工具调用经过注册表与参数校验(Tool Registry),危险操作过权限与审批(Policy),执行落在沙箱或浏览器等运行时(Runtime),全程由可观测层记录 trace 与指标(Observability),最后用数据集跑回归(Eval)。每个组件都能展开一个真实问题:循环的最大轮次与重复动作检测、工具返回过长怎么压缩、上下文超了怎么摘要、工具报错怎么分类返回给模型、沙箱怎么隔离文件与网络。
多 Agent 的收益要落到具体机制上:上下文隔离让每个子 Agent 只看到必要信息,减少长上下文里的指令遗忘;并行让互不依赖的子任务同时跑,端到端时延下降;专业化让工具集更小、提示词更聚焦,单步准确率更高;独立重试让某个子任务失败时不必重跑整条链路。代价是协调成本与一致性风险,所以判断标准是「子任务能否独立定义输入输出、能否独立验收」,能就拆,不能就用单 Agent 加更好的上下文管理。面试时最好举自己项目里的一个拆分例子,说明拆之前与拆之后的任务成功率、时延、成本各变了多少。
校验类 Agent 的设计可以按「契约—规则—模型—回退」四步讲。契约是先定义被校验对象的结构(字段、类型、必填、取值范围、引用关系);规则层用程序做确定性检查,成本低且不会漏;模型层处理语义问题(事实是否一致、结论是否有出处、是否符合业务口径),并且用不同提示词或不同模型做交叉判断,避免自证;回退层定义失败后的动作——返回具体错误让上游重试、降级到规则结果、或转人工。再补两个工程点:校验结果要结构化(通过/不通过 + 原因 + 置信度),便于上游按原因修复;校验集要持续沉淀,历史误判样本进回归集。
幂等与并发抢任务可以放在一起答,因为它们是同一个问题的两面。幂等解决「同一条消息被处理两次」,并发抢任务解决「同一条任务被两个 worker 同时拿到」。幂等的三层是幂等键、持久化去重(唯一索引/去重表)、状态机(只有特定状态才能流转);并发领取用数据库行锁(FOR UPDATE SKIP LOCKED)、乐观锁版本号、Redis 租约锁或状态 CAS,任意一种都行,关键是配合「租约 + 超时回收」处理 worker 宕机。最后用幂等键兜底,保证即使重复执行也不产生副作用。能把这套讲成一个闭环,比单独背「用 Redis 加锁」高一个层次。
Cache Breakpoint 能不能稳住 80%,取决于前缀有多稳定。做法是把请求切成「不变的前缀 + 变化的尾部」:系统提示词、工具定义、固定示例放最前,按固定顺序序列化(JSON key 排序、工具列表顺序固定),断点打在固定段末尾;用户输入、检索结果、时间戳、随机 id 全部放后面。会话内不要重排消息、不要动态改系统提示词、不要把「当前时间」写进前缀。监控上按场景统计「命中 token / 输入 token」,命中率下降时先查最近是否发版改了提示词、工具顺序或注入了动态字段。还要说清 80% 的口径:是按 token 还是按请求、是否只算多轮会话的后续轮次、是否包含工具返回。
32 轮窗口:先说明这个数字影响什么——上下文越长,成本越高、延迟越大、模型对中间内容的注意力越弱(lost in the middle)。确定方法是对同一批任务做消融:限制 8/16/32/64 轮,记录成功率、约束遗忘率、单轮成本与 P95 延迟,找成功率开始明显下降或成本超过收益的拐点。32 轮如果是经验值就承认是经验值,并说明会怎么复核。再补充工程上的替代方案:滑动窗口保留最近 N 轮、早期内容摘要成结构化状态、按相关性检索历史片段,这三种可以组合使用,比硬截断更稳。
MRR 的定义与算法:对每个查询取第一个相关结果的排名 r,得分 1/r,没有相关结果记 0,所有查询求平均。写代码时注意 r 从 1 开始、没有命中时不要除以 0、只看前 k 个时是 MRR@k。它适合「唯一正确答案」的检索场景,多个相关答案时会低估(第一个对了但后面漏了不扣分,第一个错了即使第二个对也只得 1/2)。对比着说:Hit Rate 只看有没有命中、Recall 看召回了多少、MAP 综合考虑所有相关项的位置、NDCG 还考虑相关性等级。
LangFuse 排查 badcase:先用分数、延迟、成本、用户反馈把有问题的 trace 筛出来,再进单条 trace 看每一步的输入输出与工具调用,定位失败发生在哪一层;给同类问题打标签做聚类,按影响面排序;修复后把样本加入 dataset 跑回归,对比修复前后的分数。要让这套流程跑得动,前提是 trace 里带够 metadata:sessionId、userId、prompt 版本、模型与参数、检索命中的文档 id。缺了这些,出问题时只能靠时间戳猜。
算法题:岛屿数量的标准解法是遍历网格,遇到 1 就计数并从该点做 DFS/BFS 把相连的 1 全部标记为已访问,时间 O(mn)、空间最坏 O(mn)(递归栈或队列);也可以并查集合并相邻陆地。对称二叉树判断左右子树是否互为镜像:递归比较 left.left 与 right.right、left.right 与 right.left,注意两侧同时为空返回真、只有一侧为空返回假;迭代版用队列成对入队。写完主动说复杂度与边界(空树、单节点、只有一侧子树),再补一个测试用例。