阶跃星辰 AI 评测算法一面:harness 原理、沙箱机制与 GDPval-AA
- 轮次
- 一面
- 时间
- 2026-11
- 来源
- 牛客网
《面试题目》
- 自我介绍,项目只讲与岗位最相关的 1–2 个。
- 重点追问:项目的痛点、pipeline、方法原理、评测集构建、与已有 benchmark 的区别。
- 用过哪些 harness?选一个讲原理。
- 接触过 GDPval-AA 吗(真实工作场景评测集)?
- 评测从输入到产出的完整链路是什么?
- 沙箱机制:模型 API 在容器内还是容器外?工具在容器内还是容器外?
- AI Coding:现场与 AI 对话探索 GDPval-AA——它是什么、源码在哪、官方 rollout harness、rollout 如何执行、如何拿产出。
- 「API 在容器外、工具在容器内」怎么理解?
- 日常手写代码还是 AI 写代码?
- 反问:用 AI 推进多个项目时怎么做注意力分配?
《参考解析》
Harness 是什么:把模型能力变成可执行任务的外壳。以 Codex 这类编码 Agent 为例,它的 Agent Loop 大致是:接收任务与上下文 → 模型输出「思考 + 工具调用」→ 执行工具(读文件、跑命令、打补丁)→ 把结果回填到消息历史 → 判断是否完成 → 未完成则继续。Harness 负责的部分包括工具定义与 schema、上下文管理与压缩、权限与沙箱、失败重试、终止条件、轨迹记录与成本统计。讲原理时要落到「循环的终止条件是什么」「工具结果太大怎么处理」「出错怎么恢复」这些细节。
GDPval-AA 与真实工作场景评测:GDPval 一类评测的思路是用「真实职业任务」评估模型——给一个来自真实岗位的交付物需求(文档、表格、演示、代码),让模型在带工具的环境里完成,再由专家或 rubric 打分。AA 版本通常指 agentic 的变体:模型不只输出文本,还要在环境里操作文件与工具,产出可检查的交付物。它和传统 benchmark 的差别在于:任务开放、答案不唯一、评分依赖 rubric 与专家、需要可复现的环境。
评测的完整链路:任务集定义 → 环境准备(容器镜像、依赖、初始文件)→ 模型 rollout(多轮工具调用)→ 产出收集(文件、命令输出、轨迹)→ 评分(规则断言 / rubric / LLM judge / 人工)→ 汇总与归因(按任务类型、难度、失败模式)→ 回归与版本对比。每一环都可能引入偏差,要能说出「怎么保证可复现」(固定镜像、固定随机种子、固定超时、记录完整轨迹)。
沙箱机制:「API 在容器外、工具在容器内」指的是:模型推理请求由容器外的服务处理(模型服务不在沙箱里),而模型要用的工具(bash、文件读写、浏览器)在容器内执行。这样设计的原因:容器是无状态的执行载体,可以快速启停、隔离风险;模型服务集中部署、便于计费与升级;工具在容器内意味着模型的操作被限制在沙箱里,不能直接影响宿主。候选人只答出「审批/规则型沙箱」,可以补:还有「网络隔离型」(限制出网白名单)、「资源限制型」(CPU/内存/超时)、「快照回滚型」(每次任务从干净镜像开始)。另外要理解「可复用、防 hack、安全」这几个设计动机:环境可复用降低评测成本,隔离防止模型读到测试答案或污染环境,安全防止恶意操作影响宿主。
与已有 benchmark 的区别怎么讲:从「任务形态」(封闭问答 vs 开放交付)、「评分方式」( Exact Match vs rubric/专家)、「环境依赖」(无 vs 需要工具与文件系统)、「可复现性」(高 vs 需要工程保障)、「覆盖能力」(知识 vs 规划、工具使用、长程执行)五个维度对比。
AI 写代码的边界:面试官问「日常手写还是 AI 写」,不是要你表态站队,而是看你有没有判断。可以答:探索性、样板性、可验证的代码交给 AI;核心算法、并发与安全相关、需要长期维护的模块自己写或逐行审。并说明验证手段(测试、review、灰度)。
多项目并行的注意力分配:面试官的回答(主力 1–2 个、其余试验性)本身就是一个可借鉴的工程管理经验:人的上下文切换成本高,并行的项目越多,每个项目的深度越浅。可以顺着问「团队怎么决定哪个项目是主力」——依据是业务价值、验证速度与资源。
这场面试的启示:AI 评测岗不只需要「会跑 benchmark」,还需要懂 harness、沙箱、rollout 工程与 judge 设计;准备时把「评测」当成一个系统来讲,而不是一堆指标。