阿里千问二面:Agent平台、评测体系与训练基础
- 轮次
- 二面
- 时间
- 2026-09
- 来源
- 牛客网
《面试题目》
- 个人介绍。
- 字节实习是什么时候结束的?目前还在实习吗?
- 为什么没有留用?在字节实习期间主要负责哪些工作?
- Agent 能否直接执行查询和写操作?涉及线上变更时如何控制风险?
- Agent 开发中遇到的最大挑战是什么?
- 修改 Skill 或 CLI 后,如何验证它能达到线上运行的预期?
- 详细介绍一下你设计的 Skill 评测系统及其执行流程。
- 评测过程中会记录哪些 Trace 数据?使用了哪些确定性指标?
- Agent 回复质量无法通过代码直接衡量时,你们是如何打分的?
- 评测结果是否已经与 Agent 自动修改 Skill 的能力打通,形成自动优化闭环?
- 为什么选择自研评测系统?调研或参考过哪些现有框架和资料?
- 介绍一下你参考的 Agent Evaluation 方案,以及它对你们评测系统设计的影响。
- 你们的 Skill、CLI 和 Agent Runtime 分别承担什么职责?一次工具调用是如何执行的?
- Agent 是如何部署的?不同用户的会话和工作区如何隔离?
- 为什么不为每个用户单独启动一个 Docker?当前方案如何处理资源和并发问题?
- Agent Runtime 部署在哪里?
- 平台前端、飞书机器人和用户本地使用时,分别如何接入 Agent 能力?
- 目前 Agent 支撑了多少业务或用户?
- 线上使用较多的是哪些功能?查询操作和写操作的开放情况如何?
- 你对这个岗位或团队了解多少?一面面试官是如何介绍的?
- 如果岗位涉及更底层的训练、推理基础设施,你认为自己的匹配度如何?
- 你如何理解训练推理引擎,可能会涉及哪些底层工作?
- 以前是否接触过大模型训练?使用了什么训练框架和数据集?
- 训练完成后是否做过模型部署和测试?遇到过哪些问题?
- 当时训练模型的目标或应用场景是什么?
- Transformer 的底层原理是什么?为什么以前的卷积神经网络难以实现现在大模型的能力?
- 大模型是如何训练的?为什么能够进行 Next Token Prediction?
- Attention 中的 Q、K、V 分别表示什么,底层是如何计算的?
- 个人职业规划是什么?未来希望从事哪个方向?
《参考解析》
Agent 执行写操作的风险控制:核心原则是「读放开、写收口、变更留痕」。分层做法:一是权限分离,Agent 只拿到最小权限的凭据(只读账号、限定库表、限定命名空间),写操作走单独的受控通道;二是写操作先落到「计划 + 审批」而不是直接执行——Agent 生成变更方案(改什么、影响哪些资源、回滚办法),先 dry-run 出 diff,再经人工确认或策略引擎放行;三是幂等与可回滚,每次变更带唯一 ID,先备份/打快照,准备好一键回滚脚本;四是渐进放量,灰度到小流量或单实例,观察指标再全量;五是全链路审计,把 Agent 的输入、决策、执行的命令、返回结果、操作者身份全部落库,可追溯可复盘;六是硬护栏,危险命令(删除、扩缩容、改权限)走独立审批通道,不能只靠 prompt 约束。回答时最好举一个具体例子,比如「改配置类操作先改 staging、跑冒烟、再灰度一台、最后全量」。
Skill 评测系统怎么设计:一条完整的链路是「用例集 → 执行器 → 打分器 → 报告与门禁」。用例集要分层:冒烟(十几条最常见的成功路径,秒级反馈)、回归(覆盖历史 bug 与边界)、对抗(诱导 Agent 走错误路径)。执行器负责把每条用例喂给 Agent(固定模型、固定温度、固定工具 mock 或真实沙箱),采样多次(pass@k/pass^k)来抵消随机性,并记录完整 Trace。打分器分两层:能确定性判定的就用代码断言(文件是否生成、命令退出码、SQL 结果集、字段是否齐全、格式是否符合 schema、是否调用了指定工具、调用次数是否超预算),不能确定的用 LLM-as-judge 加评分细则(rubric)逐维打分,并且要人工抽检校准 judge 与人工的一致性。报告要能对比新旧版本,按维度聚合(成功率、平均轮数、token 成本、P95 延迟、失败类型分布),并把结果接成 CI 门禁:核心用例不过就不允许合入。
Trace 数据与确定性指标:Trace 至少记三层——输入层(用户 query、系统 prompt 与 skill 版本、可用工具清单)、过程层(每轮 LLM 的输入输出、工具名与参数、工具返回、耗时与 token、重试与错误)、结果层(最终产物、退出状态、人工/自动评分)。确定性指标可以给:任务成功率、工具调用准确率(该调的调了没、参数对不对、有没有多调)、schema/格式合法率、产物校验通过率(编译过不过、测试过不过、文件是否落在预期路径)、平均交互轮数、超时与异常率、token 与费用、P50/P95 延迟。这些指标的好处是可复现、无 judge 偏差,所以能用代码判的全用代码判,把不确定的留给 LLM 打分并在报告里标注置信度。
回复质量无法用代码衡量时怎么打分:用 LLM-as-judge + 评分细则,细则要拆成互不重叠的维度,例如正确性、完整性、指令遵循、事实一致性(有没有幻觉)、格式与可执行性,每维给 1~5 分并写清各分数档的描述。工程上的关键细节:judge 与被评模型尽量不同源以避免偏好自身风格;位置偏差要靠「交换 A/B 顺序各评一次」来抵消;给 judge 提供证据(检索到的原文、执行输出)而不是让它凭空判断;用少量人工标注集测 judge 与人的一致率(如 Cohen’s kappa),一致率不达标就先改细则。对于有标准答案的任务,优先用「成对比较」而不是绝对打分,稳定性更好。
自研评测还是用现成框架:取舍逻辑是「先看现成方案能不能覆盖你的判分需求」。调研过的主流方案有 OpenAI Evals、LangSmith / LangFuse 这类 tracing + eval 平台、RAGAS(面向检索增强的 faithfulness / answer relevancy / context precision / recall)、DeepEval、Inspect 等。自研的合理理由通常是:评测对象不是普通问答而是「带工具与文件系统的 Agent 任务」,判分依赖真实执行环境(沙箱里跑命令、看产物),通用框架只能给到 LLM 打分那一层,接不进你的沙箱与 CI;以及需要把评测与「自动改 Skill」的闭环打通,需要自己的数据结构。合理的做法是站在开源方案上做二次开发(比如用 Langfuse 存 Trace,自己写执行器与断言层),而不是全部从零撸,面试时把「参考了什么、为什么它不够、我补了什么」讲清楚即可。
Skill、CLI 与 Runtime 的职责划分:一种清晰的切法是——Skill 是「能力声明」层,用自然语言 + 元数据描述某类任务该怎么做(流程、约束、可用工具、示例),它是模型侧可见的知识,不直接执行任何东西;CLI 是「原子操作」层,把一个个具体动作封装成可被调用的命令(查数据、拉日志、生成文件),要求幂等、有明确入参出参和错误码;Runtime 是「编排与执行」层,负责拼装 system prompt、把 Skill 与工具清单注入模型、解析模型的工具调用请求、真正拉起进程执行 CLI、把结果回填给模型、循环直到任务完成,同时管理会话状态、沙箱与超时。一次工具调用的完整链路是:模型输出结构化调用请求 → Runtime 校验参数与权限 → 在沙箱内执行(受限用户、受限目录、超时 kill)→ 捕获 stdout/stderr/退出码 → 截断与摘要后作为工具结果回填 → 模型决定下一步。把职责这样分开的好处是:改知识不用动代码、改命令不用动模型、改执行策略不用动两者。
多用户会话隔离,为什么不为每人开一个 Docker:不用「一人一容器」的原因很实在——冷启动慢(镜像拉起秒级到十几秒,用户体验差)、资源开销大(每个容器都要常驻内存,几百个用户就把机器吃满)、运维成本高(镜像分发、清理僵尸容器、配额管理)。常见替代方案组合:进程级隔离(每个会话一个受限子进程 + 独立工作目录 + 资源限额 rlimit/cgroup)、共享容器池 + 会话级工作区(容器复用,靠工作目录、环境变量、凭据下发做数据隔离)、对确实需要强隔离或需要执行不可信代码的任务再按需开临时沙箱(Firecracker/gVisor/nsjail)用完即弃。隔离要覆盖四个面:文件系统(每人一个 workspace 目录,禁止越界访问)、网络(默认禁外联,白名单出网)、凭据(按用户下发短期 token,不共享长期密钥)、资源(CPU/内存/磁盘/PID 限额,防止单用户把机器打满)。并发问题靠队列 + 限流 + 公平调度解决,长任务异步化,别让一个用户的死循环占满执行槽。
Transformer 与「CNN 为什么做不到」:Transformer 的基本单元是自注意力:输入经过 embedding 与位置编码后,每个 token 的向量分别乘以三组可学习矩阵得到 Q、K、V;注意力权重是 softmax(QKᵀ/√d_k),再对 V 加权求和,多头就是把表示空间切成若干子空间并行做这件事再拼接,之后接残差、LayerNorm 和前馈网络。√d_k 是为了防止点积随维度增大导致 softmax 进入饱和区、梯度消失。CNN 的局限在于:感受野有限且要靠堆层数才能扩大,长距离依赖要经过很多层传递、路径长度为 O(n),信息容易衰减;卷积核的权重共享带来平移不变性的强归纳偏置,对图像很合适,但对「任意位置之间都可能相关」的序列任务不灵活;而且 CNN 每层计算难以在序列长度维度上做大规模并行。Transformer 的任意两个位置之间的路径长度是 O(1),天然建模长程依赖,训练时整句并行(不像 RNN 必须串行递归),所以能靠堆参数、堆数据、堆算力稳定地 scale,这正是大模型能力涌现的工程基础。
Next Token Prediction 为什么可行:预训练目标就是最大化「给定前文预测下一个 token」的似然,损失是每个位置的交叉熵。它之所以能学到远超「猜词」的能力,是因为要压低下一个 token 的困惑度,模型必须隐式掌握语法、事实知识、指代关系、推理链条乃至代码的执行语义;而互联网级语料给这种自监督目标提供了几乎无限的标注(每个位置都是一个训练样本),所以能用极大算力把参数压进模型。训练流程上通常分阶段:预训练(学通用表示)→ 监督微调 SFT(学会遵循指令与对话格式)→ 对齐(RLHF/DPO 等,按人类偏好调行为),推理时再叠加 CoT、工具调用、检索等手段。采样阶段用温度、top-k、top-p 控制多样性与稳定性,这也是为什么同一个 prompt 会有不同输出、评测必须多次采样。
Q、K、V 的直觉与底层计算:Q(Query)是「我在找什么」,K(Key)是「我有什么可以被检索的标签」,V(Value)是「我实际要取走的内容」。底层步骤是:X(形状 [n, d_model])分别乘 W_q、W_k、W_v 得到 Q/K/V([n, d_head])→ 计算 QKᵀ 得到 [n, n] 的相似度矩阵 → 除以 √d_k → 因果掩码(decoder 里把上三角置 -inf,防止看到未来)→ 按行 softmax 得到注意力权重 → 与 V 相乘得到 [n, d_head] 输出 → 多头拼接后再过一个 W_o 投影。计算复杂度是 O(n²·d),n² 项就是长上下文推理显存与耗时的主要来源,KV Cache 正是把历史 K/V 缓存下来避免重复计算。改进方向(MQA/GQA、FlashAttention、稀疏与线性注意力)本质上都在压这个 n²。