面灵AI→

阿里千问二面:Agent平台、评测体系与训练基础

轮次
二面
时间
2026-09
来源
牛客网

《面试题目》

  1. 个人介绍。
  2. 字节实习是什么时候结束的?目前还在实习吗?
  3. 为什么没有留用?在字节实习期间主要负责哪些工作?
  4. Agent 能否直接执行查询和写操作?涉及线上变更时如何控制风险?
  5. Agent 开发中遇到的最大挑战是什么?
  6. 修改 Skill 或 CLI 后,如何验证它能达到线上运行的预期?
  7. 详细介绍一下你设计的 Skill 评测系统及其执行流程。
  8. 评测过程中会记录哪些 Trace 数据?使用了哪些确定性指标?
  9. Agent 回复质量无法通过代码直接衡量时,你们是如何打分的?
  10. 评测结果是否已经与 Agent 自动修改 Skill 的能力打通,形成自动优化闭环?
  11. 为什么选择自研评测系统?调研或参考过哪些现有框架和资料?
  12. 介绍一下你参考的 Agent Evaluation 方案,以及它对你们评测系统设计的影响。
  13. 你们的 Skill、CLI 和 Agent Runtime 分别承担什么职责?一次工具调用是如何执行的?
  14. Agent 是如何部署的?不同用户的会话和工作区如何隔离?
  15. 为什么不为每个用户单独启动一个 Docker?当前方案如何处理资源和并发问题?
  16. Agent Runtime 部署在哪里?
  17. 平台前端、飞书机器人和用户本地使用时,分别如何接入 Agent 能力?
  18. 目前 Agent 支撑了多少业务或用户?
  19. 线上使用较多的是哪些功能?查询操作和写操作的开放情况如何?
  20. 你对这个岗位或团队了解多少?一面面试官是如何介绍的?
  21. 如果岗位涉及更底层的训练、推理基础设施,你认为自己的匹配度如何?
  22. 你如何理解训练推理引擎,可能会涉及哪些底层工作?
  23. 以前是否接触过大模型训练?使用了什么训练框架和数据集?
  24. 训练完成后是否做过模型部署和测试?遇到过哪些问题?
  25. 当时训练模型的目标或应用场景是什么?
  26. Transformer 的底层原理是什么?为什么以前的卷积神经网络难以实现现在大模型的能力?
  27. 大模型是如何训练的?为什么能够进行 Next Token Prediction?
  28. Attention 中的 Q、K、V 分别表示什么,底层是如何计算的?
  29. 个人职业规划是什么?未来希望从事哪个方向?

《参考解析》

Agent 执行写操作的风险控制:核心原则是「读放开、写收口、变更留痕」。分层做法:一是权限分离,Agent 只拿到最小权限的凭据(只读账号、限定库表、限定命名空间),写操作走单独的受控通道;二是写操作先落到「计划 + 审批」而不是直接执行——Agent 生成变更方案(改什么、影响哪些资源、回滚办法),先 dry-run 出 diff,再经人工确认或策略引擎放行;三是幂等与可回滚,每次变更带唯一 ID,先备份/打快照,准备好一键回滚脚本;四是渐进放量,灰度到小流量或单实例,观察指标再全量;五是全链路审计,把 Agent 的输入、决策、执行的命令、返回结果、操作者身份全部落库,可追溯可复盘;六是硬护栏,危险命令(删除、扩缩容、改权限)走独立审批通道,不能只靠 prompt 约束。回答时最好举一个具体例子,比如「改配置类操作先改 staging、跑冒烟、再灰度一台、最后全量」。

Skill 评测系统怎么设计:一条完整的链路是「用例集 → 执行器 → 打分器 → 报告与门禁」。用例集要分层:冒烟(十几条最常见的成功路径,秒级反馈)、回归(覆盖历史 bug 与边界)、对抗(诱导 Agent 走错误路径)。执行器负责把每条用例喂给 Agent(固定模型、固定温度、固定工具 mock 或真实沙箱),采样多次(pass@k/pass^k)来抵消随机性,并记录完整 Trace。打分器分两层:能确定性判定的就用代码断言(文件是否生成、命令退出码、SQL 结果集、字段是否齐全、格式是否符合 schema、是否调用了指定工具、调用次数是否超预算),不能确定的用 LLM-as-judge 加评分细则(rubric)逐维打分,并且要人工抽检校准 judge 与人工的一致性。报告要能对比新旧版本,按维度聚合(成功率、平均轮数、token 成本、P95 延迟、失败类型分布),并把结果接成 CI 门禁:核心用例不过就不允许合入。

Trace 数据与确定性指标:Trace 至少记三层——输入层(用户 query、系统 prompt 与 skill 版本、可用工具清单)、过程层(每轮 LLM 的输入输出、工具名与参数、工具返回、耗时与 token、重试与错误)、结果层(最终产物、退出状态、人工/自动评分)。确定性指标可以给:任务成功率、工具调用准确率(该调的调了没、参数对不对、有没有多调)、schema/格式合法率、产物校验通过率(编译过不过、测试过不过、文件是否落在预期路径)、平均交互轮数、超时与异常率、token 与费用、P50/P95 延迟。这些指标的好处是可复现、无 judge 偏差,所以能用代码判的全用代码判,把不确定的留给 LLM 打分并在报告里标注置信度。

回复质量无法用代码衡量时怎么打分:用 LLM-as-judge + 评分细则,细则要拆成互不重叠的维度,例如正确性、完整性、指令遵循、事实一致性(有没有幻觉)、格式与可执行性,每维给 1~5 分并写清各分数档的描述。工程上的关键细节:judge 与被评模型尽量不同源以避免偏好自身风格;位置偏差要靠「交换 A/B 顺序各评一次」来抵消;给 judge 提供证据(检索到的原文、执行输出)而不是让它凭空判断;用少量人工标注集测 judge 与人的一致率(如 Cohen’s kappa),一致率不达标就先改细则。对于有标准答案的任务,优先用「成对比较」而不是绝对打分,稳定性更好。

自研评测还是用现成框架:取舍逻辑是「先看现成方案能不能覆盖你的判分需求」。调研过的主流方案有 OpenAI Evals、LangSmith / LangFuse 这类 tracing + eval 平台、RAGAS(面向检索增强的 faithfulness / answer relevancy / context precision / recall)、DeepEval、Inspect 等。自研的合理理由通常是:评测对象不是普通问答而是「带工具与文件系统的 Agent 任务」,判分依赖真实执行环境(沙箱里跑命令、看产物),通用框架只能给到 LLM 打分那一层,接不进你的沙箱与 CI;以及需要把评测与「自动改 Skill」的闭环打通,需要自己的数据结构。合理的做法是站在开源方案上做二次开发(比如用 Langfuse 存 Trace,自己写执行器与断言层),而不是全部从零撸,面试时把「参考了什么、为什么它不够、我补了什么」讲清楚即可。

Skill、CLI 与 Runtime 的职责划分:一种清晰的切法是——Skill 是「能力声明」层,用自然语言 + 元数据描述某类任务该怎么做(流程、约束、可用工具、示例),它是模型侧可见的知识,不直接执行任何东西;CLI 是「原子操作」层,把一个个具体动作封装成可被调用的命令(查数据、拉日志、生成文件),要求幂等、有明确入参出参和错误码;Runtime 是「编排与执行」层,负责拼装 system prompt、把 Skill 与工具清单注入模型、解析模型的工具调用请求、真正拉起进程执行 CLI、把结果回填给模型、循环直到任务完成,同时管理会话状态、沙箱与超时。一次工具调用的完整链路是:模型输出结构化调用请求 → Runtime 校验参数与权限 → 在沙箱内执行(受限用户、受限目录、超时 kill)→ 捕获 stdout/stderr/退出码 → 截断与摘要后作为工具结果回填 → 模型决定下一步。把职责这样分开的好处是:改知识不用动代码、改命令不用动模型、改执行策略不用动两者。

多用户会话隔离,为什么不为每人开一个 Docker:不用「一人一容器」的原因很实在——冷启动慢(镜像拉起秒级到十几秒,用户体验差)、资源开销大(每个容器都要常驻内存,几百个用户就把机器吃满)、运维成本高(镜像分发、清理僵尸容器、配额管理)。常见替代方案组合:进程级隔离(每个会话一个受限子进程 + 独立工作目录 + 资源限额 rlimit/cgroup)、共享容器池 + 会话级工作区(容器复用,靠工作目录、环境变量、凭据下发做数据隔离)、对确实需要强隔离或需要执行不可信代码的任务再按需开临时沙箱(Firecracker/gVisor/nsjail)用完即弃。隔离要覆盖四个面:文件系统(每人一个 workspace 目录,禁止越界访问)、网络(默认禁外联,白名单出网)、凭据(按用户下发短期 token,不共享长期密钥)、资源(CPU/内存/磁盘/PID 限额,防止单用户把机器打满)。并发问题靠队列 + 限流 + 公平调度解决,长任务异步化,别让一个用户的死循环占满执行槽。

Transformer 与「CNN 为什么做不到」:Transformer 的基本单元是自注意力:输入经过 embedding 与位置编码后,每个 token 的向量分别乘以三组可学习矩阵得到 Q、K、V;注意力权重是 softmax(QKᵀ/√d_k),再对 V 加权求和,多头就是把表示空间切成若干子空间并行做这件事再拼接,之后接残差、LayerNorm 和前馈网络。√d_k 是为了防止点积随维度增大导致 softmax 进入饱和区、梯度消失。CNN 的局限在于:感受野有限且要靠堆层数才能扩大,长距离依赖要经过很多层传递、路径长度为 O(n),信息容易衰减;卷积核的权重共享带来平移不变性的强归纳偏置,对图像很合适,但对「任意位置之间都可能相关」的序列任务不灵活;而且 CNN 每层计算难以在序列长度维度上做大规模并行。Transformer 的任意两个位置之间的路径长度是 O(1),天然建模长程依赖,训练时整句并行(不像 RNN 必须串行递归),所以能靠堆参数、堆数据、堆算力稳定地 scale,这正是大模型能力涌现的工程基础。

Next Token Prediction 为什么可行:预训练目标就是最大化「给定前文预测下一个 token」的似然,损失是每个位置的交叉熵。它之所以能学到远超「猜词」的能力,是因为要压低下一个 token 的困惑度,模型必须隐式掌握语法、事实知识、指代关系、推理链条乃至代码的执行语义;而互联网级语料给这种自监督目标提供了几乎无限的标注(每个位置都是一个训练样本),所以能用极大算力把参数压进模型。训练流程上通常分阶段:预训练(学通用表示)→ 监督微调 SFT(学会遵循指令与对话格式)→ 对齐(RLHF/DPO 等,按人类偏好调行为),推理时再叠加 CoT、工具调用、检索等手段。采样阶段用温度、top-k、top-p 控制多样性与稳定性,这也是为什么同一个 prompt 会有不同输出、评测必须多次采样。

Q、K、V 的直觉与底层计算:Q(Query)是「我在找什么」,K(Key)是「我有什么可以被检索的标签」,V(Value)是「我实际要取走的内容」。底层步骤是:X(形状 [n, d_model])分别乘 W_q、W_k、W_v 得到 Q/K/V([n, d_head])→ 计算 QKᵀ 得到 [n, n] 的相似度矩阵 → 除以 √d_k → 因果掩码(decoder 里把上三角置 -inf,防止看到未来)→ 按行 softmax 得到注意力权重 → 与 V 相乘得到 [n, d_head] 输出 → 多头拼接后再过一个 W_o 投影。计算复杂度是 O(n²·d),n² 项就是长上下文推理显存与耗时的主要来源,KV Cache 正是把历史 K/V 缓存下来避免重复计算。改进方向(MQA/GQA、FlashAttention、稀疏与线性注意力)本质上都在压这个 n²。