benchmark 面试题
共 2 篇真实面经 · 涵盖 阿里云 等 1 家公司
阿里云 AI 评测工程师二面:benchmark 选型、评测集构建与 judge 模型
阿里云 AI 评测工程师(MaaS 评测)二面,全程围绕项目与评测方法论:两个项目的关联、项目能否扩展到多模态(图片生成没有统一的 next-token 范式,难统一)、项目主题来源、benchmark 选型逻辑(baseline 普遍在用的必须对比、引用量作质量代理)、自建评测集怎么做、优秀评测集的标准(无硬性错误、领域与生成模型分布广且均匀、难度分层合理、长度/n-gram 等统计特征无显著差异以防 hack)、结果指标与 case study、想让结果更好有什么办法、实验结果偏差怎么分析、三个项目的区别与联系、近期火的 judge 类专用模型怎么看。反问时面试官反馈「回答、对做过事情的理解、对没做过事情的思路都 OK,不足是方向偏科研、生产级场景不广」,随后仍挂了。
阿里云 AI 评测工程师一面:benchmark 怎么建、case study 怎么做、评测与测试的区别
阿里云 MaaS 评测方向 AI 评测工程师一面:两段项目被逐层拆到数据来源、数据集构建、实验分析与 case 归类,概念题问「评测和测试有什么不同」,最后问想从实习里得到什么。帖主记录面试官偏好 case study,反问得到的团队工作流是「按场景定义指标 → 从真实用例收集数据 → 构建 harness → 产出报告给技术和产品」。