阿里云 AI 评测工程师二面:benchmark 选型、评测集构建与 judge 模型
阿里云 AI 评测工程师(MaaS) 二面
阿里云 AI 评测工程师(MaaS 评测)二面,全程围绕项目与评测方法论:两个项目的关联、项目能否扩展到多模态(图片生成没有统一的 next-token 范式,难统一)、项目主题来源、benchmark 选型逻辑(baseline 普遍在用的必须对比、引用量作质量代理)、自建评测集怎么做、优秀评测集的标准(无硬性错误、领域与生成模型分布广且均匀、难度分层合理、长度/n-gram 等统计特征无显著差异以防 hack)、结果指标与 case study、想让结果更好有什么办法、实验结果偏差怎么分析、三个项目的区别与联系、近期火的 judge 类专用模型怎么看。反问时面试官反馈「回答、对做过事情的理解、对没做过事情的思路都 OK,不足是方向偏科研、生产级场景不广」,随后仍挂了。