AI 测试面试题：什么是「以模型评模型」（LLM-as-a-judge）

《面试题目》

1. 什么是「以模型评模型」（LLM-as-a-judge）？
2. 它相比传统评测指标有什么优势？
3. 这种方法有哪些局限，工程上怎么缓解？

《参考解析》

定义：用一个能力更强（或至少同级）的大模型充当评审，按给定的评分标准对被测模型的输出打分并给出理由。常见形态有单点打分（1-5 分）、成对比较（A/B 谁更好）、以及带参考答案的 rubric 评分。

优势集中在语义层面**：传统指标（BLEU、ROUGE、精确匹配）只能做表面重合度，对「换个说法但意思对」会误判；LLM 评审能判断逻辑是否自洽、事实是否准确、是否答非所问、语气是否符合要求。其次是可规模化——比人工评审快几个数量级，成本低，而且一致性更好（不受评审员疲劳与情绪影响）。对开放式问答、摘要、客服话术这类没有唯一答案的任务，几乎是目前唯一可落地的大规模评估手段。

局限要说透三件事：

• 评审模型自身的能力边界会直接变成评测的天花板。它不懂的领域、训练数据截止之后的新信息，判断都不可靠。
• 提示词敏感。评分维度怎么描述、是否给示例、是否要求先写理由再打分，都会显著改变结果。工程上要固定 rubric 并做提示词版本管理，改动后必须重跑基线做对比。
• 偏好偏差。评审模型倾向于偏爱与自己风格相似、更长、更「像标准答案」的输出，还可能对位置敏感（成对比较时偏向先出现的那个）。

缓解手段：多模型交叉评审取一致性；成对比较时随机交换 A/B 位置；用人工标注集校准评审模型（算它与人类的吻合率，作为可信度上限）；对关键场景保留人工抽检；把「理由」结构化输出（先列事实核对、再列逻辑问题、最后给分），减少凭感觉打分。