AI 测试面试题:AI 生成测试用例的质量评估体系怎么建
- 轮次
- 面试八股
- 时间
- 2026-10
- 来源
- 牛客网
《面试题目》
- AI 生成测试用例的质量该怎么评估?
- 评估的核心维度有哪些?
- 怎么设计一个可落地的打分模型?
- AI 生成用例最常见的缺陷是什么?
《参考解析》
六个维度,按重要性排序:
- 需求覆盖度(最重)。把所有需求点、前置条件、分支与异常场景列成清单,与用例做双向追踪,看有没有漏。漏掉边界值、异常流、反向场景是最常见的扣分点。
- 正确性。步骤与预期结果是否符合业务逻辑、参数是否写对。AI 最容易在这里「脑补业务规则」,所以必须对着需求文档或接口定义核验。
- 可执行性。拿到用例能不能不靠脑补直接跑:前置条件、测试数据、操作步骤、断言是否齐全。典型不合格是「点一下按钮,看是否正常」这种没有定位信息和参数的写法。
- 冗余度。AI 倾向大量生成高度相似的用例来堆数量,需要按场景聚类去重、合并同类。
- 边界与异常完整性。边界值、非法入参、空值、超长、特殊字符、网络异常、权限、并发——AI 默认优先生成正向流程,异常场景通常要靠提示词显式要求。
- 规范性。统一模板:用例 ID、模块、标题、前置条件、步骤、预期结果、优先级、严重级别。
打分模型:需求覆盖 30 分、无业务错误 25 分、可直接执行 20 分、边界异常齐全 15 分、无冗余且格式规范 10 分。落地时定三档:60 分以下必须大改、60-80 微调可用、80 分以上可直接进评审。这样能把「AI 生成的初稿能不能用」变成一个可比较的数字。
两类高频缺陷:幻觉(编造不存在的接口、页面字段、业务规则)与场景片面(只有正向用例)。对应的工程手段是给模型喂真实的接口定义与原型、并要求它先输出「覆盖矩阵」再出用例,人只需要检查矩阵的空洞。
最后一句判断:AI 生成用例的价值在「把覆盖率快速拉到及格线」,把评审者的时间从「想用例」转移到「补异常与判定」。评估体系的目标不是证明 AI 好用,而是让团队知道哪一档可以直接用。