面灵AI→

顺丰 测试开发二面:造数平台分层、TestNG 数据驱动与 AI 生成用例

轮次
二面
时间
2026-11
来源
牛客网

《面试题目》

造数平台

  1. 这个平台是你独立完成的吗?
  2. 它主要完成的是造数吗?
  3. 你们的数据构造是直接通过数据库去造的吗?
  4. 你们造数支持哪些类型的场景?
  5. 你说的 Python CLI 是什么?是一个命令行工具吗?
  6. 后端的造数脚本是用什么语言写的?
  7. 这个链路里 AI 只是做一个转发和路由解析吗?

接口自动化

  1. 你这个项目的自动化是怎么做的?
  2. 接口自动化用的是 Java TestNG?
  3. 针对新的用例怎么去新增?
  4. 自动充值这个流程的接口自动化是怎么做的?
  5. 接口测试数据是怎么构建的?
  6. DataProvider 里面的数据类型是什么?

项目与经历

  1. 两段实习的过程中,你发现过什么严重的问题?
  2. 下面几个项目经验是你自己在学校练手的吗?
  3. 介绍一下第二个项目 AI TestOps 平台,这个是你独立开发的吗?
  4. 做这个平台遇到哪些问题,怎么解决的?
  5. 你是怎么生成 pytest 用例的?

《参考解析》

造数平台为什么不能只直连数据库:直连数据库造数快,但绕过业务校验与状态机,容易造出线上不可能出现的脏数据;走接口造数能保证业务规则,但慢且依赖服务可用性。成熟的造数平台通常分四层:模板层(业务实体、必填字段、实体间关联关系)、执行层(纯数据准备走 DB 直写,需要触发业务逻辑的场景走接口或消息)、清理层(每批数据带批次标记,按批次回收,避免污染共享环境)、治理层(谁能造、造了什么、保留多久)。场景类型一般覆盖单表基础数据、多表关联数据、状态机中间态、异常态(超时、失败、风控命中)与批量压测数据。两个工程要点:造数必须幂等,同一批次重复执行不产生重复数据;提供 dry-run,先输出将要写入的内容再由人确认。

Python CLI 与 AI 的边界:合理的架构是 CLI 负责接收自然语言与参数,AI 只做意图识别与槽位抽取,输出结构化的造数请求(场景、数量、标签、约束条件),由确定性代码完成参数校验后调用造数脚本。AI 不能直接拼 SQL 或直接写库——一次幻觉就会变成生产环境或共享测试环境的脏数据。每个动作都要有 JSON Schema 与白名单,执行结果回填给模型作为观察结果。可观测性上记录请求 ID、解析结果、校验失败原因与执行耗时,出问题时才能区分是「模型理解错」还是「脚本执行错」。被问到「AI 是不是只做转发」时,可以说明它承担的是「自然语言到结构化参数」的翻译,以及失败后的重试与澄清,不承担副作用。

TestNG 数据驱动:@DataProvider 返回 Object[][] 时,每一行是一组参数,按测试方法的参数顺序传入;返回 Iterator<Object[]> 适合大数据量流式读取,避免一次性载入内存;配合 @Test(dataProvider = "名字") 使用,可设 parallel = true 并行执行。数据来源常见为 Excel、YAML/JSON、CSV、数据库或代码内构造,核心是把用例逻辑与测试数据分离,让同一个方法用不同数据覆盖正常、边界与异常。几个易错点:参数类型必须与方法签名一致,否则运行期才报错;DataProvider 在测试方法执行前统一取数,数据量很大时要换迭代器;断言要覆盖响应码、业务码与关键字段,而不是只判断「没抛异常」。新增用例的流程应是「定义数据 → 选接口或编排场景 → 写断言 → 打标签进 CI」,并保证用例可独立执行、可重复执行、失败能定位到具体断言。

自动充值这类流程怎么自动化:先画出状态流转(下单、支付回调、到账、对账),把每个状态的前置条件写清楚;再用编排把多个接口串起来,中间状态通过查询接口或造数平台准备,避免依赖真实支付渠道——支付回调通常用 Mock 或沙箱模拟,并单独覆盖「回调重复、回调乱序、回调金额不一致」这几类异常。断言分三层:接口返回、账户余额与流水、对账结果。失败重试要区分「可重试的幂等操作」与「不可重试的资金动作」,后者重试会造成重复到账。

AI TestOps 平台的难点:常见难点集中在四处:日志与堆栈的采集与结构化(pytest 的 --tb、捕获日志、JUnit XML 报告)、上下文长度与切片、归因结论的可信度(建议必须能落到文件与行号)、以及平台自身的可用性(AI 不可用时测试链路不能停)。工程做法是把 AI 放在「分析助手」的位置:用例失败后自动汇总报错、相关日志片段与近期变更,给出候选原因与验证命令,由人确认;对高风险结论要求给出证据链。平台侧要有降级路径与超时控制,不能让一次模型超时拖住整条流水线。

pytest 用例怎么生成:从接口契约或现有用例出发,先生成 fixture 与参数化骨架,再生成断言。断言应来自响应 schema(字段类型、必填、枚举)与业务规则,而不是照抄某一次真实响应——后者会把当时的偶然值固化成预期。生成后必须跑一遍真实环境回归,筛掉不可执行的(缺依赖、参数错误)与断言过宽的用例,再由人补充业务语义断言。生成质量取决于输入完整度:接口文档、示例请求、错误码表、数据前置条件缺一不可;缺这些时,模型只能生成看起来像用例的文本。

「发现过什么严重问题」怎么讲:按影响面、定位过程、修复与预防四段讲。影响面说清涉及多少用户或多少金额、是否影响线上;定位过程给出关键证据(日志、监控曲线、复现步骤),说明如何排除其他可能;修复讲清改动范围与验证方式;预防落在机制上——补监控、补用例、加校验、改进评审流程。只讲「发现了一个 bug 并提了单」没有信息量,面试官想听的是判断与推动能力。