顺丰 测试开发二面:造数平台分层、TestNG 数据驱动与 AI 生成用例
- 轮次
- 二面
- 时间
- 2026-11
- 来源
- 牛客网
《面试题目》
造数平台
- 这个平台是你独立完成的吗?
- 它主要完成的是造数吗?
- 你们的数据构造是直接通过数据库去造的吗?
- 你们造数支持哪些类型的场景?
- 你说的 Python CLI 是什么?是一个命令行工具吗?
- 后端的造数脚本是用什么语言写的?
- 这个链路里 AI 只是做一个转发和路由解析吗?
接口自动化
- 你这个项目的自动化是怎么做的?
- 接口自动化用的是 Java TestNG?
- 针对新的用例怎么去新增?
- 自动充值这个流程的接口自动化是怎么做的?
- 接口测试数据是怎么构建的?
- DataProvider 里面的数据类型是什么?
项目与经历
- 两段实习的过程中,你发现过什么严重的问题?
- 下面几个项目经验是你自己在学校练手的吗?
- 介绍一下第二个项目 AI TestOps 平台,这个是你独立开发的吗?
- 做这个平台遇到哪些问题,怎么解决的?
- 你是怎么生成 pytest 用例的?
《参考解析》
造数平台为什么不能只直连数据库:直连数据库造数快,但绕过业务校验与状态机,容易造出线上不可能出现的脏数据;走接口造数能保证业务规则,但慢且依赖服务可用性。成熟的造数平台通常分四层:模板层(业务实体、必填字段、实体间关联关系)、执行层(纯数据准备走 DB 直写,需要触发业务逻辑的场景走接口或消息)、清理层(每批数据带批次标记,按批次回收,避免污染共享环境)、治理层(谁能造、造了什么、保留多久)。场景类型一般覆盖单表基础数据、多表关联数据、状态机中间态、异常态(超时、失败、风控命中)与批量压测数据。两个工程要点:造数必须幂等,同一批次重复执行不产生重复数据;提供 dry-run,先输出将要写入的内容再由人确认。
Python CLI 与 AI 的边界:合理的架构是 CLI 负责接收自然语言与参数,AI 只做意图识别与槽位抽取,输出结构化的造数请求(场景、数量、标签、约束条件),由确定性代码完成参数校验后调用造数脚本。AI 不能直接拼 SQL 或直接写库——一次幻觉就会变成生产环境或共享测试环境的脏数据。每个动作都要有 JSON Schema 与白名单,执行结果回填给模型作为观察结果。可观测性上记录请求 ID、解析结果、校验失败原因与执行耗时,出问题时才能区分是「模型理解错」还是「脚本执行错」。被问到「AI 是不是只做转发」时,可以说明它承担的是「自然语言到结构化参数」的翻译,以及失败后的重试与澄清,不承担副作用。
TestNG 数据驱动:@DataProvider 返回 Object[][] 时,每一行是一组参数,按测试方法的参数顺序传入;返回 Iterator<Object[]> 适合大数据量流式读取,避免一次性载入内存;配合 @Test(dataProvider = "名字") 使用,可设 parallel = true 并行执行。数据来源常见为 Excel、YAML/JSON、CSV、数据库或代码内构造,核心是把用例逻辑与测试数据分离,让同一个方法用不同数据覆盖正常、边界与异常。几个易错点:参数类型必须与方法签名一致,否则运行期才报错;DataProvider 在测试方法执行前统一取数,数据量很大时要换迭代器;断言要覆盖响应码、业务码与关键字段,而不是只判断「没抛异常」。新增用例的流程应是「定义数据 → 选接口或编排场景 → 写断言 → 打标签进 CI」,并保证用例可独立执行、可重复执行、失败能定位到具体断言。
自动充值这类流程怎么自动化:先画出状态流转(下单、支付回调、到账、对账),把每个状态的前置条件写清楚;再用编排把多个接口串起来,中间状态通过查询接口或造数平台准备,避免依赖真实支付渠道——支付回调通常用 Mock 或沙箱模拟,并单独覆盖「回调重复、回调乱序、回调金额不一致」这几类异常。断言分三层:接口返回、账户余额与流水、对账结果。失败重试要区分「可重试的幂等操作」与「不可重试的资金动作」,后者重试会造成重复到账。
AI TestOps 平台的难点:常见难点集中在四处:日志与堆栈的采集与结构化(pytest 的 --tb、捕获日志、JUnit XML 报告)、上下文长度与切片、归因结论的可信度(建议必须能落到文件与行号)、以及平台自身的可用性(AI 不可用时测试链路不能停)。工程做法是把 AI 放在「分析助手」的位置:用例失败后自动汇总报错、相关日志片段与近期变更,给出候选原因与验证命令,由人确认;对高风险结论要求给出证据链。平台侧要有降级路径与超时控制,不能让一次模型超时拖住整条流水线。
pytest 用例怎么生成:从接口契约或现有用例出发,先生成 fixture 与参数化骨架,再生成断言。断言应来自响应 schema(字段类型、必填、枚举)与业务规则,而不是照抄某一次真实响应——后者会把当时的偶然值固化成预期。生成后必须跑一遍真实环境回归,筛掉不可执行的(缺依赖、参数错误)与断言过宽的用例,再由人补充业务语义断言。生成质量取决于输入完整度:接口文档、示例请求、错误码表、数据前置条件缺一不可;缺这些时,模型只能生成看起来像用例的文本。
「发现过什么严重问题」怎么讲:按影响面、定位过程、修复与预防四段讲。影响面说清涉及多少用户或多少金额、是否影响线上;定位过程给出关键证据(日志、监控曲线、复现步骤),说明如何排除其他可能;修复讲清改动范围与验证方式;预防落在机制上——补监控、补用例、加校验、改进评审流程。只讲「发现了一个 bug 并提了单」没有信息量,面试官想听的是判断与推动能力。