面灵AI→

回响 测开二面:UI 自动化加裁判 Agent、知识图谱与 JWT 安全测试

轮次
二面
时间
2026-11
来源
牛客网

《面试题目》

  1. 自我介绍。
  2. 对下段工作的期待和倾向。
  3. UI 自动化中,裁判 Agent 的评估流程是怎样的?
  4. UI 自动化的 Agent,行业专业知识怎么处理,知识图谱怎么做?
  5. 接口自动化框架选型。
  6. CI 后自动触发回归,具体实现过程。
  7. 自动化测试用例在哪里维护?
  8. 自动化测试用例相互依赖时,如何把用例 1 的输出当作用例 2 的输入?
  9. 自动化用例的写操作如何保证幂等性?
  10. 有接触过系统安全、账号体系安全的测试吗?
  11. JWT 介绍,如何保证 JWT 的安全性,JWT 的构成?
  12. 测试 JWT,需要校验哪些?

《参考解析》

裁判 Agent 的评估流程:把「模型当裁判」这件事做成可复现的流水线,而不是每次让模型自由发挥。流程是:① 定义评分维度与档位(例如功能正确性、步骤完整性、异常处理、界面状态是否符合预期),每档给出可判定的描述;② 采集证据——截图、DOM 快照、网络请求、控制台日志,全部随用例一起存档;③ 把证据与评分标准一起交给裁判模型,要求输出结构化结果(各维度档位 + 理由 + 引用的证据),而不是一句「通过」;④ 与已知结论的基准集比对,校准裁判本身(同一批样例重复跑,看判定一致性;与人工标注比对,算一致率与偏差方向);⑤ 对不一致样本做人工复核并回流到基准集。关键设计是「裁判只看证据、不给操作权限」,以及「评分标准与证据一起版本化」,否则规则改了以后历史结果不可比。

行业专业知识与知识图谱:UI 自动化的 Agent 之所以需要行业知识,是因为很多界面的「正确行为」依赖业务语义——同一个按钮在不同业务状态下该不该可点、某个字段的取值范围、审批流的合法路径,这些光看 DOM 判断不了。落地方式分三步:先把领域知识整理成实体与关系(对象、状态、动作、约束、前置条件),形成轻量本体;再把界面元素与实体做映射(哪个页面、哪个控件对应哪个业务对象);最后把约束写成可执行的断言或规则,供 Agent 在生成与判定时查询。知识图谱在这里的价值不是「存很多三元组」,而是提供「查询可达状态与合法动作」的能力;如果领域还很小时,用结构化配置表加规则引擎比上图更划算,这一点要如实说明。

接口自动化框架选型:按团队约束选,不按流行度选。考虑项包括语言与团队技术栈是否一致、用例组织方式(数据驱动、关键字驱动、代码即用例)、断言与 schema 校验能力、参数化与环境管理、报告与失败重试、并发执行、以及与 CI 的集成成本。常见组合是 pytest + requests + allure(Python 团队)、JUnit + RestAssured(Java 团队)、Postman/Newman 做冒烟。选型结论要落到「维护成本」:接口变更时改一处还是改多处、失败能否一眼定位到是环境问题还是逻辑问题。

CI 后自动触发回归:代码合并或构建成功后由 CI 平台触发流水线——拉取被测服务镜像或部署到测试环境、等待健康检查通过、执行分层回归(先冒烟再全量)、收集报告并回传(失败时附日志与请求响应)、最后按结果阻断或放行。实现细节:用环境变量注入被测环境地址与账号,用标记区分冒烟与全量用例,失败重试用例要区分「不稳定用例」与「真失败」,并设置流水线超时与并发上限。回归结果要能追溯到具体 commit,否则定位成本极高。

用例维护与跨用例传参:用例集中放在代码仓库里与业务代码同源管理(而不是散落在测试平台的界面里),按业务域分目录,公共步骤抽成 fixture 或关键字。跨用例依赖要用「显式传参 + 上下文对象」而不是靠执行顺序:用例 1 把输出写入上下文(如 ctx.order_id),用例 2 声明依赖并从上下文取;框架层检查依赖是否满足,缺失时直接跳过并标记原因。更好的做法是让每个用例自己造数据(工厂函数 + 独立账号),把依赖降到最低,只在确实无法避免时(如审批流)才串联。

写操作用例的幂等性:三个层面。数据层用唯一键或「先查后建」,重复执行不会产生重复数据;接口层要求业务提供幂等键,用例每次生成新的幂等键并断言重复提交返回同一结果;清理层在用例结束时按标记删除本次创建的数据(teardown),失败也要执行。另外要给账号做隔离,避免并发执行时互相干扰。

账号体系与 JWT 的安全测试:账号侧覆盖注册(重复注册、弱密码、验证码绕过)、登录(撞库限流、密码错误次数、会话固定)、找回(验证码时效与重放)、越权(水平越权改他人 id、垂直越权访问管理接口)、注销与多端登录互踢。JWT 侧看三类问题:签名校验是否真的执行(把 alg 改成 none、把 RS256 改成 HS256 并用公钥当密钥)、是否校验 exp 与 nbf、是否校验 iss 与 aud、密钥是否够强且不泄漏、是否把敏感信息放进 payload(JWT 只是 Base64 编码,不是加密)。还要看注销后 token 是否失效——纯 JWT 无状态方案下需要黑名单或短有效期加刷新令牌。

JWT 的构成:三段 Base64URL 编码用点分隔——Header(alg 与 typ)、Payload(标准声明 iss、sub、aud、exp、nbf、iat、jti,以及业务自定义字段)、Signature(对前两段的签名)。测试时要校验的清单:签名算法是否被服务端限定、签名能否被伪造或剥离、过期与生效时间是否强制校验、aud/iss 是否匹配、jti 是否用于防重放、payload 是否泄漏敏感数据、token 长度与传输方式(应放在 Authorization 头而不是 URL)、以及刷新令牌的轮换与吊销机制。