众安信科 AI 测试实习初面:越权问题、多模型问答与性能压测
- 轮次
- 初面
- 时间
- 2026-11
- 来源
- 牛客网
《面试题目》
- 请做简单自我介绍,重点讲实习经历和项目经历。
- 上一家公司实习了多久?两个多月负责 3 个系统上线,简单介绍下这些系统,系统测试周期大概多长?
- 公司给实习生都是这样同时支持多个项目,还是聚焦一个项目?
- 简历提到发现数据权限越权问题,请展开说说,问题如何发现,最后怎么解决?
- 针对多模型智能问答系统,测试重点是什么?如何开展测试工作?
- 项目涉及意图识别测试,当时你是怎么做的?
- 如果交给你一个性能压测任务,你会怎么做?
- 性能压测过程中需要重点关注哪些指标?
- 有没有接触过自动化测试相关内容?
- 自动化框架有没有在实际项目实操?是哪个项目?
- 在该项目里,自动化框架覆盖了多少接口、多少测试 case?
- 你这边还有什么想要问我的?
《参考解析》
越权问题是测试岗最值钱的经历之一,讲它要按「怎么发现—影响多大—怎么修—怎么防再犯」四段。 发现方式通常是:用 A 账号登录后直接改请求里的资源 ID 或用户 ID,看能不能读到 B 的数据(水平越权);用低权限账号访问管理员接口(垂直越权);或者从接口返回里看到不该出现的字段。影响面要说清涉及哪些接口、多少用户数据。修复分两层:服务端每个接口都做「资源归属校验」(不能只靠前端隐藏菜单),数据层用行级权限或租户隔离。防再犯是把越权用例做成自动化回归的一部分,并在代码评审清单里加一条「新增接口是否做了归属校验」。
多模型智能问答系统的测试重点,和普通业务系统差别在「输出不确定」。 要分四块:功能正确性——同一问题在不同模型下的答案是否都符合事实、引用是否可追溯;一致性——相似问法、多轮上下文、同义改写后的答案是否稳定(用固定问题集做回归,比对语义相似度而不是逐字比对);安全与合规——提示注入、越狱、敏感话题、输出里的隐私信息;性能与成本——首字延迟、完整响应时间、并发下的成功率、单次 token 成本。还要有兜底测试:模型服务超时或报错时是否降级到备用模型或给出友好提示,不能白屏。
意图识别的测试要按「分类质量」和「边界处理」两条线做。 分类质量用混淆矩阵看每一类的准确率、召回率与误判方向,重点关注容易混的类(「查询订单」vs「修改订单」);数据要分层:标准问法、同义改写、带错别字的口语、跨意图的复合句、以及完全无关的输入(应该走兜底而不是硬分到某一类)。阈值要测:置信度低于阈值时是否转人工或追问澄清。回归时把线上真实 badcase 沉淀成用例集,每次模型或提示词改动都跑一遍。
性能压测的标准流程:明确目标 → 建模场景 → 准备环境与数据 → 梯度加压 → 观察与定位 → 出报告与调优。 目标要具体到「支持多少并发下 P95 响应时间小于多少、错误率低于多少」;场景按真实流量比例混合(登录、查询、下单各占多少);环境尽量贴近生产,数据量要够大否则索引与缓存行为失真;加压用梯度(50→100→200 并发)找到拐点而不是一上来打满;观察时同时看压测机与被测机的资源,避免压测机先成为瓶颈。AI 类服务还要单独压模型调用链路,注意上游的限流与配额。
压测关注的指标分三层。 业务侧:QPS/TPS、响应时间的 P50/P95/P99、错误率、超时率;系统侧:CPU、内存、磁盘 IO、网络带宽、连接数与线程池排队;中间件与应用侧:数据库慢查询与连接池等待、缓存命中率、GC 频率与停顿、消息积压。AI 服务再加首 token 延迟、token 吞吐、上游 429/5xx 比例。要能说清「平均响应时间没变但 P99 恶化了」意味着什么——通常是少数请求排队或触发了超时重试。
自动化覆盖范围的回答要诚实且具体。 说清框架(接口层用 pytest + requests,或 Postman/Newman;UI 层用 Playwright/Selenium)、覆盖了多少接口与用例、覆盖的是哪些业务链路(核心链路冒烟还是全量回归)、以及为什么没铺满(维护成本、需求变动频繁、历史系统缺测试环境)。如果被追问「覆盖率怎么算」,给出分母口径(接口总数、P0 用例数),别报一个没有依据的百分比。
「实习生同时支持三个项目」这类问题,面试官在确认你是不是真的参与而不是挂名。 回答时给每个系统一句话定位(做什么业务、给谁用)、你的角色(负责哪些模块的用例设计与执行)、以及时间怎么分配(按版本节奏错峰)。系统测试周期要给具体数字:从需求评审到上线大概几周、其中用例设计与执行各占多少、回归多久。这些细节是可信度的来源。