恩士迅信息科技 AI 测试工程师一面二面:AI 生成用例怎么复检、视觉算法在客户环境怎么排障
- 轮次
- 一面+二面
- 时间
- 2026-11
- 来源
- 牛客网
《面试题目》
一面(2026-10-23,约 35 分钟)
- 对我们公司有什么了解?介绍一下主营业务。
- 中文自我介绍。
- 实习中是怎么用 AI 辅助设计测试用例的?
- AI 生成的用例怎么做人工复检?怎么证明 AI 生成的某一条用例是有效的?
- 介绍一下 Python 的基本数据类型,用过哪些库和函数?结合之前「古法编程」时代做过的项目回答。
- 共享屏幕:现场阅读一段 JSON 格式数据,说明怎么定位到其中某个 key 的值。
- 共享屏幕:现场阅读一段英文需求文档,向面试官解释文档讲的是什么,并设计测试用例。(内容为视频流目标检测相关的算法,参数是传入视频的帧数,围绕该参数设计用例。)
- 说一下 Linux 的常用命令,以及 Docker 查看日志的命令。
- 有没有了解过 AI 模型的评测指标?
- 有没有了解过提示词工程?平时做项目时有没有一套自己编写提示词的习惯?
- 有没有遇到过 AI 幻觉?怎么避免?
- 回归测试中测出一个 bug,但开发不承认、说自己根本没有改动过对应模块的代码,你会怎么做?
- 遇到偶现的 bug,你会怎么和开发沟通?
- 场景题:公司的目标检测算法在本地测试正常,在客户环境出现了 bug,你会怎么排查?说一下排查步骤。
- 还是上面的场景,如果需要把这个情况上报给国外同事,怎么用英文解释这个问题和你的解决方案?
- 之前有做过数据标注吗?标注的内容和标准是什么?
- 场景题:有一个识别工地工人是否佩戴安全帽的算法,算法有时会把普通帽子错误识别成安全帽,你会怎么解决?
- 还是上面的场景,如果复检时发现标注结果里有很多是把普通帽子标成了安全帽,你会怎么处理这批数据?如果由你全权负责,你会怎么跟组长沟通?
- 有没有接触过 AI 模型训练?
- 反问环节。
二面(2026-10-28,约 15 分钟)
- 自我介绍。
- 为什么没有留在实习公司转正?
- 一面的面试官反馈你没有什么 AI 测试相关的经验,那么你有没有了解更多关于 AI 测试的知识?
- 展开讲讲大模型的评测。
- 实习经历中提到用 AI 辅助生成测试用例,你是怎么评估这些测试用例的?
- 具体讲一下 AI 经常犯的错误。
- 你测试过汽车智能座舱的 AI 语音助手,你认为它和传统测试的区别是什么?
- 你从哪些方面着手对 AI 语音助手做测试?
- 你是怎么编写提示词的?
- 你还能想到从哪些方面测试这个 AI 语音助手?
- 你是怎么对失败用例的类型做分类的?
- 在药企实习中做的是哪方面的测试?具体说一下测了哪些部分。
- 你对图像识别,包括多模态大模型这块有什么了解和认知?
- 场景题:要做一个检测工厂里有没有人跌倒的算法,你要怎么针对这个算法设计测试?
- 反问环节。
《参考解析》
AI 生成用例的复检与「有效性」证明。 这道题考的是有没有把 AI 输出当成待验证对象。复检分三层:一是需求对齐,把生成的用例逐条映射回需求条目,检查有没有覆盖缺失或语义理解错误(AI 最常见的问题是把「不得早于」读成「不得晚于」、把可选条件写成必填);二是可执行性,用例的前置条件、输入数据、操作步骤、预期结果是否足够具体,能否被另一个人照着跑出同一结果;三是预期结果本身是否成立,需要人工按业务规则校验,不能默认 AI 给的预期是对的。证明某一条用例有效,本质是证明它的判定标准(test oracle)可靠:如果预期结果能由接口返回、数据库记录、日志、监控指标等可观测事实推出,就构造一次真实执行,看到「该失败时它确实失败」——把被测代码改回缺陷版本或用变异测试(删掉一行判空、把边界值改一位)看用例是否报错,通过变异检测的用例才算真能抓 bug;如果预期只能靠人判断,就注明判定依据与复核人,并沉淀为回归基线。
围绕「视频帧数」参数设计用例。 先明确参数的取值域与语义——是抽帧间隔、送检帧数上限,还是 FPS;再按边界与等价类铺用例:0、1、极小值、常见值、上限、上限加一、极大值、负数、非整数、空值、超大数字溢出;再叠加业务维度:帧数小于算法窗口长度时是否补零或拒绝、帧数变化对时延与显存占用的影响、与分辨率/码率/编码格式的组合、跨帧目标(短暂遮挡、快速移动)在不同抽帧策略下是否漏检。还要覆盖异常输入:非法视频格式、损坏文件、流中断、时间戳乱序。这类题的重点不是穷举,而是先讲清参数语义再分层给用例。
JSON 定位 key 的现场题。 不要只答「点开看」。说明方法:结构清晰时按层级路径取,如响应体里 data.list[0].id;不确定层级时用递归遍历或 jq(jq '.. | objects | select(has("targetKey"))')、Python 的 json 递归查找、或用 IDE/Postman 的搜索;数组里要说明按索引还是按条件筛选,重复 key 要说明取第一个还是全部。再补一句工程判断:如果同一 key 在多层出现,说明接口设计有问题,应该反馈给开发而不是在测试脚本里硬编码路径。
Linux 与 Docker 查日志。 常用命令按场景报:ps -ef | grep/top/netstat -tunlp 看进程与端口,tail -f、grep -n、sed -n、awk 看日志,df -h/free -m/iostat 看资源,kill -9 强制结束。Docker 侧是 docker ps -a 看容器、docker logs -f --tail 200 <容器> 跟踪日志、docker logs --since 10m 按时间过滤、docker exec -it <容器> bash 进容器、docker inspect 看配置与挂载。答的时候带一句「先看容器状态再看应用日志,日志级别与时间戳要对齐时区」,比背命令清单更有说服力。
目标检测与多模态模型的评测指标。 检测任务的基础是 IoU 与置信度阈值:固定 IoU(常用 0.5)后算 precision、recall、F1,再扫阈值得到 PR 曲线与 AP,多类别取平均得 mAP(mAP@0.5、mAP@0.5:0.95);工程上还要看误报率、漏报率、每帧耗时/FPS、不同光照与遮挡条件下的分组指标。多模态大模型则分能力维度评:图文理解(VQA 准确率)、OCR、计数与空间关系、幻觉率(描述中出现了图中不存在的物体)、指令遵循;生成类还要看人工偏好评分。回答时补一句「指标要按业务代价加权——工地安全帽漏检的代价远高于误报」,这是面试官想听的。
提示词工程与幻觉治理。 提示词习惯可以讲成一套可复用的结构:角色与目标、输入数据的边界、输出格式约束(JSON schema)、判定规则与例外、few-shot 示例、以及「信息不足时明确说不确定」的要求。幻觉的规避手段在工程侧:给模型可验证的事实(检索结果、接口返回、日志),要求引用出处,把开放生成改成受约束的选择或填槽,输出后做规则校验与二次核对,关键结论走人工复核。要承认幻觉无法靠提示词根除,只能收敛。
客户环境出 bug 的排查步骤与英文上报。 排查顺序:先确认现象与复现条件(客户环境的版本、配置、硬件、驱动、输入数据与本地是否一致),再比对差异(模型版本、依赖库、显卡与 CUDA、系统时区与编码、网络与权限),然后用日志与埋点定位是数据没进来、推理出错还是结果没回传,接着做最小复现(把客户的样本拉回本地跑、或把本地样本推到客户环境跑),最后给出临时规避与根因修复。英文上报按「问题—影响—已排除项—请求协助」四段写:环境与版本、现象与发生时间、影响范围、已做的排查与结论、需要的支持(样本、日志权限、复现窗口)。这道题同时考表达与工程条理,先把结构说出来再展开。
安全帽误检与脏标注的处理。 普通帽子被判成安全帽,是典型的类间相似导致的漏判,治理先分层:数据侧看训练集里是否有大量「普通帽子标成安全帽」的脏样本、是否有颜色/款式分布偏差;模型侧看阈值与后处理,是否可以用二级校验(颜色、佩戴位置、帽檐形状)或引入负样本重训;业务侧评估误报代价,决定阈值偏向。处理脏标注的顺序是:先抽样统计污染比例与分布(哪些场景、哪些标注员、哪些类别),再隔离这批数据不让它进入训练与评测集,然后回溯受影响的模型版本与评测结论,最后重新标注并向组长提交影响评估——包括已上线模型是否需要回滚、重训排期、以及如何防止再次发生(双人复核、抽检比例、标注规范里补上「普通帽子」的反例图)。回答时把「先止损、再修数据、最后改流程」讲清楚。
智能座舱语音助手与传统测试的差异。 传统功能测试的输入是确定的,预期也是确定的;语音链路的输入是开放的(口音、语速、方言、噪声、多人同时说话、唤醒词误触发),输出是非确定性的(同一句话可能给出不同措辞),判定标准要从「字符串相等」改成「意图是否正确、槽位是否完整、动作是否执行」。测试维度包括:唤醒(唤醒率、误唤醒)、识别(安静/车载噪声/高速风噪下的字准率)、语义理解(同义表达、多意图、上下文指代、拒识)、执行(车控指令是否真的生效、失败是否有反馈)、多轮与打断、离线与网络切换、以及安全性(行驶中限制操作、误唤醒不能触发危险动作)。这条链路要分层测:模型层用标注语料算指标,系统层用场景脚本做端到端,实车层做路测。
失败用例的分类。 分类维度要能直接指向责任方与修复动作:按失败环节(唤醒/识别/语义/执行/超时)、按原因(模型能力不足、数据缺失、提示词或规则配置错误、接口变更、环境问题、用例本身写错)、按稳定性(必现/偶现/环境相关)、按影响(阻断、严重、一般)。分类的价值在于聚合:同一原因下失败用例的占比决定下一步是补数据、改提示词还是修代码,而不是逐条修用例。
十万级算法跌倒检测的测试设计。 先定义「跌倒」的业务口径(是否含蹲下、坐下、弯腰捡东西、躺卧休息),把误报与漏报的代价写清楚;再构造数据集:真实监控视频分层抽样(白天/夜间、遮挡、多人、不同摄像头角度与安装高度)、演员摆拍的标准动作、以及困难负样本(蹲下、系鞋带、搬重物、儿童攀爬);指标上看检出率、误报次数/小时、告警时延(跌倒到告警的秒数)、连续帧确认策略的效果;再看工程链路:视频接入是否断流、边缘设备算力是否够、告警是否送达、误报能否快速消音。上线后做灰度与影子比对,用人工复核结果回流修正阈值。
大模型评测的展开。 回答按四层:评什么(能力维度:知识、推理、指令遵循、长文本、多模态、安全)、怎么评(基准集如 MMLU/C-Eval 类客观题、业务自建集、人工偏好与 rubric 打分、LLM-as-judge 及其偏差校准)、用什么指标(准确率、pass@k、胜率、幻觉率、拒答率、时延与成本)、怎么用(版本对比要固定提示词与解码参数、同一批样本、报置信区间;线上用 A/B 与 badcase 回流)。要主动说清自建集比公开榜单更重要,因为业务分布不同。
帖主在复盘里写,二面被追问「你之前测的是 AI 模型本身,还是用 AI 辅助测试工作」,回答后者之后面试官兴趣明显下降。这个岗位要的是对视觉算法本身做评测的人,投递前先看清 JD 里写的是「测模型」还是「用模型测」。