面灵AI→

恩士迅信息科技 AI 测试工程师一面二面:AI 生成用例怎么复检、视觉算法在客户环境怎么排障

轮次
一面+二面
时间
2026-11
来源
牛客网

《面试题目》

一面(2026-10-23,约 35 分钟)

  1. 对我们公司有什么了解?介绍一下主营业务。
  2. 中文自我介绍。
  3. 实习中是怎么用 AI 辅助设计测试用例的?
  4. AI 生成的用例怎么做人工复检?怎么证明 AI 生成的某一条用例是有效的?
  5. 介绍一下 Python 的基本数据类型,用过哪些库和函数?结合之前「古法编程」时代做过的项目回答。
  6. 共享屏幕:现场阅读一段 JSON 格式数据,说明怎么定位到其中某个 key 的值。
  7. 共享屏幕:现场阅读一段英文需求文档,向面试官解释文档讲的是什么,并设计测试用例。(内容为视频流目标检测相关的算法,参数是传入视频的帧数,围绕该参数设计用例。)
  8. 说一下 Linux 的常用命令,以及 Docker 查看日志的命令。
  9. 有没有了解过 AI 模型的评测指标?
  10. 有没有了解过提示词工程?平时做项目时有没有一套自己编写提示词的习惯?
  11. 有没有遇到过 AI 幻觉?怎么避免?
  12. 回归测试中测出一个 bug,但开发不承认、说自己根本没有改动过对应模块的代码,你会怎么做?
  13. 遇到偶现的 bug,你会怎么和开发沟通?
  14. 场景题:公司的目标检测算法在本地测试正常,在客户环境出现了 bug,你会怎么排查?说一下排查步骤。
  15. 还是上面的场景,如果需要把这个情况上报给国外同事,怎么用英文解释这个问题和你的解决方案?
  16. 之前有做过数据标注吗?标注的内容和标准是什么?
  17. 场景题:有一个识别工地工人是否佩戴安全帽的算法,算法有时会把普通帽子错误识别成安全帽,你会怎么解决?
  18. 还是上面的场景,如果复检时发现标注结果里有很多是把普通帽子标成了安全帽,你会怎么处理这批数据?如果由你全权负责,你会怎么跟组长沟通?
  19. 有没有接触过 AI 模型训练?
  20. 反问环节。

二面(2026-10-28,约 15 分钟)

  1. 自我介绍。
  2. 为什么没有留在实习公司转正?
  3. 一面的面试官反馈你没有什么 AI 测试相关的经验,那么你有没有了解更多关于 AI 测试的知识?
  4. 展开讲讲大模型的评测。
  5. 实习经历中提到用 AI 辅助生成测试用例,你是怎么评估这些测试用例的?
  6. 具体讲一下 AI 经常犯的错误。
  7. 你测试过汽车智能座舱的 AI 语音助手,你认为它和传统测试的区别是什么?
  8. 你从哪些方面着手对 AI 语音助手做测试?
  9. 你是怎么编写提示词的?
  10. 你还能想到从哪些方面测试这个 AI 语音助手?
  11. 你是怎么对失败用例的类型做分类的?
  12. 在药企实习中做的是哪方面的测试?具体说一下测了哪些部分。
  13. 你对图像识别,包括多模态大模型这块有什么了解和认知?
  14. 场景题:要做一个检测工厂里有没有人跌倒的算法,你要怎么针对这个算法设计测试?
  15. 反问环节。

《参考解析》

AI 生成用例的复检与「有效性」证明。 这道题考的是有没有把 AI 输出当成待验证对象。复检分三层:一是需求对齐,把生成的用例逐条映射回需求条目,检查有没有覆盖缺失或语义理解错误(AI 最常见的问题是把「不得早于」读成「不得晚于」、把可选条件写成必填);二是可执行性,用例的前置条件、输入数据、操作步骤、预期结果是否足够具体,能否被另一个人照着跑出同一结果;三是预期结果本身是否成立,需要人工按业务规则校验,不能默认 AI 给的预期是对的。证明某一条用例有效,本质是证明它的判定标准(test oracle)可靠:如果预期结果能由接口返回、数据库记录、日志、监控指标等可观测事实推出,就构造一次真实执行,看到「该失败时它确实失败」——把被测代码改回缺陷版本或用变异测试(删掉一行判空、把边界值改一位)看用例是否报错,通过变异检测的用例才算真能抓 bug;如果预期只能靠人判断,就注明判定依据与复核人,并沉淀为回归基线。

围绕「视频帧数」参数设计用例。 先明确参数的取值域与语义——是抽帧间隔、送检帧数上限,还是 FPS;再按边界与等价类铺用例:0、1、极小值、常见值、上限、上限加一、极大值、负数、非整数、空值、超大数字溢出;再叠加业务维度:帧数小于算法窗口长度时是否补零或拒绝、帧数变化对时延与显存占用的影响、与分辨率/码率/编码格式的组合、跨帧目标(短暂遮挡、快速移动)在不同抽帧策略下是否漏检。还要覆盖异常输入:非法视频格式、损坏文件、流中断、时间戳乱序。这类题的重点不是穷举,而是先讲清参数语义再分层给用例。

JSON 定位 key 的现场题。 不要只答「点开看」。说明方法:结构清晰时按层级路径取,如响应体里 data.list[0].id;不确定层级时用递归遍历或 jq(jq '.. | objects | select(has("targetKey"))')、Python 的 json 递归查找、或用 IDE/Postman 的搜索;数组里要说明按索引还是按条件筛选,重复 key 要说明取第一个还是全部。再补一句工程判断:如果同一 key 在多层出现,说明接口设计有问题,应该反馈给开发而不是在测试脚本里硬编码路径。

Linux 与 Docker 查日志。 常用命令按场景报:ps -ef | grep/top/netstat -tunlp 看进程与端口,tail -f、grep -n、sed -n、awk 看日志,df -h/free -m/iostat 看资源,kill -9 强制结束。Docker 侧是 docker ps -a 看容器、docker logs -f --tail 200 <容器> 跟踪日志、docker logs --since 10m 按时间过滤、docker exec -it <容器> bash 进容器、docker inspect 看配置与挂载。答的时候带一句「先看容器状态再看应用日志,日志级别与时间戳要对齐时区」,比背命令清单更有说服力。

目标检测与多模态模型的评测指标。 检测任务的基础是 IoU 与置信度阈值:固定 IoU(常用 0.5)后算 precision、recall、F1,再扫阈值得到 PR 曲线与 AP,多类别取平均得 mAP(mAP@0.5、mAP@0.5:0.95);工程上还要看误报率、漏报率、每帧耗时/FPS、不同光照与遮挡条件下的分组指标。多模态大模型则分能力维度评:图文理解(VQA 准确率)、OCR、计数与空间关系、幻觉率(描述中出现了图中不存在的物体)、指令遵循;生成类还要看人工偏好评分。回答时补一句「指标要按业务代价加权——工地安全帽漏检的代价远高于误报」,这是面试官想听的。

提示词工程与幻觉治理。 提示词习惯可以讲成一套可复用的结构:角色与目标、输入数据的边界、输出格式约束(JSON schema)、判定规则与例外、few-shot 示例、以及「信息不足时明确说不确定」的要求。幻觉的规避手段在工程侧:给模型可验证的事实(检索结果、接口返回、日志),要求引用出处,把开放生成改成受约束的选择或填槽,输出后做规则校验与二次核对,关键结论走人工复核。要承认幻觉无法靠提示词根除,只能收敛。

客户环境出 bug 的排查步骤与英文上报。 排查顺序:先确认现象与复现条件(客户环境的版本、配置、硬件、驱动、输入数据与本地是否一致),再比对差异(模型版本、依赖库、显卡与 CUDA、系统时区与编码、网络与权限),然后用日志与埋点定位是数据没进来、推理出错还是结果没回传,接着做最小复现(把客户的样本拉回本地跑、或把本地样本推到客户环境跑),最后给出临时规避与根因修复。英文上报按「问题—影响—已排除项—请求协助」四段写:环境与版本、现象与发生时间、影响范围、已做的排查与结论、需要的支持(样本、日志权限、复现窗口)。这道题同时考表达与工程条理,先把结构说出来再展开。

安全帽误检与脏标注的处理。 普通帽子被判成安全帽,是典型的类间相似导致的漏判,治理先分层:数据侧看训练集里是否有大量「普通帽子标成安全帽」的脏样本、是否有颜色/款式分布偏差;模型侧看阈值与后处理,是否可以用二级校验(颜色、佩戴位置、帽檐形状)或引入负样本重训;业务侧评估误报代价,决定阈值偏向。处理脏标注的顺序是:先抽样统计污染比例与分布(哪些场景、哪些标注员、哪些类别),再隔离这批数据不让它进入训练与评测集,然后回溯受影响的模型版本与评测结论,最后重新标注并向组长提交影响评估——包括已上线模型是否需要回滚、重训排期、以及如何防止再次发生(双人复核、抽检比例、标注规范里补上「普通帽子」的反例图)。回答时把「先止损、再修数据、最后改流程」讲清楚。

智能座舱语音助手与传统测试的差异。 传统功能测试的输入是确定的,预期也是确定的;语音链路的输入是开放的(口音、语速、方言、噪声、多人同时说话、唤醒词误触发),输出是非确定性的(同一句话可能给出不同措辞),判定标准要从「字符串相等」改成「意图是否正确、槽位是否完整、动作是否执行」。测试维度包括:唤醒(唤醒率、误唤醒)、识别(安静/车载噪声/高速风噪下的字准率)、语义理解(同义表达、多意图、上下文指代、拒识)、执行(车控指令是否真的生效、失败是否有反馈)、多轮与打断、离线与网络切换、以及安全性(行驶中限制操作、误唤醒不能触发危险动作)。这条链路要分层测:模型层用标注语料算指标,系统层用场景脚本做端到端,实车层做路测。

失败用例的分类。 分类维度要能直接指向责任方与修复动作:按失败环节(唤醒/识别/语义/执行/超时)、按原因(模型能力不足、数据缺失、提示词或规则配置错误、接口变更、环境问题、用例本身写错)、按稳定性(必现/偶现/环境相关)、按影响(阻断、严重、一般)。分类的价值在于聚合:同一原因下失败用例的占比决定下一步是补数据、改提示词还是修代码,而不是逐条修用例。

十万级算法跌倒检测的测试设计。 先定义「跌倒」的业务口径(是否含蹲下、坐下、弯腰捡东西、躺卧休息),把误报与漏报的代价写清楚;再构造数据集:真实监控视频分层抽样(白天/夜间、遮挡、多人、不同摄像头角度与安装高度)、演员摆拍的标准动作、以及困难负样本(蹲下、系鞋带、搬重物、儿童攀爬);指标上看检出率、误报次数/小时、告警时延(跌倒到告警的秒数)、连续帧确认策略的效果;再看工程链路:视频接入是否断流、边缘设备算力是否够、告警是否送达、误报能否快速消音。上线后做灰度与影子比对,用人工复核结果回流修正阈值。

大模型评测的展开。 回答按四层:评什么(能力维度:知识、推理、指令遵循、长文本、多模态、安全)、怎么评(基准集如 MMLU/C-Eval 类客观题、业务自建集、人工偏好与 rubric 打分、LLM-as-judge 及其偏差校准)、用什么指标(准确率、pass@k、胜率、幻觉率、拒答率、时延与成本)、怎么用(版本对比要固定提示词与解码参数、同一批样本、报置信区间;线上用 A/B 与 badcase 回流)。要主动说清自建集比公开榜单更重要,因为业务分布不同。

帖主在复盘里写,二面被追问「你之前测的是 AI 模型本身,还是用 AI 辅助测试工作」,回答后者之后面试官兴趣明显下降。这个岗位要的是对视觉算法本身做评测的人,投递前先看清 JD 里写的是「测模型」还是「用模型测」。