安恒信息测开实习一面二面:用例转自动化平台与对话 Agent 怎么评测
- 轮次
- 一面、二面
- 时间
- 2026-11
- 来源
- 牛客网
《面试题目》
- 自我介绍。
- 除了简历上的两个项目,接触过 AI 相关的项目吗?
- 你说做过把原来的用例转成自动化平台,具体是怎么做的?可以举一个例子吗?
- 你做过 Agent 项目,是怎么做评测的?
- 你用 AI 怎么辅助做测试?
- AI 怎么用来优化接口测试?
- 二面:你之前做用例转自动化,具体缩短了测试时长吗?效果怎么样?
- 二面:你怎么评估你做的对话 Agent 的效果?
- 二面:你的专业是网络信息安全,讲一下你的课题是什么?
- 二面:你的课题上是怎么做评估的?
- 二面:可以实习多久?导师同意吗?
《参考解析》
「用例转自动化平台」要讲清链路而不是讲工具:手工用例先按可自动化的程度分层——接口层可直接转,UI 层只转高频稳定路径,探索类与一次性验证保留手工。转换本身是三步:把用例收敛成结构化描述(前置条件、请求、断言、清理),再按模板生成可执行脚本,最后接入 CI 做每次提交的冒烟与每夜的回归。举例要给出改造前后的具体数字:某模块 120 条接口用例原本两个人跑两天,转成数据驱动后单轮 8 分钟、维护成本集中在接口变更;同时说明怎么处理不稳定用例(失败自动重跑一次、标记 flaky、按周统计不稳定率并下架长期不稳的用例)。只讲「用了 pytest + Allure」会被追问到答不上来。
对话 Agent 的评测要分三层:能力层用构造集与真实会话抽样做离线回放,指标是任务完成率、意图识别准确率、槽位抽取的准召、工具调用参数正确率、轮次与超时率;质量层看事实性(是否编造接口或数据)、越权与拒答(该拒的有没有拒、不该拒的有没有拒)、多轮上下文保持;工程层看 P95 时延、单轮 token 成本、失败可恢复性。判定上先用规则断言确定性的部分(工具是否被调用、参数是否落在枚举内),开放回答用 LLM 打分加人工抽检校准,把人工标注的一致率作为打分可信度的前提。评测集要版本化,每次改提示词或换模型都跑同一套,出对比报告而不是只看当天有没有报错。
AI 辅助测试的落点:生成侧用 AI 从需求与接口文档起草用例,人工只做审核与补充边界;分析侧用 AI 聚类失败日志、归因是环境问题还是真实缺陷;维护侧用 AI 比对接口契约变更、提示受影响的用例。边界要说清楚:AI 产出的用例必须可执行、可判定,断言不能由 AI 自由发挥,否则只是把人工成本换成了排查成本。
联邦学习投毒攻击的实验设计:先固定威胁模型——恶意客户端占比(如 10%、20%、30%)、攻击策略(标签翻转、梯度缩放、后门触发器)、聚合规则(FedAvg 作为基线,Krum、Trimmed Mean、Median 作为防御对照)。评价指标分三类:主任务在干净测试集上的准确率(看防御是否损伤正常性能)、攻击成功率与后门在后续轮次的持久性、以及收敛所需轮次。控制变量上要声明数据分布(IID 与 Non-IID 各跑一遍)、客户端采样比例、学习率与本地训练轮数,每个配置至少三个随机种子取均值与方差。结论要能回答「哪种防御在哪种攻击强度下有效、代价是多少」,而不是只报一个攻击成功率。