深信服 AI 测试开发一面:大模型与工程脚本的分工、LoRA 与 LangChain 三件套
- 轮次
- 一面
- 时间
- 2026-11
- 来源
- 牛客网
《面试题目》
- 实习是测试开发吗?现在还在实习吗?什么时候结束的?
- 数学建模竞赛是团体赛吗?分工是怎样的?美赛大概什么规模、获奖难度如何?
- 挑一个你觉得做得最好的项目介绍一下。
- 项目中哪部分由大模型做、哪部分是工程脚本实现?为什么这么设计?
- 整套方案是你独立选型,还是有人指导?
- 后端接入了哪些外部系统或接口?
- 你认为这个项目里做得最好的一个点是什么?
- Bad case 是人工标记的吗?
- 了解 pytest 吗?
- 数据集情况、指标、样本量分别是多少?几个人负责这个项目?
- 微调过程遇到了哪些挑战?用 LoRA 吗?训练框架是什么?
- 你平时自学哪些 Agent 相关技术?LangChain、LangGraph、LlamaIndex 三者的关系和区别是什么?
- 举一个你在项目里主动推动事情落地的例子。
- 说说你的优势和个人特质。
- 你有什么想问我的?
《参考解析》
大模型与工程脚本怎么分工:原则是「确定性的交给代码,判断与生成交给模型」。解析、清洗、字段抽取的固定规则、接口调用、重试与落库、指标计算用脚本,保证可测试、可复现;语义判断(分类、改写、生成测试用例、意图识别)交给模型,并给它结构化输出与校验。这样设计的原因是成本与稳定性:模型调用有延迟、有波动、有幻觉,把确定性环节放进去只会放大不确定性;反过来把需要语义理解的环节写成规则,维护成本会随场景爆炸。面试官追问「为什么」时,用一次具体的 bad case 说明边界划错的代价。
LoRA 与微调:LoRA 冻结原模型参数,只在注意力与 MLP 的线性层旁挂低秩矩阵 A(降维)与 B(升维),训练时只更新 A、B,推理时可合并回原权重、不增加延迟。挑战通常在数据与评估:样本量小容易过拟合、标注口径不一致导致学错、训练集与线上分布不一致、灾难性遗忘;要留出与线上同分布的验证集,按业务指标而不是 loss 判断是否变好。训练框架常见的是 HuggingFace Transformers + PEFT,或 LLaMA-Factory 这类封装。
LangChain / LangGraph / LlamaIndex 的区别:LangChain 是通用的 LLM 应用编排框架,提供模型、提示词、工具、检索器、链式组合等抽象;LangGraph 在其之上用图(节点与边、可带环)描述有状态的多步流程,适合需要分支、循环、人工介入的 Agent;LlamaIndex 聚焦数据侧,强在文档解析、索引构建与检索(RAG),编排能力弱于前两者。实际项目里常见组合是 LlamaIndex 做检索、LangGraph 做流程控制。
pytest 与测试设计:pytest 用 test_ 前缀发现用例、函数式断言、fixture 管理前置与清理、parametrize 做数据驱动、conftest.py 共享配置、插件生态(覆盖率、并行、报告)。AI 测试岗位会关心你怎么测「不确定输出」:固定输入集 + 断言关键约束(格式、字段、是否引用正确文档)+ 人工抽检 + 回归集对比,而不是断言完整字符串相等。
主动推动落地的例子:用 STAR 讲,重点在「你发现了什么问题、为什么由你推动、遇到什么阻力、怎么解决、结果如何」。例如发现回归用例靠人工跑、漏测率高,自己搭了 pytest + 定时任务,先在一个模块试点拿到数据,再说服团队接入。避免讲成「领导安排我做」。