面灵AI→

深信服 AI 测试开发一面:大模型与工程脚本的分工、LoRA 与 LangChain 三件套

轮次
一面
时间
2026-11
来源
牛客网

《面试题目》

  1. 实习是测试开发吗?现在还在实习吗?什么时候结束的?
  2. 数学建模竞赛是团体赛吗?分工是怎样的?美赛大概什么规模、获奖难度如何?
  3. 挑一个你觉得做得最好的项目介绍一下。
  4. 项目中哪部分由大模型做、哪部分是工程脚本实现?为什么这么设计?
  5. 整套方案是你独立选型,还是有人指导?
  6. 后端接入了哪些外部系统或接口?
  7. 你认为这个项目里做得最好的一个点是什么?
  8. Bad case 是人工标记的吗?
  9. 了解 pytest 吗?
  10. 数据集情况、指标、样本量分别是多少?几个人负责这个项目?
  11. 微调过程遇到了哪些挑战?用 LoRA 吗?训练框架是什么?
  12. 你平时自学哪些 Agent 相关技术?LangChain、LangGraph、LlamaIndex 三者的关系和区别是什么?
  13. 举一个你在项目里主动推动事情落地的例子。
  14. 说说你的优势和个人特质。
  15. 你有什么想问我的?

《参考解析》

大模型与工程脚本怎么分工:原则是「确定性的交给代码,判断与生成交给模型」。解析、清洗、字段抽取的固定规则、接口调用、重试与落库、指标计算用脚本,保证可测试、可复现;语义判断(分类、改写、生成测试用例、意图识别)交给模型,并给它结构化输出与校验。这样设计的原因是成本与稳定性:模型调用有延迟、有波动、有幻觉,把确定性环节放进去只会放大不确定性;反过来把需要语义理解的环节写成规则,维护成本会随场景爆炸。面试官追问「为什么」时,用一次具体的 bad case 说明边界划错的代价。

LoRA 与微调:LoRA 冻结原模型参数,只在注意力与 MLP 的线性层旁挂低秩矩阵 A(降维)与 B(升维),训练时只更新 A、B,推理时可合并回原权重、不增加延迟。挑战通常在数据与评估:样本量小容易过拟合、标注口径不一致导致学错、训练集与线上分布不一致、灾难性遗忘;要留出与线上同分布的验证集,按业务指标而不是 loss 判断是否变好。训练框架常见的是 HuggingFace Transformers + PEFT,或 LLaMA-Factory 这类封装。

LangChain / LangGraph / LlamaIndex 的区别:LangChain 是通用的 LLM 应用编排框架,提供模型、提示词、工具、检索器、链式组合等抽象;LangGraph 在其之上用图(节点与边、可带环)描述有状态的多步流程,适合需要分支、循环、人工介入的 Agent;LlamaIndex 聚焦数据侧,强在文档解析、索引构建与检索(RAG),编排能力弱于前两者。实际项目里常见组合是 LlamaIndex 做检索、LangGraph 做流程控制。

pytest 与测试设计:pytest 用 test_ 前缀发现用例、函数式断言、fixture 管理前置与清理、parametrize 做数据驱动、conftest.py 共享配置、插件生态(覆盖率、并行、报告)。AI 测试岗位会关心你怎么测「不确定输出」:固定输入集 + 断言关键约束(格式、字段、是否引用正确文档)+ 人工抽检 + 回归集对比,而不是断言完整字符串相等。

主动推动落地的例子:用 STAR 讲,重点在「你发现了什么问题、为什么由你推动、遇到什么阻力、怎么解决、结果如何」。例如发现回归用例靠人工跑、漏测率高,自己搭了 pytest + 定时任务,先在一个模块试点拿到数据,再说服团队接入。避免讲成「领导安排我做」。