BOSS 直聘 Agent 开发面经:从 Transformer、LoRA 追到工具调用率与意图路由
- 时间
- 2026-10
- 来源
- 牛客网
《面试题目》
- 自我介绍。
- Transformer 架构是怎样的?
- 你是怎么样进行微调的?
- LoRA 是什么,有什么好处?
- 数据库的索引是什么?
- 建立了索引,查询一定更好吗?
- 索引越多越好吗?
- 第一段 Agent 实习项目是什么,你做了什么?
- 如果知识库效果不好,你会从哪些方面入手?
- 你的工具调用率是怎么提高的?
- 分层路由如何确定它不会跑偏?
- 意图识别方面,残缺语义怎么办?
- 有想过用 skill 做意图识别吗?
- 出现调用错误、失败的情况怎么办?
《参考解析》
Transformer 这题别只背「自注意力 + 多头 + 残差 + FFN」。 面试官想听的是每个部件为什么存在:QKV 三个投影让每个 token 自己去决定「我要找什么、我有什么、对方值多少」,缩放因子 1/√d_k 是为了把点积的方差压回 1,否则 softmax 进饱和区、梯度几乎为零;多头是把表示空间切成若干子空间并行做注意力,让不同的头分别学指代、句法、位置关系;位置编码补的是自注意力本身对顺序不敏感这个缺陷。再往后是工程向的追问:self-attention 对序列长度是 O(n²),所以长上下文要么上稀疏/滑窗注意力,要么靠 KV Cache 把解码时的重复计算省掉,而 KV Cache 的显存又随 batch × 长度线性涨——这条链路能顺着讲,比背结构图有用得多。
「怎么微调」要答出数据、目标、评测三段。 数据是把业务样本整理成指令-回答对,清洗比数量重要;目标一般就是 next token 的交叉熵,全参微调吃显存,所以实践中多是 PEFT;评测必须有一批不参与训练的留出集,否则 loss 降了、线上效果反而差(灾难性遗忘)。LoRA 的思路是冻结基座,给每层权重加一个低秩增量 ΔW = BA,只训练 A、B 两个小矩阵。好处有三条:可训练参数降到百分之几,优化器状态和梯度显存跟着降;adapter 体积小,一个基座可以挂多个业务适配器;推理时可以把 BA merge 回原权重,不增加延迟。坑在于 rank 和 alpha 的取值要跟任务难度匹配(太小欠拟合、太大等于全参)、多 adapter 同时挂载时的路由、以及训练和推理的精度不一致。
索引的三个连环问其实是一道题。 先说清 InnoDB 是 B+ 树聚簇索引,主键索引的叶子存整行,二级索引的叶子存主键值,所以走二级索引还要回表。然后「一定更好吗」——不。选择性差的列(性别、状态位)走索引要扫大量行再回表,优化器算完代价会直接全表扫;列上套函数、隐式类型转换、LIKE '%xx' 前导通配、违反联合索引最左前缀,都会让索引失效;小表更是不值得。反过来,优化器也可能估算失真选错计划。「越多越好吗」——更不是:每个索引都要在增删改时同步维护,占空间,还会让优化器的候选计划变多、选错概率上升。正确口径是按查询模式设计:读多写少的报表表可以多建,写多的事务表严控;优先用联合索引一个顶多个,用覆盖索引免掉回表。
知识库效果不好怎么排查,要按链路拆而不是一句话「换个模型」。文档解析(PDF 表格、扫描件)、切分粒度(按语义切,别硬切 512 字)、embedding 是否匹配语料语种、召回 top-k 与相似度阈值、有没有 rerank、prompt 里上下文位置(长上下文中间段容易被忽略)、以及知识过期。最关键的是先建一批「问题 → 正确出处」的评测集,把召回率和答案准确率分开量——不分开就不知道是没检索到还是检索到了没答对。查询侧还可以做改写、拆子问题、补同义词。
工具调用率要分清两种错误:该调没调、不该调乱调。前者多半是工具描述写得太笼统,要在 description 里明确「什么时候用、什么时候不要用、参数从哪来」;后者是路由没做,把全部工具一次性丢给模型。工程手段是简化参数 schema、给两三个 few-shot、必要时强制 tool_choice、以及把工具返回的结构化错误回喂给模型让它改参数重试。指标上按工具统计调用成功率、参数校验失败率、无效调用占比,才谈得上「提高」。
分层路由怎么保证不跑偏:离线用标注集算每一层的准确率和混淆矩阵,线上把每次路由决策连同输入、置信度、最终任务结果一起落日志,可以回放。低置信度不要硬路由,往上抛一层或者走澄清;路由层尽量用 temperature 0 + 结构化输出 + schema 校验,别让采样决定走向。监控看各层命中率漂移和端到端成功率,只看单层准确率会掩盖问题。
残缺语义(「帮我改一下」这种没有宾语的输入)别硬猜:先拿对话历史做指代消解,再查槽位缺哪些,缺关键槽位就主动澄清一句,缺非关键槽位用默认值并说明。兜底要有一个「不确定」意图,兜到澄清而不是兜到随便一个业务动作。
skill 还是小模型做意图识别,本质是两组约束在打架:类别固定、数据充足、延迟敏感的场景,微调过的小分类模型又准又便宜——原帖记的一组对比很说明问题,ATIS 上微调模型 95.9%、通用模型 zero-shot 84.1%,延迟是毫秒级对近一秒;代价是新意图要重新标注训练,对训练集外的表达没有拒绝能力。skill 路线把意图识别变成语义检索或工具选择,加个描述当天就能上线,适合意图频繁变化、标注稀缺的早期;但 LLM 选工具是采样,同样输入可能给出不同结果,描述边界重叠时会摇摆。常见落法是混合:嵌入检索先粗筛,高相似度直接路由,模糊区间交给 LLM 或规则精判,等日志积累够了再把高频意图下沉成小模型。
调用失败先分类:参数不合法、工具内部报错、超时、权限/限流。参数错把结构化错误回喂模型重试(带次数上限);超时和限流走指数退避;有副作用的工具必须带幂等键,否则重试就是重复下单、重复发消息;连续失败要熔断并降级到兜底回复,而不是让 Agent 卡在那里反复试。