面灵AI→

BOSS 直聘 Agent 开发面经:从 Transformer、LoRA 追到工具调用率与意图路由

时间
2026-10
来源
牛客网

《面试题目》

  1. 自我介绍。
  2. Transformer 架构是怎样的?
  3. 你是怎么样进行微调的?
  4. LoRA 是什么,有什么好处?
  5. 数据库的索引是什么?
  6. 建立了索引,查询一定更好吗?
  7. 索引越多越好吗?
  8. 第一段 Agent 实习项目是什么,你做了什么?
  9. 如果知识库效果不好,你会从哪些方面入手?
  10. 你的工具调用率是怎么提高的?
  11. 分层路由如何确定它不会跑偏?
  12. 意图识别方面,残缺语义怎么办?
  13. 有想过用 skill 做意图识别吗?
  14. 出现调用错误、失败的情况怎么办?

《参考解析》

Transformer 这题别只背「自注意力 + 多头 + 残差 + FFN」。 面试官想听的是每个部件为什么存在:QKV 三个投影让每个 token 自己去决定「我要找什么、我有什么、对方值多少」,缩放因子 1/√d_k 是为了把点积的方差压回 1,否则 softmax 进饱和区、梯度几乎为零;多头是把表示空间切成若干子空间并行做注意力,让不同的头分别学指代、句法、位置关系;位置编码补的是自注意力本身对顺序不敏感这个缺陷。再往后是工程向的追问:self-attention 对序列长度是 O(n²),所以长上下文要么上稀疏/滑窗注意力,要么靠 KV Cache 把解码时的重复计算省掉,而 KV Cache 的显存又随 batch × 长度线性涨——这条链路能顺着讲,比背结构图有用得多。

「怎么微调」要答出数据、目标、评测三段。 数据是把业务样本整理成指令-回答对,清洗比数量重要;目标一般就是 next token 的交叉熵,全参微调吃显存,所以实践中多是 PEFT;评测必须有一批不参与训练的留出集,否则 loss 降了、线上效果反而差(灾难性遗忘)。LoRA 的思路是冻结基座,给每层权重加一个低秩增量 ΔW = BA,只训练 A、B 两个小矩阵。好处有三条:可训练参数降到百分之几,优化器状态和梯度显存跟着降;adapter 体积小,一个基座可以挂多个业务适配器;推理时可以把 BA merge 回原权重,不增加延迟。坑在于 rank 和 alpha 的取值要跟任务难度匹配(太小欠拟合、太大等于全参)、多 adapter 同时挂载时的路由、以及训练和推理的精度不一致。

索引的三个连环问其实是一道题。 先说清 InnoDB 是 B+ 树聚簇索引,主键索引的叶子存整行,二级索引的叶子存主键值,所以走二级索引还要回表。然后「一定更好吗」——不。选择性差的列(性别、状态位)走索引要扫大量行再回表,优化器算完代价会直接全表扫;列上套函数、隐式类型转换、LIKE '%xx' 前导通配、违反联合索引最左前缀,都会让索引失效;小表更是不值得。反过来,优化器也可能估算失真选错计划。「越多越好吗」——更不是:每个索引都要在增删改时同步维护,占空间,还会让优化器的候选计划变多、选错概率上升。正确口径是按查询模式设计:读多写少的报表表可以多建,写多的事务表严控;优先用联合索引一个顶多个,用覆盖索引免掉回表。

知识库效果不好怎么排查,要按链路拆而不是一句话「换个模型」。文档解析(PDF 表格、扫描件)、切分粒度(按语义切,别硬切 512 字)、embedding 是否匹配语料语种、召回 top-k 与相似度阈值、有没有 rerank、prompt 里上下文位置(长上下文中间段容易被忽略)、以及知识过期。最关键的是先建一批「问题 → 正确出处」的评测集,把召回率和答案准确率分开量——不分开就不知道是没检索到还是检索到了没答对。查询侧还可以做改写、拆子问题、补同义词。

工具调用率要分清两种错误:该调没调、不该调乱调。前者多半是工具描述写得太笼统,要在 description 里明确「什么时候用、什么时候不要用、参数从哪来」;后者是路由没做,把全部工具一次性丢给模型。工程手段是简化参数 schema、给两三个 few-shot、必要时强制 tool_choice、以及把工具返回的结构化错误回喂给模型让它改参数重试。指标上按工具统计调用成功率、参数校验失败率、无效调用占比,才谈得上「提高」。

分层路由怎么保证不跑偏:离线用标注集算每一层的准确率和混淆矩阵,线上把每次路由决策连同输入、置信度、最终任务结果一起落日志,可以回放。低置信度不要硬路由,往上抛一层或者走澄清;路由层尽量用 temperature 0 + 结构化输出 + schema 校验,别让采样决定走向。监控看各层命中率漂移和端到端成功率,只看单层准确率会掩盖问题。

残缺语义(「帮我改一下」这种没有宾语的输入)别硬猜:先拿对话历史做指代消解,再查槽位缺哪些,缺关键槽位就主动澄清一句,缺非关键槽位用默认值并说明。兜底要有一个「不确定」意图,兜到澄清而不是兜到随便一个业务动作。

skill 还是小模型做意图识别,本质是两组约束在打架:类别固定、数据充足、延迟敏感的场景,微调过的小分类模型又准又便宜——原帖记的一组对比很说明问题,ATIS 上微调模型 95.9%、通用模型 zero-shot 84.1%,延迟是毫秒级对近一秒;代价是新意图要重新标注训练,对训练集外的表达没有拒绝能力。skill 路线把意图识别变成语义检索或工具选择,加个描述当天就能上线,适合意图频繁变化、标注稀缺的早期;但 LLM 选工具是采样,同样输入可能给出不同结果,描述边界重叠时会摇摆。常见落法是混合:嵌入检索先粗筛,高相似度直接路由,模糊区间交给 LLM 或规则精判,等日志积累够了再把高频意图下沉成小模型。

调用失败先分类:参数不合法、工具内部报错、超时、权限/限流。参数错把结构化错误回喂模型重试(带次数上限);超时和限流走指数退避;有副作用的工具必须带幂等键,否则重试就是重复下单、重复发消息;连续失败要熔断并降级到兜底回复,而不是让 Agent 卡在那里反复试。