面灵AI→

南芯 嵌入式软件二面:本地部署 Agent 的模型选型与工具调用

轮次
二面
时间
2026-11
来源
牛客网

《面试题目》

项目追问

  1. Agent 搭建了多久?
  2. 本地部署的模型参数量是多少?
  3. 为什么不考虑调用 API?
  4. 工具调用与模型召回是怎么实现的?

反问

  1. 你还有什么想问的?

《参考解析》

本地部署与调用 API 的取舍:这类问题在确认技术选型背后的约束,而不是比较哪种方案更先进。本地部署的收益有四项:数据不出内网,满足合规与保密要求;高频调用时单位成本更低,不受 token 计费影响;不依赖公网与第三方限流,延迟更稳定;可以自由做量化、微调、定制采样参数与停止符。代价同样明确:需要自己承担显卡采购与运维、模型能力受显存预算限制、上游模型迭代后要重新评估与迁移。回答时给出具体约束最有说服力——数据能否出网、日均请求量与峰值 QPS、可接受的响应延迟、团队是否具备推理服务的运维能力,再说明在这些约束下为何本地部署更合适。

参数量与显存估算:权重占用约等于参数量乘以每参数字节数,FP16 约 2 字节、INT8 约 1 字节、4-bit 量化约 0.5 至 0.6 字节。按此估算,7B 模型 FP16 约需 14 GB 显存,70B 约需 140 GB,需要多卡或量化。实际部署还要叠加 KV cache 与框架开销,KV cache 随并发数、上下文长度和层数线性增长,长上下文场景往往比权重更吃显存。选型按任务难度与预算定:7B 到 14B 适合工具调用、结构化抽取与固定流程;需要复杂推理与长链路规划时,才值得上 32B 以上或改用 API。

工具调用与工具召回:工具调用是一条闭环:把工具的 JSON Schema 与用途描述注入上下文,模型输出结构化的调用请求,运行时校验参数、执行工具、把结果作为观察回填,循环直到模型给出最终答复。工具数量多时不能全部注入,否则上下文膨胀且模型容易选错,做法是先做工具召回——把工具描述向量化,按当前任务检索出 top-k 个候选工具再注入;也可以按业务域分组,先选域再选工具。工程上有几个容易忽略的点:参数要做类型与范围校验,失败时把可读的错误信息回填给模型而不是抛异常;写操作要幂等并支持重试;超时与最大轮数要设上限,避免死循环;整条调用链要有 trace,便于定位是选错工具、传错参数还是工具本身失败。

Agent 搭建周期怎么讲:面试官问时长是在判断是否亲手做过。按阶段拆开讲更可信:原型阶段打通模型与单轮工具调用,工具接入阶段把业务接口包装成稳定、幂等的工具并补错误处理,评测阶段建立任务集与成功率指标,最后是稳定性与上线阶段,处理并发、超时、成本与监控。每阶段给出实际耗时与踩过的坑,比只报一个总数更有信息量。

反问环节:可以问团队当前落地中最卡的一环——是模型能力、工具覆盖率还是评测体系;也可以问岗位前三个月的目标与交付形态。这类问题能反映对岗位的理解,也便于判断团队的技术阶段。