AI 数字员工岗位面试真题:项目深挖、RAG 链路与商业化落地
- 时间
- 2026-11
- 来源
- 牛客网
《面试题目》
项目深挖
- 介绍一个你最核心的 AI 项目:完整链路是什么,你负责哪一部分?
- 项目的核心指标是什么,怎么定义?接通率、转化率、幻觉率、单通成本、投诉率、召回率分别如何取数?
- 项目里遇到过哪些 bad case?如何定位根因、如何优化,优化前后的数据变化是多少?
- 当时有没有备选方案?为什么最终选择这个方案?
- 如果预算缩减、同时对响应延迟的要求变严,你会怎么调整方案?
- 项目落地时业务方不认可、不愿意使用,你是怎么推进的?
大模型与 RAG
- 什么是 RAG?它能解决什么问题,有哪些局限性?
- RAG 全链路包含文档切片、向量化、检索、重排、生成,每个环节容易踩什么坑?
- 大模型幻觉有哪些治理办法?
- RAG、长上下文、SFT 微调、DPO 分别适合什么场景,怎么取舍?
- 检索召回不准怎么优化?Chunk 大小、重叠度、Embedding、重排、查询改写分别怎么调?
Prompt、数字员工与 Agent
- 你写提示词有什么思路和框架?
- 做 AI 外呼数字员工,怎么降低用户挂机率、提升有效沟通与转化?
- Workflow 和 Agent 的区别是什么?简单说说 ReAct 的思路。
- Function Calling 工具调用失败的常见原因有哪些,有哪些兜底方案?
- 多轮对话上下文越来越长,怎么控制 token 成本同时不丢失关键信息?
- 数字员工的话术节点怎么设计,敏感词与跳转分支怎么配置?
业务增长与商业化
- 怎么判断一个客户或行业适不适合上 AI 数字员工?哪些场景不适合?
- 一套 AI 获客方案从零搭建,完整步骤是什么?
- 怎么搭建 AI 效果评估体系,平衡客观数据指标与用户主观体验?
- AI 方案如何控成本?模型选型、并发、token 开销怎么权衡?
- 客户觉得 AI 效果差、想退款,你怎么排查和沟通?
基础认知与开放题
- 幻觉和过拟合是一回事吗?区别是什么?
- 你平时常用哪些大模型,各自适合什么场景?
- 现在 AI 落地最大的痛点是什么?
- 你觉得 AI 数字员工后续的发展方向是什么?
- 你和其他面试这个岗位的候选人相比,优势在哪?
- 为什么想做 AI 方向?
《参考解析》
项目深挖要给出可核验的链路:不要只讲「用了 RAG、接了某个模型」,要按「入口—编排—检索—生成—后处理—回流」讲清每一段由谁负责、失败时怎么退化。指标必须能落到取数口径:接通率是外呼接通数除以拨出数,转化率要定义转化事件与归因窗口,幻觉率靠抽样人工标注或规则校验,单通成本要把 ASR、LLM、TTS、通信费全部摊进去。bad case 讲三件事:现象如何发现(日志、质检抽样、用户投诉)、根因定位到什么层(检索没召回、Prompt 约束缺失、ASR 转写错、模型能力不足)、修复后的对比数据。约束变化题考的是取舍能力:预算缩减就分级路由,简单意图走小模型或规则,复杂意图才上调大模型;延迟变严就流式输出、并行检索、缓存高频问法、把重排从在线挪到离线。
RAG 每一环都有典型坑:切片环节最容易把表格、条款、跨页段落切断,应按结构切分,并用父子块(小块检索、大块喂给模型)保住上下文;向量化环节要关注领域词、多语言与长文本截断,通用 Embedding 对型号、编号、缩写往往不敏感;检索环节单靠向量会漏掉精确匹配,需要向量加 BM25 的混合检索与元数据过滤;重排环节效果好但延迟与成本高,通常只对前 20 到 50 条做 cross-encoder 重排;生成环节必须要求带引用、允许拒答,否则模型会用通顺的语言掩盖没有检索到的事实。评估要分层:检索看 Recall@k、MRR、NDCG,生成看答案正确率、引用命中率与幻觉率,端到端看任务完成率与人工抽检通过率。
RAG、长上下文、SFT、DPO 的取舍:知识频繁变化、需要权限隔离与可溯源时用 RAG;单份文档内部的长程推理(整份合同、整篇论文)适合长上下文,代价是成本随长度线性上涨且中间位置的信息容易被忽略;需要固定输出风格、领域表达、格式约束时用 SFT;需要对齐偏好(更有用、更简洁、更安全)时用 DPO。工程上多为组合:RAG 提供事实,SFT 固定行为,DPO 调语气,长上下文只用于少数高价值场景。
幻觉治理要分三层:检索层提高召回质量并做冲突检测;生成层用结构化输出、强制引用、置信度不足时拒答或转人工;监控层做在线抽样与 bad case 回流,形成「发现问题—补知识—改提示—回归测试」的闭环。需要注意幻觉与过拟合不是一回事:幻觉是模型生成了与事实或输入不符的内容,属于推理与知识边界问题;过拟合是模型在训练集上表现好、泛化差,属于训练问题。二者唯一的交集是:用模型自己的输出做训练数据,会同时放大错误与过拟合。
召回不准的调优顺序:先建一份带标注的查询集,把「召回不到」和「召回噪声大」分开统计,否则调参没有方向。查询侧做改写与扩展(同义、纠错、多查询、HyDE);索引侧调 Chunk 大小与重叠、补父子块、加元数据过滤;检索侧上混合检索与多路召回;排序侧加重排与阈值;最后才是换 Embedding 或做领域微调。每一步都要在固定测试集上量出 Recall 与端到端正确率的变化,避免只凭个例判断。
Workflow 与 Agent 的边界:Workflow 是把流程固定成有向图,节点确定、可测试、成本可预算,适合话术固定、合规要求高的外呼与工单场景;Agent 由模型自己决定下一步调用哪个工具,灵活但不可预测,适合路径不定的检索与研究任务。ReAct 的循环是「思考—行动—观察」,每一轮把工具返回写回上下文再决策,工程上必须加最大轮数、超时、工具白名单与循环检测。Function Calling 失败常见于参数 schema 不符、字段类型错、工具描述有歧义、模型编造不存在的工具、超时与鉴权失败;兜底做法是参数校验后带错误信息重试一次、把工具描述改写成模型能理解的自然语言说明、失败后降级到固定 Workflow、对写操作做幂等键、以及转人工。
长对话的成本控制:把上下文分成系统提示、结构化槽位、历史摘要、最近若干轮原文、按需检索的知识五层,槽位用结构化字段保存关键事实,历史滚动摘要,最近几轮保留原文保证连贯,知识只在需要时检索注入。缓存稳定的前缀可以显著降低重复计费。压缩的验证方法是构造一组必须依赖早期信息的追问,检查压缩后是否仍能答对,而不是只看 token 数下降。
评估体系与商业化:客观指标看任务完成率、一次解决率、转人工率、平均响应延迟、单通成本;主观指标看满意度、通话质检抽样评分与投诉率。上线要灰度并做 A/B,先在小流量上验证再放量。客户认为效果差时先分清是数据分布不匹配(行业术语、口音、业务规则)、知识缺失、话术节点设计不合理,还是期望本身超出能力边界;能修的给修复计划与时间点,不能修的明确边界并给出人机协同方案。行业适配性判断看三点:通话目标是否可结构化、知识是否可整理、失败成本是否可承受。强情绪安抚、需要承担法律责任的承诺、依赖线下动作的场景,都不适合完全交给数字员工。