面灵AI→

顺丰 AI 开发工程师一面:文档分析 Agent 的架构、RAG 取舍与工程落地

轮次
一面
时间
2026-11
来源
牛客网

《面试题目》

自我介绍与实习

  1. 请做一下自我介绍。
  2. 简单介绍实习经历,主要做了什么?
  3. 几个项目中哪一个做得最好?请选一个详细介绍。

项目深挖

  1. 讲一下项目的整体架构和技术栈。
  2. 能否举一个完整的例子,把项目的所有核心功能串起来?
  3. 用户使用系统时先输入什么?整体流程是什么?
  4. 用户输入相关资料后,最终会输出哪些结果?
  5. 不同的输出结果分别在哪个环节生成?
  6. 如果存在多个版本的数据,系统如何管理?
  7. 不同版本的数据是一起参与处理,还是每次指定其中一个?
  8. 用户是否需要在前端明确选择输入对象和对应版本?
  9. 整个项目的前后端都是自己开发的吗?
  10. 项目做得比较好的地方有哪些?遇到过什么困难?

RAG 与知识库

  1. 知识库在整个系统中起什么作用?具体在哪个环节使用?
  2. RAG 检索时,召回的具体是什么内容?
  3. 知识库中存在多个版本的数据时,如何确定召回范围?
  4. 用户已经明确指定需要处理的两份文档,为什么还需要切块和检索?
  5. 为什么不直接把完整文档交给大模型处理,而要额外引入 RAG?
  6. 输入对象已经明确,是否完全可以绕过知识库检索?
  7. 引入 RAG 相比直接处理原文,实际解决了什么问题?
  8. 知识库是怎么搭建的?具体处理流程是什么?
  9. 检索使用关键词、向量还是混合检索?
  10. 如何保证检索召回的准确率?如何验证?
  11. 文档切分依据文档结构,还是依据文档类型?
  12. 切块时如何保证语义完整性?
  13. 系统支持哪些文档格式?PDF、Word、Markdown、TXT 是否支持?
  14. PDF 中包含图片或扫描内容时如何处理?
  15. 文档是在上传时就完成切分和存储,还是查询时才切分?
  16. 检索召回之后,结果会直接交给模型吗?中间还有哪些处理环节?

Agent 与 Workflow 及工程部署

  1. 项目中的工作流是如何设计的?
  2. 是否使用 LangChain、LangGraph 之类的框架?
  3. 为什么选择直接按业务逻辑实现,而不使用现成的 Agent 框架?
  4. 工作流如何记录各步骤的执行状态和结果?
  5. 项目目前部署在本地还是服务器?
  6. 是否使用 Docker?具体是怎么部署的?
  7. Workspace 工作空间隔离具体指什么?
  8. 不同用户或工作空间之间的数据如何隔离?
  9. 项目中的质量评测是怎么实现的?
  10. 功能测试与实际 AI 效果评估有什么区别?

反问

  1. AI 开发工程师这个岗位实际主要做哪些业务?
  2. 团队主要使用哪些技术栈?
  3. 应届生入职后多久可以接触真实业务项目?

《参考解析》

Agent 与工作流的边界:工作流按「可验证的阶段产物」划分节点,文档分析可以拆成校验输入 → 加载版本快照 → 解析就绪检查 → 全量对齐或定向检索 → 模型分析 → 结果校验 → 报告生成,每个节点定义输入、输出、失败类型与重试策略。确定性强的步骤直接写业务代码,需要语义解释的步骤调用模型,只有必须依据中间观察动态选择工具或路径时才引入自主 Agent——模型参与流程不等于整个系统要跑自由循环。不用 LangChain、LangGraph 的常见理由是流程固定、节点数量有限、权限与事务需要和既有服务保持一致,代价是持久化恢复、复杂分支、人工中断与执行追踪都变成自研负担;当流程出现多轮工具决策、长时间等待与大量动态分支时,成熟编排更划算。框架的 checkpointer 保存的是执行状态,不会让数据库写入、第三方接口调用等外部副作用具备端到端 exactly-once 语义,副作用仍需幂等键与事后对账。

文档解析与切分:文档类型决定如何解析,文档结构决定优先如何切分。原生 PDF 有可靠文本层,可直接抽取文字与版面;扫描 PDF 需要方向校正与 OCR;混合页要合并文字层与图像区域解析,并避免同一段内容被重复识别。表格必须重复必要表头并保留行列关系,条款的条件、例外、单位与脚注尽量与正文一起处理。切分优先落在章节、条款、段落等语义边界上,用 token 上限约束过长节点,不得不拆时加少量重叠并记录原始位置;重叠会产生重复证据与额外成本,需要去重与预算控制,靠不断加大 overlap 掩盖语义断裂通常无效。解析与索引宜在上传后异步完成并把结果固化为不可变快照,查询只读就绪产物;一次性小文件可以在任务内临时解析,不必建立持久向量索引。「上传成功」与「知识可查询」是两种状态,构建失败要能重试,查询不应读到只完成部分切块的文档。

RAG 与检索:召回的是可作为证据的文档单元,如段落、条款、表格片段或页面区域,向量只用于计算相似度;结果必须带 chunk_id、doc_id、version_id、标题路径、页码或字符区间、正文与分数,否则引用无法回跳,父块扩展后还要保留位置映射。版本范围应落在检索条件里(访问权限、Workspace、version_id),不能交给提示词让模型凭文本判断;两版对比要分别检索,或在同一候选集中显式保留两侧配额与身份,避免与问题更相似的一侧挤占全部 Top-K。近似向量检索叠加强选择性过滤时可能候选不足,具体行为取决于引擎与索引,因此不能「先全库取少量 Top-K 再按版本过滤」就断定目标文档没有答案。关键词检索擅长条款编号、金额、专有名词等精确匹配,向量检索补充同义表述,混合检索用 RRF 按排名融合、避免不同量纲的分数直接相加,再按成本决定是否引入重排。是否引入 RAG 取决于文档长度、任务范围、复用频率与效果要求:短文档直接输入并逐条引用更简单,要求穷尽覆盖的全量对比应走结构化遍历并记录未匹配单元,RAG 减少的是无关长文本的重复输入与定位成本,既不修复解析错误,也不证明差异已经找齐。

Prompt 与上下文工程:召回结果进入上下文之前,还要经过权限复核、去重、融合或重排、父块与相邻条款扩展、token 预算控制;对比任务先检查两侧是否都有证据。组织提示词时把用户问题、任务规则与证据内容分段隔离,并明确文档内容属于待分析的数据,其中的指令不执行——外部文档可能携带提示注入,诱导模型覆盖系统规则或触发未授权操作。给证据分配稳定引用标识,要求模型按约定结构输出。上下文窗口够大不等于任意长度都能准确理解,中间位置的事实、跨段条件与复杂表格仍需实测;证据不足时应在授权范围内扩大检索、读取指定章节,或明确回答无法确认,而不是强行生成肯定结论。模型返回后要校验结构、引用是否存在、引用是否来自本次允许的版本、关键数字是否与原文一致;引用能打开只证明可定位,不证明语义蕴含关系成立,关键业务结论仍需规则校验或人工抽检。

版本与证据可追溯:文档对象与文档版本分开管理,doc_id 表示同一业务文档,version_id 表示一次不可变内容快照;文件内容哈希只能检测字节变化,不能代替业务身份、权限与版本语义。每个版本要关联原始文件、创建人、时间、解析器版本、切分配置、Embedding 模型版本与索引构建标识——解析或索引升级时,即使文件内容不变也可能需要重新生成处理产物。对比任务记录两侧 version_id 与所用产物版本,而不是保存会漂移的「最新版本」指针;「使用最新版本」应在任务创建时解析成具体 version_id 并固定,运行中上游出现更新不改变本次输入,结果才可复现。版本状态可分为已上传、处理中、就绪与失败,必要产物完整且校验通过才对外发布就绪;新版本构建期间保留旧版本可用性,删除前检查历史任务引用与保留策略,避免旧报告失去证据。

评测与线上效果:评测按链路拆层——数据层看解析文本与表格是否完整、页码定位是否正确,检索层看证据召回与版本约束,分析层看变化识别、问答正确性与引用支持,工程层看延迟、费用、任务完成率与失败恢复。检索「准确率」要拆成可测指标:Recall@K 衡量相关证据被找回的比例,Precision@K 衡量候选中的相关比例,MRR 关注首个相关结果的位置;存在多组等价证据时按「能满足回答需求的证据组」评估,避免只认一个任意块 ID。标注集覆盖精确条款、同义表述、跨段组合、表格、多版本、无答案与越权请求,训练调参与测试按文档家族划分,防止同一文件的不同版本泄漏到两边。金额、日期、否定词、条款编号等确定性字段用程序校验,语义正确性靠人工抽检或经过校准的模型评审,模型评审受措辞、长度与顺序影响,不能作为唯一裁判;随机性强的链路重复运行并报告波动。功能测试与效果评估是两道门:接口返回成功、JSON 合法、引用能打开都不能证明答案正确,「接口成功率」不能替代「业务任务正确率」。切分、检索、模型或提示词任一变更都要跑回归,上线后把脱敏失败案例补进评测集,同时保留稳定测试集,避免只针对最新案例优化。

工程化、隔离与并发:任务创建时生成 run_id 并保存不可变输入快照,执行生命周期不能绑在一次 HTTP 连接上——前端通过轮询或事件推送展示阶段进度,用户离开页面后仍可回来查看结果。状态机用 pending、running、succeeded、failed、cancelled、waiting_review 表达,靠条件更新或事务约束合法转换;Worker 用租约或心跳持有执行权,避免两个实例同时认为自己拥有同一任务。进程可能在外部操作成功之后、状态写回之前崩溃,所以重试要以任务与节点的幂等标识识别重复工作,外部接口配幂等键或事后对账,不能凭数据库里仍是 running 就直接重做。Workspace 是资源归属与访问边界,逻辑隔离在共享存储上给资源绑定 Workspace 并在每次访问执行授权,物理隔离则用独立库、索引或存储桶;数据隔离不等于资源隔离,单个工作空间的超大任务仍可能占满全局队列与模型额度,需要并发限制与配额。用 PostgreSQL RLS 作额外防线时要注意超级用户、带 BYPASSRLS 权限的角色以及通常的表所有者会绕过策略,应用角色与连接池上下文必须正确设置;缓存键要包含权限范围与版本信息,撤权后不能继续命中旧缓存。容器部署把运行时与依赖固定在可追溯的镜像标签里,数据库与需保留的文件走持久卷或外部存储,密钥经运行时配置或 secrets 机制注入而不写入镜像层;启动顺序不等于依赖已就绪,健康检查要区分进程存活与能否正常服务,回滚镜像也不会自动回滚数据库结构。

项目讲解与追问应对:介绍项目时沿数据流讲职责比罗列工具名有效:前端负责上传、版本选择、任务状态与证据展示,后端 API 负责身份认证、权限检查、参数校验与创建任务,异步 Worker 承担解析、切分、对齐、检索与模型调用,存储层分别保存原始文件、业务元数据、任务记录与检索索引;链路可概括为上传 → 解析入库 → 确认对象与版本 → 固化输入 → 对齐或范围检索 → 模型分析 → 校验 → 报告。被追问「最终报告为什么错」时按阶段归因——解析丢失表格、版本选择错误、对齐失败、检索遗漏、模型推理或汇总出错,前提是各阶段的产物引用与版本信息都保留下来。亮点应落在可验证的机制上(输入可复现、证据可定位、覆盖可核验、失败可恢复),困难用一个失败样本讲清定位过程、修复方式与验证口径,只展示成功案例无法证明方法可靠。主动减法同样值得说明:短文档直接输入已达标就不强行加入向量检索,全量对比用 Top-K 会漏就改为结构化遍历。边界要如实交代——使用开源解析器、UI 组件与模型 API 不影响项目价值,关键是能解释接口契约、状态处理与异常恢复;没有生产上线或量化实验,就明确是原型或离线验证,不把计划中的能力描述成已完成。