顺丰 AI 开发工程师一面:文档分析 Agent 的架构、RAG 取舍与工程落地
- 轮次
- 一面
- 时间
- 2026-11
- 来源
- 牛客网
《面试题目》
自我介绍与实习
- 请做一下自我介绍。
- 简单介绍实习经历,主要做了什么?
- 几个项目中哪一个做得最好?请选一个详细介绍。
项目深挖
- 讲一下项目的整体架构和技术栈。
- 能否举一个完整的例子,把项目的所有核心功能串起来?
- 用户使用系统时先输入什么?整体流程是什么?
- 用户输入相关资料后,最终会输出哪些结果?
- 不同的输出结果分别在哪个环节生成?
- 如果存在多个版本的数据,系统如何管理?
- 不同版本的数据是一起参与处理,还是每次指定其中一个?
- 用户是否需要在前端明确选择输入对象和对应版本?
- 整个项目的前后端都是自己开发的吗?
- 项目做得比较好的地方有哪些?遇到过什么困难?
RAG 与知识库
- 知识库在整个系统中起什么作用?具体在哪个环节使用?
- RAG 检索时,召回的具体是什么内容?
- 知识库中存在多个版本的数据时,如何确定召回范围?
- 用户已经明确指定需要处理的两份文档,为什么还需要切块和检索?
- 为什么不直接把完整文档交给大模型处理,而要额外引入 RAG?
- 输入对象已经明确,是否完全可以绕过知识库检索?
- 引入 RAG 相比直接处理原文,实际解决了什么问题?
- 知识库是怎么搭建的?具体处理流程是什么?
- 检索使用关键词、向量还是混合检索?
- 如何保证检索召回的准确率?如何验证?
- 文档切分依据文档结构,还是依据文档类型?
- 切块时如何保证语义完整性?
- 系统支持哪些文档格式?PDF、Word、Markdown、TXT 是否支持?
- PDF 中包含图片或扫描内容时如何处理?
- 文档是在上传时就完成切分和存储,还是查询时才切分?
- 检索召回之后,结果会直接交给模型吗?中间还有哪些处理环节?
Agent 与 Workflow 及工程部署
- 项目中的工作流是如何设计的?
- 是否使用 LangChain、LangGraph 之类的框架?
- 为什么选择直接按业务逻辑实现,而不使用现成的 Agent 框架?
- 工作流如何记录各步骤的执行状态和结果?
- 项目目前部署在本地还是服务器?
- 是否使用 Docker?具体是怎么部署的?
- Workspace 工作空间隔离具体指什么?
- 不同用户或工作空间之间的数据如何隔离?
- 项目中的质量评测是怎么实现的?
- 功能测试与实际 AI 效果评估有什么区别?
反问
- AI 开发工程师这个岗位实际主要做哪些业务?
- 团队主要使用哪些技术栈?
- 应届生入职后多久可以接触真实业务项目?
《参考解析》
Agent 与工作流的边界:工作流按「可验证的阶段产物」划分节点,文档分析可以拆成校验输入 → 加载版本快照 → 解析就绪检查 → 全量对齐或定向检索 → 模型分析 → 结果校验 → 报告生成,每个节点定义输入、输出、失败类型与重试策略。确定性强的步骤直接写业务代码,需要语义解释的步骤调用模型,只有必须依据中间观察动态选择工具或路径时才引入自主 Agent——模型参与流程不等于整个系统要跑自由循环。不用 LangChain、LangGraph 的常见理由是流程固定、节点数量有限、权限与事务需要和既有服务保持一致,代价是持久化恢复、复杂分支、人工中断与执行追踪都变成自研负担;当流程出现多轮工具决策、长时间等待与大量动态分支时,成熟编排更划算。框架的 checkpointer 保存的是执行状态,不会让数据库写入、第三方接口调用等外部副作用具备端到端 exactly-once 语义,副作用仍需幂等键与事后对账。
文档解析与切分:文档类型决定如何解析,文档结构决定优先如何切分。原生 PDF 有可靠文本层,可直接抽取文字与版面;扫描 PDF 需要方向校正与 OCR;混合页要合并文字层与图像区域解析,并避免同一段内容被重复识别。表格必须重复必要表头并保留行列关系,条款的条件、例外、单位与脚注尽量与正文一起处理。切分优先落在章节、条款、段落等语义边界上,用 token 上限约束过长节点,不得不拆时加少量重叠并记录原始位置;重叠会产生重复证据与额外成本,需要去重与预算控制,靠不断加大 overlap 掩盖语义断裂通常无效。解析与索引宜在上传后异步完成并把结果固化为不可变快照,查询只读就绪产物;一次性小文件可以在任务内临时解析,不必建立持久向量索引。「上传成功」与「知识可查询」是两种状态,构建失败要能重试,查询不应读到只完成部分切块的文档。
RAG 与检索:召回的是可作为证据的文档单元,如段落、条款、表格片段或页面区域,向量只用于计算相似度;结果必须带 chunk_id、doc_id、version_id、标题路径、页码或字符区间、正文与分数,否则引用无法回跳,父块扩展后还要保留位置映射。版本范围应落在检索条件里(访问权限、Workspace、version_id),不能交给提示词让模型凭文本判断;两版对比要分别检索,或在同一候选集中显式保留两侧配额与身份,避免与问题更相似的一侧挤占全部 Top-K。近似向量检索叠加强选择性过滤时可能候选不足,具体行为取决于引擎与索引,因此不能「先全库取少量 Top-K 再按版本过滤」就断定目标文档没有答案。关键词检索擅长条款编号、金额、专有名词等精确匹配,向量检索补充同义表述,混合检索用 RRF 按排名融合、避免不同量纲的分数直接相加,再按成本决定是否引入重排。是否引入 RAG 取决于文档长度、任务范围、复用频率与效果要求:短文档直接输入并逐条引用更简单,要求穷尽覆盖的全量对比应走结构化遍历并记录未匹配单元,RAG 减少的是无关长文本的重复输入与定位成本,既不修复解析错误,也不证明差异已经找齐。
Prompt 与上下文工程:召回结果进入上下文之前,还要经过权限复核、去重、融合或重排、父块与相邻条款扩展、token 预算控制;对比任务先检查两侧是否都有证据。组织提示词时把用户问题、任务规则与证据内容分段隔离,并明确文档内容属于待分析的数据,其中的指令不执行——外部文档可能携带提示注入,诱导模型覆盖系统规则或触发未授权操作。给证据分配稳定引用标识,要求模型按约定结构输出。上下文窗口够大不等于任意长度都能准确理解,中间位置的事实、跨段条件与复杂表格仍需实测;证据不足时应在授权范围内扩大检索、读取指定章节,或明确回答无法确认,而不是强行生成肯定结论。模型返回后要校验结构、引用是否存在、引用是否来自本次允许的版本、关键数字是否与原文一致;引用能打开只证明可定位,不证明语义蕴含关系成立,关键业务结论仍需规则校验或人工抽检。
版本与证据可追溯:文档对象与文档版本分开管理,doc_id 表示同一业务文档,version_id 表示一次不可变内容快照;文件内容哈希只能检测字节变化,不能代替业务身份、权限与版本语义。每个版本要关联原始文件、创建人、时间、解析器版本、切分配置、Embedding 模型版本与索引构建标识——解析或索引升级时,即使文件内容不变也可能需要重新生成处理产物。对比任务记录两侧 version_id 与所用产物版本,而不是保存会漂移的「最新版本」指针;「使用最新版本」应在任务创建时解析成具体 version_id 并固定,运行中上游出现更新不改变本次输入,结果才可复现。版本状态可分为已上传、处理中、就绪与失败,必要产物完整且校验通过才对外发布就绪;新版本构建期间保留旧版本可用性,删除前检查历史任务引用与保留策略,避免旧报告失去证据。
评测与线上效果:评测按链路拆层——数据层看解析文本与表格是否完整、页码定位是否正确,检索层看证据召回与版本约束,分析层看变化识别、问答正确性与引用支持,工程层看延迟、费用、任务完成率与失败恢复。检索「准确率」要拆成可测指标:Recall@K 衡量相关证据被找回的比例,Precision@K 衡量候选中的相关比例,MRR 关注首个相关结果的位置;存在多组等价证据时按「能满足回答需求的证据组」评估,避免只认一个任意块 ID。标注集覆盖精确条款、同义表述、跨段组合、表格、多版本、无答案与越权请求,训练调参与测试按文档家族划分,防止同一文件的不同版本泄漏到两边。金额、日期、否定词、条款编号等确定性字段用程序校验,语义正确性靠人工抽检或经过校准的模型评审,模型评审受措辞、长度与顺序影响,不能作为唯一裁判;随机性强的链路重复运行并报告波动。功能测试与效果评估是两道门:接口返回成功、JSON 合法、引用能打开都不能证明答案正确,「接口成功率」不能替代「业务任务正确率」。切分、检索、模型或提示词任一变更都要跑回归,上线后把脱敏失败案例补进评测集,同时保留稳定测试集,避免只针对最新案例优化。
工程化、隔离与并发:任务创建时生成 run_id 并保存不可变输入快照,执行生命周期不能绑在一次 HTTP 连接上——前端通过轮询或事件推送展示阶段进度,用户离开页面后仍可回来查看结果。状态机用 pending、running、succeeded、failed、cancelled、waiting_review 表达,靠条件更新或事务约束合法转换;Worker 用租约或心跳持有执行权,避免两个实例同时认为自己拥有同一任务。进程可能在外部操作成功之后、状态写回之前崩溃,所以重试要以任务与节点的幂等标识识别重复工作,外部接口配幂等键或事后对账,不能凭数据库里仍是 running 就直接重做。Workspace 是资源归属与访问边界,逻辑隔离在共享存储上给资源绑定 Workspace 并在每次访问执行授权,物理隔离则用独立库、索引或存储桶;数据隔离不等于资源隔离,单个工作空间的超大任务仍可能占满全局队列与模型额度,需要并发限制与配额。用 PostgreSQL RLS 作额外防线时要注意超级用户、带 BYPASSRLS 权限的角色以及通常的表所有者会绕过策略,应用角色与连接池上下文必须正确设置;缓存键要包含权限范围与版本信息,撤权后不能继续命中旧缓存。容器部署把运行时与依赖固定在可追溯的镜像标签里,数据库与需保留的文件走持久卷或外部存储,密钥经运行时配置或 secrets 机制注入而不写入镜像层;启动顺序不等于依赖已就绪,健康检查要区分进程存活与能否正常服务,回滚镜像也不会自动回滚数据库结构。
项目讲解与追问应对:介绍项目时沿数据流讲职责比罗列工具名有效:前端负责上传、版本选择、任务状态与证据展示,后端 API 负责身份认证、权限检查、参数校验与创建任务,异步 Worker 承担解析、切分、对齐、检索与模型调用,存储层分别保存原始文件、业务元数据、任务记录与检索索引;链路可概括为上传 → 解析入库 → 确认对象与版本 → 固化输入 → 对齐或范围检索 → 模型分析 → 校验 → 报告。被追问「最终报告为什么错」时按阶段归因——解析丢失表格、版本选择错误、对齐失败、检索遗漏、模型推理或汇总出错,前提是各阶段的产物引用与版本信息都保留下来。亮点应落在可验证的机制上(输入可复现、证据可定位、覆盖可核验、失败可恢复),困难用一个失败样本讲清定位过程、修复方式与验证口径,只展示成功案例无法证明方法可靠。主动减法同样值得说明:短文档直接输入已达标就不强行加入向量检索,全量对比用 Top-K 会漏就改为结构化遍历。边界要如实交代——使用开源解析器、UI 组件与模型 API 不影响项目价值,关键是能解释接口契约、状态处理与异常恢复;没有生产上线或量化实验,就明确是原型或离线验证,不把计划中的能力描述成已完成。