Agent 开发面试四问:PDF 带表格图片怎么分块、效果不好先看哪些指标
- 时间
- 2026-11
- 来源
- 牛客网
《面试题目》
- RAG 知识库分块时,PDF 文件里既有表格又有图片,怎么保存表的结构以及图片内容?
- 大模型回答效果不好的时候怎么做?应该换 API 吗?应该分析哪几个指标,再根据指标确定解决方案?
- token 的成本分析是怎么做的?
- 意图识别怎么做?(关键词匹配、大模型理解、BERT 等模型识别等等)
《参考解析》
PDF 带表格与图片的分块,关键是「先解析结构,再按结构切」,而不是按字数切。 常规 PDF 抽出来的是一串文本流,表格会被压成一行行错位的文字,图片直接丢失。可行链路是:先用版面分析模型(如 LayoutLM 类、或 MinerU / PaddleOCR 这类带版面恢复的解析器)把页面切成文本块、表格块、图片块,并保留坐标;表格单独走「表格识别 → 结构化(HTML 或 markdown 表格)」,把表头、合并单元格、单位都带上;图片走 OCR 拿文字,再用多模态模型生成一句到三句的图像描述(这张图是什么、横纵轴是什么、结论是什么),描述与原图引用一起入库。
入库时不要把这些块打散混进同一段正文。稳妥做法是「父块 + 子块」:父块保留整节上下文(章节标题、表名、图注),子块是具体的表格行或图片描述,检索命中子块后把父块一起喂给模型。表格还可以额外加一行「自然语言摘要」用于向量化(比如「表 3:各型号探头在 3MHz 下的信噪比」),否则纯表格的 embedding 与用户问句的语义距离很远,容易召回不到。图片则一定要保留可访问的引用地址,答案里能指回原图,用户才信。
回答效果不好时,先定位再换模型。 换 API 是最后一步,因为它同时改变了成本、延迟、输出风格,等于一次性动了好几个变量,出了问题无法归因。先按链路上游到下游拆四类指标:① 检索质量——Recall@k、MRR、命中块与问题的相关度打分,看是「根本没召回」还是「召回了但排太后」;② 上下文质量——喂进去的 token 里有效信息占比、是否被无关块挤占、是否发生截断;③ 生成质量——忠实度(答案里的每个论断能否在上下文中找到出处)、答案完整度、格式遵循率;④ 端到端——用户点踩率、追问率、人工抽检通过率。用一批固定的问题集(覆盖事实问答、多跳、表格、拒答四类)跑回归,看改动前后每类指标的变化。
定位到具体环节后再动:召回差就改分块与 embedding、加混合检索(BM25 + 向量)与 rerank;上下文差就压缩、去重、按位置排序;生成差才轮到换模型或改提示词。补一句「拒答也要算进指标」——该说不知道的时候硬编,忠实度指标会掉,这类错误比答不出更伤。
token 成本分析要拆到「每次请求 × 每类 token × 单价」。 先把调用按业务任务分组(问答、摘要、意图识别、工具调用……),每组统计:请求量、平均输入 token、平均输出 token、缓存命中率(前缀缓存能省掉大部分输入成本)、重试率。成本 = 输入未命中 token × 输入单价 + 缓存命中 token × 缓存单价 + 输出 token × 输出单价,再把每组成本除以业务量,得到「单次问答多少钱」「单个用户每月多少钱」,这样才谈得上优化。
优化按性价比排序:先削输入——精简系统提示词、去掉重复的历史轮次、把长文档改成分段检索而不是整篇塞进去;再提缓存命中率——把不变的前缀(系统提示、工具定义、知识库固定部分)放在最前面,别让时间戳之类的动态内容出现在前缀里;再控输出——限制最大输出长度、要求结构化短答;最后才考虑换更便宜的模型,并且要用上面那套评测集验证质量没有掉。别只看账单总额,要看「单位业务量的成本」和「成本构成占比」,否则降本降的是量而不是效率。
意图识别的四条路线要按场景选。 ① 关键词/正则:零成本、可解释、延迟极低,适合意图少且说法固定的场景(如「查订单」「退款」这类强指令词),缺点是同义表达和错别字一多就漏;② 向量相似度:给每个意图准备若干示例句,算句向量与意图中心的相似度,冷启动快、维护便宜,适合意图中等规模;③ 小模型分类(BERT 类微调):需要标注数据,但延迟和成本远低于大模型,适合高并发、意图边界清晰的场景;④ 大模型判定(含 function calling 让模型直接选工具):零样本可用、能处理长尾与多意图,缺点是贵、慢、输出需要约束。
工程上的常见组合是「级联」:先用关键词或小模型拦掉 80% 的高频明确意图,剩下的长尾交给大模型;同时把置信度低的请求做成反问澄清(「你是想查订单还是想退款?」),而不是硬猜。上线后把错判样本回流成标注数据,定期更新示例与分类器。还要单独处理「域外意图」——用户问了系统根本不支持的事,识别成「未知」并给出可用范围的提示,比硬塞进某个意图好得多。