大模型应用一面:提示词结构、KV Cache、ReAct 与 RAG 链路
- 轮次
- 一面
- 时间
- 2026-10
- 来源
- 牛客网
《面试题目》
提示词与推理机制
- 模型提示词一般是怎么组织的,结构上分哪几块?
- 为什么工具定义要放在前面?
- KV Cache 是什么,为什么能加速解码?
- 讲一下注意力机制的计算过程。
- 你怎么理解 ReAct?
Agent 可靠性
- Agent 陷入循环怎么办?
- 调用 A、A 又调用 B、B 回头再调 A,这种互相调用怎么处理?
- 项目里出现过的工具调用错误是怎么兜住的?
RAG 链路
- RAG 系统的完整链路是什么?
- 原始知识支持哪些类型的文件?
- 文本切割策略怎么选?
收尾
- 最后一道是测评(性格/行为测评)。
《参考解析》
提示词的结构。 一段生产可用的提示词通常切五块:角色与目标(你是谁、这次要交付什么)、可用能力(工具清单与各自适用场景)、约束与边界(不能做什么、必须遵守的格式、失败时怎么回)、示例(少量高质量 few-shot,覆盖典型与边界)、以及本次任务输入。工程上还会加「输出格式」与「自检清单」两块,让模型在给出答案前先对齐格式要求。写的时候把稳定不变的部分放前面、变量放后面,这样能吃到前缀缓存。
工具为什么放前面。 两个原因:一是缓存——工具的 JSON Schema 体积大且一次会话内不变,放在最前面能作为稳定的前缀被缓存,后面每轮只追加对话增量,KV Cache 命中率高、首字更快;二是决策顺序——模型读提示词是顺序注意的,先知道「手里有什么工具、各自边界」再去理解本轮任务,能减少「先想好答案、再硬套一个工具」的错误。反过来把工具塞在最后,长对话里容易被稀释。
KV Cache。 自回归解码每生成一个 token 都要对全部历史做注意力,如果不缓存,第 n 步要把前面 n 个 token 的 K、V 全部重算一遍,总开销是 O(n²)。KV Cache 的做法是:每层把已算过的 K、V 矩阵存下来,新 token 只算自己的 K、V 并追加,注意力只做一次「新 Q 对全部 K」的乘加,单步复杂度从 O(n·d) 的重算降到 O(n·d) 的读取。代价是显存随序列长度线性增长(每 token 每层 2·d 个数),所以才有 GQA/MQA(多个 Q 头共享 K/V 头)、MLA(低秩压缩)、PagedAttention(分块管理、减少碎片)这些优化;跨请求复用的「前缀缓存」本质上也是同一套机制。
注意力机制。 输入 X 经三个线性变换得到 Q、K、V;打分矩阵 A = softmax(QKᵀ/√d_k + mask),再乘 V 得到输出。除以 √d_k 是为了防止维度大时点积方差过大把 softmax 推向饱和、梯度消失;mask 用来屏蔽 padding 或未来位置(decoder 的因果掩码);多头是把 d 维切成 h 份并行做注意力再拼接,让不同头关注不同关系。复杂度上,序列长度 n、维度 d 时是 O(n²d)——这也是长上下文贵的根源。
ReAct。 核心是把「想」和「做」交织起来:模型先输出 Thought(当前判断与下一步意图),再输出 Action(调用哪个工具、参数是什么),环境返回 Observation,模型据此继续下一轮,直到给出 Final Answer。它比「一次性规划完再执行」更抗噪,因为每步都能看到真实结果再修正;代价是轮次多、延迟高、容易在中途跑偏。实现时值得把 Thought 显式落库,出问题能复盘是哪一步判断错了。
陷入循环怎么治。 分四层:① 硬约束——最大步数/最大轮次、单会话 token 预算,超了强制收尾并输出已完成部分;② 状态去重——把「工具名 + 参数哈希」作为状态指纹,短时间内重复出现同一指纹就判定在原地打转,直接打断;③ 失败计数与升级——同一工具连续失败 N 次就换策略或换工具,而不是原样重试;④ 提示层——在 Observation 里显式写「你已经调用过 X 次、上次结果是 Y,请换一种做法」,让模型自己纠偏。最后留人工兜底:超限时把上下文与已收集信息交给人。
A→B→A 的互相调用。 本质是调用图,不是线性链,所以要按图的规则管:给每次调用分配 traceId 与 depth,设最大深度(常见 3~5 层);维护调用栈,若新调用命中了栈里已有的节点(成环)就直接拒绝并返回「该能力已在此链路中执行过」;把子调用的上下文做隔离,只传必要参数与结果摘要,别把整段对话塞进去,否则递归几次就爆上下文;再加一个全局的 token/时间预算,避免两个 agent 互踢皮球把预算烧光。面试里能把这套「环检测 + 深度限制 + 预算」说清楚,比只答「加个超时」更有说服力。
RAG 的完整链路。 离线侧:文档接入(解析、去噪、抽取元数据)→ 切分 → 向量化 → 写入向量库(同时保留 BM25 索引做混合检索)。在线侧:query 改写/扩展 → 混合召回(向量 + 关键词)→ 重排(cross-encoder 或 LLM 打分)→ 上下文拼装(去重、按重要性排序、控制长度)→ 生成(要求引用来源)→ 后处理(引用对齐、答案校验)。工程上还要有评测集、召回率与忠实度指标、以及「答不出来就说不知道」的兜底。
支持哪些原始类型。 纯文本与 Markdown 最省事;PDF 要处理排版(双栏、表格、页眉页脚)并做 OCR 兜底;Word/PPT/Excel 要保留层级与表结构;HTML 要删掉导航与广告;图片走 OCR 或多模态描述;代码仓库按文件与函数边界切;数据库/API 则是「结构化检索 + 拼装」而非切分。常见坑是「一律转成纯文本」,表格与层级一丢,后面的切分和召回全错。
切分策略怎么选。 从粗到细四档:固定长度 + 重叠(最简单,适合无明显结构的文本,重叠 10%~20% 防切断语义)、按结构切(标题/段落/列表,保留文档层级,适合制度、手册)、按语义切(句向量相似度突变处断开,成本高但对长文有效)、父子块(子块做检索、父块喂给模型,兼顾召回精度与上下文完整)。参数上,块大小要跟 embedding 模型的训练长度和问题粒度匹配,代码与表格不要按字符数硬切,宁可整表一块。最后要用真实问题做一次召回评测,别只凭感觉调 chunk size。