阿里巴巴 AI Agent 应用开发一面:RAG、工具调用与检索融合
- 轮次
- 一面
- 时间
- 2026-11
- 来源
- 牛客网
《面试题目》
- 介绍一下你做的 Agent 项目,你主要负责哪些部分?
- 你提到查手册用 RAG,为什么用 RAG 而不是把手册拿去微调模型?
- RAG 里的文档一般怎么切分?chunk 越大是不是越容易保留完整信息?
- Embedding 是什么?余弦相似度和内积有什么区别?
- Function Calling 的完整流程是什么?在你的项目里怎么用?
- 有了 JSON Schema,是不是就不会出现工具调用错误了?
- Attention 怎么计算,为什么要除以根号 d_k?
- 自回归语言模型训练时可以并行计算,为什么生成答案通常还要逐 token 进行?
- 你的检索会同时用关键词和向量吗?为什么需要两路,结果又怎么合并?
- 召回后为什么还要重排?把召回数量一直增大,会不会效果一直提高?
- 写一个 RRF 融合函数,输入是多路排好序的文档 ID,说明重复 ID、并列和复杂度怎么处理。
- 假设正确文档已经进了最终上下文,答案还是错的,你怎么继续定位?
《参考解析》
RAG 与微调的分界在「更新机制」与「可追溯性」。 手册会更新、同一型号有多个固件版本,RAG 只需要更新索引,并能把具体来源展示给用户;把知识写进参数很难控制某次回答用了哪个版本,也不方便删除过期事实。微调仍有价值,但它的适用场景是模型对领域术语理解错误、或提示与工具设计到位后仍不能稳定完成任务,而不是「资料没检索到」。回答时要补一句:RAG 也会幻觉,微调也不等于记住事实,两者可以组合。
切分要跟着文档结构走,而不是按固定字数切。 先沿章节、段落、表格切分,保留型号、固件版本、标题路径与来源位置;故障表按行组拆分时,每组都要带上表头、单位与适用条件。chunk 大能保留更多上下文,但会混入无关内容、稀释向量表达;chunk 小更聚焦,却可能把条件与结论拆开。重叠窗口能缓解边界截断,但无法保证跨页注释被带上,还会增加重复内容。必要时用「短片段检索 + 命中后补充父段落」的两段式。
Embedding 是文本到向量的映射,相似度选择要与模型训练目标一致。 内积 q·d 同时受方向与长度影响,余弦 (q·d)/(‖q‖‖d‖) 只看方向;当所有文档向量范数相同,两者排序一致;查询与文档都做 L2 归一化时余弦等于内积。反例可以说明差异:q = (1,0),d1 = (2,2),d2 = (1,0),内积把 d1 排在前面,余弦把 d2 排在前面。建库与查询必须使用同一套度量与预处理,不能因为熟悉某种相似度就随意切换。
Function Calling 的流程是「声明—选择—执行—回传」。 应用把工具的名称、用途与参数结构告诉模型;模型返回要调用的工具及参数;应用解析、校验(结构、权限、业务规则)后执行,并把结果按调用标识回传给模型;模型继续回答或发起下一次调用。关键点是函数由应用执行,模型输出函数名不等于获得执行权限;工具结果要区分「查不到」「无权限」「超时」等失败状态,模型才能决定澄清、说明限制还是重试;写操作(如创建工单草稿)必须单独获得用户确认,读取授权不能等同于写入授权。
JSON Schema 只约束结构,不约束语义。 它能拦住缺字段、类型错、枚举越界,但拦不住「设备 ID 格式合法却不属于当前用户」「工单类型是合法枚举但与故障不匹配」这类业务错误。因此校验要分三层:可解析与结构合法、业务含义与权限、最后才执行;参数进入数据库查询时使用绑定参数,失败信息要具体可修正但不能泄露内部凭据与数据库错误。
Attention 的缩放是为了控制点积尺度。 Attention(Q,K,V) = softmax(QKᵀ/√d_k)V,Q 表示当前位置要找什么,K 用于匹配,V 是按权重汇总的信息。在分量近似独立、均值零、方差一的假设下,点积的方差随 d_k 增大,除以 √d_k 后方差回到同一量级,避免 softmax 输入绝对值过大导致分布过尖、梯度变小。要补充的是这是解释设计动机的近似推导,不是任意训练状态下都成立;注意力权重高也不代表事实可靠。
训练可并行、生成必须串行的原因在于信息依赖。 训练时目标序列已知,可以把真实序列右移作为输入,用因果 mask 限制每个位置只能看到前面的内容,一次前向就能算出所有位置的损失;生成时后面的 token 尚不存在,必须先选出当前 token 才能作为后续条件,因此存在顺序依赖。工程上用 KV 缓存、批处理、推测解码提升吞吐,但依赖关系没有消失。这也解释了为什么「首字延迟」与「整段生成耗时」是两个不同指标。
混合检索解决的是两类不同的召回失效。 关键词(BM25)擅长精确标识——故障码 E104 与 E140 字面相近但含义完全不同;向量检索擅长同义表达——用户说「机器热了就停」,手册写「过温保护」。两路都要遵守型号与权限范围。合并时不宜直接相加原始分数(尺度与分布不同),常用 RRF 用排名贡献累加,或对分数校准后加权融合;RRF 实现简单但忽略分数间距。
重排的作用与边界。 双编码器召回分别编码问题与文档,文档向量可预计算,适合大范围快速筛选;交叉编码器把问题与候选一起计算,能更细地分辨条件、否定词与对象,但每个候选都要重新计算,成本高。重排的前提是正确证据已在候选集中——召回没找到的,重排补不回来。增大候选数会提高覆盖,也会增加耗时并引入高相似但不适用的内容,应在固定时间预算下画出「候选规模—证据覆盖—答案质量」的曲线,后段指标不涨就停止扩大。
RRF 的实现要点。 对每路排名,文档得分为 1/(c + rank),rank 从 1 开始,未出现在该路的文档贡献 0,多路累加后排序。同一路内重复的 ID 只按首次出现计分、去重后排名连续,否则重复项会被人为抬高;并列时按 ID 排序保证输出确定;c 影响名次间贡献的差距,是任务相关参数而不是固定最优值。设总输入 N 条、唯一文档 U 个,累计分数 O(N)、排序 O(U log U)、空间 O(U)。下方为参考实现:
from collections import defaultdict
def rrf(rankings, top_k=5, c=60):
if top_k < 0:
raise ValueError("top_k must be nonnegative")
scores = defaultdict(float)
for ranking in rankings:
seen, rank = set(), 0
for doc_id in ranking:
if doc_id in seen:
continue
seen.add(doc_id)
rank += 1
scores[doc_id] += 1.0 / (c + rank)
return sorted(scores.items(), key=lambda x: (-x[1], x[0]))[:top_k]
「正确文档在上下文里仍答错」要按证据完整性分层定位。 先确认这份文档是否真的提供了完整证据(适用版本、操作条件、必要步骤是否被切掉);证据完整时,再检查模型是否选错段落、漏掉否定条件、把不确定表述变成确定结论。定位手段是固定问题、模型配置与文档版本,保存实际发送的上下文,用「只含必要证据」的输入做对照,再逐步加入其他候选,观察错误是否随干扰出现。答案验证要按事实主张逐条判断——「散热不良可能触发保护」不能被改写成「一定是风扇损坏」,引用链接正确也不代表支持该主张。