小红书 Agent 研发面:上下文压缩、离线评测失真与 Skill 壁垒
- 结果
- 凉经
- 时间
- 2026-11
- 来源
- 牛客网
《面试题目》
- 请先做一个简单的自我介绍。
- 介绍一下你在实习中做的 Agent,主要负责哪些模块?最后取得了什么效果?
- Codex 或 Claude Code 的上下文压缩机制是怎么工作的?为什么不能一直保留完整对话?
- 如果线上 Agent 经常出现工具调用失败,你会怎么建立一套可观测性体系?
- 讲一下你做过的 Prompt 自进化项目,为什么要做这个功能?主要解决了什么问题?
- Agent 离线评测和在线评测有什么区别?为什么离线分数很高,上线后还是不好用?
- 你认为 Skill 生态能不能成为办公智能体的核心竞争优势?如果竞争对手很容易复制,壁垒在哪里?
- Agent 使用 MCP 或外部工具时,如何防止 Prompt Injection 和越权操作?
- 你使用过 RAGAS 框架吗?它是怎么评估 RAG 系统效果的?
- 如果一个 Agent 需要连续调用多个工具,怎么优化整体响应延迟?
- 为什么百度网盘会推出办公智能体?它和 Codex、Claude Code 这类 Coding Agent 的定位有什么区别?
- LangGraph 和传统 ReAct Agent 有什么区别?什么情况下更适合使用图编排?
- Agent 的用户长期记忆应该怎么构建?用户的订单、浏览记录等行为数据如何沉淀成记忆?
《参考解析》
上下文压缩:上下文窗口有限,而工具结果(网页、日志、文件)体量远大于对话本身。压缩的常见做法是保留系统提示与最近若干轮原文,把更早的轮次交给模型生成结构化摘要(目标、已完成的动作、关键结论、未决问题),工具输出只留摘要与可回查的引用。不能一直保留全文的原因有三:超出窗口会截断甚至报错;输入 token 变多使每轮延迟和成本线性上升;无关内容会稀释注意力,让模型抓错重点。压缩的代价是细节丢失,所以要点必须可回查原始产物。
可观测性:以一次任务为单位打 Trace,每个 span 记录模型调用(输入摘要、输出、token、耗时)、工具调用(名称、参数、返回码、耗时、错误信息)与重试。指标上分三层:可用性(失败率、超时率)、质量(任务成功率、工具选择准确率、参数校验失败率)、成本(每任务 token 与金额)。工具失败要能按工具名、错误码、参数形态聚合,并保留失败样本可回放。仅有日志不够,要能把「哪个工具在什么参数下失败」直接查出来。
Prompt 自进化:动机是人工调提示词的迭代太慢,且线上失败样本没有被系统利用。做法是把失败案例归因(指令不清、缺示例、格式约束不足),由模型提出改写,在固定评测集上回归,通过才上线,并保留版本与回滚。风险是过拟合评测集、以及提示词越改越长,所以要有长度预算和 A/B 对照。它解决的是「迭代效率」,不解决模型能力边界。
离线与在线评测:离线在固定数据集上跑,可复现、适合比较模型与版本;在线面对的是真实分布——用户会改需求、说模糊话、中途换目标,这些静态集覆盖不到。更关键的是成功标准不同:离线看回答质量,线上看任务是否真的完成(日程有没有建成、工单有没有提交)。线上要结合任务完成率、会话中断率、人工接管率与实际操作结果。离线高分只能说明在已知分布上表现好。
Skill 的壁垒:Skill 本质是工具能力、执行流程与使用说明的封装,单纯堆数量没有壁垒,竞品可以照着写。真正的壁垒在能否稳定接入真实业务系统、处理权限、数据与流程的复杂性——金融研究 Agent 要查行情、读研报、算财务指标,还要处理数据授权与来源追溯,这不是复制一份 Markdown 能实现的。用户长期依赖后形成的迁移成本,来自集成深度与可靠性,而非功能清单。
Prompt Injection 与越权:模型能读文件、调接口,攻击面比聊天机器人大。网页、文档、工具返回都应视为不可信数据,不能与系统指令同权。工程上把工具权限收到最小,身份与操作权限由服务端独立校验,不因为模型生成了参数就信任;删除、发信、改权限这类高风险操作要求人工确认;参数做白名单与类型校验。模型输出只是执行建议,安全边界必须由程序控制。
RAGAS:把整体回答质量拆成可诊断的指标——Faithfulness 看回答中的事实能否被召回的上下文支持;Context Precision 看检索结果中相关内容是否排在前面;Context Recall 看回答所需信息是否被检索覆盖;Answer Relevancy 看回答是否切题。使用时准备「问题 + 参考答案 + 相关文档」的数据集,跑完若效果差,可判断是检索没找到还是生成没用上。局限是部分指标依赖大模型判定,受评审模型与提示词影响,重要场景要结合人工标注与真实任务结果。
多工具调用的延迟:先用 Trace 拆耗时,确认瓶颈在模型生成、网络还是工具执行,不要一上来换更快的模型。互不依赖的工具并行调用;固定且简单的分支用规则路由或小模型分类,减少大模型推理轮次;稳定的检索结果做缓存,流式输出改善等待感。实时状态类结果不能随意缓存。
LangGraph 与 ReAct:ReAct 是「推理—调工具」交替的循环,由模型决定下一步,适合目标明确但路径灵活的场景。LangGraph 把流程显式建成图:节点是步骤,条件边控制流转,支持检查点、暂停恢复与人工介入。企业报销这类有确定规则与审批环节的流程适合图编排——确定性逻辑写进节点,模型只处理语义理解。简单问答硬上图编排只会增加维护成本。
长期记忆:重点不是把所有历史存下来,而是抽取对未来任务有用的信息。分三层:事实型(偏好、身份、常用地址)、情景型(做过什么、结果如何)、程序型(这类任务的有效做法)。写入要有抽取与去重,读取要按当前任务检索而不是全量注入;订单、浏览记录这类行为数据先聚合成偏好信号再入库,并保留时效与来源。还要有遗忘与纠错机制,用户改口后旧记忆必须能被覆盖。