面灵AI→

小红书 Agent 研发面:上下文压缩、离线评测失真与 Skill 壁垒

结果
凉经
时间
2026-11
来源
牛客网

《面试题目》

  1. 请先做一个简单的自我介绍。
  2. 介绍一下你在实习中做的 Agent,主要负责哪些模块?最后取得了什么效果?
  3. Codex 或 Claude Code 的上下文压缩机制是怎么工作的?为什么不能一直保留完整对话?
  4. 如果线上 Agent 经常出现工具调用失败,你会怎么建立一套可观测性体系?
  5. 讲一下你做过的 Prompt 自进化项目,为什么要做这个功能?主要解决了什么问题?
  6. Agent 离线评测和在线评测有什么区别?为什么离线分数很高,上线后还是不好用?
  7. 你认为 Skill 生态能不能成为办公智能体的核心竞争优势?如果竞争对手很容易复制,壁垒在哪里?
  8. Agent 使用 MCP 或外部工具时,如何防止 Prompt Injection 和越权操作?
  9. 你使用过 RAGAS 框架吗?它是怎么评估 RAG 系统效果的?
  10. 如果一个 Agent 需要连续调用多个工具,怎么优化整体响应延迟?
  11. 为什么百度网盘会推出办公智能体?它和 Codex、Claude Code 这类 Coding Agent 的定位有什么区别?
  12. LangGraph 和传统 ReAct Agent 有什么区别?什么情况下更适合使用图编排?
  13. Agent 的用户长期记忆应该怎么构建?用户的订单、浏览记录等行为数据如何沉淀成记忆?

《参考解析》

上下文压缩:上下文窗口有限,而工具结果(网页、日志、文件)体量远大于对话本身。压缩的常见做法是保留系统提示与最近若干轮原文,把更早的轮次交给模型生成结构化摘要(目标、已完成的动作、关键结论、未决问题),工具输出只留摘要与可回查的引用。不能一直保留全文的原因有三:超出窗口会截断甚至报错;输入 token 变多使每轮延迟和成本线性上升;无关内容会稀释注意力,让模型抓错重点。压缩的代价是细节丢失,所以要点必须可回查原始产物。

可观测性:以一次任务为单位打 Trace,每个 span 记录模型调用(输入摘要、输出、token、耗时)、工具调用(名称、参数、返回码、耗时、错误信息)与重试。指标上分三层:可用性(失败率、超时率)、质量(任务成功率、工具选择准确率、参数校验失败率)、成本(每任务 token 与金额)。工具失败要能按工具名、错误码、参数形态聚合,并保留失败样本可回放。仅有日志不够,要能把「哪个工具在什么参数下失败」直接查出来。

Prompt 自进化:动机是人工调提示词的迭代太慢,且线上失败样本没有被系统利用。做法是把失败案例归因(指令不清、缺示例、格式约束不足),由模型提出改写,在固定评测集上回归,通过才上线,并保留版本与回滚。风险是过拟合评测集、以及提示词越改越长,所以要有长度预算和 A/B 对照。它解决的是「迭代效率」,不解决模型能力边界。

离线与在线评测:离线在固定数据集上跑,可复现、适合比较模型与版本;在线面对的是真实分布——用户会改需求、说模糊话、中途换目标,这些静态集覆盖不到。更关键的是成功标准不同:离线看回答质量,线上看任务是否真的完成(日程有没有建成、工单有没有提交)。线上要结合任务完成率、会话中断率、人工接管率与实际操作结果。离线高分只能说明在已知分布上表现好。

Skill 的壁垒:Skill 本质是工具能力、执行流程与使用说明的封装,单纯堆数量没有壁垒,竞品可以照着写。真正的壁垒在能否稳定接入真实业务系统、处理权限、数据与流程的复杂性——金融研究 Agent 要查行情、读研报、算财务指标,还要处理数据授权与来源追溯,这不是复制一份 Markdown 能实现的。用户长期依赖后形成的迁移成本,来自集成深度与可靠性,而非功能清单。

Prompt Injection 与越权:模型能读文件、调接口,攻击面比聊天机器人大。网页、文档、工具返回都应视为不可信数据,不能与系统指令同权。工程上把工具权限收到最小,身份与操作权限由服务端独立校验,不因为模型生成了参数就信任;删除、发信、改权限这类高风险操作要求人工确认;参数做白名单与类型校验。模型输出只是执行建议,安全边界必须由程序控制。

RAGAS:把整体回答质量拆成可诊断的指标——Faithfulness 看回答中的事实能否被召回的上下文支持;Context Precision 看检索结果中相关内容是否排在前面;Context Recall 看回答所需信息是否被检索覆盖;Answer Relevancy 看回答是否切题。使用时准备「问题 + 参考答案 + 相关文档」的数据集,跑完若效果差,可判断是检索没找到还是生成没用上。局限是部分指标依赖大模型判定,受评审模型与提示词影响,重要场景要结合人工标注与真实任务结果。

多工具调用的延迟:先用 Trace 拆耗时,确认瓶颈在模型生成、网络还是工具执行,不要一上来换更快的模型。互不依赖的工具并行调用;固定且简单的分支用规则路由或小模型分类,减少大模型推理轮次;稳定的检索结果做缓存,流式输出改善等待感。实时状态类结果不能随意缓存。

LangGraph 与 ReAct:ReAct 是「推理—调工具」交替的循环,由模型决定下一步,适合目标明确但路径灵活的场景。LangGraph 把流程显式建成图:节点是步骤,条件边控制流转,支持检查点、暂停恢复与人工介入。企业报销这类有确定规则与审批环节的流程适合图编排——确定性逻辑写进节点,模型只处理语义理解。简单问答硬上图编排只会增加维护成本。

长期记忆:重点不是把所有历史存下来,而是抽取对未来任务有用的信息。分三层:事实型(偏好、身份、常用地址)、情景型(做过什么、结果如何)、程序型(这类任务的有效做法)。写入要有抽取与去重,读取要按当前任务检索而不是全量注入;订单、浏览记录这类行为数据先聚合成偏好信号再入库,并保留时效与来源。还要有遗忘与纠错机制,用户改口后旧记忆必须能被覆盖。