阿里巴巴 AI Agent 开发岗面经合集:长视频理解项目复盘
- 轮次
- 多轮面试合集
- 时间
- 2026-09
- 来源
- 牛客网
《面试题目》
- 请做一下自我介绍,介绍个人经历和做过的项目
- 选择一个你认为做得比较好的项目,详细介绍一下
- 这个项目中你最满意的地方是什么?
- DoVideoAI 这个 Agent 具体要解决什么问题?
- 你如何证明将视频切成一分钟 Segment、五分钟 Chunk,并融合音频和视频帧的方案是有效的?
- 你如何判断当前方案是高效的,或者比其他方案更好?
- 业界通常是怎样处理长视频理解问题的?
- 你的项目经过了什么样的评测?
- 你将声音和视频帧结合起来进行分析,如果视频中没有语音怎么办?
- 如果视频没有语音,当前检索效果是否会明显下降?
- 视频帧是以图片文件的形式直接发送给多模态模型理解的吗?
- 你在京东实习期间主要负责哪些工作?
- 是否涉及 Agent Skill?
- 你对本地 Agent 调度做了哪些优化?
- 你前面介绍了很多内容,但具体哪些部分是你亲自完成的?哪些是 AI Coding 辅助完成的?你的核心贡献是什么?
- 本地 Agent 为什么会出现空转?
- 你是怎么解决 Agent 空转问题的?
- 如何防止 Agent 在求解过程中进入死循环?
- 你对未来的工作内容有什么期望?
- 你平时关注 Agent 领域吗?
- 最近主要阅读哪些类型的 Agent 相关文章或行业新闻?
- 你看过 DeepSeek 最近发布的相关 Agent 产品吗?
- 这个产品相比其他 Agent 产品有哪些优势和缺点?
- 你认为 Claude Code 哪些功能做得比较好?
- 不做自我介绍了,直接挑一个你最熟悉的项目讲一下
- 从用户上传视频到最终拿到分析结果,完整链路是什么?
- 这个项目为什么要设计成 Agent?
- 你所说的受控 Agent Workflow 具体受控在哪里?
- Planner、Executor 和 Critic 分别负责什么?追问:为什么要拆成三个角色?
- Critic 如何判断 Executor 的结果是否合格?
- Critic 和 Executor 使用的同一个模型吗?
- Critic 判定不通过以后你怎么做的?
- 如何防止 Planner、Executor 和 Critic 之间反复循环?
- 如果 Agent 正在处理一个长任务,用户又输入了新的问题,系统会发生什么?
- 用户不断追问时,Agent 的上下文会不会无限增长?
- 你是怎么管理上下文长度的?
- 长视频为什么不能直接全部交给大模型?
- VideoContext 的数据结构是什么?
- 一条 VideoSegment 中保存哪些内容?
- ASR、OCR 你选型有想过吗?
- 你如何控制线程池,避免长视频把机器资源打满?
- 具体讲一下你说的这个检索怎么做的?追问:为什么同时使用关键词检索和向量检索?
- Chunk 摘要直接作为最终答案的证据不行吗?
- Embedding 模型和向量数据库是如何选择的?
- 你对 RAG 做过哪些评测?
- 如何分别评估召回质量和最终回答质量?
- 如果检索不到相关内容,是视频中本来没有答案、解析阶段丢失了信息,还是检索策略有问题?
- 讲一下你对这类检索策略的理解?
- 模型返回的 JSON 不符合结构要求怎么办?
- Checkpoint 保存了什么?
- 视频级 Checkpoint 和目标级 Checkpoint 为什么要分开?追问:为什么使用 Redisson Watchdog?
- 你认为这个项目当前最大的技术边界是什么?
- 距离真正上线还有哪些工作要做?
- 你如何验收 AI 生成的代码?
- 讲一下你在这个项目里遇到最难定位的一个 Bad Case 是什么?
《参考解析》
1. 长视频为什么不能直接喂给大模型,VideoContext 该怎么设计。直接整段丢进去撞三堵墙:一是上下文与成本,一小时的视频按每秒 1 帧就是三千多张图,多模态 token 会瞬间打爆窗口,何况很多模型对单次请求的图片数量本身有限制;二是有效信息密度极低,两小时的会议里真正有结论的可能只有三分钟,全量输入等于把信噪比交给模型硬扛;三是延迟不可接受,用户等不起。所以必须先把视频「降维」成可检索的结构化资产:离线阶段做抽帧(按镜头切换或固定间隔)、ASR 转写带时间戳、OCR 抓画面上的文字,再按时间窗口聚合成 Segment 与 Chunk,每个单元带上起止时间、语音文本、画面摘要、OCR 文本和关键帧引用。VideoContext 就是这些单元构成的索引集合,在线问答时它承担的是「先检索、再让模型只看被选中的片段」的角色——模型永远只看到分钟级的片段及其摘要,而不是原始视频。面试里能加分的是说清降维的取舍:抽帧率与 OCR 频率是可调成本项,语音密集的教学类视频主要靠 ASR,演示与操作类视频(比如编程直播、产品演示)必须靠画面 OCR 和关键帧,否则「没有语音就检索不到」直接暴露了方案的单点依赖。
2. Planner、Executor、Critic 三角色与循环防护。拆三个角色的理由是关注点分离:Planner 把用户问题(往往很模糊,如「这个视频讲了什么」)拆成可执行的子任务并决定检索什么;Executor 只负责执行单步(调检索工具、调多模态模型理解某个片段)并产出带证据的中间结果;Critic 独立审视 Executor 的产出是否回答了子任务、证据是否充分,不合格就打回。三者用同一个模型但不同 prompt 完全可行,换模型只是为了降低同源偏差,不是必需。防止反复循环靠的是硬性预算而不是靠 prompt 劝说:每个子任务限定最大重试次数(比如 Critic 连续打回 2 次就升级为「证据不足」并降级回答),全流程限定最大步数与总 token 预算,Critic 打回时必须给出结构化的缺失项(缺什么信息、建议补哪个检索),Executor 只能按缺失项补,不允许自由发挥换方向;同时维护「已执行动作」集合做去重,同一检索条件第二次出现就直接终止该分支。受控 Workflow 的「受控」就体现在这里:状态机由代码驱动,模型只在节点内部做判断,节点之间的流转条件是显式定义的,这样任何一次跑飞都能从日志里还原出是哪一步的判断出了问题。
3. 检索策略、混合检索与「摘要能不能当证据」。检索同时用关键词和向量是因为两者的失效模式互补:ASR 转写里出现的专有名词、产品型号、人名、数字,关键词(BM25)能精确定位,向量检索对这类字面信号不敏感;反过来用户用同义说法提问时,只有向量能召回。工程上的做法是两路各取 Top-20,用 RRF 或加权分数融合,再用 rerank 模型精排后取 3~5 条进上下文;视频场景还可以把时间邻近性作为一路信号(同一话题往往在时间上连续,命中某个片段后把前后相邻片段一并纳入候选)。「Chunk 摘要直接作为最终答案的证据」是个陷阱:摘要本身是模型生成的二次产物,会丢细节也会引入改写误差,用它做证据等于让幻觉多传一手;正确的用法是摘要只作为「检索索引用」(决定该看哪一段),最终答案必须回到该片段的原始 ASR 文本、OCR 文本或关键帧,并在回答里给时间戳引用。判断「检索不到是视频里没有、解析丢了、还是检索策略不行」要做三层验证:先看该时间段有没有 ASR/OCR 产出(解析层),再看用原文关键词直接搜能不能搜到(索引层),最后看同义问法能不能召回(检索层),这样才能把责任定位到具体一环,而不是笼统地「上个更强的模型」。
4. Checkpoint 分级与分布式锁的 Watchdog。长视频解析是分钟级甚至小时级的任务,必须可中断可恢复,所以 Checkpoint 要按粒度分开存:视频级 Checkpoint 记录这份视频的全局进度(是否完成抽帧、ASR、OCR,各阶段产物在哪儿),粒度粗、更新频率低,用于「换机器重新拉起任务时知道从哪继续」;目标级(子任务级)Checkpoint 记录用户某个具体提问的中间状态(已执行哪些检索、Critic 的打回记录、已有证据),粒度细、更新频繁,用于会话级续跑和避免重复计算。分开的原因是两者的键、生命周期和并发特性不同——视频级以 videoId 为键、可能跨用户共享,目标级以会话/任务 id 为键、天然隔离;混在一张表里会导致一个用户的重试把另一个用户的进度覆盖掉。用 Redisson 加锁是因为解析任务必须互斥(同一视频被两个 worker 同时解析会重复烧 GPU 和 API 成本),而 Redisson 的 Watchdog 解决的是「业务执行时间不可预知」的问题:普通 SET NX PX 的锁有固定过期时间,任务超时未完成锁就自动释放,会出现两个 worker 同时写;Watchdog 在持有锁期间自动续期(默认每 10 秒续到 30 秒),只要进程活着锁就不会掉。要注意的坑是:Watchdog 只有在不显式指定 leaseTime 时才启用,且续期依赖 JVM 存活,所以进程被 kill -9 或发生长时间 GC 停顿仍可能丢锁,最终一致性还得靠业务幂等(写入产物按 id 覆盖、任务状态机做 CAS)来兜。
5. 模型返回的 JSON 不合结构要求怎么办。分三层处理,缺一层都不够稳。第一层是预防:调用时用结构化输出能力(response_format / JSON Schema / tool calling 强制 schema),并在 prompt 里给出字段说明和一个完整示例;能约束的字段尽量用枚举而不是自由文本。第二层是容错解析:解析器要宽容——剥掉 ```json 围栏、截取第一个 { 到最后一个 }、容忍尾随逗号与中文引号,缺字段按默认值补齐而不是整体失败。第三层是修复重试:解析失败或 schema 校验失败时,把原始输出和具体的校验错误(哪个字段类型不对、缺什么)回灌给模型要求仅修正格式,重试 1~2 次;仍失败就降级——要么用正则从文本里抽关键字段,要么把该步标记为失败交由上层决策(Planner 重新规划或直接告知用户这一步没成功),绝不能悄悄用半截结果继续往下跑。做评测时把「格式失败率」当成单独指标统计,它和内容质量是两回事。
6. Agent 空转、死循环与资源治理。空转的典型形态是:模型反复调用同一个工具、反复确认同一件事、或者一直在「思考」而不产生新动作,表面上 token 在烧,任务进度为零。根因通常是三类——状态没有显式化(模型不知道已经做过什么,只能重试)、工具返回太模糊(返回自然语言长文而不是结构化结果,模型无法判断是否成功)、以及缺少终止条件(没有步数上限和成功判定标准)。治理手段与之一一对应:维护显式任务状态与已执行动作集合,每步把「已完成/待完成」一并放进上下文;工具返回统一结构化({ok, data, error}),失败原因带上可操作的提示;定义清楚终止条件(子任务全部有证据支撑即结束)与硬上限(最大步数、最大重试、最大 token),触顶就走降级路径并如实说明未完成。死循环还要额外防「两个 Agent 互等」的活锁:用超时 + 明确的失败状态打破对称等待,别指望模型自己意识到僵住了。资源侧,长视频是典型的 CPU/GPU/IO 混合任务,不能无限起线程——用固定大小线程池加有界队列,队列满即拒绝并让任务排队重试,按任务类型分池(ASR、抽帧、模型调用各自的池互不抢占),每类任务设超时与取消,配合信号量限制同时处理的视频数,避免单个大视频把整台机器的资源吃干,最后用队列深度和任务时长做监控告警。