面灵AI→

阿里巴巴 AI Agent 开发岗面经合集:长视频理解项目复盘

轮次
多轮面试合集
时间
2026-09
来源
牛客网

《面试题目》

  1. 请做一下自我介绍,介绍个人经历和做过的项目
  2. 选择一个你认为做得比较好的项目,详细介绍一下
  3. 这个项目中你最满意的地方是什么?
  4. DoVideoAI 这个 Agent 具体要解决什么问题?
  5. 你如何证明将视频切成一分钟 Segment、五分钟 Chunk,并融合音频和视频帧的方案是有效的?
  6. 你如何判断当前方案是高效的,或者比其他方案更好?
  7. 业界通常是怎样处理长视频理解问题的?
  8. 你的项目经过了什么样的评测?
  9. 你将声音和视频帧结合起来进行分析,如果视频中没有语音怎么办?
  10. 如果视频没有语音,当前检索效果是否会明显下降?
  11. 视频帧是以图片文件的形式直接发送给多模态模型理解的吗?
  12. 你在京东实习期间主要负责哪些工作?
  13. 是否涉及 Agent Skill?
  14. 你对本地 Agent 调度做了哪些优化?
  15. 你前面介绍了很多内容,但具体哪些部分是你亲自完成的?哪些是 AI Coding 辅助完成的?你的核心贡献是什么?
  16. 本地 Agent 为什么会出现空转?
  17. 你是怎么解决 Agent 空转问题的?
  18. 如何防止 Agent 在求解过程中进入死循环?
  19. 你对未来的工作内容有什么期望?
  20. 你平时关注 Agent 领域吗?
  21. 最近主要阅读哪些类型的 Agent 相关文章或行业新闻?
  22. 你看过 DeepSeek 最近发布的相关 Agent 产品吗?
  23. 这个产品相比其他 Agent 产品有哪些优势和缺点?
  24. 你认为 Claude Code 哪些功能做得比较好?
  25. 不做自我介绍了,直接挑一个你最熟悉的项目讲一下
  26. 从用户上传视频到最终拿到分析结果,完整链路是什么?
  27. 这个项目为什么要设计成 Agent?
  28. 你所说的受控 Agent Workflow 具体受控在哪里?
  29. Planner、Executor 和 Critic 分别负责什么?追问:为什么要拆成三个角色?
  30. Critic 如何判断 Executor 的结果是否合格?
  31. Critic 和 Executor 使用的同一个模型吗?
  32. Critic 判定不通过以后你怎么做的?
  33. 如何防止 Planner、Executor 和 Critic 之间反复循环?
  34. 如果 Agent 正在处理一个长任务,用户又输入了新的问题,系统会发生什么?
  35. 用户不断追问时,Agent 的上下文会不会无限增长?
  36. 你是怎么管理上下文长度的?
  37. 长视频为什么不能直接全部交给大模型?
  38. VideoContext 的数据结构是什么?
  39. 一条 VideoSegment 中保存哪些内容?
  40. ASR、OCR 你选型有想过吗?
  41. 你如何控制线程池,避免长视频把机器资源打满?
  42. 具体讲一下你说的这个检索怎么做的?追问:为什么同时使用关键词检索和向量检索?
  43. Chunk 摘要直接作为最终答案的证据不行吗?
  44. Embedding 模型和向量数据库是如何选择的?
  45. 你对 RAG 做过哪些评测?
  46. 如何分别评估召回质量和最终回答质量?
  47. 如果检索不到相关内容,是视频中本来没有答案、解析阶段丢失了信息,还是检索策略有问题?
  48. 讲一下你对这类检索策略的理解?
  49. 模型返回的 JSON 不符合结构要求怎么办?
  50. Checkpoint 保存了什么?
  51. 视频级 Checkpoint 和目标级 Checkpoint 为什么要分开?追问:为什么使用 Redisson Watchdog?
  52. 你认为这个项目当前最大的技术边界是什么?
  53. 距离真正上线还有哪些工作要做?
  54. 你如何验收 AI 生成的代码?
  55. 讲一下你在这个项目里遇到最难定位的一个 Bad Case 是什么?

《参考解析》

1. 长视频为什么不能直接喂给大模型,VideoContext 该怎么设计。直接整段丢进去撞三堵墙:一是上下文与成本,一小时的视频按每秒 1 帧就是三千多张图,多模态 token 会瞬间打爆窗口,何况很多模型对单次请求的图片数量本身有限制;二是有效信息密度极低,两小时的会议里真正有结论的可能只有三分钟,全量输入等于把信噪比交给模型硬扛;三是延迟不可接受,用户等不起。所以必须先把视频「降维」成可检索的结构化资产:离线阶段做抽帧(按镜头切换或固定间隔)、ASR 转写带时间戳、OCR 抓画面上的文字,再按时间窗口聚合成 Segment 与 Chunk,每个单元带上起止时间、语音文本、画面摘要、OCR 文本和关键帧引用。VideoContext 就是这些单元构成的索引集合,在线问答时它承担的是「先检索、再让模型只看被选中的片段」的角色——模型永远只看到分钟级的片段及其摘要,而不是原始视频。面试里能加分的是说清降维的取舍:抽帧率与 OCR 频率是可调成本项,语音密集的教学类视频主要靠 ASR,演示与操作类视频(比如编程直播、产品演示)必须靠画面 OCR 和关键帧,否则「没有语音就检索不到」直接暴露了方案的单点依赖。

2. Planner、Executor、Critic 三角色与循环防护。拆三个角色的理由是关注点分离:Planner 把用户问题(往往很模糊,如「这个视频讲了什么」)拆成可执行的子任务并决定检索什么;Executor 只负责执行单步(调检索工具、调多模态模型理解某个片段)并产出带证据的中间结果;Critic 独立审视 Executor 的产出是否回答了子任务、证据是否充分,不合格就打回。三者用同一个模型但不同 prompt 完全可行,换模型只是为了降低同源偏差,不是必需。防止反复循环靠的是硬性预算而不是靠 prompt 劝说:每个子任务限定最大重试次数(比如 Critic 连续打回 2 次就升级为「证据不足」并降级回答),全流程限定最大步数与总 token 预算,Critic 打回时必须给出结构化的缺失项(缺什么信息、建议补哪个检索),Executor 只能按缺失项补,不允许自由发挥换方向;同时维护「已执行动作」集合做去重,同一检索条件第二次出现就直接终止该分支。受控 Workflow 的「受控」就体现在这里:状态机由代码驱动,模型只在节点内部做判断,节点之间的流转条件是显式定义的,这样任何一次跑飞都能从日志里还原出是哪一步的判断出了问题。

3. 检索策略、混合检索与「摘要能不能当证据」。检索同时用关键词和向量是因为两者的失效模式互补:ASR 转写里出现的专有名词、产品型号、人名、数字,关键词(BM25)能精确定位,向量检索对这类字面信号不敏感;反过来用户用同义说法提问时,只有向量能召回。工程上的做法是两路各取 Top-20,用 RRF 或加权分数融合,再用 rerank 模型精排后取 3~5 条进上下文;视频场景还可以把时间邻近性作为一路信号(同一话题往往在时间上连续,命中某个片段后把前后相邻片段一并纳入候选)。「Chunk 摘要直接作为最终答案的证据」是个陷阱:摘要本身是模型生成的二次产物,会丢细节也会引入改写误差,用它做证据等于让幻觉多传一手;正确的用法是摘要只作为「检索索引用」(决定该看哪一段),最终答案必须回到该片段的原始 ASR 文本、OCR 文本或关键帧,并在回答里给时间戳引用。判断「检索不到是视频里没有、解析丢了、还是检索策略不行」要做三层验证:先看该时间段有没有 ASR/OCR 产出(解析层),再看用原文关键词直接搜能不能搜到(索引层),最后看同义问法能不能召回(检索层),这样才能把责任定位到具体一环,而不是笼统地「上个更强的模型」。

4. Checkpoint 分级与分布式锁的 Watchdog。长视频解析是分钟级甚至小时级的任务,必须可中断可恢复,所以 Checkpoint 要按粒度分开存:视频级 Checkpoint 记录这份视频的全局进度(是否完成抽帧、ASR、OCR,各阶段产物在哪儿),粒度粗、更新频率低,用于「换机器重新拉起任务时知道从哪继续」;目标级(子任务级)Checkpoint 记录用户某个具体提问的中间状态(已执行哪些检索、Critic 的打回记录、已有证据),粒度细、更新频繁,用于会话级续跑和避免重复计算。分开的原因是两者的键、生命周期和并发特性不同——视频级以 videoId 为键、可能跨用户共享,目标级以会话/任务 id 为键、天然隔离;混在一张表里会导致一个用户的重试把另一个用户的进度覆盖掉。用 Redisson 加锁是因为解析任务必须互斥(同一视频被两个 worker 同时解析会重复烧 GPU 和 API 成本),而 Redisson 的 Watchdog 解决的是「业务执行时间不可预知」的问题:普通 SET NX PX 的锁有固定过期时间,任务超时未完成锁就自动释放,会出现两个 worker 同时写;Watchdog 在持有锁期间自动续期(默认每 10 秒续到 30 秒),只要进程活着锁就不会掉。要注意的坑是:Watchdog 只有在不显式指定 leaseTime 时才启用,且续期依赖 JVM 存活,所以进程被 kill -9 或发生长时间 GC 停顿仍可能丢锁,最终一致性还得靠业务幂等(写入产物按 id 覆盖、任务状态机做 CAS)来兜。

5. 模型返回的 JSON 不合结构要求怎么办。分三层处理,缺一层都不够稳。第一层是预防:调用时用结构化输出能力(response_format / JSON Schema / tool calling 强制 schema),并在 prompt 里给出字段说明和一个完整示例;能约束的字段尽量用枚举而不是自由文本。第二层是容错解析:解析器要宽容——剥掉 ```json 围栏、截取第一个 { 到最后一个 }、容忍尾随逗号与中文引号,缺字段按默认值补齐而不是整体失败。第三层是修复重试:解析失败或 schema 校验失败时,把原始输出和具体的校验错误(哪个字段类型不对、缺什么)回灌给模型要求仅修正格式,重试 1~2 次;仍失败就降级——要么用正则从文本里抽关键字段,要么把该步标记为失败交由上层决策(Planner 重新规划或直接告知用户这一步没成功),绝不能悄悄用半截结果继续往下跑。做评测时把「格式失败率」当成单独指标统计,它和内容质量是两回事。

6. Agent 空转、死循环与资源治理。空转的典型形态是:模型反复调用同一个工具、反复确认同一件事、或者一直在「思考」而不产生新动作,表面上 token 在烧,任务进度为零。根因通常是三类——状态没有显式化(模型不知道已经做过什么,只能重试)、工具返回太模糊(返回自然语言长文而不是结构化结果,模型无法判断是否成功)、以及缺少终止条件(没有步数上限和成功判定标准)。治理手段与之一一对应:维护显式任务状态与已执行动作集合,每步把「已完成/待完成」一并放进上下文;工具返回统一结构化({ok, data, error}),失败原因带上可操作的提示;定义清楚终止条件(子任务全部有证据支撑即结束)与硬上限(最大步数、最大重试、最大 token),触顶就走降级路径并如实说明未完成。死循环还要额外防「两个 Agent 互等」的活锁:用超时 + 明确的失败状态打破对称等待,别指望模型自己意识到僵住了。资源侧,长视频是典型的 CPU/GPU/IO 混合任务,不能无限起线程——用固定大小线程池加有界队列,队列满即拒绝并让任务排队重试,按任务类型分池(ASR、抽帧、模型调用各自的池互不抢占),每类任务设超时与取消,配合信号量限制同时处理的视频数,避免单个大视频把整台机器的资源吃干,最后用队列深度和任务时长做监控告警。