面灵AI→

白龙马云行 AI 后端一面:RAG 多模态、Transformer 与 G1 回收器

轮次
一面
时间
2026-11
来源
牛客网

《面试题目》

  1. 自我介绍。
  2. 笔试题现场提问、完善。
  3. 研究生阶段的研究方向?做了哪些研究项目?涉及模型训练吗?参数量是多少?用的什么数据集?
  4. 讲一下你毕业论文雏形的模型全流程,从图像输入到结果输出。
  5. 按照你的理解,AI 后端开发和普通后端开发有哪些区别?
  6. AI 的出现,有没有给你们研究生的学习过程带来比较大的变化?
  7. 解释几个核心概念:人工智能、机器学习、深度学习、大语言模型、计算机视觉,它们之间的关系。
  8. 实习相关。
  9. 你现在使用 AI 的情况怎么样?AI 产出的代码量占比多少?
  10. 如何确保开发的 skill 符合预期?
  11. RAG 如何支持图像、视频、音频等数据?
  12. 文档切片逻辑是怎样的?主流方式有哪些?各自的优缺点?
  13. 你是如何理解 Transformer 的?内部实现原理?
  14. 为什么大语言模型会存在上下文限制?
  15. 了解 KV Cache 吗?作用是什么?
  16. 调用 LLM 的 API 时可以传入 temperature 参数,这个参数有什么作用?
  17. G1 垃圾回收器的原理、垃圾回收过程?
  18. MySQL 的事务如何实现回滚?
  19. MySQL 的索引树为什么使用 B+ 树?
  20. 反问。

《参考解析》

AI 后端与普通后端的区别:相同的是工程底座——服务拆分、接口设计、数据库、缓存、消息队列、可观测性、容量与稳定性。不同集中在四点。① 依赖不确定:模型输出是概率性的、延迟波动大、会失败或超时,所以要有降级链、重试与对冲、以及「模型不可用时的兜底回答」。② 成本结构不同:按 token 计费、长上下文成本陡增,因此要做提示缓存、上下文压缩、按任务选模型。③ 数据形态不同:要处理向量库、文档解析与切片、多模态数据,检索质量直接决定效果。④ 质量保障不同:没有「单元测试通过就等于正确」,要靠评测集、离线指标与线上反馈闭环。一句话:普通后端保证「请求正确返回」,AI 后端还要保证「返回的内容可接受,且成本可控」。

RAG 支持图像、视频、音频:核心是把非文本模态转成可检索的表示。① 统一到文本:用语音识别转写音频、用视觉模型给图像/视频帧生成描述,再走文本检索;优点是实现简单、可直接复用文本管线,缺点是丢失视觉细节。② 统一到向量空间:用 CLIP 类模型把图文映射到同一空间,支持以文搜图;视频按关键帧或镜头切片后逐段编码,音频可以用声学特征或转写文本编码。③ 多向量与结构化索引:一条视频存多段向量(画面、语音转写、字幕),检索时各路召回后融合;时间戳作为元数据,便于定位到片段。工程上要配套:转码与抽帧、切片长度与重叠、元数据过滤(时间、来源、权限),以及跨模态的重排。

文档切片的主流方式与取舍:固定长度切片(按 token 或字符)实现简单、长度可控,但会在语义中途截断;按段落或标题层级切片保留结构,效果通常更好,依赖于文档本身的格式质量;语义切片(用模型判断句子边界或按主题聚类)质量高但成本与延迟高;滑动窗口加重叠能缓解截断,代价是索引膨胀与重复召回;按父子层级切片(小块检索、大块喂给模型)兼顾精度与上下文。实际系统常组合使用:先按标题分段,再在段内按长度切并加 10%~20% 重叠,表格与代码单独处理,切片时把标题路径写进元数据以保留语境。

Transformer 与上下文限制:自注意力对每个 token 计算与全序列的相关性,时间和显存随序列长度平方增长(标准实现),显存还要为每层保存注意力矩阵(或用 FlashAttention 降低中间存储)。位置编码的外推能力有限,训练时见过的长度之外效果下降(RoPE 可以通过插值或缩放扩展,但有代价)。工程上还有 KV Cache 的显存占用随长度线性增长。因此上下文限制是「训练分布 + 计算与显存成本」共同决定的,不只是模型结构问题。应对手段包括滑动窗口、稀疏或线性注意力、检索增强、分段摘要与记忆压缩。

KV Cache:自回归生成时每个新 token 都要对之前的 token 做注意力,若不缓存就要重复计算全部历史 token 的 Key 与 Value。KV Cache 把每层已计算的 K、V 保存下来,生成下一个 token 时只算新 token 的 Q 并与缓存拼接,把每步复杂度从与长度平方相关降到与长度线性相关。代价是显存占用随层数、头数、头维度与序列长度线性增长,所以才有 MQA、GQA(多个查询头共享一组 KV 头)与分页管理(PagedAttention)等优化。缓存命中还依赖前缀完全一致,这解释了为什么提示词前缀稳定能显著降本。

temperature 的作用:在 softmax 之前对 logits 做缩放,temperature 越小分布越尖锐、输出越确定;越大分布越平坦、输出越随机。它不改变模型本身的知识,只改变采样策略。工程上的用法:抽取、分类、结构化输出用接近 0 的值保证稳定;创意写作适当调高;不要同时用高 temperature 又依赖严格的 JSON 格式,除非用约束解码或结构化输出接口。

G1 的原理与回收过程:G1 把堆划分为大小相等的 Region(1~32MB),逻辑上分为 Eden、Survivor、Old 与 Humongous(大对象)。它按「回收收益」优先收集垃圾最多的 Region,并把回收目标从「一次清空」改成「在用户设定的停顿时间内尽量多回收」,通过 -XX:MaxGCPauseMillis 控制。回收分 Young GC(只收新生代 Region,存活对象晋升或复制到 Survivor)与 Mixed GC(在并发标记完成后,同时回收新生代与部分老年代 Region)。并发标记用 SATB(原始快照)解决并发修改,配合 Remembered Set 记录跨 Region 引用,避免全堆扫描。整体流程:初始标记(STW)→ 并发标记 → 最终标记(STW)→ 筛选回收(STW,按收益排序选择 Region 复制清理)。回答时要区分 G1 与 CMS 的差异(Region 化、可预测停顿、标记整理避免碎片)。

MySQL 事务回滚:靠 undo log。修改数据前先把「怎么改回去」记进 undo log(insert 记主键便于删除、update 记旧值、delete 记整行),回滚时反向执行。undo log 本身也是写入 redo log 保护的,保证崩溃后仍能回滚未提交事务。回滚是逻辑回滚(执行反向 DML),不是物理恢复页面。

B+ 树的理由:① 非叶子节点只存键不存数据,同样大小的页能容纳更多键,树更矮,磁盘 I/O 更少(三层 B+ 树可支撑千万级行)。② 叶子节点用双向链表相连,范围查询与排序只需顺序扫描叶子,不用回到上层。③ 所有查询都走到叶子,路径长度一致,性能稳定。④ 相比 B 树,数据不在内部节点,减少了节点分裂时的数据搬移。聚簇索引的叶子存整行,二级索引的叶子存主键,因此二级索引查询需要回表(除非覆盖索引)。