面灵AI→

快手大模型算法实习面经(3 月场):Memory Pool、SFT/DPO 与 Attention 细节

轮次
多轮
时间
2026-11
来源
牛客网

《面试题目》

2026 年 3 月 27 日 · 项目与 AI 产品理解

  1. 在风控报警机器人项目中,你具体负责了哪些工作?
  2. 功能上线前是如何做迭代的?
  3. 如何量化项目的效果?
  4. 你编写 Prompt 的流程是怎样的?有哪些经验可以分享?是否会借助 AI 来写 Prompt?
  5. 你认为做得最好的项目是哪个,为什么?有哪些不足,如果重来一次会怎么做?
  6. 是否考虑过报警结果的真实性(准确性)问题?
  7. 公司自研平台使用的是什么大模型?Prompt 效果不佳时,是否考虑过是大模型本身的问题?
  8. 是否了解 RAG?
  9. 如何看待近期 AI 的快速发展?是否体验过近期新出的 AI 功能?OpenClaw 相比其他 AI 产品有哪些优势,缺点是什么?
  10. 如何理解工作流(Workflow)、Prompt 与 Skill,三者之间是什么关系?
  11. 是否做过 AI 平台类产品?

2026 年 3 月 25 日 · 记忆池与推理框架

  1. Memory Pool(记忆池)是如何构建的?
  2. 如何对该框架进行测试?测试数据量有多大?
  3. 是否了解 vLLM 的 PagedAttention?Chunked Prefill 是如何实现的?是否了解 Continuous Batching?

2026 年 3 月 24 日 · 训练、Agent 与 Transformer 基础

  1. 在 Agent 多轮对话任务中,Attention 的局限性具体体现在哪些方面?
  2. 简述 SFT 的核心流程,以及如何制定数据集的构建策略?
  3. SFT 之后常见的 Post-Training 方法还有哪些?各自的设计目的是什么?
  4. 什么是 RAG?它提升生成质量的核心原理是什么?
  5. RAG 与传统的「检索 + 模型生成」流程有何不同?
  6. 如何构建评估体系,验证一个 RAG 系统是否真正有效?
  7. PPO 和 DPO 在对齐阶段的主要区别是什么?
  8. DPO 训练时通常有哪些关键注意事项?是否了解 GRPO?
  9. 在 Modular Agent 中,多步规划是如何实现的?
  10. 针对多个工具的调用链路,调度策略是如何设计的?
  11. Agent 评估体系包含哪些核心维度?如何量化衡量 Planning 能力与 Hallucination Rate(幻觉率)?
  12. 微调 Qwen 模型时,如何确定训练阶段与 Loss Function?
  13. Prompt 自动推荐模块应用了哪些优化策略?是否尝试过 Prompt 压缩或 Embedding 表示的方式?
  14. 假如 Agent 推理链路包含 3 个工具且请求频率极高,导致系统整体延迟较高,会从哪些维度进行优化?
  15. 在记忆系统中,意图识别承担什么职责?
  16. Embedding 的维度选择(如 1024 维)基于什么逻辑?为什么不选择更高或更低的维度?
  17. Qwen-4B Embedding 是如何实现的?其模型框架是否属于 BERT 系列?
  18. Qwen-34B Rerank 是如何实现的?
  19. Attention 机制中的 Q、K、V 矩阵是如何由输入变换得到的?
  20. Attention 公式中除以 √d_k 的作用是什么?如果不除,是否有其他替代方案?
  21. 详细解释 Multi-Head Attention,并指出它目前存在的主要问题。
  22. 如何解决多头注意力计算开销过大的问题?
  23. 什么是 RoPE?它核心解决了什么问题?
  24. 在 Memory 系统中,如果输入文本过长,常见的工程处理策略有哪些?

2026 年 3 月 23 日 · 推理优化与并行

  1. 是否了解 AF 分离(Attention-FFN 分离),它为了解决什么问题?已经有 PD 分离(Prefill-Decode 分离)了,为什么还需要 AF 分离?
  2. 是否读过 FlashAttention 的代码?V2 相比 V1 做了哪些改进,具体是怎么改进的?是否了解最新的 V4 版本?
  3. 大模型的一层包含几个线性层?做 TP(张量并行)时分别怎么切分,为什么这样切?有哪些思路可以优化其中的 AllReduce 通信?
  4. 是否看过 Ray 的底层实现?它有哪些特性?你的课题研究中是如何使用 Ray 的?
  5. 介绍一下你了解的 CUDA GEMM 优化。

《参考解析》

Memory Pool 的构建:通常分三层——短期缓冲保存最近若干轮原文,保证对话连贯;长期记忆把对话里的事实、偏好、任务状态抽成结构化条目(谁、什么时候、承诺了什么、进度如何),按主题或实体归档;检索层用向量索引让 Agent 在需要时按语义回捞。写入侧要有抽取与去重(同一事实多次出现只保留最新)、更新(状态变化覆盖旧值)、遗忘(过期、低置信度、用户要求删除);读取侧要按当前任务筛选,控制注入的 token 预算。评测上既要测检索命中(问一个问题,看该记的是否被找回),也要测端到端任务成功率,还要测记忆污染(错误记忆是否被反复使用)。

vLLM 的 PagedAttention、Chunked Prefill 与 Continuous Batching:PagedAttention 把 KV Cache 按固定大小的 block 管理,像操作系统的虚拟内存一样用页表把逻辑块映射到物理块,解决变长序列预分配造成的显存碎片与浪费,还能让多个请求共享公共前缀的物理块。Chunked Prefill 把长 prompt 的 prefill 拆成多个 chunk 分步执行,与 decode 请求交错调度,避免一个长请求长时间占满算力导致其他请求的首字延迟飙升。Continuous Batching 在每一步 decode 时动态重组 batch,请求完成即退出、新请求随时加入,而不是等整个 batch 结束,从而把 GPU 利用率拉满。三者配合的效果是高吞吐与可控的尾延迟。

SFT 与 Post-Training:SFT 的流程是「任务定义 → 数据收集(人工标注、线上日志、模型合成)→ 清洗与去重 → 格式化为对话样本 → 训练(全参或 LoRA)→ 评测与迭代」。数据策略上要覆盖任务类型、难度与边界,控制模板化与重复,保留少量「拒绝 / 不确定」样本,避免模型学会一律迎合;合成数据要用强模型生成后过滤,防止错误放大。SFT 之后常见的方法:RLHF(PPO,用奖励模型优化人类偏好)、DPO(直接用偏好对做对比学习,免奖励模型)、GRPO(组内相对优势,省掉 critic)、拒绝采样微调(从模型采样多条,用规则或奖励模型筛选后回炉)、蒸馏(用强模型输出做监督)。各自目的不同:SFT 教格式与基本能力,偏好优化对齐风格与取舍,蒸馏压缩能力。

PPO、DPO 与 GRPO:PPO 是 on-policy 的策略梯度,需要奖励模型给标量奖励、需要 critic 估计基线,训练稳定但工程复杂、显存开销大。DPO 把「奖励模型 + RL」改写成对偏好对的分类损失,直接用 chosen/rejected 的 log-prob 比值优化,无需采样与 critic,简单稳定,但对数据分布敏感、容易过度拟合同一批偏好。GRPO 去掉 critic,对同一 prompt 采样一组回答,用组内均值作为基线计算优势,降低显存与方差,适合推理类任务。DPO 的注意事项:偏好数据质量与覆盖、chosen/rejected 的长度偏差(长度越长 log-prob 越低,需要用长度归一化或控制长度)、β 的选取、参考模型的选择与冻结、训练中监控 reward 与 KL,防止模型退化。

RAG 的原理与评估:RAG 把「参数化记忆」与「外部知识」分开:检索器从知识库找出与问题相关的片段,生成器在给定上下文里作答。相比传统的「检索 + 生成」流水线,RAG 的关键差异是检索与生成联合优化、上下文按 token 预算动态组织、以及用检索结果约束生成以降低幻觉。评估要拆成检索与生成两段:检索看 Recall@K、MRR、上下文相关性;生成看忠实度(答案是否被上下文支撑)、答案相关性、完整性;端到端看任务成功率与人工评分。离线用标注集与 LLM-as-judge,线上用采纳率、追问率、引用点击与抽样人工复核。

Agent 的规划、调度与评估:多步规划常见两种实现——显式规划(先让模型输出任务分解,再逐步执行,失败时重规划)与隐式规划(ReAct 式边想边做,根据工具返回决定下一步)。多工具链路的调度要考虑:工具选择(按描述与参数做路由)、参数校验、依赖顺序与并行化、超时与重试、失败降级、以及幂等。评估维度包括任务完成率、步骤数、工具调用成功率与参数正确率、Planning 质量(分解是否合理、是否漏步 / 多步)、幻觉率(是否编造工具返回或事实)、以及成本与延迟。量化 Planning 可以用「与参考轨迹的步骤匹配度 + 人工评分」,幻觉率用「声称的事实是否有工具返回或检索证据支撑」来判定。

Embedding 维度与 Qwen 系列模型:维度选择是表达能力、存储与检索速度的折中:维度越高能编码的细节越多,但索引体积、内存占用与计算开销线性增长,且在数据量有限时容易过拟合、相似度分布变平。1024 维是常见的平衡点,很多模型还支持 Matryoshka 表示,可以在推理时截断到更低维度做粗排。Qwen-4B Embedding 属于 decoder-only 大模型做 embedding,不是 BERT 系列:用因果注意力读取最后一层最后一个 token(或按指令加前缀)的隐状态作为句向量,再经过对比学习训练;它的优势是语义理解更强,代价是推理成本高。Qwen-34B Rerank 通常是 cross-encoder 或生成式重排:把 query 与候选文档拼在一起输入模型,输出相关性分数(或按 listwise 方式生成排序),精度高但只能对小候选集使用。

Attention 的数学与变体:输入序列的每个 token 先经过三个线性投影得到 Q = XW_Q、K = XW_K、V = XW_V,再用 scaled dot-product attention 计算 softmax(QKᵀ/√d_k)V。除以 √d_k 是因为点积的方差随维度增长,数值过大会让 softmax 进入饱和区、梯度趋近于零;除了缩放,也可以用余弦相似度、QK-norm 或温度参数控制分布。Multi-Head Attention 把 Q、K、V 投影到多组低维子空间并行计算再拼接,让不同头关注不同的关系;主要问题是 KV Cache 随序列长度与头数线性增长、长序列下注意力计算是 O(n²)、以及多头之间存在冗余。优化方向:MQA / GQA 让多个 query 头共享 KV 头以压缩缓存,FlashAttention 用分块与在线 softmax 减少显存读写,稀疏 / 滑动窗口注意力限制感受野,以及 KV Cache 量化与驱逐。RoPE 用旋转矩阵把位置信息编码进 Q、K 的点积,使注意力分数只依赖相对位置,并具备一定的长度外推能力,是目前主流大模型的位置编码方案。

长文本的工程处理:输入过长时按场景选策略:截断(保留头尾或按重要性筛选)、分块 + 逐块处理再汇总(map-reduce)、滑动窗口 + 重叠、检索式压缩(只取相关段落)、摘要压缩(先总结再喂)、以及结构化抽取(把长文变成字段)。要控制信息损失:摘要保留决策与数字,分块保留章节路径,关键实体单独存;同时设 token 硬上限并在超限时降级,避免请求被上游直接拒绝。

AF 分离与 PD 分离:PD 分离把 prefill(计算密集、决定首字延迟)与 decode(访存密集、决定吞吐)拆到不同实例,各自按最优并行策略部署,避免两种负载互相干扰。AF 分离进一步把 Attention 与 FFN 拆开:Attention 在长上下文下受 KV Cache 带宽限制,FFN 是纯计算密集型,两者的算力 / 带宽比不同,拆开后可以分别选择硬件与并行方式、独立扩缩容,也便于对 Attention 做专门的 KV 缓存管理。它解决的是「同一层内两类算子资源需求不匹配」的问题,与 PD 分离解决「两个阶段负载特征不同」是不同层次的切分。

FlashAttention V1 与 V2:V1 的核心是把注意力计算分块(tiling),在 SRAM 中完成 softmax 的在线计算(running max / running sum),避免把完整的 n×n 注意力矩阵写回 HBM,显存从 O(n²) 降到 O(n),速度受限于 HBM 读写。V2 主要改进是调整循环顺序与并行维度:把 Q 放在外层循环、K/V 放内层,减少非矩阵乘法的重复计算与 shared memory 读写,并把工作划分到更多 thread block 上提高 occupancy,在常见头维度下接近硬件峰值。后续版本继续针对 Hopper 等新架构做异步流水与 FP8 支持。

张量并行与 AllReduce:一层 Transformer 里的线性层主要有 Q/K/V 投影、输出投影、FFN 的 gate/up/down(或两层 MLP)。TP 的常见切法是列并行 + 行并行:Q/K/V 与 FFN 的第一层按输出维度切分(每张卡算一部分头或一部分中间维度),输出投影与 FFN 的第二层按输入维度切分,这样中间结果不需要立即通信,只在两层之间做一次 AllReduce(或序列并行下做 AllGather / ReduceScatter)。这样切是因为注意力头与 FFN 中间维度天然可分,且能把通信压到每层一两次。优化 AllReduce 的思路:用 NVLink / 高速互联、把通信与计算重叠(分块流水)、用 ReduceScatter + AllGather 替代 AllReduce、减少同步点、以及用更高效的通信库与拓扑感知的 rank 映射。

CUDA GEMM 优化:GEMM 的性能取决于访存与计算的平衡。常规手段包括:分块(tiling)把矩阵块载入 shared memory 复用、寄存器分块提高计算访存比、合并访存(coalesced access)、双缓冲与异步拷贝隐藏延迟、warp 级 tiling 与避免 bank conflict、用 Tensor Core 做 MMA、以及针对矩阵形状选择不同的 tile 与 swizzle 策略。上层还可以用 cuBLAS / CUTLASS 这类成熟库,只有在特殊形状或融合场景才手写 kernel。

Ray 的定位:Ray 是分布式计算框架,核心是全局调度器与基于共享内存的对象存储(Object Store),用 actor 与 task 两种抽象表达有状态与无状态计算,支持细粒度任务依赖与动态任务图。它的特性包括:任务级调度、对象的零拷贝共享(同节点)、故障恢复与重试、以及建立在其上的 RLlib、Tune、Serve 等库。课题里常用它做并行采样、超参搜索与分布式训练编排;回答时要说明具体用了哪个抽象、解决了什么并行问题,而不是只背概念。