快手大模型算法实习面经(3 月场):Memory Pool、SFT/DPO 与 Attention 细节
- 轮次
- 多轮
- 时间
- 2026-11
- 来源
- 牛客网
《面试题目》
2026 年 3 月 27 日 · 项目与 AI 产品理解
- 在风控报警机器人项目中,你具体负责了哪些工作?
- 功能上线前是如何做迭代的?
- 如何量化项目的效果?
- 你编写 Prompt 的流程是怎样的?有哪些经验可以分享?是否会借助 AI 来写 Prompt?
- 你认为做得最好的项目是哪个,为什么?有哪些不足,如果重来一次会怎么做?
- 是否考虑过报警结果的真实性(准确性)问题?
- 公司自研平台使用的是什么大模型?Prompt 效果不佳时,是否考虑过是大模型本身的问题?
- 是否了解 RAG?
- 如何看待近期 AI 的快速发展?是否体验过近期新出的 AI 功能?OpenClaw 相比其他 AI 产品有哪些优势,缺点是什么?
- 如何理解工作流(Workflow)、Prompt 与 Skill,三者之间是什么关系?
- 是否做过 AI 平台类产品?
2026 年 3 月 25 日 · 记忆池与推理框架
- Memory Pool(记忆池)是如何构建的?
- 如何对该框架进行测试?测试数据量有多大?
- 是否了解 vLLM 的 PagedAttention?Chunked Prefill 是如何实现的?是否了解 Continuous Batching?
2026 年 3 月 24 日 · 训练、Agent 与 Transformer 基础
- 在 Agent 多轮对话任务中,Attention 的局限性具体体现在哪些方面?
- 简述 SFT 的核心流程,以及如何制定数据集的构建策略?
- SFT 之后常见的 Post-Training 方法还有哪些?各自的设计目的是什么?
- 什么是 RAG?它提升生成质量的核心原理是什么?
- RAG 与传统的「检索 + 模型生成」流程有何不同?
- 如何构建评估体系,验证一个 RAG 系统是否真正有效?
- PPO 和 DPO 在对齐阶段的主要区别是什么?
- DPO 训练时通常有哪些关键注意事项?是否了解 GRPO?
- 在 Modular Agent 中,多步规划是如何实现的?
- 针对多个工具的调用链路,调度策略是如何设计的?
- Agent 评估体系包含哪些核心维度?如何量化衡量 Planning 能力与 Hallucination Rate(幻觉率)?
- 微调 Qwen 模型时,如何确定训练阶段与 Loss Function?
- Prompt 自动推荐模块应用了哪些优化策略?是否尝试过 Prompt 压缩或 Embedding 表示的方式?
- 假如 Agent 推理链路包含 3 个工具且请求频率极高,导致系统整体延迟较高,会从哪些维度进行优化?
- 在记忆系统中,意图识别承担什么职责?
- Embedding 的维度选择(如 1024 维)基于什么逻辑?为什么不选择更高或更低的维度?
- Qwen-4B Embedding 是如何实现的?其模型框架是否属于 BERT 系列?
- Qwen-34B Rerank 是如何实现的?
- Attention 机制中的 Q、K、V 矩阵是如何由输入变换得到的?
- Attention 公式中除以 √d_k 的作用是什么?如果不除,是否有其他替代方案?
- 详细解释 Multi-Head Attention,并指出它目前存在的主要问题。
- 如何解决多头注意力计算开销过大的问题?
- 什么是 RoPE?它核心解决了什么问题?
- 在 Memory 系统中,如果输入文本过长,常见的工程处理策略有哪些?
2026 年 3 月 23 日 · 推理优化与并行
- 是否了解 AF 分离(Attention-FFN 分离),它为了解决什么问题?已经有 PD 分离(Prefill-Decode 分离)了,为什么还需要 AF 分离?
- 是否读过 FlashAttention 的代码?V2 相比 V1 做了哪些改进,具体是怎么改进的?是否了解最新的 V4 版本?
- 大模型的一层包含几个线性层?做 TP(张量并行)时分别怎么切分,为什么这样切?有哪些思路可以优化其中的 AllReduce 通信?
- 是否看过 Ray 的底层实现?它有哪些特性?你的课题研究中是如何使用 Ray 的?
- 介绍一下你了解的 CUDA GEMM 优化。
《参考解析》
Memory Pool 的构建:通常分三层——短期缓冲保存最近若干轮原文,保证对话连贯;长期记忆把对话里的事实、偏好、任务状态抽成结构化条目(谁、什么时候、承诺了什么、进度如何),按主题或实体归档;检索层用向量索引让 Agent 在需要时按语义回捞。写入侧要有抽取与去重(同一事实多次出现只保留最新)、更新(状态变化覆盖旧值)、遗忘(过期、低置信度、用户要求删除);读取侧要按当前任务筛选,控制注入的 token 预算。评测上既要测检索命中(问一个问题,看该记的是否被找回),也要测端到端任务成功率,还要测记忆污染(错误记忆是否被反复使用)。
vLLM 的 PagedAttention、Chunked Prefill 与 Continuous Batching:PagedAttention 把 KV Cache 按固定大小的 block 管理,像操作系统的虚拟内存一样用页表把逻辑块映射到物理块,解决变长序列预分配造成的显存碎片与浪费,还能让多个请求共享公共前缀的物理块。Chunked Prefill 把长 prompt 的 prefill 拆成多个 chunk 分步执行,与 decode 请求交错调度,避免一个长请求长时间占满算力导致其他请求的首字延迟飙升。Continuous Batching 在每一步 decode 时动态重组 batch,请求完成即退出、新请求随时加入,而不是等整个 batch 结束,从而把 GPU 利用率拉满。三者配合的效果是高吞吐与可控的尾延迟。
SFT 与 Post-Training:SFT 的流程是「任务定义 → 数据收集(人工标注、线上日志、模型合成)→ 清洗与去重 → 格式化为对话样本 → 训练(全参或 LoRA)→ 评测与迭代」。数据策略上要覆盖任务类型、难度与边界,控制模板化与重复,保留少量「拒绝 / 不确定」样本,避免模型学会一律迎合;合成数据要用强模型生成后过滤,防止错误放大。SFT 之后常见的方法:RLHF(PPO,用奖励模型优化人类偏好)、DPO(直接用偏好对做对比学习,免奖励模型)、GRPO(组内相对优势,省掉 critic)、拒绝采样微调(从模型采样多条,用规则或奖励模型筛选后回炉)、蒸馏(用强模型输出做监督)。各自目的不同:SFT 教格式与基本能力,偏好优化对齐风格与取舍,蒸馏压缩能力。
PPO、DPO 与 GRPO:PPO 是 on-policy 的策略梯度,需要奖励模型给标量奖励、需要 critic 估计基线,训练稳定但工程复杂、显存开销大。DPO 把「奖励模型 + RL」改写成对偏好对的分类损失,直接用 chosen/rejected 的 log-prob 比值优化,无需采样与 critic,简单稳定,但对数据分布敏感、容易过度拟合同一批偏好。GRPO 去掉 critic,对同一 prompt 采样一组回答,用组内均值作为基线计算优势,降低显存与方差,适合推理类任务。DPO 的注意事项:偏好数据质量与覆盖、chosen/rejected 的长度偏差(长度越长 log-prob 越低,需要用长度归一化或控制长度)、β 的选取、参考模型的选择与冻结、训练中监控 reward 与 KL,防止模型退化。
RAG 的原理与评估:RAG 把「参数化记忆」与「外部知识」分开:检索器从知识库找出与问题相关的片段,生成器在给定上下文里作答。相比传统的「检索 + 生成」流水线,RAG 的关键差异是检索与生成联合优化、上下文按 token 预算动态组织、以及用检索结果约束生成以降低幻觉。评估要拆成检索与生成两段:检索看 Recall@K、MRR、上下文相关性;生成看忠实度(答案是否被上下文支撑)、答案相关性、完整性;端到端看任务成功率与人工评分。离线用标注集与 LLM-as-judge,线上用采纳率、追问率、引用点击与抽样人工复核。
Agent 的规划、调度与评估:多步规划常见两种实现——显式规划(先让模型输出任务分解,再逐步执行,失败时重规划)与隐式规划(ReAct 式边想边做,根据工具返回决定下一步)。多工具链路的调度要考虑:工具选择(按描述与参数做路由)、参数校验、依赖顺序与并行化、超时与重试、失败降级、以及幂等。评估维度包括任务完成率、步骤数、工具调用成功率与参数正确率、Planning 质量(分解是否合理、是否漏步 / 多步)、幻觉率(是否编造工具返回或事实)、以及成本与延迟。量化 Planning 可以用「与参考轨迹的步骤匹配度 + 人工评分」,幻觉率用「声称的事实是否有工具返回或检索证据支撑」来判定。
Embedding 维度与 Qwen 系列模型:维度选择是表达能力、存储与检索速度的折中:维度越高能编码的细节越多,但索引体积、内存占用与计算开销线性增长,且在数据量有限时容易过拟合、相似度分布变平。1024 维是常见的平衡点,很多模型还支持 Matryoshka 表示,可以在推理时截断到更低维度做粗排。Qwen-4B Embedding 属于 decoder-only 大模型做 embedding,不是 BERT 系列:用因果注意力读取最后一层最后一个 token(或按指令加前缀)的隐状态作为句向量,再经过对比学习训练;它的优势是语义理解更强,代价是推理成本高。Qwen-34B Rerank 通常是 cross-encoder 或生成式重排:把 query 与候选文档拼在一起输入模型,输出相关性分数(或按 listwise 方式生成排序),精度高但只能对小候选集使用。
Attention 的数学与变体:输入序列的每个 token 先经过三个线性投影得到 Q = XW_Q、K = XW_K、V = XW_V,再用 scaled dot-product attention 计算 softmax(QKᵀ/√d_k)V。除以 √d_k 是因为点积的方差随维度增长,数值过大会让 softmax 进入饱和区、梯度趋近于零;除了缩放,也可以用余弦相似度、QK-norm 或温度参数控制分布。Multi-Head Attention 把 Q、K、V 投影到多组低维子空间并行计算再拼接,让不同头关注不同的关系;主要问题是 KV Cache 随序列长度与头数线性增长、长序列下注意力计算是 O(n²)、以及多头之间存在冗余。优化方向:MQA / GQA 让多个 query 头共享 KV 头以压缩缓存,FlashAttention 用分块与在线 softmax 减少显存读写,稀疏 / 滑动窗口注意力限制感受野,以及 KV Cache 量化与驱逐。RoPE 用旋转矩阵把位置信息编码进 Q、K 的点积,使注意力分数只依赖相对位置,并具备一定的长度外推能力,是目前主流大模型的位置编码方案。
长文本的工程处理:输入过长时按场景选策略:截断(保留头尾或按重要性筛选)、分块 + 逐块处理再汇总(map-reduce)、滑动窗口 + 重叠、检索式压缩(只取相关段落)、摘要压缩(先总结再喂)、以及结构化抽取(把长文变成字段)。要控制信息损失:摘要保留决策与数字,分块保留章节路径,关键实体单独存;同时设 token 硬上限并在超限时降级,避免请求被上游直接拒绝。
AF 分离与 PD 分离:PD 分离把 prefill(计算密集、决定首字延迟)与 decode(访存密集、决定吞吐)拆到不同实例,各自按最优并行策略部署,避免两种负载互相干扰。AF 分离进一步把 Attention 与 FFN 拆开:Attention 在长上下文下受 KV Cache 带宽限制,FFN 是纯计算密集型,两者的算力 / 带宽比不同,拆开后可以分别选择硬件与并行方式、独立扩缩容,也便于对 Attention 做专门的 KV 缓存管理。它解决的是「同一层内两类算子资源需求不匹配」的问题,与 PD 分离解决「两个阶段负载特征不同」是不同层次的切分。
FlashAttention V1 与 V2:V1 的核心是把注意力计算分块(tiling),在 SRAM 中完成 softmax 的在线计算(running max / running sum),避免把完整的 n×n 注意力矩阵写回 HBM,显存从 O(n²) 降到 O(n),速度受限于 HBM 读写。V2 主要改进是调整循环顺序与并行维度:把 Q 放在外层循环、K/V 放内层,减少非矩阵乘法的重复计算与 shared memory 读写,并把工作划分到更多 thread block 上提高 occupancy,在常见头维度下接近硬件峰值。后续版本继续针对 Hopper 等新架构做异步流水与 FP8 支持。
张量并行与 AllReduce:一层 Transformer 里的线性层主要有 Q/K/V 投影、输出投影、FFN 的 gate/up/down(或两层 MLP)。TP 的常见切法是列并行 + 行并行:Q/K/V 与 FFN 的第一层按输出维度切分(每张卡算一部分头或一部分中间维度),输出投影与 FFN 的第二层按输入维度切分,这样中间结果不需要立即通信,只在两层之间做一次 AllReduce(或序列并行下做 AllGather / ReduceScatter)。这样切是因为注意力头与 FFN 中间维度天然可分,且能把通信压到每层一两次。优化 AllReduce 的思路:用 NVLink / 高速互联、把通信与计算重叠(分块流水)、用 ReduceScatter + AllGather 替代 AllReduce、减少同步点、以及用更高效的通信库与拓扑感知的 rank 映射。
CUDA GEMM 优化:GEMM 的性能取决于访存与计算的平衡。常规手段包括:分块(tiling)把矩阵块载入 shared memory 复用、寄存器分块提高计算访存比、合并访存(coalesced access)、双缓冲与异步拷贝隐藏延迟、warp 级 tiling 与避免 bank conflict、用 Tensor Core 做 MMA、以及针对矩阵形状选择不同的 tile 与 swizzle 策略。上层还可以用 cuBLAS / CUTLASS 这类成熟库,只有在特殊形状或融合场景才手写 kernel。
Ray 的定位:Ray 是分布式计算框架,核心是全局调度器与基于共享内存的对象存储(Object Store),用 actor 与 task 两种抽象表达有状态与无状态计算,支持细粒度任务依赖与动态任务图。它的特性包括:任务级调度、对象的零拷贝共享(同节点)、故障恢复与重试、以及建立在其上的 RLlib、Tune、Serve 等库。课题里常用它做并行采样、超参搜索与分布式训练编排;回答时要说明具体用了哪个抽象、解决了什么并行问题,而不是只背概念。