华为算法线下面三面连打:Agentic RAG、PPO 与 DPO 的取舍、GRPO 手撕与多卡推理 OOM
- 轮次
- 一二三面
- 时间
- 2026-10
- 来源
- 牛客网
《面试题目》
- 自我介绍,并挑一段最核心的实习讲一下(再讲最近一段)。
- 项目里用了 Agentic RAG,具体怎么做、为什么用这个方案、用了哪些框架?
- 你这个项目最终用 PPO 还是 DPO?两者有什么区别,什么情况下该选哪个?
- 样本动态加权和梯度解耦缩放具体是怎么做的?
- 逻辑题 + 思路讲解 + 算法结合(BFS)。
- 多卡部署用什么框架?有没有遇到精度问题,OOM 了怎么办?vLLM 的推理流程是什么?
- PPO 的奖励解耦具体怎么做、为什么要这样做?SFT 数据和 RM 数据的格式分别是什么?
- 训练 OOM 的情况下怎么做归因,有哪些解决方案?
- 手撕 GRPO(伪代码),并解释 loss 里的条件概率是怎么算出来的、来自公式还是模型自己计算、loss 算出后参数优化的流程。
- 为什么实习这么多家公司,选择这些公司的原因分别是什么?
- 挑几个重要的实习经历介绍(着重做事与思维的逻辑,而非技术细节)。
- 论文发表情况、创新点是什么、和 baseline 相比如何?
《参考解析》
PPO vs DPO 的取舍要讲成「数据与算力的交换」:PPO 是 on-policy,需要同时加载策略模型、参考模型、奖励模型(甚至可以四个模型),有 rollout 与训练两段、超参(KL 系数、clip、GAE)多、不稳定,但能持续用新样本探索、上限更高;DPO 把偏好对齐转成「对偏好对做分类」,只需要策略与参考两份模型、离线数据即可,稳定省算力,但效果受偏好数据覆盖度限制、对分布外偏好不敏感。选择逻辑:有可靠 reward model 与算力、需要在线探索 → PPO / GRPO;偏好数据质量好、算力紧、要快速迭代 → DPO。GRPO 是 PPO 的省资源变体,用组内相对优势替代 critic(同一 prompt 采样多条,用组内均值方差归一化算优势),省掉 value model。
GRPO 伪代码要写出五步:对每个 prompt 采样 G 条回答 → 用 reward model 或规则打分 → 组内标准化得优势 A_i = (r_i - mean)/std → 计算新旧策略的 token 级概率比 ratio,代入带 clip 的目标(并加 KL 惩罚相对参考模型)→ 反向传播更新。追问「条件概率怎么来」的答案是模型自己算的(每步对词表做 softmax,取实际 token 的 logprob),不是从公式推出来的;「参数优化流程」是 loss 反传得到梯度 → 优化器(AdamW)更新 → 下一轮 rollout。
多卡推理 OOM 的处置按层给:先降显存占用(KV cache 量化、gpu_memory_utilization 调低、max_model_len 缩短、batch 与并发下调),再上并行(张量并行 TP 跨卡切权重、流水并行 PP 切层、序列并行 / ring attention 切长上下文),最后是工程手段(PagedAttention 减少碎片、prefix caching 复用、CPU offload)。精度问题常见于 fp16 溢出(改 bf16)、TP 切分后 all-reduce 的数值差异、量化(AWQ/GPTQ)带来的分布偏移,验证方式是固定 prompt 对比单卡与多卡的输出一致性。
vLLM 的推理流程:请求进来先进 scheduler 队列 → 用 PagedAttention 按 block 分配 KV cache(不像传统实现要预留连续显存)→ prefill 阶段并行算整段 prompt 的 KV → decode 阶段逐 token 生成并在每步做 continuous batching(完成的请求立即让出、新请求插入)→ 采样(top-p / temperature)→ 流式返回。这套设计的核心收益是显存利用率与吞吐,代价是调度与 block 管理的复杂度。
Agentic RAG 与普通 RAG 的差别在「谁决定检索」:普通 RAG 是固定流程(检索一次 → 生成),Agentic RAG 把检索变成工具,由模型决定要不要查、查什么、查几次、以及结果不够时换 query 或换数据源;实现上就是 planner + 工具集(检索、计算、查询数据库)+ 循环控制(步数上限、终止条件),框架可用 LangGraph 之类的状态图。选它的理由要落到业务:问题类型杂、单次检索覆盖率不够、需要多跳推理。