面灵AI→

字节算法实习一面:项目全链路深挖,从 DPO、ORPO 追到检索方案与 beam search

轮次
一面
时间
2026-11
来源
牛客网

《面试题目》

  1. 自我介绍。
  2. 讲一下实习项目,你在其中承担的核心工作是什么?把项目完整流程梳理一遍。
  3. 项目的数据集是怎么构成的?知识库怎么搭建?选用了哪些模型?从数据处理到效果评测整条链路讲清楚。
  4. 项目各个环节的选型理由分别是什么?
  5. 介绍项目里 RL 相关的内容,DPO 方案的优势与短板是什么?
  6. 除 DPO 之外还了解哪些偏好对齐算法?不同方案之间的差异在哪?
  7. 简述 ORPO 的底层原理。
  8. 项目的检索是怎么实现的?有没有用到 LLM-as-judge?
  9. 遇到上下文长度超限的问题,有哪些处理思路?
  10. 项目用的损失函数和优化方式是什么?讲一下对应的公式。
  11. 站在现在的角度回看,这个项目还有哪些优化方向?
  12. 手撕代码:beam search。

《参考解析》

项目陈述要按「数据 → 训练 → 评测」三段讲,每段给一个可核对的数字。面试官连问数据集构成、知识库搭建、模型选型,考的是你是否真的从头到尾做过,而不是只跑了某个脚本。稳妥的讲法是:数据来源与规模(多少条、怎么清洗、正负样本怎么构造)、知识库的切分与索引方式(切块大小、embedding 模型、是否混合检索)、训练目标(SFT 还是偏好对齐、基座模型、显存与并行策略)、评测(自动指标 + 人工抽检 + LLM-as-judge 的比例)。每一环都要能回答「为什么这么选」和「换一种会怎样」。

DPO 的优势与短板。DPO 直接用偏好对(chosen / rejected)构造分类式损失,不需要训练奖励模型,也不需要在线采样,训练稳定、成本低、超参少,这是它相对 PPO 类 RLHF 的最大优势。短板有三处:一是它只见过离线偏好数据,容易对偏好分布过拟合,训练中策略偏离参考模型后没有在线纠偏;二是损失里的 β 控制与参考模型的偏离程度,β 太小学得猛但会退化语言能力,β 太大几乎不更新;三是它对偏好数据的质量极其敏感,chosen 与 rejected 差异过小时梯度信号很弱。另外 DPO 优化的是成对偏好,不直接优化绝对奖励,遇到需要校准分数的场景不适用。

其他偏好对齐算法。PPO / RLHF 走「奖励模型 + 在线采样 + KL 约束」,效果上限高但工程复杂、四个模型同时驻留显存;GRPO 去掉 critic,用组内归一化的相对优势估计代替价值网络,适合可验证奖励(数学、代码)的场景;IPO 在 DPO 基础上加了正则,缓解偏好数据确定性假设过强导致的过拟合;KTO 只需「好 / 坏」二元标签而不需要成对数据,适合只有单边反馈的数据集;SimPO 去掉参考模型、用长度归一化的平均对数似然做隐式奖励,省一份模型显存。答这题的关键不是罗列名字,而是说清每个方法在「要不要奖励模型、要不要在线采样、数据形态要求」这三个维度上的差别。

ORPO 的原理。ORPO 把 SFT 与偏好对齐合成一步:损失 = 标准的负对数似然(在 chosen 上做指令微调)+ λ × 赔率比(odds ratio)惩罚项。赔率比项用 chosen 与 rejected 的序列概率比构造,直接压低 rejected 的相对概率,因此不需要参考模型、不需要单独的 SFT 阶段,显存与训练成本接近纯 SFT。代价是它对 λ 敏感,且因为没有参考模型约束,训练久了同样有语言能力退化的风险。

检索与 LLM-as-judge。检索部分要讲清索引与召回:切块粒度、是否重叠、embedding 模型、向量库、top-k 与重排。混合检索(BM25 + 向量)在专有名词、型号、缩写多的场景通常优于纯向量。LLM-as-judge 适合开放生成的评价,但要说明局限:位置偏好(倾向选第一个)、长度偏好(倾向选长的)、自我偏好(倾向自己家的模型),所以要用交换顺序双跑、给明确评分标准、并与人工标注做一致性校验(比如 Cohen’s kappa)。

上下文超限的处理思路。按代价从低到高:截断(保留开头指令 + 结尾问题,中间按相关性丢弃)、分块摘要(先对长文档做层次摘要再喂)、检索增强(只把相关片段放进上下文)、结构化压缩(把表格 / 日志转成紧凑格式)、外置记忆(把中间结果写到外部存储,按需取回)、换长上下文模型或位置插值 / RoPE 外推。回答时要说明业务上哪些信息绝对不能丢(比如约束条件、否定指令)。

损失函数公式要能写出来。SFT 是 token 级交叉熵 (-\sum \log p_\theta(y_t\mid x,y_{<t}));DPO 是 (-\log\sigma\big(\beta[\log\frac{\pi_\theta(y_w|x)}{\pi_{ref}(y_w|x)}-\log\frac{\pi_\theta(y_l|x)}{\pi_{ref}(y_l|x)}]\big)),本质是把隐式奖励差做大。优化方式讲 AdamW、学习率 warmup 与余弦衰减、梯度累积、bf16 混合精度、梯度检查点,这些是显存受限时的常规手段。

beam search 手写要点。维护 beam 为若干条 (序列, 累计对数概率) 的列表,每一步对每条候选扩展词表、累加 log-prob,展平后取 top-k,再做长度归一化(除以长度^α)避免偏向短句;遇到 EOS 的序列移入完成集合,直到凑够 beam 数或达到最大长度。工程上要处理 batch、pad、EOS 之后不再扩展、以及 top-k 与 top-p 的区别。写完主动说复杂度是 O(T · B · V),B 为 beam 宽、V 为词表大小,这能体现你理解它为什么在长序列上昂贵。