面灵AI→

天娱数科算法一面:GRPO 与 DPO 的取舍、奖励设计与小学生问答的知识边界

轮次
一面
时间
2026-11
来源
牛客网

《面试题目》

  1. 自我介绍。
  2. 实习经历具体介绍;负责的内容上线了吗?
  3. 实习所在部门?直接上属是谁?组内人数结构如何?
  4. 看你的内容做的应用侧多一点,有做实际的算法内容吗?
  5. 介绍项目经历。
  6. 为什么要用 GRPO、DPO?
  7. 奖励如何设置的?
  8. 你说通过调整奖励设置来防止模型走捷径,实际场景中还有没有其他方法?
  9. 现在要做一个面向小学生的英语问答模型,模型回答三年级小学生的问题时会出现初中甚至大学的内容,如何训练模型让回答最多只出现四、五年级相关知识的拔高?以你的训练经历,你会怎么训?
  10. 上一段实习地点在哪?为什么离职?
  11. 目前研究生课题在做什么?

反问

《参考解析》

GRPO 与 DPO 的取舍:DPO 直接用偏好对(chosen / rejected)做监督式优化,不需要奖励模型与在线采样,训练稳定、成本低,适合「有高质量偏好数据、希望快速对齐风格」的场景;缺点是离线数据分布固定,容易过拟合偏好数据,对推理类任务提升有限。GRPO 属于在线强化学习,对同一个 prompt 采样一组回答,用组内相对优势替代价值网络(省掉 critic),适合有可验证奖励的任务(数学、代码、答案可判对错),能探索出训练数据之外的解法;代价是需要反复采样、奖励设计难、训练不稳定且算力开销大。选择看任务:有明确可验证的奖励、追求推理能力上限选 GRPO;只有人类偏好、追求风格与有用性对齐选 DPO;工程上也常先 DPO 对齐、再用 GRPO 提升推理。

奖励设计:分结果奖励与过程奖励。结果奖励用规则判定(答案是否正确、格式是否合法、是否包含禁用内容),客观但稀疏;过程奖励评估推理步骤的合理性,密集但难标注、易被 hack。常用组合是「正确性 + 格式 + 长度约束 + 惩罚项」,并对可被利用的项做归一化与上限(例如长度奖励设区间而不是越长越好)。防走捷径的手段还有:多奖励加权与动态权重、对同一 prompt 的组内做相对比较(GRPO 天然如此)、引入人工或模型评审做抽样复核、定期用留出集检测 reward hacking、以及在奖励里加入「引用来源必须存在」这类可验证约束。

除调奖励之外防走捷径:数据侧清洗掉带答案泄漏的样本;训练侧加 KL 约束防止偏离基座过远、用课程学习从易到难、对长度与重复做惩罚;评测侧用对抗样本与分布外测试集,监控输出长度、重复率、拒答率等指标;系统侧加输出校验(结构化解析、事实核对、引用检查),把不合规的输出拦在返回前。根本上要保证奖励与真实目标一致,而不是只优化可测的代理指标。

小学生英语问答的限制知识边界:这不是单纯「让模型少说」的问题,而是要让回答落在指定年级的词汇与语法范围内,并且不引入超纲知识。可用的组合:

  • 数据侧:按年级课标构建语料与问答对,答案只用该年级词汇表与句型;构造「超纲回答」作为负样本做 DPO 或 SFT 对比学习。
  • 训练侧:SFT 阶段就用年级受限的数据;用 GRPO 以「是否超纲」作为可验证奖励(用词汇表与语法点检测器判定),配合正确性奖励;加长度与句式约束。
  • 推理侧:RAG 检索该年级教材与知识点,提示词限定「只用检索到的内容回答,超出范围就说还没学」;知识图谱把词汇、语法点、话题按年级组织,检索时按年级过滤。
  • 后处理:输出前用词汇表做超纲检测,命中就重写或降级为更简单的表达;给出「这个问题等你到五年级会学」的引导话术。

面试官提示的 RAG 与知识图谱正是把「知识边界」外化成可检索、可过滤的结构,比只靠提示词约束更可靠;训练与检索要配合,单靠微调很难稳定限制年级。

实习偏应用侧怎么答:不要辩解说「应用也是算法」。如实说明工作内容(数据构造、评测、prompt 与 RAG 链路、上线与迭代),再补上自己做的算法性工作(奖励设计、模型对比实验、badcase 分析、指标体系建设),并说明为什么这些工作对最终效果有贡献。面试官关心的是「你是否理解模型行为背后的原因」,而不是职位名称。