面灵AI→

阿里千问 C 端大模型算法一面:推理数据与 PRM

轮次
一面
时间
2026-09
来源
牛客网

《面试题目》

  1. 自我介绍
  2. 之前实习的场景,做了哪些工作?
  3. 长思维链推理数据、短思维链推理数据都擅长什么?
  4. 你提到图像依赖比较严重的题目,是怎么提高的?
  5. 如果模型训练的效果不好,怎么解决?
  6. 图文数据怎么构建的?
  7. 介绍一下你的 PRM 的工作?
  8. 怎么做的 reward 和训练?
  9. Agent 方面了解吗?做过什么?
  10. 写两道题: a) 数学:抛硬币的概率期望 b) 场景:有一些模型的 badcase 数据,我有一个很大的数据池,我要怎么提高这方面的表现?采样的过程是怎么样的?
  11. 反问: a) 组里做什么? b) 我进去做什么? c) 还有多少面试?

《参考解析》

长思维链与短思维链数据各擅长什么:长 CoT 的价值在于给模型留出搜索与回溯的空间,适合数学证明、复杂代码、多跳推理、需要自我校验的任务,代价是 token 多、延迟高、容易产生冗余与”绕远路”;短 CoT(或直接回答)适合常识问答、信息抽取、分类、格式转换、对话这类不需要多步推理的场景,延迟与成本低,也更容易被蒸馏进小模型。实践上要讲配比与混训:按目标任务难度分布决定长短比例,注意长度偏置(模型会倾向模仿训练数据的长度),长 CoT 数据要有”简洁但不跳步”的规范,短 CoT 要防”跳过关键步骤导致答案对过程错”。可以用长度分层的 SFT + 拒绝采样筛掉过程与结论不一致的样本。

图像依赖严重的题目怎么提升:先定位是”看不见”还是”没对齐”——分辨率不足导致小字/图表看不清,还是 OCR 信息在视觉编码阶段丢失,还是模型忽略图像只靠文本先验答题。对应手段:动态分辨率或切图(把大图分块编码再拼接)、对文档类输入补 OCR 文本作为辅助通道、构建图文交错样本让模型必须引用图中信息、用”只看文本答不出来”的筛选器挑出真正需要视觉的样本(防止训练集里大量样本光看题干就能答对,模型学到偷懒)。评测要分视觉必要/非必要子集看指标,否则整体涨点可能只是分布偏移带来的假象。

训练效果不好怎么排查:给一个有顺序的排查框架,别一上来就调参。① 数据:抽样人工看几十上百条,查标签错误、格式不一致、模板与推理时不一致、训练/评测分布偏;② 训练:loss 曲线是否下降、有没有梯度爆炸/为 NaN、学习率与 warmup 是否合适、序列截断有没有把答案截掉、数据是否被 shuffle 充分、batch 内 padding 与 mask 是否正确;③ 评测:指标口径是否与训练目标一致、是否在测试集上过拟合、评测 prompt 与训练模板是否一致、解码参数(temperature/top_p/max_tokens)有没有变;④ 推理侧:停用词、思考块截断、工具调用失败、上下文超长被截。定位手段是”控制变量做消融”:固定其他环节,只换一个变量跑小规模对照。

PRM 的 reward 怎么设计、怎么训练:过程奖励模型给的是每一步(或每个推理段落)的正确性打分,而不是只看最终答案。数据来源两条路:人工标注每步对错(含首次出错的步骤,标注规范要定义清楚”步骤”的切分);自动化用蒙特卡洛 rollout——从某一步继续采样多次看最终正确率,作为这一步的软标签。训练目标通常是 step-level 的二分类或回归(soft label 交叉熵)。推理时用 PRM 做 best-of-N 重排、beam search 或树搜索,选累积过程分最高的轨迹。踩坑点:步骤切分粒度不一致会让标注噪声很大;reward 容易被长度和表面格式黑客(堆砌”让我们仔细想想”);与 ORM(结果奖励)混用时权重需要调;PRM 只在该步骤正确性可由后续 rollout 判别时才有信号(证明题、开放写作就弱)。

badcase 数据池怎么采样提分(场景题):第一步不是采样,是治理——把 badcase 按失败类型聚类(事实错、计算错、指令不遵循、格式错、幻觉引用),去重(语义去重,避免同一题的上百个变体把分布带偏),并做难度分层(按 pass@k 分成全错/偶发错/多数对,全错的往往是能力缺口,偶发错才是采样能救的)。第二步生成候选:对同类 badcase 做改写扩增、用更强模型生成参考答案、注入不同的干扰条件。第三步筛选:拒绝采样 + 最优 N,用规则校验(可执行的题就跑单测/校验器)、ORM/PRM 打分、去重与多样性约束,保证正负样本都有(只喂正确答案容易过拟合表面模式,配比上常保留一部分”错误过程 + 纠正”的样本)。最后必须留一个同分布的回归集和线上评测,防”只对着 badcase 过拟合”。

抛硬币的概率期望(数学题):原帖没写具体问法,这类题最常考两种。① 连续抛一枚公平硬币,直到第一次出现正面为止,期望次数服从参数 p=0.5 的几何分布,期望是 1/p = 2 次;推导可用方程法:设期望为 E,则 E = 0.5×1 + 0.5×(1+E),解得 E = 2。② 直到出现连续两次正面,可以设状态:E0 表示还没开始/上次是反面时的期望,E1 表示上次是正面时的期望,则 E0 = 1 + 0.5·E0 + 0.5·E1,E1 = 1 + 0.5·E0 + 0.5·0,解得 E0 = 6。答题时先跟面试官确认问的是哪一种,再给方程并解释每一步的状态含义,比直接报数字好得多。