京东大模型算法岗一面:M-RoPE、VLM 与扩散模型
- 轮次
- 一面
- 时间
- 2026-10
- 来源
- 牛客网
《面试题目》
- M-RoPE 相较于原生 RoPE 做了哪些优化,具备什么优势?
- 在 M-RoPE 出现前,RoPE 处理视频数据的方式是什么,单帧、单个 patch 如何处理?
- 垂类业务场景下,项目选择通用 VLM,不直接采用领域专用模型的原因是什么?
- 项目里 VLM 输出点坐标而非 bbox,bbox 携带图像信息更多,为什么这样设计?
- 简述 SAM2 图像分割模型的核心原理。
- 如果训练数据集由算法自动生成,如何评估这批合成数据质量好坏?
- 介绍今年读过的生成式推荐相关论文。
- 讲解 RoPE、ALiBi 两种相对位置编码的原理;SwiGLU 原理,对比 ReLU 的优势。
- 注意力机制基础问题:除以根号 dk 的原因、时间复杂度、多头注意力的意义。
- 大模型有哪些微调方案,解释 LoRA 微调底层原理。
- 说说你对模型蒸馏技术的理解。
- 谈谈主流多模态模型,尝试推导扩散模型基础公式。
- 算法手撕:LeetCode 53 最大子数组和,要求输出对应的子数组。
《参考解析》
M-RoPE 的核心是把一维位置拆成时间、行、列三个分量。 原生 RoPE 只给序列一个位置 id,文本没问题,但图像有二维结构、视频还有时间维。M-RoPE 对 token 分别构造 temporal、height、width 的位置,文本 token 三个分量取相同值,图像 token 的时间分量固定、行列分量随 patch 变化,视频 token 再让时间分量随帧变化。这样旋转位置编码仍然作用在 q/k 上,却能把「第几帧、第几行、第几列」带进注意力,模型对可变分辨率、可变时长和图文混合序列的处理更自然,长度外推也更稳。它没有改变注意力的计算方式,改变的是位置 id 的组织方式。
在 M-RoPE 之前,视频通常被压成一维序列。 一种做法是把每帧的 patch 按帧序、行序、列序依次编号,整段视频共用一套一维 RoPE;另一种是给每帧加可学习的时间 embedding,再叠加空间位置编码。单帧图像就是把 patch 拉平后顺序编号,模型只知道「先后」,不知道「上下左右」。这样做实现简单,但二维结构和帧间对应关系被压扁,分辨率或帧数一变,位置分布就漂移,长视频外推也差。M-RoPE 的价值就是把结构显式还给位置编码。
VLM 输出点还是 bbox,取决于任务需要「指到」还是「框住」。 点坐标 token 少、歧义小,适合 GUI 点击、 referring、定位到某个物体中心、需要模型直接给出可执行坐标的场景;bbox 多了宽高,能表达物体范围和遮挡关系,适合检测、分割、密集场景,但标注成本高,模型也容易在边界上抖动。项目选点坐标,通常是因为下游动作只需要一个落点,或者标注数据只有点;代价是丢失尺寸信息,遇到大物体、重叠物体时表达不足。回答时把任务、标注、下游消费方式三件事说清楚,比争论哪个表示更好更有说服力。
SAM2 是「可提示分割 + 视频记忆」的组合。 图像侧用编码器提取特征,提示编码器接收点、框、掩码等 prompt,mask decoder 输出分割结果;视频侧增加 memory attention 和 memory bank,把历史帧的掩码与特征存下来,当前帧通过注意力读取记忆,从而在目标移动、短暂遮挡时保持同一实例的 mask。它支持多目标、交互式修正,推理时可以逐帧流式处理。要讲清楚它不是生成模型,核心是 promptable segmentation 和跨帧实例一致性。
合成数据质量要同时看「像不像」和「有没有用」。 像不像:与真实分布的距离、纹理/光照/遮挡是否合理、标注是否与图像对齐;有没有用:多样性(场景、类别、难度)、去重、长尾覆盖、与真实数据的比例、以及最关键的 downstream 指标——在固定评测集上加入这批数据后,模型是涨还是掉。工程上做人工抽检、规则校验、模型投票、置信度过滤,再用小规模消融判断哪类数据贡献最大。只报生成数量没有意义,数据质量最终由训练收益定义。
生成式推荐的论文,按「问题—方法—验证—局限」准备两三篇就够。 一条线是生成式检索:把物品离散成 semantic ID,用序列到序列模型直接生成候选,代表工作是 TIGER 一类,重点是语义 ID 怎么构造、如何解决冷启动和候选空间过大;一条线是 LLM 做推荐/对话推荐,把用户历史、物品描述和任务指令拼进上下文,难点是长序列、实时性和幻觉;还有一条是扩散模型做推荐,用去噪过程建模用户兴趣分布。面试官想听的不是论文标题,而是你能不能讲清它解决了什么、和 baseline 比赢在哪、代价是什么。没读过的方向就老实说没读,别编论文名。
位置编码和 FFN 的几道题要能写到公式层。 RoPE 把 q/k 按二维子空间旋转,旋转角与位置成正比,点积自然带出相对位置,远程衰减有利于外推;ALiBi 不学位置 embedding,而是在注意力 logits 上加一个与距离成正比的线性偏置,距离越远惩罚越大,实现简单、外推性好。SwiGLU 是 Swish(W1x) ⊙ W2x 再经 W3 投影,门控让不同通道按输入动态缩放,通常比 ReLU FFN 在同等参数量下效果更好,代价是多一个投影矩阵。注意力除以 sqrt(dk) 是为了让点积方差保持稳定,避免 softmax 进入饱和区;标准自注意力时间与显存都是 O(n²d);多头让模型在不同子空间并行关注不同关系,最后拼接投影。
LoRA 用低秩分解冻结主干。 对权重 W 不直接更新,而是学 ΔW = BA,其中 B 是 d×r、A 是 r×k,r 远小于 d/k,前向是 Wx + (alpha/r)BAx;只训练 A/B,显存和存储都小,推理时可以把 BA 合并回 W,不增加延迟。蒸馏则是让 student 学 teacher 的输出分布或中间表示:logits 蒸馏用温度 softened softmax 和 KL,特征蒸馏对齐隐藏层,关系蒸馏对齐样本间相似度;优点是压缩、提速、把大模型能力迁到小模型,难点是容量差距、数据覆盖和 teacher 错误被继承。
扩散模型先破坏再恢复。 前向过程对干净样本 x0 逐步加高斯噪声,闭式写成 q(xt|x0)=N(sqrt(ᾱt)x0, (1-ᾱt)I),即 xt=sqrt(ᾱt)x0+sqrt(1-ᾱt)ε;训练时让网络从 xt 和时间步预测噪声 ε(或等价地预测 x0/速度),损失是预测噪声与真实噪声的 MSE。反向从纯噪声开始,按学到的分布逐步去噪,DDPM 用马尔可夫链,DDIM 用非马尔可夫采样加速;条件生成通过 cross-attention 注入文本/类别,classifier-free guidance 放大条件信号。主流多模态模型可以按「视觉编码器 + 连接器 + LLM」讲:CLIP 做图文对齐,BLIP-2 用 Q-Former 桥接,LLaVA 用投影层把视觉 token 送进 LLM,Qwen-VL、GPT-4o、Gemini 则把分辨率、视频和工具调用一起纳入。
手撕 LC 53 要同时维护和与区间。 遍历数组,cur += x,如果 cur > best 就更新 best 并记录当前起点到 i;如果 cur < 0,说明这段前缀对后面没有贡献,重置 cur=0、起点设为 i+1。这样 O(n) 时间、O(1) 空间,返回 best 和对应的 [start, end]。边界是全是负数时取最大的单个元素,初始化用第一个元素而不是 0。