面灵AI→

字节跳动 搜广推算法秋招一面:生成式召回的 SID 构建与 RQ-VAE

轮次
一面
时间
2026-10
来源
牛客网

《面试题目》

项目部分

  1. 项目选用 SID 实现生成式召回,为什么不直接使用原始 item id?
  2. SID 的完整构建流程是什么,请展开说明。
  3. RQ-VAE 与 RQ-Kmeans 二者有哪些差异?请介绍 RQ-VAE 损失函数各组成部分作用、码本更新逻辑,encoder、decoder 是否仅做投影。
  4. 是否了解码本坍塌现象,构建 SID 过程中是否遇到该问题?
  5. 生成器选择 Qwen 模型,普通 Transformer 模型为什么不适用?
  6. 该项目训练样本规模是什么量级?
  7. 推理阶段采用解耦方案降低时延,线上预期时延指标为多少?
  8. 召回方案完成上线,需要重点关注哪些指标与维度?
  9. 如何保障生成式召回通路上线后能够带来业务正向收益?
  10. 推理流程为先检索后排序,是否代表在召回链路额外接入排序模型?

八股部分

  1. 神经网络引入激活函数的作用是什么?
  2. 两个输入 a、b,先相加再做激活,和先激活再相加,两种实现有什么区别?
  3. PyTorch autograd 如何记录前向计算?如何实现截断某一层梯度回传?
  4. DIN 中 attention 计算逻辑,对比 Transformer 的 attention 差异。
  5. 除本方案外还了解哪些召回通道?
  6. 召回任务中负样本一般有哪些获取方式?

《参考解析》

为什么不用原始 item id:原始 item id 是毫无语义的随机标识,词表随物料增长线性膨胀(百万级到亿级),生成模型要在这么大的词表上做自回归或 softmax 根本不现实——稀疏、长尾、新物料没有训练样本。SID(Semantic ID)用层级化的短编码替代原始 id:每个 item 编码成 3~4 层、每层一个码本下标(如 [12, 457, 23])。好处有三:词表从百万级压到每层几百到几千,模型可学;编码带语义,前缀相同的 item 语义相近,泛化到没见过的物料;同一条生成路径天然构成层级约束,解码时可以按前缀剪枝(beam search 只在前缀匹配的候选里选),保证生成的一定是合法 item。

SID 的完整构建流程:① 取每个 item 的内容/协同 embedding(文本、图像、类目、行为序列训练出的表示);② 用残差量化把连续向量压成离散码——第一层码本重建原向量,第二层量化第一层的残差,第三层再量化第二层的残差,如此叠加;③ 每层取最近邻码字的下标,串起来就是 SID;④ 检查码本利用率与冲突(不同 item 撞同一 SID 的比例),必要时加长编码或调码本大小;⑤ 把 SID 与 item 建映射表,供线上生成后回查。工程上还要定期重建(物料新增、分布漂移会让旧码本失配),并保证重建时新旧映射能共存一段时间避免线上断裂。

RQ-VAE 与 RQ-Kmeans 的差异:RQ-Kmeans 是纯聚类——每层对残差跑一遍 K-means,取最近簇心,没有可学习的 encoder / decoder,目标是几何意义上的重建误差最小。RQ-VAE 把这一过程神经网络化:encoder 把输入映射到隐空间,量化层做逐层残差量化,decoder 从量化结果重建原输入,整体端到端优化。损失函数由几部分组成:重建损失(decoder 输出与原 embedding 的距离,保证编码不丢信息)、量化损失 / 码本损失(把 encoder 输出拉向选中的码字,让码本和编码器同步收敛)、commitment 损失(把码字拉向 encoder 输出,防止编码器输出漂移太快码本跟不上),通常后两项各带一个权重系数(β)。码本更新用 EMA(指数滑动平均)比直接用梯度更稳,避免个别码字被少数样本主导。encoder / decoder 不只是「投影」——它们承担了把高维稀疏表示压到量化友好的低维空间、再把量化结果映射回来的作用,层数和维度都会影响重建质量与码本利用率。

码本坍塌:指只有少数码字被激活、大量码字长期不被选中,等效于词表容量被浪费。成因是量化损失与重建损失的拉扯——模型倾向于复用已经学好的少数码字来降低当前损失,形成正反馈。缓解手段:码本重启(把长期不活跃的码字重置成随机样本的编码)、EMA 更新、增加 commitment 权重、对码字使用加熵正则或多样性约束、分层时控制每层码本大小避免过大。评估要盯码本利用率(活跃码字占比)与每个码字的样本分布,光看重建误差看不出来。

生成器为什么选 Qwen 而不是普通 Transformer:这里的差别在于「预训练带来的语言/语义先验」。普通 Transformer 从零训练,只能在有限的推荐样本上学;而基于 Qwen 这类预训练模型做适配,可以继承它在大规模语料上学到的序列建模与语义理解能力,在样本量有限的推荐任务上收敛更快、泛化更好。工程上也更省——预训练底座 + LoRA 微调比从头训一个大模型成本低得多。另一个实际考虑是 SID 序列在形式上很像 token 序列,直接复用现成的 tokenizer 与自回归训练/推理框架,改造量小。

训练样本规模与线上时延:样本量级要说清口径——是用户行为序列条数还是曝光样本数,是单天还是累计。典型生成式召回的样本在千万到亿级行为、序列长度几十到几百。时延上,解耦方案指的是把「生成」与「检索」拆开:线上不必串行地等模型生成完整 SID 再去查库,可以先把生成的前缀下发、用前缀做前缀树检索并行召回候选,或者用离线预生成 + 在线重排的两段式。线上目标一般是生成侧几十毫秒、整体召回链路百毫秒以内(P99 口径)。

上线关注哪些指标:分三层。效果层——召回率(对照全量候选)、覆盖率(有多少 item 被召回体系覆盖到,防马太效应)、下游排序与最终业务指标(CTR、CVR、时长、GMV)。系统层——P99 时延、QPS 承载、失败率与降级触发次数。健康度——SID 分布是否偏移、生成结果的合法率(生成出不存在的 item 的比例)、新物料冷启的召回情况、以及多样性(同一用户召回结果的类目分布)。只盯业务指标会掩盖系统性问题,只盯系统指标又不知道有没有用。

如何保障正向收益:先做离线评估(用历史日志做召回率与覆盖率的对照,避免直接用线上指标反推),再做小流量 A/B:对照组是现有召回通道,实验组是新通道单独上线(不是直接替换),观察增量而不是绝对值;分流要按用户维度稳定分桶,实验周期覆盖完整的行为周期(周末与工作日差异)。上线策略上先做成「旁路观察」——只记录新通道会召回什么、不实际影响结果,等分布合理再切小流量。同时准备好一键关闭的开关和回退预案,任何指标异常(时延、失败率)能立刻摘掉。

召回链路接排序模型:不必然。生成式召回的产出是候选集,按前缀检索回来的候选通常还要经过轻量的粗排或规则过滤(去重、过滤已曝光、类目打散),这一步不是「排序模型」而是候选治理。真正的排序模型在后面的精排阶段。有些做法会在召回内部用一个小模型给候选打分做 topK 截断(本质是粗排),但那是为了在有限时延里挑出更好的候选,不改变「召回负责广度、排序负责精度」的分工。

激活函数的作用:引入非线性。没有激活函数时,多层线性变换叠加等价于单层线性变换(W2(W1x) = (W2W1)x),网络再深也只能拟合线性关系。激活函数让每层输出经过非线性映射,网络才具备逼近任意连续函数的能力。具体还带来两个效果:一是把输出压到有界区间(sigmoid / tanh)便于概率解释,二是 ReLU 系的稀疏性(负半轴输出 0)带来计算效率与梯度特性(缓解 sigmoid 的梯度消失)。选型上现代网络多用 ReLU 及其变体(GELU、SiLU),Transformer 里普遍用 GELU。

先加后激活 vs 先激活后加:数学上不等价,因为激活函数是非线性的,f(a+b) ≠ f(a)+f(b)。先加后激活是先做线性组合再过非线性,这是标准神经元的形式,输出依赖 a 与 b 的联合关系;先激活后加是两个独立非线性响应之和,等于把两个子网络并行后相加——表达的是「各自独立的贡献叠加」,丢失了 a、b 之间的交互项。在推荐里这个区别很实在:FM / 双塔这类结构强调的正是特征交叉,交互信息必须在激活之前完成加法;反过来如果设计意图就是各路独立打分再融合(比如多目标、多模态融合的后期相加),才用先激活后加。还要注意梯度层面:先加后激活时,梯度会按激活函数的导数在 a、b 之间分配,二者共享同一个非线性饱和区。

PyTorch autograd 与梯度截断:autograd 在前向时动态构建计算图——每个 Tensor 如果 requires_grad=True,它参与的运算会记录一个 grad_fn 节点,节点里保存反向传播需要的中间量(算子、输入、输出)。反向传播时从 loss 出发沿 grad_fn 链回溯,按链式法则逐节点算梯度并累加到叶子节点的 .grad 上。截断某一层的梯度有几种做法:① 对该层输出调 .detach(),把它从计算图里摘出来,之后的反向不会再传过去(这是「梯度不回传」);② 用 torch.no_grad() 包住那段前向,直接不建图;③ 自定义 autograd.Function 在 backward 里返回 None 或乘一个 0 系数(这是「梯度置零但保留图结构」);④ 如果是想限制梯度幅值而不是阻断,用 torch.nn.utils.clip_grad_norm_(这是梯度裁剪,别和截断回传混为一谈)。两阶段训练(如先训 encoder 再训生成器)常用前两种。

DIN 的 attention 与 Transformer 的差异:DIN 的 attention 是「目标物品对历史行为的加权」——query 是候选 item 的 embedding,key 与 value 是用户历史行为序列里每个 item 的 embedding,权重由 activation(concat(query, key, query-key, query*key)) 过 MLP 得到(外积/拼接式的交互函数而非点积),再加权求和得到一个与当前候选相关的用户表示。特点有三:query 是外部目标而非序列内元素,所以没有 self-attention 的「序列内部互相关注」;没有多头;没有位置编码与层叠。Transformer 的 self-attention 是序列内每个位置对所有位置做缩放点积注意力,多头并行、可堆叠多层、配位置编码建模顺序。一句话:DIN 是 target-attention(跨序列的软匹配),Transformer 是 self-attention(序列内建模)。DIN 之后沿着这条路演进的是 DIEN(建模兴趣演化)、BST(用 Transformer 建行为序列)——后者正是把 self-attention 引入推荐序列建模。

其他召回通道:协同过滤类(ItemCF / UserCF、swing、item2vec、双塔 DSSM)、向量检索类(用双塔产出的 embedding 走 ANN 检索,如 Faiss / HNSW)、图类(GraphSAGE、metapath2vec 在行为图上传播)、规则与热度类(热门、类目、地域、新物品冷启召回)、序列类(SASRec / BERT4Rec 直接从行为序列预测下一物品)、以及多路互补的其他生成式方案。实际系统是「多路召回 + 统一截断」,任何单路都有覆盖盲区。

负样本获取方式:① 随机负样本(全库均匀采样):简单但太容易,模型学不到区分度,训练快但效果上限低。② 曝光未点击(in-batch / hard negative):来自真实曝光日志,是最贴近线上分布的一类,但要注意曝光偏差——曝光本身是被旧策略选出来的。③ 难负样本挖掘(hard negative mining):用当前模型给候选打分,取分数高但实际未交互的作为难负样本,提升区分边界,但挖得太狠会引入假阴性(用户其实会喜欢的没曝光)。④ 同一次请求内的 in-batch 负样本:把 batch 内其他样本的正反馈当负例,工程上最省。⑤ 跨域 / 跨类目负样本:用其他业务的行为做补充,缓解本域负样本不足。配比上通常是随机负、曝光未点击、难负按比例混合,随机负负责兜住全局分布,难负负责提升边界精度。