字节跳动 搜广推算法秋招一面:生成式召回的 SID 构建与 RQ-VAE
- 轮次
- 一面
- 时间
- 2026-10
- 来源
- 牛客网
《面试题目》
项目部分
- 项目选用 SID 实现生成式召回,为什么不直接使用原始 item id?
- SID 的完整构建流程是什么,请展开说明。
- RQ-VAE 与 RQ-Kmeans 二者有哪些差异?请介绍 RQ-VAE 损失函数各组成部分作用、码本更新逻辑,encoder、decoder 是否仅做投影。
- 是否了解码本坍塌现象,构建 SID 过程中是否遇到该问题?
- 生成器选择 Qwen 模型,普通 Transformer 模型为什么不适用?
- 该项目训练样本规模是什么量级?
- 推理阶段采用解耦方案降低时延,线上预期时延指标为多少?
- 召回方案完成上线,需要重点关注哪些指标与维度?
- 如何保障生成式召回通路上线后能够带来业务正向收益?
- 推理流程为先检索后排序,是否代表在召回链路额外接入排序模型?
八股部分
- 神经网络引入激活函数的作用是什么?
- 两个输入 a、b,先相加再做激活,和先激活再相加,两种实现有什么区别?
- PyTorch autograd 如何记录前向计算?如何实现截断某一层梯度回传?
- DIN 中 attention 计算逻辑,对比 Transformer 的 attention 差异。
- 除本方案外还了解哪些召回通道?
- 召回任务中负样本一般有哪些获取方式?
《参考解析》
为什么不用原始 item id:原始 item id 是毫无语义的随机标识,词表随物料增长线性膨胀(百万级到亿级),生成模型要在这么大的词表上做自回归或 softmax 根本不现实——稀疏、长尾、新物料没有训练样本。SID(Semantic ID)用层级化的短编码替代原始 id:每个 item 编码成 3~4 层、每层一个码本下标(如 [12, 457, 23])。好处有三:词表从百万级压到每层几百到几千,模型可学;编码带语义,前缀相同的 item 语义相近,泛化到没见过的物料;同一条生成路径天然构成层级约束,解码时可以按前缀剪枝(beam search 只在前缀匹配的候选里选),保证生成的一定是合法 item。
SID 的完整构建流程:① 取每个 item 的内容/协同 embedding(文本、图像、类目、行为序列训练出的表示);② 用残差量化把连续向量压成离散码——第一层码本重建原向量,第二层量化第一层的残差,第三层再量化第二层的残差,如此叠加;③ 每层取最近邻码字的下标,串起来就是 SID;④ 检查码本利用率与冲突(不同 item 撞同一 SID 的比例),必要时加长编码或调码本大小;⑤ 把 SID 与 item 建映射表,供线上生成后回查。工程上还要定期重建(物料新增、分布漂移会让旧码本失配),并保证重建时新旧映射能共存一段时间避免线上断裂。
RQ-VAE 与 RQ-Kmeans 的差异:RQ-Kmeans 是纯聚类——每层对残差跑一遍 K-means,取最近簇心,没有可学习的 encoder / decoder,目标是几何意义上的重建误差最小。RQ-VAE 把这一过程神经网络化:encoder 把输入映射到隐空间,量化层做逐层残差量化,decoder 从量化结果重建原输入,整体端到端优化。损失函数由几部分组成:重建损失(decoder 输出与原 embedding 的距离,保证编码不丢信息)、量化损失 / 码本损失(把 encoder 输出拉向选中的码字,让码本和编码器同步收敛)、commitment 损失(把码字拉向 encoder 输出,防止编码器输出漂移太快码本跟不上),通常后两项各带一个权重系数(β)。码本更新用 EMA(指数滑动平均)比直接用梯度更稳,避免个别码字被少数样本主导。encoder / decoder 不只是「投影」——它们承担了把高维稀疏表示压到量化友好的低维空间、再把量化结果映射回来的作用,层数和维度都会影响重建质量与码本利用率。
码本坍塌:指只有少数码字被激活、大量码字长期不被选中,等效于词表容量被浪费。成因是量化损失与重建损失的拉扯——模型倾向于复用已经学好的少数码字来降低当前损失,形成正反馈。缓解手段:码本重启(把长期不活跃的码字重置成随机样本的编码)、EMA 更新、增加 commitment 权重、对码字使用加熵正则或多样性约束、分层时控制每层码本大小避免过大。评估要盯码本利用率(活跃码字占比)与每个码字的样本分布,光看重建误差看不出来。
生成器为什么选 Qwen 而不是普通 Transformer:这里的差别在于「预训练带来的语言/语义先验」。普通 Transformer 从零训练,只能在有限的推荐样本上学;而基于 Qwen 这类预训练模型做适配,可以继承它在大规模语料上学到的序列建模与语义理解能力,在样本量有限的推荐任务上收敛更快、泛化更好。工程上也更省——预训练底座 + LoRA 微调比从头训一个大模型成本低得多。另一个实际考虑是 SID 序列在形式上很像 token 序列,直接复用现成的 tokenizer 与自回归训练/推理框架,改造量小。
训练样本规模与线上时延:样本量级要说清口径——是用户行为序列条数还是曝光样本数,是单天还是累计。典型生成式召回的样本在千万到亿级行为、序列长度几十到几百。时延上,解耦方案指的是把「生成」与「检索」拆开:线上不必串行地等模型生成完整 SID 再去查库,可以先把生成的前缀下发、用前缀做前缀树检索并行召回候选,或者用离线预生成 + 在线重排的两段式。线上目标一般是生成侧几十毫秒、整体召回链路百毫秒以内(P99 口径)。
上线关注哪些指标:分三层。效果层——召回率(对照全量候选)、覆盖率(有多少 item 被召回体系覆盖到,防马太效应)、下游排序与最终业务指标(CTR、CVR、时长、GMV)。系统层——P99 时延、QPS 承载、失败率与降级触发次数。健康度——SID 分布是否偏移、生成结果的合法率(生成出不存在的 item 的比例)、新物料冷启的召回情况、以及多样性(同一用户召回结果的类目分布)。只盯业务指标会掩盖系统性问题,只盯系统指标又不知道有没有用。
如何保障正向收益:先做离线评估(用历史日志做召回率与覆盖率的对照,避免直接用线上指标反推),再做小流量 A/B:对照组是现有召回通道,实验组是新通道单独上线(不是直接替换),观察增量而不是绝对值;分流要按用户维度稳定分桶,实验周期覆盖完整的行为周期(周末与工作日差异)。上线策略上先做成「旁路观察」——只记录新通道会召回什么、不实际影响结果,等分布合理再切小流量。同时准备好一键关闭的开关和回退预案,任何指标异常(时延、失败率)能立刻摘掉。
召回链路接排序模型:不必然。生成式召回的产出是候选集,按前缀检索回来的候选通常还要经过轻量的粗排或规则过滤(去重、过滤已曝光、类目打散),这一步不是「排序模型」而是候选治理。真正的排序模型在后面的精排阶段。有些做法会在召回内部用一个小模型给候选打分做 topK 截断(本质是粗排),但那是为了在有限时延里挑出更好的候选,不改变「召回负责广度、排序负责精度」的分工。
激活函数的作用:引入非线性。没有激活函数时,多层线性变换叠加等价于单层线性变换(W2(W1x) = (W2W1)x),网络再深也只能拟合线性关系。激活函数让每层输出经过非线性映射,网络才具备逼近任意连续函数的能力。具体还带来两个效果:一是把输出压到有界区间(sigmoid / tanh)便于概率解释,二是 ReLU 系的稀疏性(负半轴输出 0)带来计算效率与梯度特性(缓解 sigmoid 的梯度消失)。选型上现代网络多用 ReLU 及其变体(GELU、SiLU),Transformer 里普遍用 GELU。
先加后激活 vs 先激活后加:数学上不等价,因为激活函数是非线性的,f(a+b) ≠ f(a)+f(b)。先加后激活是先做线性组合再过非线性,这是标准神经元的形式,输出依赖 a 与 b 的联合关系;先激活后加是两个独立非线性响应之和,等于把两个子网络并行后相加——表达的是「各自独立的贡献叠加」,丢失了 a、b 之间的交互项。在推荐里这个区别很实在:FM / 双塔这类结构强调的正是特征交叉,交互信息必须在激活之前完成加法;反过来如果设计意图就是各路独立打分再融合(比如多目标、多模态融合的后期相加),才用先激活后加。还要注意梯度层面:先加后激活时,梯度会按激活函数的导数在 a、b 之间分配,二者共享同一个非线性饱和区。
PyTorch autograd 与梯度截断:autograd 在前向时动态构建计算图——每个 Tensor 如果 requires_grad=True,它参与的运算会记录一个 grad_fn 节点,节点里保存反向传播需要的中间量(算子、输入、输出)。反向传播时从 loss 出发沿 grad_fn 链回溯,按链式法则逐节点算梯度并累加到叶子节点的 .grad 上。截断某一层的梯度有几种做法:① 对该层输出调 .detach(),把它从计算图里摘出来,之后的反向不会再传过去(这是「梯度不回传」);② 用 torch.no_grad() 包住那段前向,直接不建图;③ 自定义 autograd.Function 在 backward 里返回 None 或乘一个 0 系数(这是「梯度置零但保留图结构」);④ 如果是想限制梯度幅值而不是阻断,用 torch.nn.utils.clip_grad_norm_(这是梯度裁剪,别和截断回传混为一谈)。两阶段训练(如先训 encoder 再训生成器)常用前两种。
DIN 的 attention 与 Transformer 的差异:DIN 的 attention 是「目标物品对历史行为的加权」——query 是候选 item 的 embedding,key 与 value 是用户历史行为序列里每个 item 的 embedding,权重由 activation(concat(query, key, query-key, query*key)) 过 MLP 得到(外积/拼接式的交互函数而非点积),再加权求和得到一个与当前候选相关的用户表示。特点有三:query 是外部目标而非序列内元素,所以没有 self-attention 的「序列内部互相关注」;没有多头;没有位置编码与层叠。Transformer 的 self-attention 是序列内每个位置对所有位置做缩放点积注意力,多头并行、可堆叠多层、配位置编码建模顺序。一句话:DIN 是 target-attention(跨序列的软匹配),Transformer 是 self-attention(序列内建模)。DIN 之后沿着这条路演进的是 DIEN(建模兴趣演化)、BST(用 Transformer 建行为序列)——后者正是把 self-attention 引入推荐序列建模。
其他召回通道:协同过滤类(ItemCF / UserCF、swing、item2vec、双塔 DSSM)、向量检索类(用双塔产出的 embedding 走 ANN 检索,如 Faiss / HNSW)、图类(GraphSAGE、metapath2vec 在行为图上传播)、规则与热度类(热门、类目、地域、新物品冷启召回)、序列类(SASRec / BERT4Rec 直接从行为序列预测下一物品)、以及多路互补的其他生成式方案。实际系统是「多路召回 + 统一截断」,任何单路都有覆盖盲区。
负样本获取方式:① 随机负样本(全库均匀采样):简单但太容易,模型学不到区分度,训练快但效果上限低。② 曝光未点击(in-batch / hard negative):来自真实曝光日志,是最贴近线上分布的一类,但要注意曝光偏差——曝光本身是被旧策略选出来的。③ 难负样本挖掘(hard negative mining):用当前模型给候选打分,取分数高但实际未交互的作为难负样本,提升区分边界,但挖得太狠会引入假阴性(用户其实会喜欢的没曝光)。④ 同一次请求内的 in-batch 负样本:把 batch 内其他样本的正反馈当负例,工程上最省。⑤ 跨域 / 跨类目负样本:用其他业务的行为做补充,缓解本域负样本不足。配比上通常是随机负、曝光未点击、难负按比例混合,随机负负责兜住全局分布,难负负责提升边界精度。