字节跳动 搜广推算法秋招一面(同场第二份记录):SID 生成式召回与八股
- 轮次
- 一面
- 时间
- 2026-10
- 来源
- 牛客网
《面试题目》
项目部分
- 项目选用 SID 实现生成式召回,为什么不直接使用原始 item id?
- SID 的完整构建流程是什么,请展开说明。
- RQ-VAE 与 RQ-Kmeans 二者有哪些差异?请介绍 RQ-VAE 损失函数各组成部分作用、码本更新逻辑,encoder、decoder 是否仅做投影。
- 是否了解码本坍塌现象,构建 SID 过程中是否遇到该问题?
- 生成器选择 Qwen 模型,普通 Transformer 模型为什么不适用?
- 该项目训练样本规模是什么量级?
- 推理阶段采用解耦方案降低时延,线上预期时延指标为多少?
- 召回方案完成上线,需要重点关注哪些指标与维度?
- 如何保障生成式召回通路上线后能够带来业务正向收益?
- 推理流程为先检索后排序,是否代表在召回链路额外接入排序模型?
八股部分
- 神经网络引入激活函数的作用是什么?
- 两个输入 a、b,先相加再做激活,和先激活再相加,两种实现有什么区别?
- PyTorch autograd 如何记录前向计算?如何实现截断某一层梯度回传?
- DIN 中 attention 计算逻辑,对比 Transformer 的 attention 差异。
- 除本方案外还了解哪些召回通道?
- 召回任务中负样本一般有哪些获取方式?
《参考解析》
SID 为什么替代原始 item id:原始 id 是随机标识,没有语义,词表规模随物料线性膨胀到百万甚至亿级,生成模型在这个词表上做自回归不现实;新物料与长尾物料几乎没有训练样本。SID 把每个 item 编码成 3~4 层的短码(每层取一个码本下标),词表从百万级降到每层几百到几千;编码本身带语义,前缀相同的 item 语义相近,模型能把学到的东西泛化到没见过的物料上;解码时可以按前缀剪枝,保证生成的路径一定对应合法 item。代价是引入了量化误差与重建维护成本。
SID 构建流程:先给每个 item 准备内容或协同 embedding(文本、图像、类目、行为序列训出的表示),再用残差量化逐层压缩——第一层量化原向量,第二层量化第一层的残差,第三层量化第二层的残差,每层取最近邻码字下标组成 SID。之后要检查码本利用率与冲突率(不同 item 撞同一 SID 的比例),冲突高就加长编码或调码本容量。落库时维护 item ↔ SID 的双向映射供线上回查,并且要定期重建(物料增长、分布漂移会让旧码本失配),重建期间新旧映射要能共存,避免线上断裂。
RQ-VAE 与 RQ-Kmeans:RQ-Kmeans 是纯几何聚类,每层对残差跑 K-means 取最近簇心,没有可学习的编解码器,优化目标就是重建误差。RQ-VAE 把量化嵌进自编码器端到端训练:encoder 映射到隐空间、逐层残差量化、decoder 重建输入。损失由三部分组成——重建损失(保证编码不丢信息)、码本损失(把 encoder 输出拉向选中码字)、commitment 损失(把码字拉向 encoder 输出,防止编码漂移太快码本追不上),后两项各带权重系数。码本更新常用 EMA 而非直接梯度,更稳。encoder / decoder 不只是投影:它们负责把高维稀疏表示压到量化友好的空间、再把量化结果还原,层数与维度直接影响重建质量与码本利用率。
码本坍塌:只有少数码字被激活、大量码字长期闲置,等于词表容量被浪费。根因是模型倾向复用已学好的码字来快速降低当前损失,形成正反馈。缓解办法包括码本重启(把长期不活跃的码字重置为随机样本的编码)、EMA 更新、加大 commitment 权重、对码字使用加熵或多样性约束、控制每层码本规模不要过大。评估要看活跃码字占比与各码字的样本分布,只看重建误差发现不了。
生成器选 Qwen:关键差别是预训练带来的先验。从零训的 Transformer 只能从有限的推荐样本里学,而基于预训练模型做适配能继承大规模语料上学到的序列建模与语义能力,在小样本推荐任务上收敛更快、泛化更好;工程上靠 LoRA 微调也比从头训大模型便宜。再加上 SID 在形式上就是 token 序列,直接复用现成的 tokenizer 与自回归训练/推理框架,改造量小。
时延与解耦:解耦指把「生成」与「检索」拆开并行——不必等模型吐出完整 SID 再查库,可以按已生成的前缀做前缀树检索并行召回候选取并集,或走离线预生成 + 在线重排两段式。线上目标通常是生成侧几十毫秒、整体召回链路百毫秒级(P99 口径)。
上线关注的指标:效果层看召回率(相对全量候选)、覆盖率(防马太效应)、以及下游排序与最终业务指标;系统层看 P99 时延、QPS 承载、失败率与降级触发;健康度看 SID 分布漂移、生成结果合法率(生成出不存在的 item 的比例)、新物料冷启召回、以及召回结果的类目多样性。三层都要看,只看业务指标会掩盖系统性问题。
怎么保证正向收益:先离线对照(历史日志上比召回率与覆盖率),再小流量 A/B——实验组是新增一路而不是替换现有通道,看增量而非绝对值;分桶按用户维度稳定,周期覆盖完整行为周期。稳妥做法是先旁路观察(只记录会召回什么、不影响线上结果),分布合理后再切流量,并常备一键关闭开关与回退预案。
召回是否接排序模型:不必然。生成后的候选通常要过轻量治理(去重、过滤已曝光、类目打散、topK 截断),那是候选治理而非排序。有些实现在召回内部用小模型给候选打分做截断(本质是粗排),但不改变「召回管广度、排序管精度」的分工。
激活函数的作用:引入非线性。没有它,多层线性叠加等价于单层线性(W2W1x),网络再深也只能拟合线性关系。加上非线性映射后网络才具备逼近任意连续函数的能力。附带效果还有:把输出压到有界区间便于概率解释(sigmoid / tanh)、ReLU 系负半轴置零带来稀疏性与更好的梯度特性(缓解 sigmoid 饱和导致的梯度消失)。现代网络普遍用 ReLU 变体,Transformer 用 GELU。
先加后激活 vs 先激活后加:因激活函数非线性,f(a+b) ≠ f(a)+f(b)。先加后激活是标准神经元形式,输出包含 a 与 b 的交互信息,梯度按激活函数导数在两者间分配、共享同一个饱和区;先激活后加等于两路独立响应叠加,丢掉了交互项,适合设计意图就是「各路独立贡献相加」的融合(多目标、多模态后期融合)。推荐里强调特征交叉的 FM / 双塔必须用先加后激活,否则交互信息直接没了。
autograd 与梯度截断:前向时对 requires_grad=True 的 Tensor 动态建图,每个运算记录一个 grad_fn 节点并保存反向所需的中间量;反向从 loss 沿 grad_fn 链回溯、按链式法则逐节点求梯度并累加到叶子节点 .grad。截断某一层的回传有几种做法:对输出调 .detach()(把它从图中摘出,梯度不再往前传)、用 torch.no_grad() 包住那段前向(干脆不建图)、自定义 autograd.Function 在 backward 返回 None 或乘零系数(保留图结构但梯度为零)。注意与梯度裁剪区分:clip_grad_norm_ 是限制幅值,不是阻断回传。两阶段训练常采用前两种。
DIN 与 Transformer 的 attention 差异:DIN 是 target-attention——query 是候选 item,key / value 是用户历史行为序列,权重由 concat(query, key, query-key, query*key) 过 MLP 得到(交互函数而非点积),再加权求和得到与当前候选相关的用户表示。它没有序列内互相注意、没有多头、没有位置编码与层叠。Transformer 的 self-attention 是序列内每个位置对所有位置做缩放点积注意力,多头并行、可堆叠、配位置编码建模顺序。一句话:DIN 跨序列做软匹配,Transformer 在序列内建模;后续 BST 正是把 self-attention 引入行为序列。
其他召回通道:协同过滤(ItemCF / UserCF、swing、item2vec、双塔 DSSM)、向量检索(双塔 embedding 走 Faiss / HNSW 做 ANN)、图方法(GraphSAGE、metapath2vec 在行为图上传播)、规则与热度(热门、类目、地域、冷启)、序列模型(SASRec / BERT4Rec 直接预测下一物品)。生产系统是多路召回后统一截断,单路都有覆盖盲区。
负样本怎么取:随机负样本(全库均匀采样)简单但太容易,负责兜住全局分布;曝光未点击来自真实日志,最贴近线上分布但有曝光偏差;难负样本挖掘用当前模型打分取高分未交互的候选,能提升区分边界,挖太狠会引入假阴性;in-batch 负样本把同批其他样本的正反馈当负例,工程最省;跨域 / 跨类目负样本补充本域不足。实际按比例混合,难负提精度、随机负保分布。