旺脉科技 广告引擎开发:召回截断、双塔模型与本地缓存治理
- 时间
- 2026-11
- 来源
- 牛客网
《面试题目》
背景与求职意向
- 方便简单介绍一下自己吗?
- 你从大一、大二就开始出来实习,怎么会考虑那么早?
- 高中学 Python 是为了搞竞赛吗?
- 假如后续通过了,可以直接过来实习吗?
- 找工作一般不都是想要实习转正的 offer 吗?如果是正式 offer 但没有转正名额怎么办?
- 你是怎么发现、了解到我们公司的?对我们公司有了解吗?
广告架构与召回
- 一个海外 DSP 平台居然没有向量化召回吗?
- 你主要负责的是 ADX 这一层,还是下面的 Bidder 竞价引擎部分?
- 你们广告召回具体是怎么做的?
- 倒排索引召回出来之后,按什么规则排序?
- 如果匹配出来的候选广告量级非常大,涉及排序的话是怎么排的?比如有 1 万个定向物料。
- 粗排和精排各自会保留、截断多少条候选广告?
- 100 万做完召回,从 100 万到 10 万是怎么选出来的?
- 倒排索引召回阶段是完全不做截断的对吗?
- 假如当前满足定向条件的物料有一千万条,总不能全部拿出来,这种情况该怎么处理?
- 你们系统里只有正倒排召回吗?有没有其他召回方式?向量召回不做吗?
模型与向量化打分
- 你知道业界一般怎么做向量召回吗?是不是做向量的内积、矩阵乘法?
- 向量是怎么来的?
- 向量化召回的模型具体是怎么训练出来的?正排特征向量是怎么来的?
- DNN 模型可以直接用来取内积打分吗?
- 能详细介绍一下你说的这个 DNN 吗?
- 如果要训练一个向量化召回的模型,具体应该怎么训?如果用 DNN 怎么去测算?
- 你说的双塔模型向量内积打分,是在粗排阶段做的吗?
- 召回之后 1000 万候选去做向量内积打分,耗时不会太长吗?
工程调优
- 你在项目里主要做的工作是针对 CPU 利用率做优化对吧?
- 讲讲你简历里写的广告素材定向过滤优化具体是怎么做的?
- 采用字典树结构(Trie)相比 strings.Contains 为什么没有特别大的性能提升?
- 平时用 AI 辅助编程具体到了什么程度?日常使用 AI 生成代码的流程和方法是怎样的?平时哪个大模型用得比较多?
二级缓存与淘汰策略
- 重构广告词缓存链路引入了二级缓存,放在本地内存里怎么控制量级大小?
- 本地缓存设为 50 万条,大概会占用多大的内存?会不会造成内存溢出(OOM)?
- 达到 50 万条上限后,本地缓存的淘汰策略是怎么设置的?
- W-TinyLFU 淘汰策略中,Window 缓存(1%)与 Main 缓存(99%)的比例是自己配置的还是库自带的?
- 淘汰策略底层的数据结构是怎样的(TinyLFU 内部结构)?
- 既然提到了 LRU,那标准的 LRU 底层核心数据结构是什么?
Redis 性能调优
- 简历中写了做 Redis 优化,具体是怎么排查并解决 CPU 突刺问题的?
- 对 Redis 大 Key 进行手动分片(Split),具体是怎么实现的?
- 手动按 Hash 取模分片后,如果后续分片节点发生减少,数据会不会丢失或者查不到?
反问
- 单次响应延迟是多少?精排有多少条?什么模型可以用几万级去做精排?
- 你这边有什么问题想问我的?
《参考解析》
召回、粗排、精排的漏斗与截断:候选量级从千万级降到百级,靠的是逐层截断而不是某一层全量计算。召回阶段多路并行(倒排、向量、热门、规则补量),每路取几百到几千条后合并去重,得到万级候选;粗排用轻量模型(双塔内积、LR、GBDT)打分明细到千级;精排用复杂 DNN 到百级;重排再按多样性、频控与商业规则调整。截断阈值由时延预算与后链路容量反推:精排每条样本的推理耗时乘以候选数必须落在预算内。定向物料有一千万条时不会全量取出,而是先按定向条件做倒排求交或位图运算缩小集合,再按历史 CTR、出价、预算与时间做剪枝,只对保留下来的候选打分。
向量召回与双塔训练:向量召回把用户(或 query)与广告分别编码成同一空间的向量,用内积或余弦衡量匹配度,配合 HNSW、IVF-PQ 等近似最近邻索引,把百万级候选的比较降到毫秒级。双塔的结构是两路独立的编码器,用户塔吃用户特征与行为序列,广告塔吃广告特征与素材信息,两侧输出归一化向量;训练用曝光点击样本,负采样通常用 batch 内负样本配合采样 softmax,损失是交叉熵。DNN 本身不能直接「取内积」,只有把最后一层拆成两路独立编码、再显式做内积,才构成双塔;单塔 DNN 需要把用户与广告特征拼在一起过网络,无法预先算好广告向量,也就无法做 ANN 检索。千万级候选逐个过 DNN 不现实,双塔的价值正在于广告向量可以离线算好、在线只算用户向量再一次矩阵乘。
Trie 为什么没有明显收益:strings.Contains 对短模式串是高度优化的子串匹配,很多实现走 SIMD,单次耗时常在纳秒级;广告素材过滤的瓶颈往往不在匹配算法,而在候选数量、内存分配、字符串拷贝、缓存未命中或锁竞争。换 Trie 只是把比较次数降下来,若热点在别处,整体不会有改善。正确顺序是先 profile 定位热点,再判断是否需要多模式匹配;确实需要时,Trie 的工程价值在于一次扫描匹配大量模式(配合 AC 自动机),并且要避免每个请求重复构建树,应预构建并只读共享。
本地缓存容量与 W-TinyLFU:50 万条的内存占用要按「键 + 值 + 对象头 + 指针 + 哈希表负载因子」估算。假设键平均 32 字节、值平均 200 字节、每条约 50 字节结构开销,量级在 140 MB 左右;若值是大对象或含嵌套结构,会显著更高。控制手段是限制条目数与总权重的双重上限、用紧凑序列化、避免重复字符串、把超大值放到 Redis。W-TinyLFU 把空间分成 Window 与 Main 两部分,新条目先进 Window(约 1%),被淘汰时与 Main 的候选比较访问频率,频率高的留下;Main 内部再分 probation 与 protected,比例通常由库的默认配置决定,可调但不宜随意改动。频率统计用 Count-Min Sketch 的四位计数器,配合定期衰减(reset)适应访问模式变化,因此能过滤掉「只访问一次」的突发流量,又不会让历史热点永久占位。标准 LRU 的核心结构是哈希表加双向链表,哈希表负责 O(1) 定位节点,链表头尾分别表示最近与最久未使用,访问时把节点移到头部,淘汰时删尾节点。
Redis CPU 突刺的排查与大 Key 分片:先确认突刺的时间分布与业务事件的对应关系,再看 slowlog 与 latency monitor 找出慢命令,用 --bigkeys、MEMORY USAGE、SCAN 抽样定位大 Key;常见根因是 O(N) 命令(KEYS、HGETALL、SMEMBERS)、集中过期、持久化 fork 与 AOF rewrite、以及大 Value 的网络传输。治理手段包括拆分大 Key、把集合类数据按 Hash 取模分片、用 SCAN 替代 KEYS、加本地缓存削峰、错开过期时间。手动按 Hash 取模分片后,节点数变化会导致大量 Key 重新映射,路由不到就会表现为「查不到」,数据本身还在旧节点上;解决方式是一致性哈希,或预分片成固定数量的槽位(如 1024 个),扩缩容时以槽为单位迁移,并在迁移期做双读与校验。
反问里的容量问题:线上广告请求的单次响应通常在几十毫秒量级,其中精排只处理百级候选;几万级候选不可能走复杂模型,只能用双塔内积、LR 或 GBDT 这类单样本开销极低的打分器,而且要先做向量化与批量矩阵运算。反问这类参数既是在确认对方系统的真实规模,也是在判断自己的经验是否对得上。