面灵AI→

旺脉科技 广告引擎开发:召回截断、双塔模型与本地缓存治理

时间
2026-11
来源
牛客网

《面试题目》

背景与求职意向

  1. 方便简单介绍一下自己吗?
  2. 你从大一、大二就开始出来实习,怎么会考虑那么早?
  3. 高中学 Python 是为了搞竞赛吗?
  4. 假如后续通过了,可以直接过来实习吗?
  5. 找工作一般不都是想要实习转正的 offer 吗?如果是正式 offer 但没有转正名额怎么办?
  6. 你是怎么发现、了解到我们公司的?对我们公司有了解吗?

广告架构与召回

  1. 一个海外 DSP 平台居然没有向量化召回吗?
  2. 你主要负责的是 ADX 这一层,还是下面的 Bidder 竞价引擎部分?
  3. 你们广告召回具体是怎么做的?
  4. 倒排索引召回出来之后,按什么规则排序?
  5. 如果匹配出来的候选广告量级非常大,涉及排序的话是怎么排的?比如有 1 万个定向物料。
  6. 粗排和精排各自会保留、截断多少条候选广告?
  7. 100 万做完召回,从 100 万到 10 万是怎么选出来的?
  8. 倒排索引召回阶段是完全不做截断的对吗?
  9. 假如当前满足定向条件的物料有一千万条,总不能全部拿出来,这种情况该怎么处理?
  10. 你们系统里只有正倒排召回吗?有没有其他召回方式?向量召回不做吗?

模型与向量化打分

  1. 你知道业界一般怎么做向量召回吗?是不是做向量的内积、矩阵乘法?
  2. 向量是怎么来的?
  3. 向量化召回的模型具体是怎么训练出来的?正排特征向量是怎么来的?
  4. DNN 模型可以直接用来取内积打分吗?
  5. 能详细介绍一下你说的这个 DNN 吗?
  6. 如果要训练一个向量化召回的模型,具体应该怎么训?如果用 DNN 怎么去测算?
  7. 你说的双塔模型向量内积打分,是在粗排阶段做的吗?
  8. 召回之后 1000 万候选去做向量内积打分,耗时不会太长吗?

工程调优

  1. 你在项目里主要做的工作是针对 CPU 利用率做优化对吧?
  2. 讲讲你简历里写的广告素材定向过滤优化具体是怎么做的?
  3. 采用字典树结构(Trie)相比 strings.Contains 为什么没有特别大的性能提升?
  4. 平时用 AI 辅助编程具体到了什么程度?日常使用 AI 生成代码的流程和方法是怎样的?平时哪个大模型用得比较多?

二级缓存与淘汰策略

  1. 重构广告词缓存链路引入了二级缓存,放在本地内存里怎么控制量级大小?
  2. 本地缓存设为 50 万条,大概会占用多大的内存?会不会造成内存溢出(OOM)?
  3. 达到 50 万条上限后,本地缓存的淘汰策略是怎么设置的?
  4. W-TinyLFU 淘汰策略中,Window 缓存(1%)与 Main 缓存(99%)的比例是自己配置的还是库自带的?
  5. 淘汰策略底层的数据结构是怎样的(TinyLFU 内部结构)?
  6. 既然提到了 LRU,那标准的 LRU 底层核心数据结构是什么?

Redis 性能调优

  1. 简历中写了做 Redis 优化,具体是怎么排查并解决 CPU 突刺问题的?
  2. 对 Redis 大 Key 进行手动分片(Split),具体是怎么实现的?
  3. 手动按 Hash 取模分片后,如果后续分片节点发生减少,数据会不会丢失或者查不到?

反问

  1. 单次响应延迟是多少?精排有多少条?什么模型可以用几万级去做精排?
  2. 你这边有什么问题想问我的?

《参考解析》

召回、粗排、精排的漏斗与截断:候选量级从千万级降到百级,靠的是逐层截断而不是某一层全量计算。召回阶段多路并行(倒排、向量、热门、规则补量),每路取几百到几千条后合并去重,得到万级候选;粗排用轻量模型(双塔内积、LR、GBDT)打分明细到千级;精排用复杂 DNN 到百级;重排再按多样性、频控与商业规则调整。截断阈值由时延预算与后链路容量反推:精排每条样本的推理耗时乘以候选数必须落在预算内。定向物料有一千万条时不会全量取出,而是先按定向条件做倒排求交或位图运算缩小集合,再按历史 CTR、出价、预算与时间做剪枝,只对保留下来的候选打分。

向量召回与双塔训练:向量召回把用户(或 query)与广告分别编码成同一空间的向量,用内积或余弦衡量匹配度,配合 HNSW、IVF-PQ 等近似最近邻索引,把百万级候选的比较降到毫秒级。双塔的结构是两路独立的编码器,用户塔吃用户特征与行为序列,广告塔吃广告特征与素材信息,两侧输出归一化向量;训练用曝光点击样本,负采样通常用 batch 内负样本配合采样 softmax,损失是交叉熵。DNN 本身不能直接「取内积」,只有把最后一层拆成两路独立编码、再显式做内积,才构成双塔;单塔 DNN 需要把用户与广告特征拼在一起过网络,无法预先算好广告向量,也就无法做 ANN 检索。千万级候选逐个过 DNN 不现实,双塔的价值正在于广告向量可以离线算好、在线只算用户向量再一次矩阵乘。

Trie 为什么没有明显收益:strings.Contains 对短模式串是高度优化的子串匹配,很多实现走 SIMD,单次耗时常在纳秒级;广告素材过滤的瓶颈往往不在匹配算法,而在候选数量、内存分配、字符串拷贝、缓存未命中或锁竞争。换 Trie 只是把比较次数降下来,若热点在别处,整体不会有改善。正确顺序是先 profile 定位热点,再判断是否需要多模式匹配;确实需要时,Trie 的工程价值在于一次扫描匹配大量模式(配合 AC 自动机),并且要避免每个请求重复构建树,应预构建并只读共享。

本地缓存容量与 W-TinyLFU:50 万条的内存占用要按「键 + 值 + 对象头 + 指针 + 哈希表负载因子」估算。假设键平均 32 字节、值平均 200 字节、每条约 50 字节结构开销,量级在 140 MB 左右;若值是大对象或含嵌套结构,会显著更高。控制手段是限制条目数与总权重的双重上限、用紧凑序列化、避免重复字符串、把超大值放到 Redis。W-TinyLFU 把空间分成 Window 与 Main 两部分,新条目先进 Window(约 1%),被淘汰时与 Main 的候选比较访问频率,频率高的留下;Main 内部再分 probation 与 protected,比例通常由库的默认配置决定,可调但不宜随意改动。频率统计用 Count-Min Sketch 的四位计数器,配合定期衰减(reset)适应访问模式变化,因此能过滤掉「只访问一次」的突发流量,又不会让历史热点永久占位。标准 LRU 的核心结构是哈希表加双向链表,哈希表负责 O(1) 定位节点,链表头尾分别表示最近与最久未使用,访问时把节点移到头部,淘汰时删尾节点。

Redis CPU 突刺的排查与大 Key 分片:先确认突刺的时间分布与业务事件的对应关系,再看 slowlog 与 latency monitor 找出慢命令,用 --bigkeys、MEMORY USAGE、SCAN 抽样定位大 Key;常见根因是 O(N) 命令(KEYS、HGETALL、SMEMBERS)、集中过期、持久化 fork 与 AOF rewrite、以及大 Value 的网络传输。治理手段包括拆分大 Key、把集合类数据按 Hash 取模分片、用 SCAN 替代 KEYS、加本地缓存削峰、错开过期时间。手动按 Hash 取模分片后,节点数变化会导致大量 Key 重新映射,路由不到就会表现为「查不到」,数据本身还在旧节点上;解决方式是一致性哈希,或预分片成固定数量的槽位(如 1024 个),扩缩容时以槽为单位迁移,并在迁移期做双读与校验。

反问里的容量问题:线上广告请求的单次响应通常在几十毫秒量级,其中精排只处理百级候选;几万级候选不可能走复杂模型,只能用双塔内积、LR 或 GBDT 这类单样本开销极低的打分器,而且要先做向量化与批量矩阵运算。反问这类参数既是在确认对方系统的真实规模,也是在判断自己的经验是否对得上。