面灵AI→

金山办公服务端一至二面:在线人数、搜索联想与爬虫系统设计

轮次
一至二面
时间
2026-11
来源
牛客网

《面试题目》

  1. 设计一个系统:统计用户在线人数(实时 + 每日报表)。
  2. 千万级词条库,搜索时怎么提示近似词条?
  3. 图书馆搜图书,怎么实现模糊搜索?
  4. 怎么设计一个爬虫系统?
  5. 爬虫怎么去重?
  6. 算法题(不手撕,聊思路)。

《参考解析》

  1. 实时在线人数:客户端每 30 秒发一次心跳,服务端用 Redis ZSet 记录 userId → 最后心跳时间,查询时 ZCOUNT online:users (now-60s) +inf 得到近一分钟在线数;主动登出立刻删除,心跳超时由定时任务清理。用 ZSet 是因为它天然按时间排序,既能算实时在线也能算近 5 分钟活跃。

  2. 每日 DAU 报表:要精确去重用 Bitmap,SETBIT dau:20261102 userId 1,BITCOUNT 取当日去重人数,BITOP OR 可以合并出周活月活,内存按用户 ID 上限线性增长(一亿用户约 12MB/天)。只要趋势不要明细就用 HyperLogLog,12KB 一天、误差约 0.8%。报表不要实时扫 Bitmap,按小时预聚合后写进数仓或缓存。

  3. 分层架构:心跳进 Kafka 削峰 → 实时计算层同时写 ZSet(实时)和 Bitmap(日活)→ 异步落库按小时预聚合 → 报表查预计算结果。关键话术是「实时和报表分开,实时用 ZSet 保低延迟,报表用 Bitmap 保精确并用离线预聚合保查询性能」。

  4. 千万词条的近似提示:第一层前缀联想用 Trie,节点挂 TopK 热词,用户输入前缀就返回候选;工业界用 FST 压缩内存(ES 内部就是这套)。第二层容错用 N-gram 倒排召回候选,再用编辑距离精排,编辑距离 ≤ 2 才保留;SymSpell 通过预生成删除变体做到 O(1) 查询,BK 树做度量空间剪枝。第三层排序融合编辑距离、搜索热度、用户偏好和业务权重。

  5. 图书模糊搜索:书名、作者、ISBN、出版社、简介分别建倒排索引,中文用 IK 或 jieba 分词;支持前缀、错别字、同义词(鲁迅 ↔ 周树人)、拼音(san ti → 三体)、繁简与大小写归一化;排序用 BM25 加字段权重,书名命中权重最高,再叠加热门度。图书搜索和网页搜索最大的不同就是字段权重必须明显倾斜。

  6. 爬虫系统:种子 URL → Frontier 调度队列(按重要性和域名分桶,避免对单站轰炸)→ 去重网关 → 抓取 Worker(异步 HTTP、遵守 robots.txt、每域名令牌桶限流、指数退避重试)→ 解析提取 → 内容去重 → 存储(原始 HTML 进对象存储,元数据进宽表)→ 新 URL 回流。要有幂等(至少一次投递 + 按 URL 哈希做 CAS 写入)和死信队列。

  7. 去重三层:第一层 URL 去重,先做规范化(scheme 和 host 转小写、去默认端口、去 fragment、移除 utm 追踪参数、query 参数排序、相对路径转绝对),再用 BloomFilter 快速判重(十亿 URL 约 1.2GB,有假阳性无假阴性),命中的再查 KV 精确确认。第二层内容去重,精确重复用 SHA-256 指纹,近似重复用 SimHash 加汉明距离阈值。第三层陷阱防护:URL 长度上限、爬取深度上限、单域名数量上限、识别无限展开的日历和分页。

  8. 算法题思路:字符串方向准备编辑距离、最长公共子串、Trie;去重方向准备布隆过滤器、SimHash、一致性哈希;图方向理解爬虫本质是按优先级的 BFS;TopK 用堆。回答时先说复杂度,再说数据结构,最后给伪代码轮廓。

  9. 这类面试在筛什么:听到模糊题先问边界(规模、QPS、精度、实时性),方案要分层(实时与离线、快路径与慢路径),选型要说出理由(为什么 Bitmap 不用 Set),每个方案主动说代价,落地细节要能讲(怎么分片、怎么过期、怎么兜底)。最忌讳只背结论不说场景。