字节跳动 AI Agent 开发工程师一面:BPE、字符偏移、缓存一致性与并发去重
- 轮次
- 一面
- 时间
- 2026-11
- 来源
- 牛客网
《面试题目》
- BPE 分词的大致过程是什么?为什么生僻词也能被处理?
- 既然文本会被转换,同样看起来是一个字符,Python 的长度和前端位置为什么可能对不上?
- 在你的项目里,清洗文本之后还要定位视频片段,只保存清洗后字符串和一个起始时间够吗?
- 这些清洗和对齐结果想复用,能不能直接用原始文本的哈希作为缓存键?
- 缓存放不下时,LRU 和 LFU 怎么选?TTL 能替代它们吗?
- 先不考虑过期和多线程,写一个容量受限的 LRU,要求查询和更新平均 O(1)。
- 如果多个线程共用这个缓存,Python 有 GIL,为什么仍然可能需要锁?
- 清洗逻辑如果变成 CPU 密集任务,换成多进程一定更快吗?共享这个缓存又会有什么代价?
- 再回到缓存未命中:十个请求同时计算同一份素材,怎样只让其中一个负责计算,又不把不同素材都串行化?
- 如果计算期间原始资料从 v1 更新成 v2,刚算完的旧结果会不会重新污染缓存?你怎样避免?
《参考解析》
BPE 的过程:从字符(或字节)级的基础符号表开始,统计语料中相邻符号对的频次,反复合并最高频的一对为一个新符号,直到达到预设的词表大小;编码时按学到的合并顺序把输入切分成词表中存在的子词。生僻词之所以能被处理,是因为它会被拆成若干常见子词或单字符,而不是要求整词在词表里。要注意两点:字节级 BPE(如 GPT 系列)从字节出发,任何输入都能被表示,不会出现未知词;字符级方案仍依赖基础字符表与回退策略(UNK)。不同模型的词表、规范化规则不同,同一文本的 token 数也不同,所以不能用肉眼看词数估算输入长度,也不能把一个模型的 token id 直接给另一个模型用。
字符、码点与字素簇:Python 的 len 按 Unicode 码点计数,JavaScript 的字符串索引按 UTF-16 码元计数,而用户看到的「一个字」可能是多个码点组成的字素簇(emoji、带组合附加符号的字符、国旗)。UTF-8 传输时又按字节。所以「从第十个字符开始」如果没有约定单位,就不是完整的接口契约。工程做法是:后端保存原始文本与明确的区间单位(码点或字节),接口层统一约定,前端渲染前再转换;若中间做了 Unicode 规范化(NFC/NFD)、全半角转换、换行替换,偏移会变化,必须保留映射或对原文重新定位。测试要覆盖中文、emoji、组合字符、不同换行符,并检查高亮实际选中的内容,而不只是比较数字。
只存清洗后文本和起始时间不够:清洗会合并空白、删语气词、改标点,清洗后的字符串与原始转写不再逐字符对应;视频时间来自转写片段或词级对齐,也不能按字数比例换算。正确做法是保留原始转写与片段标识,处理结果引用来源片段 ID,并保存可维护的映射(片段级或词级)。一句话若综合了两个不连续片段,要保存两个来源区间,不能用一个横跨中间内容的大区间冒充依据。只有片段级时间戳时,界面就提供片段级跳转,不伪造词级精度。清洗规则更新后,派生文本与映射要一起重建,否则文字正确但点击出处跳到旧位置。
缓存键不能只用原文哈希:缓存键要表达「完整的计算身份」:输入摘要 + 清洗规则版本 + 语言/配置 + 对齐模型版本;结果依赖时间戳时,纯文本哈希也不够,因为同一句话在不同视频里的来源位置不同。序列化要无歧义(不能简单拼接字段,ab+c 与 a+bc 会碰撞),用稳定的 SHA-256 而不是 Python 内置 hash(后者跨进程不稳定且可被碰撞攻击)。若多租户共享缓存,键里要包含租户,且命中缓存不等于有权限读取——权限校验必须在返回前单独做。
LRU、LFU 与 TTL:LRU 假设最近访问的还会被访问,适合工作集稳定的场景;LFU 按频率保留,适合少量热点长期被访问,但历史热门会长期占位,需要衰减或窗口统计。TTL 解决「时间上是否过期」,淘汰策略解决「容量不足时先删谁」,两者互补而不是替代。还要注意按条目数限制不等于按内存限制:一个巨大结果可能挤掉很多小结果,所以生产上常按字节计费并做分级。TTL 也不能替代版本判断:事实表刚更新时,旧条目即使未到期也已失效。
手写 LRU:哈希表 + 双向链表,哈希表 O(1) 定位节点,链表维护访问顺序(头为最近使用)。get 命中后把节点移到头部;put 时若键存在则更新值并移到头部,不存在则插入头部,超容量删除尾节点。Python 可用 OrderedDict(move_to_end、popitem(last=False)),Java 可用 LinkedHashMap(accessOrder=true) 加 removeEldestEntry。要处理容量非法、键不存在、合法值为 None 的情况;带 TTL 时节点存过期时间,读取时惰性删除,另配定期清理避免过期键占满。并发访问要加锁或分段,注意「读时移动节点」也是写操作。
有 GIL 为什么还要锁:GIL 只保证同一时刻只有一个线程执行 Python 字节码,不保证一组业务操作是原子的。get 里「读值 + 移动节点」两步之间,另一个线程可能修改或淘汰同一个键;put 的「判断存在 + 更新 + 淘汰」同理。所以要用锁保护「容量不超限、访问顺序一致」这些不变量。锁的范围要小:不要把模型调用、文本处理放在锁内,否则所有线程排队;未命中时的重复计算需要另外的机制(见下条)。CPython 3.13 起的 free-threading 构建更说明不能依赖 GIL 提供语义上的线程安全。
多进程不一定更快:多进程能绕开 GIL 对纯 Python 计算的限制,但任务分发、参数序列化、进程启动、结果回传都有开销;短文本任务这些成本可能超过计算本身。若实际计算在会释放 GIL 的原生库(numpy、正则的 C 实现)里,多线程也能并行。共享缓存方面:每个进程各自持有 LRU 会重复占内存、命中只在本进程;用管理器共享 Python 对象会引入通信与同步开销,不是免费的共享内存。应先测单任务耗时、传输耗时与吞吐,再决定是否批量化、传文件引用而不是大字符串,或用外部缓存(Redis)统一。
同键请求合并:用一个「进行中」映射,键是缓存键,值是 Future/Promise。第一个请求发现没有则登记并开始计算;后续同键请求拿到 Future 后等待;不同键各自独立,不互相阻塞。全局锁只保护「查找或登记」这一小段,计算在锁外。计算成功后写入缓存并完成 Future;失败时把异常传给所有等待者,并清理登记以便重试。清理时要确认登记仍属于本次计算(比较 token 或版本),避免旧任务的 finally 删掉新任务的登记。等待者取消不应连带取消共享的生产者。该方案只保证单进程,多实例仍可能重复计算,是否扩展到分布式锁要按重复计算的成本决定。
版本污染:会。若缓存键固定为「素材 ID」,更新线程删除缓存后,旧计算仍可能完成并把 v1 结果写回。根本做法是把来源版本放进缓存键:v1 的计算只能写到 v1 键,读取时先取当前版本指针再取对应结果;若要维护「最新结果」指针,更新时比较版本,禁止旧任务覆盖新版本。读取版本后资料又更新时,按接口承诺处理:允许快照就在结果里标明版本,要求最新则在交付前重新校验。验证方式是人为暂停 v1 计算、更新到 v2 并完成新计算、再放行 v1,检查最新入口是否仍指向 v2——这种交错测试比连续调用两次更能暴露问题。