面灵AI→

华为后训练与强化学习实习一面:多标签分类、DDP 与推荐排序

轮次
一面
时间
2026-11
来源
牛客网

《面试题目》

  1. 请先做一个简短的自我介绍。
  2. 在快手实习过程中,为什么要同时训练 FastText、TextCNN 以及 TinyBERT 这多个模型?最终怎么选型的?
  3. FastText 和 TextCNN 在文本特征提取体系上有什么区别?为什么 FastText 会对关键词比较敏感,背后的机制是什么?
  4. TinyBERT 相比普通 BERT 做了哪些轻量化设计和处理?
  5. 做这个项目时,你怎么定义多标签分类任务?输出层用 Softmax 还是 Sigmoid?这么做有什么好处?
  6. 你提到的 AC 自动机解决的是什么问题?底层机制是什么?
  7. AC 自动机、向量召回、多模型以及 Agent 之间是怎么协同工作的?讲一下整条业务链路。
  8. 在滴滴实习微调了很多大模型做多路打标,讲一下整个端到端微调是怎么做的(数据集构建、切分策略、输入输出设计、分层预测与端到端预测的对比)。
  9. 详细介绍一下微调时使用的 DDP 训练方法是什么原理。
  10. 除了数据并行,你了解模型并行是怎么做的吗?
  11. 在推荐排序项目中你用了 LightGBM、DCN-V2 和 MMoE,讲一下 LightGBM 的核心原理,以及后续如何演进到 DCN-V2 + MMoE。
  12. 研二已经有两段实习,导师允许经常出来实习吗?第一篇强化学习论文是怎么构思和做出来的?
  13. 算法题:力扣 560,和为 K 的子数组,统计并返回和等于 k 的连续子数组个数(本地编写并测试 [1,1,1], k=2 与 [1,2,3], k=3)。

《参考解析》

  1. 为什么同时训三个模型:这是典型的「基线—中档—上限」对照。FastText 极快,用来做基线和大批量初筛;TextCNN 捕捉局部 n-gram,效果和速度折中;TinyBERT 语义能力最强但推理贵,用来做难样本和质检。选型不是挑一个,而是按成本和置信度分层:便宜模型覆盖大多数,贵的只处理不确定的分歧样本。

  2. FastText 与 TextCNN:FastText 把词和 n-gram 分别 embedding 后取平均,接线性分类,本质是词袋加浅层;TextCNN 用不同宽度的卷积核在词向量序列上滑窗,能捕捉词序和局部组合。FastText 快是因为没有序列建模,也因此「关键词出现」几乎直接决定输出,所以对关键词敏感、对语序不敏感。

  3. TinyBERT 的轻量化:层数减半、隐藏维度变小、注意力头减少,再用两阶段蒸馏——通用蒸馏从 BERT 学,任务蒸馏在具体任务上跟老师学;蒸馏时对齐隐层输出、注意力矩阵和预测分布。所以它不是简单剪枝,而是「小结构 + 蒸馏补偿」。

  4. 多标签为什么用 Sigmoid:多标签下一条样本可以同时属于多个类,类别之间不互斥,用每个类独立做二分类加 Sigmoid、损失用 BCE;Softmax 假设类别互斥、概率和为 1,用在多标签上会强迫模型在类间竞争。若标签有强共现结构,可以再叠加分类器链或标签相关性建模。

  5. AC 自动机:解决多模式串匹配——一次扫描文本同时匹配成千上万个关键词。核心是 Trie 树加失败指针(fail),失配时沿 fail 跳到最长后缀对应的节点,整体 O(文本长度 + 匹配数)。

  6. 整条链路:AC 自动机做确定性的关键词命中(快、可解释),向量召回做语义近似(覆盖同义表达),多模型做分类打分(判断风险等级),Agent 负责编排——先规则命中,未命中再语义召回,都不确定时调模型或转人工,最后把结论和依据一起返回。

  7. 端到端微调:数据集构建上要定义标签体系和标注规范,做去重、难例挖掘和类别平衡;切分按时间或按业务线切,避免同源泄漏;输入输出设计上把多路打标合并成一次生成或分成多个头;端到端预测和分层预测的对比要看准确率、延迟和可维护性——分层可解释、易局部迭代,端到端省链路但难定位错误。

  8. DDP 原理:每个进程持有一份完整模型,各自跑不同的数据分片做前向反向,反向结束后用 all-reduce 对各卡梯度求平均再更新,保证各卡参数一致。关键点是梯度桶(bucket)通信与计算重叠,以及 find_unused_parameters 这类细节会拖慢训练。

  9. 模型并行:把模型本身切开,按层切是流水线并行(需要处理气泡和微批),按张量切是张量并行(每层内部切开,通信频繁),还有按专家切(MoE)。显存不够而单卡放不下整个模型时才需要,代价是通信开销。

  10. LightGBM 到 DCN-V2 + MMoE:LightGBM 是 GBDT 的高效实现,用直方图算法找分裂点、leaf-wise 生长、按梯度单边采样保留大梯度样本;优势是表格特征强、可解释,劣势是难以端到端学习高维稀疏特征和交叉。演进到 DCN-V2 是为了显式建模特征交叉(低秩分解降低参数量),MMoE 用多个专家加门控让不同任务共享又能分化,解决多目标之间相关性弱时的负迁移。

  11. 和为 K 的子数组:前缀和加哈希表,遍历时记录 sum - k 出现过的次数并累加,O(n) 时间 O(n) 空间。要能处理负数元素,所以不能用滑动窗口。