面灵AI→

昆仑万维多模态算法一面:TTS、音频 tokenizer 与 DPO 数据

轮次
一面
时间
2026-10
来源
牛客网

《面试题目》

  1. 自我介绍。
  2. 详细讲讲 TTS 模型是怎么做的?
  3. 数据有多少,是怎么来的?
  4. 音频 tokenizer 是用什么方式实现的?只有重构 loss 吗?是单码本还是多码本?
  5. 训练具体是怎么做的?token 序列怎么排?
  6. DPO 的数据是怎么准备的?
  7. 讲一讲自动化评测流程。

《参考解析》

TTS 的现代范式是「文本 → token → 声学 token → 声码器」。文本先做归一化和音素化,再由自回归或非自回归模型生成声学 token(离散码本),最后用声码器还原波形。要讲清你用的是哪一类:基于 VQ-VAE 的离散 token、还是连续 mel + diffusion/GAN 声码器;以及为什么这样选(可控性、音质、推理速度)。

音频 tokenizer 的关键是「码本」。单码本容量有限、音质和韵律难兼顾;多码本(RVQ,残差向量量化)逐层量化残差,第一层保留主要信息、后续层补细节,能显著提升重建质量。训练目标通常不止重构 loss,还会加对抗 loss、感知 loss、commitment loss;码本坍缩要靠 EMA 更新、码本重置或辅助损失缓解。

token 序列的排布决定训练效率。多码本常见做法是按层交错(一层一个 token 轮转)或按层拼接,前者更适合自回归建模、后者序列更长;要说明你选的理由,以及采样时的对齐方式。

DPO 数据准备的重点是「偏好对的质量」:同一输入下两条输出,人工或模型打分形成 chosen/rejected,要控制长度偏置和风格偏置,避免模型只学会「更长更好」。数据要覆盖不同文本难度和说话人风格。

自动化评测要分客观和主观:客观指标有字错率、说话人相似度、梅尔倒谱失真、RTF;主观靠 MOS 打分或 AB 偏好测试。工程上把评测固化成流水线,每次训练自动跑一批固定样本,人工只抽检异常。