语音合成之五语音合成中的“一对多”问题主流模型解决方案分析

引言

TTS系统旨在模仿人类的自然语音，但其核心面临着一个固有的挑战，即“一对多”问题 。这意味着对于给定的单个文本输入，可以存在多种不同的有效语音输出。人类在说话时会根据语境、情感、语种、说话人身份、语调和节奏等因素产生变化，这些因素使得从文本到语音的映射并非单一确定。

早期的TTS技术，如基于规则的方法和拼接合成，在生成自然语音方面存在局限性 。随着深度学习的进步，现代神经网络模型在语音合成领域取得了显著的进展，能够生成高度自然逼真的语音 。这些模型通过学习大量语音数据中的复杂模式，试图捕捉人类语音的细微差别，但如何有效地处理“一对多”问题仍然是研究的关键焦点。这里分析最新的TTS模型是如何应对这一挑战，包括Cosyvoice、SparkTTS、LlaSA TTS和VITS。

“一对多”指的是什么？

“一对多”问题源于人类语言和语音的丰富性。同一句话可以以多种不同的方式表达，这些方式在声学特征上存在显著差异 。以下是构成这种多重映射关系的关键因素：

• 音高 (Pitch): 语音的基频，在表达情感、强调和语调方面起着至关重要的作用 。例如，疑问句通常以升调结束，而陈述句则可能使用降调。
• 时长 (Duration): 每个音素或单词发音的时间长度，直接影响语音的节奏和语速 。说话人可以根据想要传达的意义或情感调整语速。
• 说话人特征 (Speaker Characteristics): 每个人的声音都具有独特的特征，包括音色、音调范围等，这些特征使得我们可以区分不同的说话人 。
• 韵律 (Prosody): 语音的整体节奏、重音和语调模式，能够显著改变句子的含义和情感色彩 。例如，相同的词语在不同的语调下可能表达出讽刺或真诚。
• 情感 (Emotion): 通过语音传递的情感，会影响音高、强度和语速等多种声学特征 。快乐、悲伤或愤怒等情感都有其独特的语音表现。
• 说话风格 (Speaking Style): 人们说话方式的各种变化，例如正式与非正式的语气，或者不同的口音 。

先进的TTS模型的目标不仅是生成可理解的语音，更重要的是能够捕捉和控制这些变化参数，从而产生更自然、更具表现力的音频 。为了实现这一目标，研究者们探索了两种主要的建模方法：一种是独立地建模每个变化因素，另一种是使用统一的框架来捕捉它们之间的相互依赖关系 。这些模型需要学习在给定文本输入的情况下，如何根据不同的需求生成合适的语音输出。

优秀开源模型的方法

Cosyvoice

Cosyvoice是一种多语种语音合成模型 。其核心思想是利用语言模型（Language Models, LMs）和流匹配（Flow Matching）进行渐进式语义解码 。这种方法旨在通过逐步融入条件信息来生成语音。

Cosyvoice的关键在于使用监督离散语音标记，这些标记通过对多语种自动语音识别（Automatic Speech Recognition, ASR）模型（Whisper）进行矢量量化（Vector Quantization, VQ）得到 。与传统的无监督方法不同，Cosyvoice的语音标记是通过一个经过微调的SenseVoice ASR模型提取的，该模型在编码器中集成了矢量量化层。对于输入的梅尔频谱，模型首先通过编码器的一部分得到上下文相关的表示，然后通过矢量量化层找到最接近的码本索引作为监督语义语音标记。在训练过程中，码本中的嵌入向量会根据隐藏层表示进行指数移动平均更新。这些监督标记能够增强内容一致性和说话人相似度 。

Cosyvoice的整体架构包括文本编码器、语音标记器、大型语言模型和条件流匹配模型 。文本编码器用于对齐文本和语音标记的语义空间，而语音标记器则用于提取语义标记。大型语言模型学习文本编码和语音标记的序列，将TTS任务转化为一个以文本为提示的自回归序列生成问题。条件流匹配模型则用于将语义标记合成为语音。

Cosyvoice 2引入了多项改进，例如使用有限标量量化（Finite-Scalar Quantization, FSQ）来提高语音标记码本的利用率 。FSQ优化了语音特征的提取，从而提升了合成语音的质量。此外，Cosyvoice 2还采用了分块感知因果流匹配模型（Chunk-Aware Causal Flow Matching Model），使得单个模型能够支持流式和非流式两种合成模式 。

SparkTTS

SparkTTS是一种高效的基于大型语言模型（LLM）的文本到语音模型 。其核心创新在于BiCodec，这是一种单流语音编解码器，能够将语音分解为用于语言内容的语义标记和用于说话人属性的全局标记 。这种分离的表示使得对语音生成进行粗粒度和细粒度的控制成为可能 。

在情感控制方面，由于使用了全局标记和更多情感数据集，SparkTTS在韵律和情感方面表现优于Cosy系列模型 。韵律控制主要通过全局标记来实现 。

SparkTTS的BiCodec架构通过将语义和说话人属性明确分离为不同的标记类型，为控制语音的不同方面提供了一种清晰的机制，从而直接解决了“一对多”问题。通过拥有专门用于语言内容和说话人身份的标记，模型可以通过改变全局标记同时保持语义标记不变来生成不同的语音输出，反之亦然。这为合成过程提供了更精细的控制。SparkTTS使用单个LLM（Qwen2.5）来预测语音标记和重建音频。

VoxBox数据集的引入标志着致力于通过提供标准化和丰富注释的资源来推进可控TTS的研究。拥有包含详细属性信息的大规模数据集对于开发能够准确可靠地控制合成语音各个方面的模型至关重要。

LlaSA TTS

LlaSA TTS是一个利用LLM（特别是Llama）进行可扩展文本到语音合成的框架 。它采用极简主义的LLM风格设计：一个Transformer，一个阶段，一个码本 。LlaSA TTS使用XCodec2作为语音标记器，将音频波形转换为离散标记 。XCodec2采用单层矢量量化，实现高效的自回归语音标记建模 。

LlaSA通过扩展预训练的Llama模型的词汇表以包含音频标记，将语音合成视为跨文本和音频标记统一词汇表的下一个标记预测任务 。LlaSA在模型大小和训练数据方面进行了扩展，从而提高了自然度和韵律 。它能够通过使用语音提示进行零样本语音克隆 。LlaSA支持多种语言，特别是英语和中文 。在情感控制方面，LlaSA能够生成富有情感表现力的音频 。韵律控制方面，较大的模型能够改善韵律，并且可以通过使用语音理解验证器进行推理时扩展 。

LlaSA将文本和音频标记统一在大型语言模型的词汇表中，这表明一种趋势，即通过利用LLM强大的序列建模能力来简化TTS架构。通过将音频视为LLM可以学习生成的另一种“语言”，LlaSA避免了多阶段流程和专门声学模型的复杂性。LlaSA通过增加模型大小和训练数据量来显著提高语音质量和韵律，这加强了规模在捕捉人类语音细微差别并通过更全面的学习解决“一对多”问题方面的重要性。

VITS

VITS（Variational Inference with adversarial learning for end-to-end Text-to-Speech）是一种端到端语音合成模型 。其核心思想是使用条件变分自编码器（Conditional Variational Autoencoder, VAE），包含后验编码器、解码器和条件先验 。VITS采用变分推断、归一化流和对抗学习进行训练 ，从而提高生成模型的表达能力 。

VITS包含一个随机时长预测器，该预测器允许模型从相同的输入文本合成具有不同节奏的语音，直接解决了“一对多”的本质 。VITS使用单调对齐搜索（Monotonic Alignment Search, MAS）来学习文本到音频的对齐，而无需外部标注 。VITS在多说话人和潜在的多风格合成方面也具备能力 。在说话人控制方面，VITS使用说话人ID进行多说话人建模，并具备语音转换的潜力 。对于情感控制，VITS可以通过Emo-VITS和ParaEVITS等修改来实现，这些修改通常涉及情感嵌入网络或风格迁移技术 。韵律控制方面，VITS通过随机时长预测器和其他影响节奏和语调的技术来实现 。

VITS的核心架构基于变分自编码器，其本质上旨在对潜在变量的概率分布进行建模，这使其非常适合捕捉从文本到语音映射中固有的可变性。VAE框架允许模型学习语音的压缩表示，并通过从学习到的潜在空间中采样来生成不同的输出。VITS中包含的随机时长预测器通过允许为同一文本生成不同的语音节奏，直接解决了“一对多”问题，这是自然人声的关键方面。

人类语音并非完全有节奏；音素和单词的持续时间可能会有很大差异。通过对持续时间的分布进行建模，VITS可以产生更自然的声音，并且节奏有所变化。VITS中对抗学习的使用有助于改进生成的语音波形，使其与真实人声更加难以区分，并提高整体质量和自然度，这对于以产生高保真输出的方式解决“一对多”问题至关重要。鉴别器促使生成器产生更逼真的音频，从而改进了有助于合成语音自然度的细微声学细节。

表 1: TTS模型在处理“一对多”问题上的比较

模型	核心思想	标记化方式	说话人控制	情感控制	韵律控制	随机时长预测器
Cosyvoice	使用LLM和流匹配进行渐进式语义解码	监督语义标记 (Whisper + VQ)	说话人ID，通过提示进行语音克隆	自然语言指令/标签	由LLM建模	无明确提及
SparkTTS	基于LLM (Qwen2.5) 的解耦语音标记模型	BiCodec (语义标记 + 全局标记)	全局标记用于说话人属性，语音克隆	通过全局标记和情感数据集改进	受全局标记影响，粗细粒度控制	无明确提及
LlaSA TTS	基于LLM (Llama) 的统一文本/音频标记模型	XCodec2 标记	通过语音提示进行语音克隆	生成富有情感表现力的音频	通过扩展改进，推理时扩展	无明确提及
VITS	基于VAE、归一化流和对抗学习的端到端模型	音素/字符，使用MAS学习对齐	说话人ID，语音转换	通过Emo-VITS、ParaEVITS等修改实现	随机时长预测器，受潜在空间影响	是

这些模型都利用深度学习架构，特别是Transformer或基于Transformer的模型，旨在生成自然且富有表现力的语音，并支持某种形式的说话人控制，包括语音克隆能力。大多数模型还包含控制韵律和情感的机制。然而，它们在标记化、核心架构、时长预测和控制机制方面存在显著差异。Cosyvoice使用来自Whisper的监督语义标记，SparkTTS使用带有语义和全局标记的BiCodec，LlaSA TTS在LLM词汇表中使用XCodec2标记，而VITS则直接操作音素或字符，并在内部学习对齐。

“一对多”问题是TTS领域的核心挑战，它使得生成自然且富有表现力的语音变得复杂。Cosyvoice、SparkTTS、LlaSA TTS和VITS等模型采用了多种策略来应对这一挑战，包括使用先进的标记化技术、基于LLM的架构、变分推断和显式控制机制。

这些最先进的模型所采用的各种方法表明，解决“一对多”问题没有单一的明确答案，该领域仍在积极探索不同的架构和方法创新。监督语义标记、解耦语音标记、统一的LLM词汇表和变分推断等不同技术的成功表明，不同的策略在捕捉人类语音的细微差别方面都可能有效。方法的选择通常取决于模型的具体目标和权衡（例如，侧重于多语种、可控性或效率）。