语音与语言的架构范式：TTS、STT 与 LLM 模型的比较分析

引言

在人工智能的浪潮中，大型语言模型（Large Language Models, LLM）、文本到语音合成（Text-to-Speech, TTS）和语音到文本识别（Speech-to-Text, STT）技术构成了人机交互的核心支柱。LLM 以其卓越的文本理解和生成能力，彻底改变了自然语言处理（Natural Language Processing, NLP）领域。与此同时，现代 TTS 和 STT 系统也取得了长足的进步，使得合成语音与人类声音难以区分，语音识别在复杂环境下的准确率也达到了前所未有的高度。

尽管这些技术通常被视为独立的领域，但它们的底层架构，特别是自 2017 年 Transformer 模型问世以来，表现出了显著的趋同性。然而，由于处理的模态（离散的文本与连续的音频）存在根本差异，它们在架构设计上又呈现出深刻的分化。理解这些模型的核心结构、它们之间的异同，以及这些差异背后的驱动因素，对于全面把握现代语音和语言技术的发展脉络至关重要。

本报告旨在提供一份详尽而深入的技术剖析。我们将首先解构作为现代 LLM 基石的 Transformer 架构及其自注意力机制。随后，我们将分别深入探讨现代 TTS 和 STT 模型的演进路径和核心架构，分析它们为应对各自模态的独特挑战而发展出的专门组件和设计哲学。最后，本报告将进行综合比较，阐明三类模型在架构上的根本区别，并展望它们走向统一、多模态的未来趋势。

第一部分：基础架构 - Transformer 与大型语言模型

现代语音和语言模型领域的几乎所有重大突破，都可以追溯到一个共同的源头：Transformer 架构。最初为机器翻译任务设计的 Transformer 1，凭借其独特的自注意力机制和并行处理能力，迅速成为构建大型语言模型（LLM）的基石 2。要理解 TTS 和 STT 模型的结构，必须首先深入理解 LLM 所依赖的这一通用序列处理框架。

1.1 机器的语言：从文本到向量

计算机无法直接处理文本。因此，任何基于 Transformer 的模型的第一步都是将人类语言转化为机器可以理解的数值表示形式。这个过程主要包括三个阶段：分词、嵌入和位置编码。

1.1.1 分词（Tokenization）

分词是将原始文本字符串分解为更小、更易于管理的单元（称为“词元”或“token”）的过程。这些词元可以是完整的单词，也可以是子词（subwords）3。例如，单词 "empowers" 可能会被分解为 "empower" 和 "s" 两个词元。这种子词策略使得模型能够处理词汇表之外的罕见词或新词，并共享相似词根的统计强度 4。

不同的模型使用不同的分词器和词汇表。例如，GPT-2 模型家族使用字节对编码（Byte-Pair Encoding, BPE）算法，其词汇表包含 50,257 个唯一词元 3。同样，OpenAI 的 Whisper 模型也采用 BPE 分词器，其中纯英文模型直接使用 GPT-2 的词汇表，而多语言模型则使用一个重新训练的、大小相同的多语言词汇表 5。

1.1.2 嵌入（Embeddings）

分词后，每个词元都会被映射到一个高维的数值向量，即嵌入向量 2。例如，GPT-2 (small) 模型将每个词元表示为一个 768 维的向量 3。这些嵌入向量并非静态的，而是在模型训练过程中学习得到的。它们存储在一个巨大的嵌入矩阵中（例如，GPT-2 的嵌入矩阵形状为 (50257, 768)，包含约 3900 万个参数），并能够捕捉词元的语义信息 3。通过这种方式，具有相似含义的词元在嵌入空间中的位置也会更接近。

1.1.3 位置编码（Positional Encoding）

Transformer 架构的一个核心特点是它会同时处理输入序列中的所有词元，而不是像循环神经网络（Recurrent Neural Networks, RNNs）那样按顺序逐个处理 6。这种并行处理机制极大地提高了计算效率，但也带来了一个问题：模型本身无法感知词元在序列中的位置和顺序。然而，在语言中，顺序至关重要（例如，“猫追老鼠”和“老鼠追猫”的含义完全不同）。

为了解决这个问题，Transformer 引入了位置编码。这是一种与词元位置相关的向量，它被加到对应的词元嵌入向量上，从而为模型注入序列的顺序信息 3。不同的模型实现方式不同，例如，原始 Transformer 使用正弦和余弦函数来生成位置编码，而 GPT-2 等模型则直接在训练过程中学习位置编码矩阵 3。

1.2 上下文理解的引擎：自注意力机制

自注意力（Self-Attention）机制是 Transformer 架构的灵魂，也是其超越传统 RNN 和 CNN 的关键所在 2。它使得模型在处理序列中的任何一个词元时，都能够动态地衡量序列中所有其他词元的重要性，并从中提取相关信息，从而构建起对整个序列的深度上下文理解 6。

1.2.1 核心原理

传统 RNN 模型在处理长序列时，信息需要通过一系列循环步骤传递，容易出现梯度消失或爆炸的问题，导致难以捕捉长距离依赖关系。自注意力机制通过允许任意两个位置的词元直接交互，彻底解决了这个问题 6。它的核心思想是，一个词元的表示应该由其与序列中所有其他词元的相互关系共同决定。

1.2.2 查询（Query）、键（Key）和值（Value）向量

为了实现自注意力计算，模型会为输入序列中的每个词元嵌入向量生成三个不同的、通过学习得到的线性投影向量 6：

• 查询向量（Query, Q）：代表当前词元，可以被看作是该词元发出的一个“查询”，意在“寻找”序列中与之相关的其他词元 6。
• 键向量（Key, K）：代表序列中所有词元的“身份”或“标签”。每个词元的查询向量会与所有词元的键向量进行匹配，以确定相关性 6。
• 值向量（Value, V）：代表每个词元的实际内容或意义。一旦查询向量和键向量确定了注意力权重，这些权重就会作用于值向量，以聚合信息 6。

这三个向量的生成是通过将词元嵌入向量与三个独立的、在训练中学习到的权重矩阵（WQ, WK, WV）相乘得到的。

1.2.3 注意力分数的计算

自注意力的计算过程可以分解为以下几个步骤 8：

1. 计算分数：对于序列中的每个词元，模型会计算其查询向量 Q 与所有其他词元的键向量 K 的点积。这个点积分数反映了不同词元之间的相关性或兼容性。
2. 缩放：为了在训练过程中保持梯度稳定，点积分数会被除以一个缩放因子，通常是键向量维度 dk​ 的平方根，即 dk​​。这个步骤被称为缩放点积注意力（Scaled Dot-Product Attention）。Attention(Q,K,V)=softmax(dk​​QKT​)V
3. Softmax 归一化：缩放后的分数会通过一个 Softmax 函数，将其转换为一组总和为 1 的概率分布，即注意力权重。这些权重决定了在生成当前词元的新表示时，应该对序列中其他词元赋予多大的“注意力”。
4. 加权求和：最后，将这些注意力权重与每个词元的值向量 V 相乘，并进行加权求和。最终得到的结果就是该词元融合了全局上下文信息的新表示。

1.3 多视角观察：多头注意力与前馈网络

为了让模型能够从不同角度、关注不同类型的关系（例如，语法关系、语义关系等），Transformer 引入了多头注意力机制。

1.3.1 多头注意力（Multi-Head Attention）

多头注意力并非执行一次单独的自注意力计算，而是将 Q、K、V 向量通过不同的线性投影（即不同的权重矩阵）分成多个“头”（heads），然后并行地执行多次自注意力计算 7。每个头都可以学习关注输入序列的不同子空间信息。完成计算后，所有头的输出向量会被拼接在一起，再通过一次线性变换，融合成最终的输出。这种机制极大地增强了模型捕捉复杂依赖关系的能力 8。

1.3.2 前馈网络（Feed-Forward Networks, FFN）

在每个 Transformer 模块中，多头注意力子层的后面都跟着一个位置前馈网络（Position-wise Feed-Forward Network）3。这个网络通常由两个线性层和一个非线性激活函数（如 ReLU）组成 9。

如果说注意力层的作用是在不同词元之间传递和路由信息，那么 FFN 的作用则是对每个词元位置的表示进行独立的、非线性的变换，从而增加模型的表示能力和深度 3。在注意力层和 FFN 子层的周围，都应用了残差连接（Residual Connections）和层归一化（Layer Normalization），这对于训练非常深的网络至关重要，可以有效防止梯度消失问题 3。

1.4 架构变体：编码器-解码器堆栈

原始的 Transformer 模型包含一个编码器（Encoder）堆栈和一个解码器（Decoder）堆栈，这种结构在许多任务中仍然是标准配置 7。

• 编码器：负责处理整个输入序列，并通过多层自注意力机制构建一个富含上下文信息的表示。编码器中的自注意力是双向的，即每个词元都可以关注其左侧和右侧的所有词元。
• 解码器：负责生成输出序列，通常是逐个词元地自回归生成。解码器包含两种类型的注意力层：
  1. 掩码自注意力（Masked Self-Attention）：与编码器类似，但施加了一个“掩码”，确保在预测当前词元时，只能关注到已经生成的词元，而不能“看到”未来的词元。
  2. 交叉注意力（Cross-Attention）：这是连接编码器和解码器的桥梁。解码器的查询向量 Q 来自其自身的上一层，而键向量 K 和值向量 V 则来自编码器的最终输出。这使得解码器在生成每个输出词元时，能够关注到输入序列的不同部分 7。

这种模块化的设计催生了多种架构变体。许多现代 LLM，如 GPT 系列，是**纯解码器（Decoder-only）架构，它们将编码器和解码器合并，非常擅长于文本生成任务 3。而像 BERT 这样的模型则是

纯编码器（Encoder-only）**架构，专为自然语言理解任务（如文本分类、情感分析）而设计。

这种架构的通用性是其成功的关键。Transformer 的核心机制并非专为语言设计，而是作为一种通用的序列处理器，能够对任何向量序列中的关系进行建模。正是这一根本特性，使得该架构能够被成功地从文本领域迁移并适配到性质迥异的语音领域。此外，从 RNN 的顺序处理到 Transformer 的并行计算，不仅是效率的提升，更是一次计算范式的革命 2。这种并行化能力使得在海量数据和大规模硬件上训练巨型模型成为可能，而这正是“大型”语言模型之所以“大”的根本原因。对并行化的追求，也同样是驱动 TTS 模型从 Tacotron 2 演进到 FastSpeech 的核心动力。

第二部分：合成的艺术 - 现代文本到语音（TTS）模型架构

将 Transformer 的概念应用于文本到语音合成（TTS）领域，需要解决一系列独特的挑战。最核心的挑战是“一对多”映射问题：同一段文本可以有无数种自然的说话方式，包括不同的语速、音高、节奏和情感。TTS 架构必须在离散、低维的文本序列与连续、高维且长度更长的音频波形之间架起一座桥梁。

2.1 两阶段流水线：声学模型与声码器

现代的神经网络 TTS 系统通常遵循一个两阶段流程 11。这个流程将复杂的文本到波形转换任务分解为两个更易于管理的部分：

1. 声学模型（Acoustic Model）：也称为“声学特征生成网络”。它的任务是将输入的文本序列（通常是字符或音素）转换为一种中间声学表示。目前，最广泛使用的中间表示是梅尔频谱图（Mel-spectrogram） 11。梅尔频谱图是一种声音频率随时间变化的二维视觉表示，它经过了对数和梅尔尺度的变换，以更好地匹配人类的听觉感知。
2. 声码器（Vocoder）：声码器是一个独立的神经网络，它的任务是将声学模型生成的梅尔频谱图合成为最终的时间域音频波形 11。

2.2 序列生成时代：Tacotron 2 与自回归生成

Tacotron 2 是自回归 TTS 模型的典范，它在 2017 年被提出，其合成的语音质量首次达到了与人类专业录音相媲美的水平 13。

• 架构：Tacotron 2 是一个基于循环神经网络的序列到序列（Sequence-to-Sequence）模型，采用了带有注意力机制的编码器-解码器结构 13。
• 编码器：编码器首先将输入的字符序列转换为嵌入向量，然后通过一个包含三层卷积神经网络（CNN）的堆栈和一个双向长短期记忆网络（Bi-LSTM）来提取上下文信息，最终生成一个编码后的表示序列 11。
• 解码器：解码器是一个自回归的循环网络（使用 LSTM）16。它以**逐帧（frame-by-frame）**的方式生成梅尔频谱图 11。在每个解码步骤中，解码器都会利用前一时刻生成的频谱帧，并通过一个注意力机制来决定当前应该关注输入文本的哪个部分。这个注意力机制（具体为位置敏感注意力）对于确保文本和语音之间的正确对齐至关重要 15。
• 局限性：作为一种自回归模型，Tacotron 2 的主要缺点是推理速度慢，因为每个频谱帧的生成都依赖于前一个帧，无法并行计算。此外，它对注意力机制的依赖也使其在处理长句或复杂文本时显得不够鲁棒，偶尔会出现漏词、重复词或提前截断等问题 11。

2.3 迈向并行化：FastSpeech 与非自回归革命

为了突破自回归模型的速度瓶颈，研究人员提出了非自回归（Non-Autoregressive）的 TTS 模型，其中最具代表性的是 FastSpeech 9。

• 核心思想：FastSpeech 的核心创新在于它能够并行生成所有的梅尔频谱图帧，而不是逐帧生成 4。这使得其在梅尔频谱图生成阶段的推理速度比自回归模型快了数百倍（例如，比自回归 Transformer TTS 快 270 倍），极大地提升了端到端语音合成的效率 12。
• 前馈 Transformer (FFT) 模块：FastSpeech 的编码器和解码器均由前馈 Transformer (FFT) 模块堆栈而成。每个 FFT 模块由一个自注意力网络和一个一维卷积网络组成，并辅以残差连接和层归一化 9。这种设计充分利用了 Transformer 架构的并行处理能力。
• 长度调节器（Length Regulator）：这是实现并行生成的关键创新。由于输出的梅尔频谱图序列通常比输入的音素序列长得多，必须有一个机制来解决这种长度不匹配的问题。长度调节器通过一个**时长预测器（Duration Predictor）**来预测每个输入音素应该对应多少个频谱帧。然后，它根据预测的时长，对编码器输出的音素隐藏状态序列进行上采样（即重复），使其长度与目标梅尔频谱图的长度相匹配 9。这种机制用一种“硬”的、显式的对齐取代了 Tacotron 2 中“软”的、动态的注意力对齐，从而显著提高了模型的鲁棒性，几乎消除了漏词和重复词的问题 9。

2.4 增强表现力：FastSpeech 2 与可变性适配器

FastSpeech 解决了速度和鲁棒性问题，但其合成的语音在表现力上仍有欠缺，这源于 TTS 固有的“一对多”映射难题。FastSpeech 1 为了学习音素时长，依赖于一个复杂的“教师-学生”蒸馏流程，即从一个预训练好的自回归教师模型中提取时长信息 19。这个过程不仅繁琐，而且蒸馏得到的目标频谱图也损失了部分信息。

FastSpeech 2 通过引入可变性适配器（Variance Adaptor），极大地简化了训练流程并增强了表现力 19。

• 解决方案：FastSpeech 2 直接在真实的语音数据上进行训练，不再需要教师模型。它将可变性适配器插入到编码器和解码器之间，用于显式地建模那些无法仅从文本中推断出的语音可变性信息。
• 可变性适配器的组成：该模块包含多个预测器，用于预测并量化语音的各种属性 19：
  1. 时长预测器：预测每个音素的持续时间。与 FastSpeech 1 不同，其训练目标是使用外部强制对齐工具从真实音频中提取的、更准确的时长标签 19。长度调节器利用这个预测结果进行上采样。
  2. 音高预测器：预测基频（F0）轮廓，这是决定语音语调和情感的关键因素 19。
  3. 能量预测器：预测每个频谱帧的能量（幅度），这与语音的响度直接相关 19。

在训练时，这些可变性信息从真实音频中提取并作为模型的训练目标。在推理时，模型会预测这些值，并将它们添加到音素的隐藏状态序列中。这些丰富的条件信息被送入解码器，使得 FastSpeech 2 能够生成更具表现力、更自然的语音，并且允许用户通过调整这些参数来控制合成语音的风格 21。

2.5 迈向真正的端到端生成：VITS 与扩散模型

随着技术的发展，研究的焦点开始转向构建更加统一的、真正的端到端 TTS 模型，旨在将声学模型和声码器集成到一个单一的网络中。

• VITS (Variational Inference with Adversarial Learning for End-to-End TTS)：VITS 是这一方向上的一个里程碑式的工作。它在一个单一的前向传播过程中直接从文本生成音频波形，推理时无需独立的声码器 22。VITS 的强大之处在于它巧妙地融合了多种先进的深度学习技术 22：
  • 变分自编码器 (VAE)：VITS 采用 VAE 框架来对语音的潜在空间进行建模。这使其能够自然地捕捉文本与语音之间的“一对多”关系，通过从潜在分布中采样来生成多样的语音。
  • 归一化流 (Normalizing Flows)：通过归一化流增强 VAE，提升了对潜在变量分布的建模能力，使其能够学习更复杂的分布，从而提高生成语音的质量。
  • 生成对抗网络 (GANs)：VITS 的训练过程采用了对抗学习。一个判别器网络被用来区分真实音频和生成音频，通过这种对抗博弈，驱动生成器产生更真实、更高保真度的语音。
  • 单调对齐搜索 (MAS)：VITS 无需外部对齐工具，而是使用 MAS 算法在训练过程中隐式地学习文本和音频之间的对齐关系 22。
  • 从架构上看，VITS 可以被视为 GlowTTS 编码器和 HiFi-GAN 声码器的巧妙结合 22。
• 基于扩散的模型 (e.g., Matcha-TTS)：这是另一条新兴的技术路线。扩散模型将语音合成视为一个逐步去噪的过程，即从一个纯噪声信号开始，通过一个训练好的神经网络逐步将其还原为清晰的语音信号 26。这些模型通常基于随机微分方程（SDE）或常微分方程（ODE）来描述这一变换过程。像 Matcha-TTS 这样的模型，通过采用最优传输条件流匹配（OT-CFM）等技术，学习从噪声到数据的更简单、更直接的路径。这使得它们能够用比传统扩散模型更少的离散化步骤生成高质量的样本，从而在保证质量的同时实现更快的推理速度 26。

2.6 从频谱图到声音：神经声码器比较分析

声码器是 TTS 流水线中至关重要的一环，其性能直接决定了最终合成语音的保真度。它的核心任务是“反演”梅尔频谱图——一个主要包含幅度信息的表示——并从中重建出包含相位信息的完整音频波形 27。

• 自回归声码器 (e.g., WaveNet)：WaveNet 是神经声码器的开创性工作。它使用一个巨大的、带有扩张因果卷积的 CNN，以自回归的方式逐个采样点地生成音频波形 15。每个新采样点的生成都以之前的采样点和梅尔频谱图为条件。WaveNet 能够生成保真度极高的音频，但其逐点生成的特性使其计算量巨大，推理速度极慢，完全不适用于实时应用 30。
• 基于 GAN 的声码器 (e.g., MelGAN, HiFi-GAN)：为了解决速度问题，研究人员转向了非自回归的 GAN 声码器。这类声码器可以并行生成整个音频波形，速度比自回归模型快几个数量级 27。
  • HiFi-GAN：这是目前最先进的 GAN 声码器之一，它成功地在速度和质量之间取得了出色的平衡 31。HiFi-GAN 的核心创新在于其精巧的判别器设计。它没有使用单一的判别器，而是引入了两种判别器 33：
    1. 多周期判别器 (Multi-Period Discriminator, MPD)：MPD 由多个子判别器组成。每个子判别器只观察输入波形中以特定周期（period）采样的部分。由于语音信号本质上是由不同周期的正弦波叠加而成，这种设计使得模型能够有效地捕捉语音的周期性模式，从而避免伪影 33。
    2. 多尺度判别器 (Multi-Scale Discriminator, MSD)：MSD 与 MPD 类似，但它在不同尺度的音频上进行操作（例如，原始音频、2倍下采样音频、4倍下采样音频）。这使得判别器能够评估音频在不同时间分辨率下的结构，从局部细节到全局连续性 27。
  • 通过这种方式，HiFi-GAN 的生成器在对抗训练中被迫学习音频的周期性结构和多尺度特征，从而生成比早期 GAN 声码器（如 MelGAN）质量更高的音频 27。

TTS 模型的演进清晰地展示了一条由特定技术挑战驱动的架构创新路径。从 Tacotron 2 的“软”注意力到 FastSpeech 的“硬”对齐，再到 FastSpeech 2 的可变性适配器，核心问题始终围绕着对齐与时长。对速度的追求催生了并行架构，并行架构带来了对齐难题，进而催生了长度调节器。而长度调节器又暴露了表现力不足的问题，最终导致了可变性适配器的诞生。这是一个清晰的因果链：速度需求 → 并行架构 → 对齐问题 → 长度调节器 → 表现力问题 → 可变性适配器。这个链条中的“长度调节器”和“可变性适配器”是 TTS 模型中独有的、为解决语音模态特有问题而设计的关键组件，在标准 LLM 中完全不存在。

同时，从 FastSpeech 1 对教师模型的依赖，到 FastSpeech 2 的显式可变性建模，再到 VITS 的概率性 VAE 框架，我们看到了模型为解决“一对多”问题而进行的不断升级。这表明，随着 TTS 模型追求更高的自然度，其架构必须包含更复杂的概率和生成组件，以专门处理语音模态的丰富性和模糊性。这是 TTS 模型与 LLM 的一个主要分歧点，后者在标准文本生成任务中通常旨在找到最可能的一个下一个词元。

表1：关键 TTS 模型架构对比

第三部分：识别的科学 - 现代语音到文本（STT）模型架构

语音到文本识别（STT）或称自动语音识别（ASR）36，是与 TTS 相反的任务。它需要将连续、高维、且通常带有噪声的音频信号，转换为干净、离散的文本序列。STT 模型面临的主要挑战包括：处理声学环境的多样性（如背景噪声、口音、说话人风格），以及解决长音频输入与短文本输出之间的长度和对齐问题。

3.1 音频前端：从原始波形到机器可读特征

直接将原始音频波形作为 Transformer 模型的输入是不可行的。一段几秒钟的音频就可能包含数十万个采样点，如此长的序列长度会给 Transformer 带来巨大的计算和内存负担 28。因此，几乎所有的现代 STT 系统都依赖于一个

音频前端来预处理音频。

• 对数梅尔频谱图（Log-Mel Spectrograms）：这是 STT 领域最标准、最通用的音频特征 5。其生成过程是一个多步骤的信号处理流程，旨在提取对语音识别最重要且对无关变化（如说话人音色）最不敏感的信息 38：
  1. 分帧：将连续的音频信号切分成短的、有重叠的帧（例如，25 毫秒的窗口，10 毫秒的步长）5。
  2. 短时傅里叶变换 (STFT)：对每一帧应用 STFT，将其从时域转换到频域，得到该时间点的频谱 39。
  3. 梅尔尺度变换：将线性的频率轴映射到梅尔尺度上。梅尔尺度是一种基于人类听觉感知的非线性尺度，它在低频区域的分辨率更高，在高频区域的分辨率较低，这与人耳对音高的感知特性相符 38。这是通过一组三角梅尔滤波器组实现的。
  4. 对数变换：将频谱的幅度转换为对数尺度（通常是分贝），这也更符合人类对响度的感知 39。
• 优势：经过这一系列处理，原始的一维长序列波形被转换成了一个二维的、类似图像的表示。这种表示不仅在维度上大大压缩，计算效率更高，而且因为它基于人类的听觉感知特性，所以它本身就滤除了一部分与语音内容无关的冗余信息，使得后续的神经网络能够更轻松地学习 28。

3.2 规模的力量：Whisper 模型

OpenAI 的 Whisper 模型是现代 STT 领域的一个里程碑，它的成功深刻地展示了数据规模的力量。

• 架构：从架构上看，Whisper 并没有革命性的创新。它采用了一个标准的编码器-解码器 Transformer 结构 5。
• 输入处理：Whisper 将输入音频切分为 30 秒的片段，将每个片段转换为对数梅尔频谱图，然后通过一个小型 CNN 主干网络（stem）进行初步特征提取，最后将结果送入 Transformer 编码器 5。
• 核心差异：数据规模与弱监督学习：Whisper 的真正强大之处在于其训练方法。它在一个极其庞大且多样化的数据集上进行了训练，该数据集包含从互联网上收集的 680,000 小时的多语言、多任务的有标签音频 5。这种在“弱监督”数据（即标签质量参差不齐）上的大规模训练，赋予了模型前所未有的
  鲁棒性，使其能够很好地泛化到各种口音、背景噪声和语言环境中，而无需针对特定数据集进行微调（即强大的零样本迁移能力）37。
• 多任务能力：Whisper 通过在解码器输入端使用特殊的控制词元，被联合训练以执行多种任务。它不仅能进行标准的语音转录（\<|transcribe|>），还能将其他语言的语音直接翻译成英文（\<|translate|>），进行语种识别，甚至通过预测 \<|nospeech|> 词元来进行语音活动检测（Voice Activity Detection）5。

3.3 优化语音信号处理：Conformer 架构

与 Whisper 的“数据为王”哲学不同，Conformer 架构的提出基于一个核心论点：纯粹的 Transformer 并非处理语音信号的最佳选择。语音信号同时具有局部相关性（如音素的声学模式）和全局依赖性（如语法和语义）。

• 核心思想：Conformer 架构显式地将**卷积神经网络（CNN）和自注意力（Self-Attention）**结合在一个模块中，旨在同时利用 CNN 捕捉局部特征的能力和 Transformer 捕捉全局依赖的能力 10。
• Conformer 模块：这是 Conformer 的核心构建单元，它取代了标准的 Transformer 模块。其结构非常独特，被形象地称为“马卡龙式”（macaron-like）结构，因为它像一个三明治一样，将核心的注意力和卷积模块夹在两个前馈网络模块之间 10：
  1. 第一个前馈网络模块（半步残差连接）
  2. 多头自注意力模块（负责全局上下文建模）
  3. 卷积模块（负责局部相关性建模）
  4. 第二个前馈网络模块（半步残差连接）
• 这种精心设计的结构使得模型能够以一种参数高效的方式，同时学习局部声学模式和长距离的语言依赖关系 10。实践证明，基于 Conformer 及其变体（如 E-Branchformer 45 和 FastConformer 46）的模型，通常能在各种 ASR 基准测试中取得顶尖性能，而且所需的数据量远少于像 Whisper 这样的大规模模型 46。

3.4 解开对齐难题：连接时序分类（CTC）

STT 的一个核心难题是对齐：一个长度为 T 的音频帧序列需要被映射到一个长度为 L 的文本序列，其中 T 通常远大于 L，并且我们不知道哪个音频帧对应哪个字符。

• CTC 损失函数：连接时序分类（Connectionist Temporal Classification, CTC）是专门为解决这类序列到序列对齐问题而设计的损失函数 47。它的工作原理如下：
  1. 在输出字符集的基础上，引入一个特殊的**空白（blank）**词元，通常表示为 \<ϵ>。
  2. 模型的神经网络（通常是编码器）在每个时间步（即每个音频帧）输出一个概率分布，这个分布涵盖了所有字符以及这个空白词元。
  3. 对于一个给定的（音频，文本）对，CTC 算法会计算所有可能的、可以经过“塌缩”规则（首先合并连续的重复字符，然后移除所有空白词元）得到正确目标文本的路径的概率总和 48。
  4. 模型的目标就是最大化这个总概率。通过这种方式，CTC 允许模型在不需要帧级别精确对齐标注的情况下进行端到端的训练。
• 混合 CTC/Attention 架构：这是一种在现代 STT 中非常流行且极为有效的架构范式 49。它通常采用一个共享的编码器，但在编码器的顶部有两个并行的输出“头”：一个用于计算 CTC 损失，另一个连接到一个基于注意力的解码器（用于计算标准的交叉熵损失）。最终的训练目标是这两个损失的加权和。
  • 原理：CTC 的一个关键特性是它强制执行单调对齐（即输出字符的顺序必须与输入音频的顺序一致），这对于语音识别任务来说是一个非常强的先验知识。在混合架构中，CTC 损失就像一个强大的正则化器，它引导编码器学习单调的、更符合语音特性的对齐方式。这有助于约束更为灵活但有时不稳定的注意力机制，防止其产生不合理的对齐（如跳过或重复），从而使模型收敛更快、性能更鲁棒 50。

3.5 下一波浪潮：状态空间模型（Mamba）

尽管 Transformer 非常强大，但其核心的自注意力机制在计算和内存上都与序列长度成二次方关系（O(N2)），这使其在处理极长序列（如高分辨率的原始音频）时成为性能瓶颈 43。

• 结构化状态空间模型 (SSMs)：SSMs 及其最新的高效变体 Mamba，作为 Transformer 的一种替代方案，正受到越来越多的关注 47。这类模型的核心优势在于它们能够以
  线性时间复杂度（O(N)）处理序列。
• Mamba 的创新：Mamba 通过引入输入依赖的参数和一个选择机制，对传统的 SSMs 进行了改进。这使得模型能够根据输入内容动态地、有选择性地将上下文信息压缩到一个紧凑的隐藏状态中，或者“遗忘”不重要的历史信息。这种机制使其能够在保持线性复杂度的同时，有效地捕捉长距离依赖关系，推理速度和训练效率都远超 Transformer 47。像 Samba ASR 这样的新架构已经开始在编码器和解码器中都使用 Mamba 模块，并在一些 ASR 任务上展现出超越 Transformer 模型的性能 47。

STT 领域的架构发展揭示了一场对抗信息过载和模糊性的战斗。STT 模型的首要任务是对一个嘈杂、高维的连续信号进行积极的压缩和过滤，以提取出干净、低维的离散符号。这就是为什么音频前端和像 Conformer 这样的混合架构如此关键的原因。前端基于人类听觉感知原理，主动丢弃了大量无关信息（如相位、人耳不敏感的高频细节）28。而 Conformer 的卷积模块则是专门为在剩余的信号中寻找鲁棒的局部声学模式而设计的 10。这与 LLM 的设计哲学形成鲜明对比，后者试图保留并建模输入文本中的所有信息。

此外，STT 领域还展现了两种成功路径之间的有趣张力：规模 vs. 架构。Whisper 的架构是标准的 Transformer，但其惊人的泛化能力主要源于其 68 万小时的庞大训练数据 37。而基于 Conformer 的模型，如 Canary，可以用远少于 Whisper 的数据量（一个数量级）在基准测试中取得相当甚至更好的性能 46。这揭示了一个根本性的权衡：是应该用更“智能”的、包含更多领域先验知识的架构来弥补数据的不足，还是用“暴力”的数据规模来让一个更通用的架构变得足够强大？这两种不同的设计哲学塑造了现代 STT 技术的格局。

表2：关键 STT 模型架构对比

第四部分：综合比较与未来展望

通过对 LLM、TTS 和 STT 模型架构的深入剖析，我们可以看到，尽管它们共享 Transformer 这一共同的祖先，但为了适应各自独特的任务和模态，它们已经演化出了截然不同的形态。本部分将对这些差异进行综合比较，并探讨该领域向统一多模态智能体演进的未来趋势。

4.1 核心架构分歧：正面比较

LLM、TTS 和 STT 在架构上的根本差异源于它们处理的模态阻抗不匹配（Modality Impedance Mismatch）问题，即离散的符号世界（文本）与连续的物理世界（音频）之间的鸿沟。

• 输入/输出模态：这是最根本的区别。
  • LLM: 文本 → 文本 (Text-to-Text)
  • TTS: 文本 → 语音 (Text-to-Speech)，离散到连续的扩展过程。
  • STT: 语音 → 文本 (Speech-to-Text)，连续到离散的压缩过程。
• 序列特性：
  • LLM: 输入输出均为由有限词汇表构成的符号序列，长度相对可控。
  • 语音: 作为一种物理信号，音频波形是连续值的、极长的、且充满噪声的序列，没有固定的“词汇表”。
• 核心技术挑战：
  • LLM: 主要挑战是上下文推理、知识建模和事实准确性。
  • TTS: 主要挑战是一对多映射（生成多样自然的韵律）和高保真波形合成。
  • STT: 主要挑战是对噪声和变化的鲁棒性（口音、环境等）以及音频与文本的对齐。
• 关键架构解决方案：为了应对上述挑战，各类模型演化出了独特的、不可或缺的组件：
  • LLM: 依赖于大规模堆叠的自注意力和前馈网络模块。
  • TTS: 必须包含一个声码器（如 HiFi-GAN）用于波形生成，以及一个对齐机制（如长度调节器或 VAE 框架）来解决长度和韵律问题。
  • STT: 必须包含一个音频前端（如对数梅尔频谱图）来预处理信号，并且通常采用混合编码器（如 Conformer）或专门的损失函数（如 CTC）来增强鲁棒性和解决对齐问题。

表3：LLM vs. STT/TTS 根本架构区别

4.2 Transformer 作为通用骨干

尽管存在上述显著差异，Transformer 的编码器-解码器范式仍然是连接这三个领域的通用语言和骨干架构 1。模型的灵活性体现在其适应不同任务的能力上：

• STT 的适配：将 Transformer 编码器用于处理频谱图序列，输出端可以连接一个 CTC 损失头，或者一个标准的文本解码器 5。
• TTS 的适配：将 Transformer 编码器用于处理文本序列，解码器则用于生成频谱图序列，并在此基础上增加了可变性适配器等专门组件 9。

这充分证明了自注意力机制作为一种通用关系建模工具的强大能力，它既能处理离散的符号序列，也能处理准连续的频谱序列。

4.3 趋于融合：统一模型与“语音大模型”

语音和语言处理领域的最终目标是构建能够进行无缝、自然对话的智能体。这推动着原本独立的 STT、LLM 和 TTS 模型走向融合。

• 流水线方法：目前，构建语音助手最常见的方式是采用一个模块化的流水线 52。用户的语音首先由 STT 模型转录为文本；然后，LLM 理解该文本并生成文本回复；最后，TTS 模型将回复文本合成为语音播放给用户。这种方法虽然实现简单、模块可插拔，但存在固有缺陷：STT 的错误会传递给 LLM，导致理解偏差；从语音到文本的转换过程丢失了重要的非语言信息，如情感和韵律，使得 LLM 的回复无法根据用户的语气进行调整。
• 统一 STT/TTS 模型：为了提高效率和性能，研究人员开始探索将 STT 和 TTS 任务在单一模型中联合训练。例如，STTATTS 模型使用一个共享的编码器-解码器骨干网络和共享参数，通过多任务学习目标同时优化 ASR 和 TTS 任务 54。这种方法不仅显著减少了模型参数量（约 50%），还可能通过跨任务知识迁移提升性能。
• “语音大模型” (Speech LLMs) 的兴起：这是该领域的前沿方向，旨在彻底打破流水线模式。Speech LLM 不再将语音视为需要预处理成文本的信号，而是将其作为一种一等模态直接输入到大型模型中。这些模型通常遵循一个三阶段范式：音频特征提取 → 多模态信息融合 → LLM 推理 55。
  • 新的能力：Speech LLM 的能力远不止于简单的转录或合成。通过将丰富的声学特征与 LLM 强大的推理能力直接融合，它们能够实现真正的语音理解（Speech Understanding）和情境化语音生成。这催生了许多新应用 56：
  • 语音到文本翻译 (ST)：直接将一种语言的语音翻译成另一种语言的文本 55。
  • 语音情感识别 (SER)：从语音中识别说话者的情绪 55。
  • 口语问答与摘要：直接对一段语音进行提问或生成其内容摘要 56。
  • 韵律和情感控制：用户可以用自然语言指令来控制生成语音的风格，例如“用更兴奋的语气说这句话”57。

4.4 结论：通往真正的多模态对话式人工智能之路

从分离的、为特定任务高度优化的模型，到走向融合的统一架构，再到最终的 Speech LLM，语音和语言技术的架构演进路径清晰地指向一个目标：构建能够像人类一样、在统一的认知框架下无缝处理和理解多种信息模态的通用智能体。

LLM 与现代 TTS/STT 模型之间的区别正在逐渐变得模糊。与其说它们是根本不同的实体，不如说它们代表了将通用序列处理能力（源自 Transformer）应用于不同数据模态的特定阶段。STT 和 TTS 模型架构中的那些独特组件——音频前端、混合编码器、CTC、长度调节器、声码器——可以被视为是为了弥合文本和语音之间“模态鸿沟”而设计的“适配器”。

随着 Speech LLM 的发展，这些“适配器”正被更紧密地集成到大模型的核心中，使得语音成为 LLM 的原生输入和输出。未来，我们比较的将不再是 STT、TTS 和 LLM 这三个独立的模型类别，而是评估一个统一的多模态推理引擎在不同语音和语言任务上的综合表现。这场架构的演进，最终将通向一个能够真正“倾听”、“思考”和“言说”的、更加通用和强大的人工智能。

引用的著作

1. [1706.03762] Attention Is All You Need - arXiv, 访问时间为 七月 15, 2025， https://arxiv.org/abs/1706.03762
2. What is self-attention? | IBM, 访问时间为 七月 15, 2025， https://www.ibm.com/think/topics/self-attention
3. LLM Transformer Model Visually Explained - Polo Club of Data Science, 访问时间为 七月 15, 2025， https://poloclub.github.io/transformer-explainer/
4. What is FastSpeech - Activeloop, 访问时间为 七月 15, 2025， https://www.activeloop.ai/resources/glossary/fast-speech/
5. Whisper (speech recognition system) - Wikipedia, 访问时间为 七月 15, 2025， https://en.wikipedia.org/wiki/Whisper_(speech_recognition_system)
6. Understanding Transformer Architecture: How Self-Attention Helps LLMs Understand Context | HerWILL, 访问时间为 七月 15, 2025， https://www.herwill.org/news-2/understanding-transformer-architecture%3A-how-self-attention-helps-llms-understand-context-
7. Demystifying Transformer Architecture in Large Language Models - TrueFoundry, 访问时间为 七月 15, 2025， https://www.truefoundry.com/blog/transformer-architecture
8. A Deep Dive into the Self-Attention Mechanism of Transformers | by Shreya Srivastava | Analytics Vidhya | Medium, 访问时间为 七月 15, 2025， https://medium.com/analytics-vidhya/a-deep-dive-into-the-self-attention-mechanism-of-transformers-fe943c77e654
9. FastSpeech architecture - learnius, 访问时间为 七月 15, 2025， https://learnius.com/slp/9+Speech+Synthesis/2+Advanced+Topics/1+Acoustic+Model/FastSpeech+architecture
10. Conformer: Convolution-augmented Transformer for ... - ISCA Archive, 访问时间为 七月 15, 2025， https://www.isca-archive.org/interspeech_2020/gulati20_interspeech.pdf
11. Non-Attentive Tacotron: Robust and Controllable Neural TTS Synthesis Including Unsupervised Duration Modeling - arXiv, 访问时间为 七月 15, 2025， https://arxiv.org/pdf/2010.04301
12. [1905.09263] FastSpeech: Fast, Robust and Controllable Text to Speech - arXiv, 访问时间为 七月 15, 2025， https://arxiv.org/abs/1905.09263
13. Natural TTS Synthesis by Conditioning WaveNet on Mel ..., 访问时间为 七月 15, 2025， https://arxiv.org/abs/1712.05884
14. Towards Controllable Speech Synthesis in the Era of Large Language Models: A Survey, 访问时间为 七月 15, 2025， https://arxiv.org/html/2412.06602v1
15. Tacotron 2 Explained | Papers With Code, 访问时间为 七月 15, 2025， https://paperswithcode.com/method/tacotron-2
16. Tacotron2 architecture - learnius, 访问时间为 七月 15, 2025， https://learnius.com/slp/9+Speech+Synthesis/1+Fundamental+Concepts/6+Acoustic+Model/Tacotron2+architecture
17. FastSpeech: Revolutionizing Speech Synthesis with Parallel Processing - Vapi, 访问时间为 七月 15, 2025， https://vapi.ai/blog/fast-speech
18. FastSpeech: Fast, Robust and Controllable Text to Speech, 访问时间为 七月 15, 2025， https://arxiv.org/pdf/1905.09263
19. [2006.04558] FastSpeech 2: Fast and High-Quality End-to-End Text to Speech - ar5iv, 访问时间为 七月 15, 2025， https://ar5iv.labs.arxiv.org/html/2006.04558
20. fastspeech 2: fast and high-quality end-to- end text to speech - arXiv, 访问时间为 七月 15, 2025， https://arxiv.org/pdf/2006.04558
21. FastSpeech 2 Explained | Papers With Code, 访问时间为 七月 15, 2025， https://paperswithcode.com/method/fastspeech-2
22. VITS architecture - learnius, 访问时间为 七月 15, 2025， https://learnius.com/slp/9+Speech+Synthesis/2+Advanced+Topics/3+End-to-End+Models/VITS+architecture
23. VITS: Conditional Variational Autoencoder with Adversarial Learning for End-to-End Text-to-Speech - GitHub, 访问时间为 七月 15, 2025， https://github.com/jaywalnut310/vits
24. VITS - TTS 0.22.0 documentation - Coqui, 访问时间为 七月 15, 2025， https://docs.coqui.ai/en/latest/models/vits.html
25. VITS - Hugging Face, 访问时间为 七月 15, 2025， https://huggingface.co/docs/transformers/model_doc/vits
26. Matcha-TTS: A fast TTS architecture with conditional flow matching - arXiv, 访问时间为 七月 15, 2025， https://arxiv.org/html/2309.03199v2
27. BemaGANv2: A Tutorial and Comparative Survey of GAN-based Vocoders for Long-Term Audio Generation - arXiv, 访问时间为 七月 15, 2025， https://arxiv.org/html/2506.09487v1
28. Unit 3. Transformer architectures for audio - Hugging Face Audio ..., 访问时间为 七月 15, 2025， https://huggingface.co/learn/audio-course/chapter3/introduction
29. FastSpeech 2s Explained | Papers With Code, 访问时间为 七月 15, 2025， https://paperswithcode.com/method/fastspeech-2s
30. IMPROVING GAN-BASED VOCODER FOR FAST AND HIGH-QUALITY SPEECH SYNTHESIS - ISCA Archive, 访问时间为 七月 15, 2025， https://www.isca-archive.org/interspeech_2022/mengnan22_interspeech.pdf
31. Generative Adversarial Network based Neural Vocoder for Myanmar End-to-End Speech Synthesis - ACL Anthology, 访问时间为 七月 15, 2025， https://aclanthology.org/2024.icnlsp-1.3.pdf
32. HiFi-GAN: Generative Adversarial Networks for Efficient and High Fidelity Speech Synthesis, 访问时间为 七月 15, 2025， https://arxiv.org/abs/2010.05646
33. SpecDiff-GAN: A Spectrally-Shaped Noise Diffusion GAN for Speech and Music Synthesis, 访问时间为 七月 15, 2025， https://arxiv.org/html/2402.01753v1
34. High-Fidelity Music Vocoder using Neural Audio Codecs - arXiv, 访问时间为 七月 15, 2025， https://arxiv.org/html/2502.12759v1
35. HiFi-GAN: Generative Adversarial Networks for Efficient and High ..., 访问时间为 七月 15, 2025， https://arxiv.org/pdf/2010.05646
36. Speech recognition - Wikipedia, 访问时间为 七月 15, 2025， https://en.wikipedia.org/wiki/Speech_recognition
37. Robust Speech Recognition via Large-Scale Weak Supervision, 访问时间为 七月 15, 2025， https://arxiv.org/pdf/2212.04356
38. Audio features for web-based ML - Boris Smus, 访问时间为 七月 15, 2025， https://smus.com/web-audio-ml-features/
39. Understanding the Mel Spectrogram | by Leland Roberts | Analytics Vidhya | Medium, 访问时间为 七月 15, 2025， https://medium.com/analytics-vidhya/understanding-the-mel-spectrogram-fca2afa2ce53
40. Exploring Mel Spectrograms: A Powerful Feature Extraction Tool for Audio Signals - Medium, 访问时间为 七月 15, 2025， https://medium.com/@kunalkushwahatg/exploring-mel-spectrograms-a-powerful-feature-extraction-tool-for-audio-signals-3b68ff6fcf96
41. openai.com, 访问时间为 七月 15, 2025， https://openai.com/index/whisper/#:\~:text=The%20Whisper%20architecture%20is%20a,then%20passed%20into%20an%20encoder.
42. Speech Recognition With Conformer - NVIDIA Docs, 访问时间为 七月 15, 2025， https://docs.nvidia.com/tao/tao-toolkit-archive/tao-40/text/asr/speech_recognition_with_conformer.html
43. Conformer-1: A robust speech recognition model trained on 650K hours of data, 访问时间为 七月 15, 2025， https://www.assemblyai.com/blog/conformer-1
44. Conformer: Convolution-augmented Transformer for Speech Recognition #nlp - YouTube, 访问时间为 七月 15, 2025， https://www.youtube.com/watch?v=k8GLcH_8QvY
45. OWSM v3.1: Better and Faster Open Whisper-Style Speech Models based on E-Branchformer - arXiv, 访问时间为 七月 15, 2025， https://arxiv.org/html/2401.16658v3
46. Less is More: Accurate Speech Recognition & Translation without Web-Scale Data - arXiv, 访问时间为 七月 15, 2025， https://arxiv.org/html/2406.19674v1
47. Samba-ASR: State-Of-The-Art Speech Recognition Leveraging Structured State-Space Models - arXiv, 访问时间为 七月 15, 2025， https://arxiv.org/html/2501.02832v2
48. Sequence Modeling with CTC - Distill.pub, 访问时间为 七月 15, 2025， https://distill.pub/2017/ctc/
49. Our proposed Joint CTC-attention based end-to-end framework: the shared... - ResearchGate, 访问时间为 七月 15, 2025， https://www.researchgate.net/figure/Our-proposed-Joint-CTC-attention-based-end-to-end-framework-the-shared-encoder-is_fig1_308457613
50. Hybrid CTC/Attention Architecture for End-to-End Speech Recognition, 访问时间为 七月 15, 2025， https://www.merl.com/publications/docs/TR2017-190.pdf
51. Online Hybrid CTC/attention End-to-End Automatic Speech Recognition Architecture - arXiv, 访问时间为 七月 15, 2025， https://arxiv.org/pdf/2307.02351
52. How to Choose STT & TTS for AI Voice Agents in 2025: A Comprehensive Guide - Softcery, 访问时间为 七月 15, 2025， https://softcery.com/lab/how-to-choose-stt-tts-for-ai-voice-agents-in-2025-a-comprehensive-guide/
53. Symphony of Voice: The Evolution of AI's Orchestration Layer in Voice Technology - HastingsNow, 访问时间为 七月 15, 2025， https://www.hastingsnow.com/blog/symphony-of-voice-the-evolution-of-ais-orchestration-layer-in-voice-technology
54. STTATTS: Unified Speech-To-Text And Text-To-Speech Model, 访问时间为 七月 15, 2025， https://arxiv.org/abs/2410.18607
55. arxiv.org, 访问时间为 七月 15, 2025， https://arxiv.org/html/2410.18908v3
56. A Survey on Speech Large Language Models for Understanding - arXiv, 访问时间为 七月 15, 2025， https://arxiv.org/html/2410.18908v5
57. The Future of Voice: How Large Language Models are Transforming Text-to-Speech, 访问时间为 七月 15, 2025， https://www.youtube.com/watch?v=1UoX13dWngY