音素、韵律与声码器直觉
本节目标
不用训练模型，也能解释发音、韵律、声学表示和波形生成的分工。
发音单位
音素（phoneme） 是能区分词义的最小语音单位；同一字母在不同词或语言中可能对应不同音素。字素到音素（grapheme-to-phoneme, G2P） 把书写形式映射为发音序列。姓名、缩写和多音字常需要词典或上下文。音素表、词典和语言标签都属于模型/前处理版本的一部分；不能拿一个语言的词典或 IPA 记法直接假定另一个引擎、口音或地区也会这样读。
韵律
韵律（prosody） 包括节奏、重音、语调、停顿和速度。它不仅影响“自然”，也影响意思：疑问语调、列表停顿和否定重音都会改变理解。工程上不要用单一“情绪”标签概括所有韵律，应该定义可观察的控制和评测目标。
从文本到波形
一种常见分工是：
- 文本/音素编码器建立语言表示。
- 声学模型预测梅尔频谱等中间声学表示。
- 声码器（vocoder） 把声学表示变成波形。
Tacotron 2 是“预测梅尔频谱 + 神经声码器”的代表；FastSpeech 2 强调并行、时长/音高/能量等控制；VITS 展示端到端联合建模路线。这些论文帮助理解设计空间，不表示当前产品一定采用相同架构。端到端模型也没有消除文本规范化、声音授权、输出编码、评测与撤销等系统职责。
波形生成之后仍有一层交付表示：重采样、音量处理、container/codec 编码、分片和播放缓冲。音频听感问题可能来自模型，也可能来自后续的重采样、低码率编码、削波或客户端解码。调试时至少区分：模型输出的采样率/声道、编码后的文件参数、播放器实际接收的块大小和时间线；不要只用一个“音色模型”解释所有故障。
常见失真与定位
- 发音错：查规范化、词典、语言和音素。
- 节奏怪：查分句、停顿、时长和韵律控制。
- 金属感/爆音：查声码器、采样、编码和削波。
- 长句漏词：查输入长度、对齐和分段，而非只调音色。
- 数字/姓名读错：先查语言、文本规范化与发音规则，再查模型。
练习与自测
- 用“重音不同会改变意图”的句子设计两种朗读说明。
- 声码器的输入一定是文本吗？不一定，常见输入是声学表示。
- 端到端是否消除了规范化和授权？没有，它们是系统外层职责。
下一步与参考
下一步学习 数据与声音授权。参考 Tacotron 2、FastSpeech 2、VITS 原始论文（获取日期：2026-07-22）。论文结果受数据、实现和实验设置限制，不直接等同于你的场景性能。