质量、可懂度、延迟与评测
本节目标
把“听起来不错”拆成可懂度、自然度、内容正确性、说话人一致性、稳定性和系统延迟。
主观评测
MOS（Mean Opinion Score，平均意见分）通常让听众在有定义的等级上评分，再取平均。它对实验说明、样本、播放设备、听众语言和量表非常敏感；不同实验的 MOS 不能脱离设计直接横比。成对偏好（A/B）让听众选择更偏好的版本，适合小差异，但仍需随机顺序、隐藏系统标签、反平衡顺序和足够样本。
至少把问题分开：
- 自然度：像自然语音吗？
- 可懂度：内容能否正确听出？
- 内容正确性：数字、人名、否定和单位是否读对？
- 适配性：语气是否符合场景，而非是否喜欢某种声音。
涉及可识别声音时，听众评价和样本展示也必须在授权范围内。
测试协议至少记录：文本/source_revision、声音目录/模型/配置版本、输出格式、听众资格与语言能力、播放设备/音量规则、随机化方法、排除规则、样本数和不确定性。无障碍场景还应让目标用户参与，而不是把实验室自然度分数当作可访问性的替代。
客观与系统指标
可以用 ASR 回转测可懂度代理：合成后再识别并算 WER，但结果同时受 ASR 偏差影响，不能替代人听。还应测发音词典命中、数字/日期 exact match、否定词/金额等高风险语义的人工核验、静音比例、削波、音频时长异常和失败率。客观音频特征只能提示异常，不等价于“自然”“安全”或“获得授权”。
系统侧记录 p50/p95/p99 首包延迟、首个可播放字节延迟、总生成/播放完成延迟、实时率、超时、取消成功率、未知终态率和缓存命中。把短句与长句、语言、声音、输出格式、流式/批处理、网络条件和客户端能力切片；不要把服务端首包当作用户已听到声音。
实验设计
冻结文本集、声音、配置、设备与版本；样本顺序随机、音量归一且不泄露系统标签。报告听众数、每项样本数、评分说明和不确定性。不要只挑“演示最好”的句子，也要包含数字、缩写、多语言、长句、名称、否定、警告和中断/取消边界。
候选发布由 release_id 绑定到评测报告、授权/披露策略和输出 contract。模型、词典、normalization 或 codec 任一项变更都可能要求重新评测；不要因为文本相同就沿用旧结论。
练习与自测
- 设计 20 条覆盖数字、姓名、列表、疑问和警告的评测文本。
- 为什么 ASR 回转 WER 低不等于自然？机器人声音也可能很清楚。
- p95 首包延迟改善但取消失败率上升，应否直接上线？不能，只看一个指标不足。
下一步与参考
下一步学习 克隆风险、披露与可追溯性。主观听测方法参考 ITU-T P.800（获取日期：2026-07-22）；具体实验需遵循所采用版本的正文，而不是只引用“MOS”名称。