数据标注与切分
本节目标
设计一致的转写规范、片段边界和训练/验证/测试划分，避免说话人或节目泄漏。
转写不是“听到什么就随便写”
标注指南应规定：大小写、标点、数字、缩写、填充词、口吃、重叠语音、听不清片段、外语切换和非语音事件。标注还应区分观察到的语言/文字与模型猜测；若使用语言标签，声明采用的 BCP 47 子集和未知/混合语言处理，不从姓名、口音或匿名说话人标签反推身份。至少保留两层：
verbatim_text：尽量忠实记录说话内容。normalized_text：按评测或产品规则把“二零二六”转换为“2026”等。
如果只保存规范化文本，就无法判断识别错误来自模型还是规则。听不清、重叠和非语音事件必须使用本数据版本中定义的统一标签并记录原因，不让标注员自行猜测；标签本身是转写约定，不等于模型应该凭空输出的词。
分段边界
片段太短会割断词，太长会增加延迟和内存并让说话人混合。边界可结合静音、句法和最大时长；每段保留上下文重叠时，要在合并阶段去重。时间戳需声明半开/闭区间、单位、舍入规则和零点。例如 [12.340, 14.200) 表示相对 asset_start 的半开秒区间；不能把上传墙钟、播放器位置和模型帧索引混为同一个时间轴。
若标注包含匿名说话人，speaker_0 只是在该资产/会话内的标签。跨会话能否对应、重叠是否存在、标签是否不确定，都应在数据合同中另列，不能把 diarization 结果当作身份认证。
防止数据泄漏
同一说话人、同一节目、同一会议或同一录音的切片高度相似，不应随机散落到训练和测试。优先按说话人/会话/来源组划分，并把派生的重采样、裁剪、增强和文本规范化版本与原始 source_revision 一起分组。模板化开场白、背景音乐、设备噪声和同一脚本的改读也可能成为捷径。
评测集应覆盖语言、口音、年龄段、设备、噪声、语速等真实切片；开发集用于调阈值、词表和规范化，最终测试集不能被这些选择反复“看见”。收集和报告敏感属性必须有明确目的、授权和最小化措施。
质量检查
- 自动检查结束时间大于开始时间、无非法重叠、文本编码有效、
segment_id唯一和语言/标签在允许集合内。 - 抽样复听，并计算标注者一致性或争议率；争议要回到指南或复核流程，而不是静默“投票抹平”。
- 保留指南、修订记录、数据/许可版本和拆分清单；修订测试集时单独报告，不与旧分数直接横比。
练习与自测
- 为客服录音写 8 条转写规则。
- 为什么同一说话人的相邻片段不能随机拆分？会高估对新说话人的泛化。
- 设计“听不清”和“两人重叠”的标注方式及复核流程。
下一步与参考
下一步学习 VAD、分段、时间戳与说话人。评测数据设计可参考 NIST OpenASR 2020 Evaluation Plan（获取日期：2026-07-22）；你的标注规则、拆分粒度和数据许可必须与实际任务一致。