质量、效用与真实数据校准
本节目标
从结构有效、语义正确、覆盖、多样性、分布保真、下游效用和风险多维评价合成数据，并用独立真实留出验证。
直觉解释
合成数据可以非常流畅，却只覆盖几个容易模式；也可以与真实数据统计相似，却对目标模型训练毫无帮助。质量必须相对于用途定义，没有一个“通用合成质量分”能替代下游验证。
核心概念
- validity：schema 和业务规则是否成立。
- fidelity：合成分布在目标统计或结构上与真实参考的接近程度。
- coverage：预定条件空间哪些区域被覆盖。
- diversity：样本之间的非冗余变化；表面词汇变化不等于任务多样性。
- downstream utility：数据用于训练、评测或模拟后是否改善目标决策。
- TSTR：在合成数据上训练、在真实留出上测试的一类效用检查；只适用于相应训练任务。
- calibration set：独立、授权且不用于生成/调参的真实小样本，用于校准指标或人工判断。
质量维度之间不能互相抵消
结构 100% 有效不能抵消错误标签；高真实度不能抵消隐私风险；总体效用提升不能抵消关键安全切片退化。先把 privacy/source/critical correctness 设为硬门，再以 Pareto 方式报告覆盖、多样性、成本和效用。若团队必须聚合总分，仍需单列硬失败和各维分数，避免一个平均值隐藏不可交换的风险。
常见的训练效用对比至少包含：不用合成数据、只用真实数据、只用合成数据、真实+合成。训练预算、模型、超参数和真实留出保持一致；报告多个 seed 和切片，不只挑最好一次。评测型合成数据则看它能否稳定复现专家确认的失败、区分冻结基线，并与真实 case 的系统排序/错误类型一致。
分步骤方法
- 按用途列出质量维度和硬门槛，不把所有维度平均。
- 样本级抽查覆盖每个条件层、每种 generator 和每类拒绝边界。
- 报告 schema 通过率、标签一致性、重复率和条件覆盖，而不是只报保留数量。
- 与真实参考比较长度、类别、关键字段、相关结构和失败模式；公开参考样本量。
- 训练用途用固定真实测试比较“真实训练”“合成训练”“混合训练”和简单基线。
- 评测用途用真实故障/专家 case 检查系统排名与错误模式是否一致。
- 检查合成数据加入后是否改变小群体、稀有层和风险失败，不只看总体。
- 生成、过滤或模型版本改变后重复校准。
真实留出必须“独立”到足以支持声明：不能作为 generator seed、prompt 示例、judge 校准又用于最终效用结论。若真实数据很少，可交叉验证或 bootstrap 表达不确定性，但任何重采样都不会补出缺失人群。把样本量、选择方式、授权边界与未覆盖层写进报告。
示例
一个评测型数据集可以使用如下仪表板：
| 维度 | 证据 | 不能推出 |
|---|---|---|
| schema 有效 | 解析与字段规则 | 标签正确 |
| 条件覆盖 | 每格样本数与缺口 | 真实分布比例 |
| 人工正确率 | 分层盲审与分歧 | 所有未审样本都正确 |
| 系统区分度 | 多个冻结基线的差异 | 生产效果 |
| 真实故障召回 | 能否复现已知失败 | 未知风险均已覆盖 |
| 隐私风险 | 攻击/相似审查或形式保证 | 零风险 |
NIST 的 SDNist v1.4 工具以特定表格数据场景比较 utility 与 privacy 指标，可用于理解“多维报告”的思想；官方页面列出的软件最后更新日期为 2022-02-01。它不是文本/Agent 数据的通用认证器，也不能把其数值直接套入本课程。
常见错误与排查
- 把 generator judge 当唯一质量真值：引入规则、专家和真实留出。
- 只比较词频或 Embedding 距离：补充任务标签、行为和下游效用。
- 用同一真实样本生成又校准：准备独立留出，避免循环证明。
- 只看总体平均：按语言、条件、风险和来源分层。
- 合成训练提升一次就永久有效：分布和模型变化后重新验证。
练习
- 为合成 RAG 问题写 validity、coverage、utility 各两个指标。
- 设计一个真实小留出，不让它参与提示、生成或过滤调参。
- 解释为什么高多样性也可能降低标签质量，并设计 Pareto 报告。
自测
- 与真实数据分布相似能否证明训练有效？不能，需做固定下游任务测试。
- 合成数据能发现真实数据没有的边界吗？可以，但这证明覆盖，不证明发生频率。
- 真实留出很小怎么办？报告不确定性、分层不足和人工证据，不夸大结论。
小结与下一步
合成质量由目标效用和独立证据决定。进入 隐私、记忆、偏差与版权，审查即使“有用”也可能不可接受的风险。
参考资料
- NIST SDNist Synthetic Data Report Tool（页面列出 v1.4、最后更新 2022-02-01；获取日期：2026-07-14）
- NIST PETs Testbed（获取日期：2026-07-14）
- Data Cards 原始论文与官方页面（获取日期：2026-07-14）