数据合成

知识库简介

数据合成（synthetic data）是通过规则、模拟器、统计模型或生成模型构造的新样本。它可以补齐稀有条件、生成可控测试、降低人工起草成本，也可能用于训练或隐私保护研究；但它不会自动真实、无偏、私密、无版权风险或适合目标任务。

本知识库以 AI Agent Engineer 的评测数据为主线：先写用途和数据契约，再用模板与模型生成覆盖条件，经过过滤、去重、组级划分、真实数据校准、风险审查和版本化发布。核心原则是“生成只是候选样本生产，质量证据来自独立验证”。

这里的“数据合成”覆盖四类方法：模板与组合生成、状态机/模拟器、统计合成，以及模型生成。它们提供的保证不同：模板便于验证但语言变化有限；模拟器能产生轨迹和最终状态但依赖环境模型；统计合成可近似选定统计量却不自动保护隐私；生成模型能扩展开放表达但会带来标签、记忆、偏差和来源风险。选择方法前必须先确定用途，而不是先选择热门工具。

重要边界

“synthetic” 不是隐私保证。生成模型可能复现训练内容；基于敏感原始数据的统计合成也可能泄露。只有符合明确定义且正确实现/审计的机制（例如差分隐私）才提供相应形式保证。法律、许可和个人信息处理需由组织内合格人员结合数据来源与司法辖区判断。

在总路线中的位置

本库位于“生产化、评测与治理”阶段。先学习 数据清洗、数据标注 和 评测体系；随后可为 Benchmark设计 补充压力层，或为模型/Agent 训练准备候选数据。

学习目标

• 按评测、训练、模拟或隐私发布用途写数据契约和停止条件。
• 用模板、因子矩阵和固定 seed 生成可重复且可追溯的样本。
• 设计模型生成流水线，控制条件配额而非盲目追求数量。
• 执行 schema、规则、质量、精确/近重复过滤和 family 级划分。
• 从 fidelity、coverage、diversity、downstream utility 与 privacy risk 多维评估。
• 区分样本级有效、数据集级覆盖、真实留出效用和形式隐私保证，避免用一个总分互相替代。
• 识别记忆泄漏、偏差放大、版权/许可和合成数据污染风险。
• 用 Data Card、内容指纹、版本和变更日志发布可维护数据集。
• 将样本级 provenance、来源/授权证据引用、访问范围与撤回影响范围分开记录，不把任一字段当作法律或隐私结论。

前置知识

• 会读写 JSON，理解 train/dev/test 与 group split。
• 能在 PowerShell 7 运行 Python 3 标准库脚本。
• 理解基本比例、分布和抽样，不要求训练深度学习模型。
• 知道模型生成结果需要验证，不把流畅文本当作正确标签。

推荐学习顺序

1. 目标与数据契约：先定义用途、总体、schema 和验收。
2. 模板与程序化生成：构建确定、便宜、可覆盖的基线方法。
3. 模型生成与条件覆盖：在严格 provenance 下扩展语言和任务变化。
4. 过滤、去重与组级划分：把候选池变成可用数据。
5. 质量、效用与真实数据校准：证明数据对目标决策有帮助。
6. 隐私、记忆、偏差与版权：识别不能由生成过程消除的风险。
7. 版本、评测与发布：记录 lineage、限制和更新。
8. 项目：离线合成评测数据流水线：实跑条件矩阵、过滤、去重、划分和指纹。

动手实践或项目入口

• 主项目：离线合成评测数据流水线。它使用严格 JSON spec、条件矩阵、来源声明、拒绝日志、family 划分和质量门，提供 PASS、BLOCK 与契约错误三类可运行场景及 43 项测试。
• 设计任务：从一个生产失败出发，写 3 个真实变体和 6 个合成压力变体，并明确两者在报告中的不同权重。
• 审计任务：为任意合成数据集写 provenance、模型/模板版本、过滤记录和已知风险。

掌握标准

• 能解释为什么“更多合成样本”不等于“更多有效信息”。
• 能用任务因子矩阵定义覆盖目标并保留 family ID。
• 能区分 schema validity、语义正确、真实度、多样性和下游效用。
• 能做规范化精确去重，并说明何时需要近重复或语义审查。
• 能用独立真实留出集检验训练或评测效用。
• 能说明普通合成与差分隐私合成的保证差异。
• 能发布带版本、哈希、来源、许可、风险和限制的 Data Card。
• 能在 Windows 11 / PowerShell 7 中运行离线项目和 43 项三模式测试，并解释为什么 PASS 仍不能证明生产效用或匿名性。

与其他知识库的关系

• 数据清洗 提供 schema、脏值和异常处理。
• 数据标注 负责 rubric、人工校准和分歧解决。
• 评测体系 决定合成 case 如何评分；合成数据不能成为自己的唯一验证者。
• Benchmark设计 负责冻结划分、污染控制和比较协议。
• 隐私计算 深入学习差分隐私等形式化技术。
• AI治理 负责授权、数据责任人、发布审批和风险接受。

主要参考资料

以下均为官方资料、标准或原始论文，获取/复核日期为 2026-07-22：

• SELF-INSTRUCT 原始论文
• Deduplicating Training Data Makes Language Models Better 原始论文
• NIST SDNist Synthetic Data Report Tool（页面列出的软件版本为 v1.4，最后更新于 2022-02-01；仅作 utility/privacy 多维报告案例）
• NIST SP 800-226：评估差分隐私保证（2025-03 最终版）
• NIST AI 600-1: Generative AI Profile
• Data Cards 原始论文与官方页面
• Datasheets for Datasets 原始论文