数据标注

知识库简介

数据标注把模糊的业务判断变成可重复、可审查的测量协议。它服务于监督训练，也服务于 RAG 相关性判断、Agent 轨迹评审、安全红队与离线评测。真正的交付物是“任务定义 + 指南 + 受控输入 + 标注事件 + 质量证据 + 发布清单”，不是一列看似完整的标签。

内容与证据边界

本课是基于文末资料形成的原创工程总结，不复刻第三方正文。工具界面、平台功能与法规会变化；来源链接用于核验概念和工具行为，不替代具体组织的隐私、劳动、合同或法律审查。

在总路线中的位置

本课位于“数学与数据基础”，应在基本数据清洗之后学习，并为机器学习、Reranking、RAG、评测体系、数据合成和生产反馈提供可靠监督信号。若任务已触及高风险决策、个人信息或有害内容，先完成数据治理与安全边界，再开始试标。

先掌握五个对象

对象	回答的问题	不应被它替代
sample_id	正在判断哪个逻辑样本？	具体输入内容或版本
source_revision	标注者实际看到了哪一个受控输入快照？	来源授权、隐私安全或事实正确性
annotation_id	谁在何时按哪份协议提交了一次初标？	最终真值或裁决
final_label	经过既定裁决流程后的标签是什么？	训练/评测使用的任意投影
release_id	哪一组冻结样本、契约、质量门与切分被下游使用？	对后续线上分布的永久代表性

guideline_version、label_set_version 和 task_config_version 还要与标注事件一同保存。它们分别说明规则、可选标签和界面/Schema；同名标签在不同版本下未必是在测量同一个对象。

学习目标

• 定义标注单元、目标总体、标签本体、排除条件和可见证据。
• 写出陌生标注者能够执行的指南、成对案例与升级规则。
• 通过试标、重叠标注、盲审、裁决和桥接样本控制质量。
• 正确解释一致率与 Cohen’s kappa，不把一致性、正确性和代表性混为一谈。
• 把主动学习、弱监督和合成样本当作候选来源，而不是不经验证的“真标签”。
• 管理敏感数据、许可、人员暴露、版本、撤回和生产反馈的边界。

前置知识

理解 JSONL/CSV 与抽样概念；会运行 Python 3 标准库脚本。建议先完成 数据清洗、JSON 和 概率统计 的抽样与不确定性部分。开始前要确认最小访问权限、脱敏方式、来源许可、保留期限和有害内容的升级渠道。

推荐学习顺序

1. 任务定义与标注单元：把“好不好”改写为可观察、可裁决的测量任务。
2. 数据治理、隐私、许可与劳动安全：在接触真实数据或派发给真实工作人员前，先完成最小治理门；其余治理细节可在流程实践后回读。
3. 标注指南与边界案例：用规则、成对案例、弃权与升级机制降低歧义。
4. 标注流程与数据格式：把样本、输入快照、人员、工具和版本纳入流水线。
5. 质检、复审与裁决：用独立判断、桥接样本和追加裁决处理争议。
6. 一致性指标：计算并诊断一致性，报告分母、分布和不确定性。
7. 主动学习、弱监督与人机协同：提高效率而不污染评测、放大偏差或锚定人工判断。
8. 版本、发布与生产反馈：把标注结果变成可追溯、可撤回、不会反向污染冻结集的发布物。
9. 项目：Agent 回答质量标注：运行严格双人审计、解释冲突，并写出下一步裁决/发布计划。

动手实践或项目入口

audit_annotations.py 对 sample_annotations.jsonl 执行严格 JSON、输入快照、合同版本和双人配对校验，计算百分比一致率、Cohen’s kappa、混淆计数和冲突样本。test_audit_annotations.py 覆盖 12 类正常与失败行为；项目不需要第三方包、真实数据或 API key。

掌握标准

• 能让两名未参与设计的人按指南独立试标，并把歧义转为版本化规则。
• 能区分“标签一致”“标签正确”“目标总体代表性”和“可安全发布”。
• 能为多类别、序列标注或生成式评分选择与测量对象匹配的质量证据。
• 能追溯每个标签的输入快照、指南、标签空间、界面、标注者角色和时间。
• 能解释模型预标注、弱监督与合成候选如何锚定判断或污染统计。
• 能运行普通/-O 模式与 12 项测试，并解释常量标签完美一致时 kappa 为何未定义。

与其他知识库的关系

• 数据清洗 在标注前处理损坏、重复、敏感字段与受控发布清单。
• 机器学习 消费标签训练/评估，但不能突破标签定义、切分与版本的上限。
• 评测体系 与 Benchmark 设计 把裁决标签投影为冻结 case 和 rubric；cannot_judge、exclude 不能静默压缩为正/负类。
• RAG 与 Reranking 常需要查询—文档的分级相关性和证据跨度，而非简单二元标签。
• 数据合成 可补齐候选和边界样本；合成来源、生成版本和人工最终标签必须分层保存，且不能代替真实分布验证。
• AI 治理、隐私计算 与 AI 安全 约束数据来源、访问、留存、受影响人员和高风险升级。

主要参考资料

资料核验日期：2026-07-22。以下为概念与工具行为的代表性资料；具体项目应锁定工具版本、任务协议、组织政策和适用要求。

• Label Studio：创建与配置项目、导入 task、导出 annotation
• Google PAIR：People + AI Guidebook
• Cohen, J. (1960). A coefficient of agreement for nominal scales
• Artstein, R., & Poesio, M. (2008). Inter-Coder Agreement for Computational Linguistics
• Lewis, D. D., & Gale, W. A. (1994). A Sequential Algorithm for Training Text Classifiers
• Ratner et al. (2017). Snorkel: Rapid Training Data Creation with Weak Supervision
• Gebru et al. (2021). Datasheets for Datasets；Bender & Friedman (2018). Data Statements for NLP
• NIST AI RMF Core、NIST Privacy Framework、W3C PROV-O
• ILO：数字化工作与职业安全健康