一致性指标

本节目标

手算观察/期望一致率与 Cohen’s kappa，识别类别不平衡、常量标签和版本断点；把总分还原为混淆、分层、冲突和抽样不确定性，而不把一个系数误称为标签正确性。

先分清可靠性、有效性与代表性

• 一致性/可靠性：在相同协议和可见证据下，标注者是否作出相似判断？
• 有效性：这些判断是否真的测到了任务卡所声明的构念？需要专家证据、指南审查、结果分析或外部准则。
• 代表性：被双标的样本能否说明目标总体？取决于抽样、时间、覆盖和缺失，而非 kappa 的数值。

高一致可以是大家共同误解；gold 题高分也可以只会做泄露的题；一个随机子样的一致性也不能自动外推到线上。因此指标是诊断信号，不是“数据已合格”的单一凭证。

百分比一致率

两人对 $N$ 个相同输入快照、相同版本样本有 $A$ 个标签相同：

$Agreement=\frac{A}{N}$

它易于解释，但没有考虑类别边际分布。若 95% 样本都是 helpful，两人都倾向多数类时仍可能得到很高的一致率。报告时必须同时给出 $N$、各类计数、抽样层和冲突内容。

Cohen’s kappa：公式和边界

对于两名标注者、完整配对、名义类别：

$\kappa =\frac{p_o-p_e}{1-p_e}$

$p_o$ 是观察一致率；$p_e$ 是按两人观察到的边际标签分布独立配对时的期望一致率。它是一个指定的边际基线，不是可以直接观测的“真实偶然率”。在分母非零时，$\kappa =1$ 表示完全一致，0 表示与该基线相当，负值表示低于该基线。

若两人对所有样本都给同一标签，$p_o=p_e=1$，公式为 $0/0$，kappa 未定义。应报告 100% 一致和“没有类别变异”，不能硬写成 1。极端类别不平衡也可能造成高百分比一致但低/不稳定的 kappa；这不是把指标“修好”即可解决的问题，而是提醒检查样本、标签空间和风险类覆盖。

不要机械套“0.8 就优秀”的固定等级。解释 kappa 时至少同时给出：标签定义/版本、样本量、每类数量、百分比一致率、$p_e$、混淆计数、冲突样本、抽样方式和已知局限。

指标要匹配对象与采样设计

标注对象/设计	可用证据	仍需声明的前提
两名固定标注者、完整名义配对	百分比一致率、Cohen’s kappa、混淆矩阵	输入/指南/标签空间一致；不能推断正确性
多名标注者或不完整覆盖	记录覆盖图；选择能处理相应人数、缺失和尺度的度量（如 Krippendorff’s alpha）	不能把缺失当作同意；实现和距离函数要锁版本
有序评分	原始混淆 + 预先定义权重的 weighted kappa 或有序分析	权重反映业务距离，不能看结果后挑选
文本 span、框、分割	精确匹配与边界/区域重叠（如 IoU）	单位化规则、部分重叠和类别匹配要先定义
自由文本理由/生成式评审	rubric 维度、抽样专家复核、错误分类	字符串相同不等于理由可靠或正确

若指南、标签空间或输入快照已 major 变更，不应把新旧批次合成一个 kappa。先用 桥接样本与重标确定可比范围，或并列报告版本断点。

不确定性与分层诊断

一个小双标样本的系数会波动。若抽样设计允许推断，可对“样本单位的完整标注对”做重采样/置信区间，并保留分层与配对关系；不要把同一条样本的两个标签当作独立观测。区间只量化该抽样下的随机不确定性，不能修复选择偏差、泄漏、错误指南或未覆盖人群。

优先按风险层、类别、来源、语言、时间、难度、新旧版本和标注者角色查看分母与冲突。例如 helpful ↔ not_helpful 集中可能说明完成度标准不清；unsafe ↔ not_helpful 集中说明优先级或升级条件不清。下一步是修指南、试标和重标，不是只提高总体分数。

手算练习

两人标 20 条，其中一致 16 条。A 选择 helpful 12 次，B 选择 10 次；其余都为 not_helpful。计算 $p_o$、$p_e$ 与 kappa，并说明为什么还需要看冲突内容。

答案核对：$p_o=16/20=0.8$；A、B 的 helpful 比例为 0.6 与 0.5，所以 $p_e=0.6\times 0.5+0.4\times 0.5=0.5$，$\kappa =(0.8-0.5)/(1-0.5)=0.6$。这个数仍不能说明冲突来自哪个规则、gold 是否正确、样本是否代表线上或新版本是否可比。

掌握检查

• 我能由两名标注者的边际比例计算 $p_e$，并解释它是何种基线。
• 我知道 kappa 未定义、类别极不平衡、小样本和版本变化时应怎样报告限制。
• 我会同时给出样本量、标签分布、一致率、kappa、混淆计数、冲突和分层分母。
• 我不会用固定阈值、置信区间或一个总分替代任务内的有效性和代表性审查。

下一步：主动学习、弱监督与人机协同。

参考资料

资料核验日期：2026-07-22。

• Cohen, J. (1960). A coefficient of agreement for nominal scales
• Artstein, R., & Poesio, M. (2008). Survey Article: Inter-Coder Agreement for Computational Linguistics
• Krippendorff, K. (2011). Computing Krippendorff’s Alpha-Reliability