评测、错误分析与人工复核

本节目标

会计算字符/词错误率，并把文本、字段和结构质量转成可行动的错误分类与复核队列。

CER 与 WER

把参考序列变为预测序列所需的最少替换数 $S$、删除数 $D$、插入数 $I$，参考序列长度为 $N$：

$$\mathrm{ErrorRate}=\frac{S+D+I}{N}$$

按字符切分得到 CER（Character Error Rate），按词切分得到 WER（Word Error Rate）。例如参考“总计 128”，预测“总汁 1280”，字符层至少包含一次替换和一次插入。由于插入可能很多，错误率可以超过 100%，这不是计算错误。当参考序列长度为 0 而预测非空时，分母为 0，不能把它伪装成“100% 错误率”：单列为 unexpected-output/false-positive 切片，报告 null 或计数，并保留原始块供复核。

中文 WER 依赖分词方案，因此必须记录 tokenizer；CER 更直接，却无法表达词义和字段结构。比较两个系统时必须使用相同规范化和切分规则。

不止一个总分

• 文本层：CER/WER，按语言、文档类型和清晰度切片。
• 字段层：金额、日期、编号的 exact match、解析成功率。
• 结构层：块类型、阅读顺序、表格行列/单元格关系。
• 流程层：拒识率、人工复核率、每页延迟与失败率。

宏平均先算每个文档再平均，避免长文档主导；微平均汇总所有编辑数后再除总长度，反映总体字符量。两者用途不同，最好同时报告。

人工复核闭环

复核界面应同时展示原图区域、原始文本、规范化文本、候选与规则原因。记录“确认/修改/无法判断”，但不要让生产反馈直接进入训练集；先做去标识、质量检查、许可核验和版本化。

错误分类例：检测漏框、裁剪截断、字符混淆、语言错误、排序错误、表格错位、规则误改。每类绑定责任模块，才能把问题送到正确的修复环节。

练习与自测

1. 手算参考 ABC、预测 ADCX 的 CER：一次替换、一次插入，$2/3$。
2. 为什么总 CER 降低仍可能伤害业务？关键金额切片可能恶化。
3. 若模型升级后复核率下降，是否一定更好？否，阈值或分数尺度也可能改变，需看人工确认质量。

下一步与参考

下一步学习 隐私部署与运行排查。编辑距离指标思想与 NIST 语音评测一致，可参考 NIST OpenASR 2020 Evaluation Plan（获取日期：2026-07-22）；OCR 结构指标属于需按任务定义的工程契约，不声称存在单一通用标准。