误差与不确定性
本节目标
区分观察离散、均值估计、二项比例与跨运行变异，能为误差棒写出分母、重复单位和计算方法，并识别伪重复与被删除的失败。
先说明误差条是什么
误差条可能代表标准差、标准误、置信区间、最小—最大或跨随机种子范围；它们含义不同。图注必须写明统计量、样本数、重复单位和计算方法。
- 标准差描述单次观察的离散。
- 标准误描述样本均值估计的不确定性，依赖独立性假设。
- 置信区间来自指定统计模型或重采样方法，不表示“真实参数有 95% 概率落在本次区间”这种频率学派解释。
- 多次模型运行的范围同时含训练随机性和评测抽样不确定性，需说明实验设计。
一张误差棒不能自动覆盖全部不确定性。Agent 评测常同时包含：任务抽样、模型/温度随机性、基础设施波动、标注者分歧和数据漂移。先决定推断单位是“任务”“用户”“日期”还是“随机种子”，再选择区间；把同一用户的多轮对话当成完全独立样本会产生伪重复，让区间虚假变窄。
二项比例：避免对称正态区间的边界错误
成功/失败比例的简单近似 p ± 1.96*sqrt(p(1-p)/n) 在小样本或接近 0/1 时可能给出不合理结果，甚至在 0/n 或 n/n 时错误地得到零宽区间。本库示例使用 Wilson score interval。令 、95% 区间取 ：
区间为 并截在 。例如 0/10 的 Wilson 95% 上界约为 27.8%，而不是 0%；它提醒读者“没有观察到失败”不等于“失败率已被证明为 0”。区间仍依赖二项与独立性等假设，不能替代任务分层或实验设计。
配对比较优于两条独立均值
若 v1、v2 在同一批任务上评测，可绘制每个任务的差值或配对连线。它能直接显示哪些任务改善/退化，并减少任务难度差异的干扰。
比例的样本量
成功率 100%：1/1 与 1000/1000 证据强度不同。显示 成功数/总数 或区间，避免小样本点看起来与大样本同样确定。类别分层后更要防止分母过小。
缺失与删失
超时不是普通缺失。把超时运行从延迟图中删除会系统性美化结果。可以把超时比例单独画出，并对已完成运行展示延迟分布，二者共同解释。
练习
为“5 个随机种子 × 固定 200 道任务”的模型比较设计图注，写清点、误差条和样本单位分别是什么。再解释为什么把 1000 次任务当完全独立可能不合理。
建议图注：“点为 5 个随机种子的端到端成功率均值；误差棒为种子间范围（或预先指定的 SD/CI），每个种子在同一冻结的 200 道任务上评测。”200 道题在每个种子中重复出现，且题目可能按用户/主题成簇，因此 1000 个结果不是 1000 个独立任务；应同时展示每种子结果和按任务配对的差值。
掌握检查
- 我能区分 SD、SEM、置信区间、随机种子范围与分位数。
- 我会在图注写明统计量、
n、重复单位、配对关系和计算方法。 - 我能手算/验证 Wilson 区间，并解释为何
0/10不是零不确定性。 - 我会把任务抽样、模型随机性、基础设施和标注分歧分层说明。
- 我不会把超时删掉后仅对完成运行画误差棒。
下一步：机器学习、RAG 与 Agent 评测图。
参考资料
资料核验日期：2026-07-14。Wilson 公式与术语按 NIST/SEMATECH 手册核对；Matplotlib API 按 3.11.0 文档核对。