期望、方差与抽样

期望：长期加权平均

离散随机变量：

$E[X]={\sum }_{x}xP(X=x)$

若工具成功收益为 10、失败损失为 4，成功率 0.7，则期望收益 $0.7\times 10+0.3\times (-4)=5.8$。期望不代表每次得到 5.8，而是大量可比试验的长期平均模型。

方差与标准差

$\mathrm{Var}(X)=E[(X-\mu {)}^2],\sigma =\sqrt{\mathrm{Var}(X)}$

方差用平方单位，标准差回到原单位。两个 Agent 平均得分相同，但一个偶尔严重失败，其方差和尾部风险可能更大。工程选择不能只看均值。

样本方差常用 $n-1$：

$s^2=\frac{1}{n-1}{\sum }_{i=1}^n(x_i-\bar{x}{)}^2$

这是对总体方差的常用无偏估计；描述手头完整总体时分母可以是 $n$，必须说明语境。

协方差与相关

$\mathrm{Cov}(X,Y)=E[(X-E[X])(Y-E[Y])]$

相关系数归一化到 $[-1,1]$：

$\rho =\frac{\mathrm{Cov}(X,Y)}{{\sigma }_X{\sigma }_Y}$

如果两个 Agent 在同一批难题上一起失败，结果正相关。配对比较应保留这种对应关系；把 A、B 分数独立打乱会丢失信息。相关不代表因果，也只直接刻画线性关联。

抽样与标准误

总体是想研究的全部对象，样本是实际观察的一部分。样本均值本身也是随机变量。独立同分布且方差有限时，其标准误近似：

$SE(\bar{X})=\frac{s}{\sqrt{n}}$

样本量扩大 4 倍，标准误约减半，不是缩小 4 倍。增加大量重复或高度相关样本，信息量不会像独立样本那样增长。

偏差与方差

• 抽样偏差：评测只含短英文问答，却推广到长中文工具任务。
• 测量偏差：评分器系统性偏爱某种写作风格。
• 随机方差：换一批代表性任务时指标自然波动。

增加样本能降低随机误差，却不能修复系统偏差。先定义目标总体和抽样框，再谈样本量。

在 ML/检索/评测中的用途

• mini-batch 梯度是全量梯度的有噪声估计；batch 大小影响方差和成本。
• 相同 query 上对两个检索器比较是配对设计，通常比两批不同 query 更有效。
• 线上 A/B 随机分流用于降低混杂，但仍要检查曝光、丢失数据和干扰。
• 多次随机生成评测能估计输出波动，不能只保留最好一次。

可验证例子

from statistics import mean, stdev
 
scores = [1, 1, 0, 1, 0, 1, 1, 1]
print("mean", mean(scores))
print("sample sd", stdev(scores))
print("SE", stdev(scores) / len(scores) ** 0.5)

练习与自测

1. 构造两组均值都为 0.8、方差不同的 0～1 得分。
2. 解释为何同一任务上 A-B 差值比独立两组均值更适合配对比较。

• 我能区分标准差与标准误。
• 我知道增加样本不能消除选择偏差。
• 我会保留配对结构。

资料

NIST Measures of Scale 与 Python statistics，核验日期：2026-07-14。上一节：随机变量与常见分布｜下一节：估计、置信区间与假设检验。