随机变量与常见分布

随机变量是什么

随机变量把随机结果映射成数字。例如 $X=1$ 表示 Agent 成功、$X=0$ 表示失败；延迟 $T$ 则可取任意非负实数。离散变量列举概率，连续变量用密度描述区间概率。

PMF、PDF 与 CDF

• 离散变量的概率质量函数：$p(x)=P(X=x)$，所有可能值之和为 1。
• 连续变量的概率密度 $f(x)$ 本身不是点概率，区间概率是面积。
• 累积分布函数对两者都适用：$F(x)=P(X\le x)$。

延迟的 P95 是满足 $F(t)\ge 0.95$ 的较小 $t$，表示约 95% 观测不超过它；它不是最大值，也不是“95% 的平均延迟”。

五个常见分布模型

Bernoulli

$X\in \{0,1\}$，成功概率为 $p$：

$P(X=1)=p,P(X=0)=1-p$

适合一次任务是否成功、一次答案是否通过人工判定。

Binomial

若 $n$ 次 Bernoulli 试验独立且成功率相同，成功次数 $K$：

$P(K=k)=\left(\genfrac{}{}{0ex}{}{n}{k}\right)p^k(1-p{)}^{n-k}$

真实评测任务难度不同、输出相关时，独立同分布假设可能不成立。此时可分层、配对或按任务 bootstrap。

Categorical / Multinomial

Categorical 随机变量一次从 $K$ 个互斥类别中取一个，例如工具路由结果为 search、calculator 或 none，每类概率 $p_k$ 满足 ${\sum }_k{p}_k=1$。在固定次数、独立同分布的假设下，各类别计数可用 multinomial 模型描述。

LLM 的 softmax 向量常被当作类别分布，但数值是否能按真实频率解释仍需校准验证；工具调用实际频率还受 prompt、采样、约束解码和运行时规则影响。

Poisson

Poisson 分布常用于固定暴露量内的事件计数，例如“每小时工具超时数”，其参数 $\lambda$ 同时是理想模型中的期望与方差。它假设事件在给定速率下近似独立，且速率稳定。真实线上数据常有高峰、故障簇和用户差异，使方差大于均值；此时不能因数据是计数就自动套 Poisson。

Normal

正态分布由均值 $\mu$ 和标准差 $\sigma$ 描述，形状对称。许多样本均值在条件合适时近似正态，但单次延迟、token 用量常偏斜或长尾，不能只因有均值方差就假设正态。

标准化：

$z=\frac{x-\mu }{\sigma }$

表示 $x$ 距均值多少个标准差。在异常检测中阈值依赖分布稳定性；分布漂移后旧 z-score 会误导。

经验分布

工程中不必先套理论分布。排序后的观测形成经验 CDF，可直接计算中位数、P90/P95/P99。对于长尾 API 延迟，分位数通常比均值更能揭示尾部体验。

Python 标准库：

from statistics import mean, median, quantiles
 
latencies = [120, 125, 130, 140, 900]
print(mean(latencies), median(latencies))
print(quantiles(latencies, n=100, method="inclusive")[94])

小样本的高分位数非常不稳定，不应把 5 个值算出的 P99 当成精确 SLA 证据。

用途与误区

• 生成模型的 sampling 会产生输出分布；temperature 改变分布形状，但不等于“正确率旋钮”。
• Benchmark 的通过数常可类比 Bernoulli/Binomial，但任务异质性需额外处理。
• 检索相似度分数的分布随模型、语料和查询类型变化，不能跨系统直接比较阈值。

常见误区：密度可大于 1 但面积为 1；正态分布支持负值，不能无条件拟合非负长尾延迟；“随机”不等于“没有规律”。

练习与自测

1. 为成功率、延迟、每请求 token 数分别选择变量类型和展示方式。
2. 比较 [10,11,12,13,100] 的均值和中位数，解释离群值影响。

• 我能区分概率、密度与累计概率。
• 我知道 Bernoulli/Binomial 的假设。
• 我不会在小样本上过度解释 P99。

资料

NIST Distribution Gallery，核验日期：2026-07-14。上一节：概率、条件概率与贝叶斯｜下一节：期望、方差与抽样。