估计、置信区间与假设检验

点估计不够

样本成功率 80% 是点估计。若只有 5 个任务，它与 8000 个任务的可信度显然不同。区间估计把抽样不确定性显式呈现。

在给定抽样过程和模型假设下，若反复抽样并用同一方法构造 95% 区间，长期约 95% 的区间覆盖固定总体参数。对已经算出的频率学派区间，不应说“参数有 95% 概率在其中”。

已知总体标准差、近似正态时，均值区间形式：

$\overset{x}{ˉ} \pm z_{1 - α /2} \frac{σ}{n}$

实际常不知道 $σ$ ，小样本均值会用 t 分布；二元比例也应选合适方法。不要对任何指标机械套 $\pm 1.96 SE$ 。

把观测样本视作近似总体，从中“有放回”抽取同样大小的样本，重复计算统计量。大量重抽样结果近似统计量的抽样分布。

若报告方向定义为“B 相对 A”，配对 A/B 评测应对每个任务的差值 $d_{i} = B_{i} - A_{i}$ 重抽样，而不是分别抽 A、B：

$\overset{ˉ}{d} = \frac{1}{n} \sum_{i} d_{i}$

本项目使用简单的 percentile bootstrap 区间；它不是所有统计量和小样本的万能最优方法。Bootstrap 仍依赖原样本代表性与正确的重抽样单位；20 个同类型问题重复一万次，不会变成覆盖全场景的证据。

p 值不是 $P (H_{0} ∣ d a t a)$ ，也不是结果“由随机造成”的概率。

一类错误是原假设成立却被拒绝；在方法假设成立时，预设 $α$ 控制其长期概率。二类错误是原假设不成立却未拒绝，其补数称为 power。样本量、真实效应、噪声、设计和多重比较都会影响这些错误；一次实验的 p 值本身不是错误概率保证。

从 80.0% 到 80.2% 在超大样本上可能显著，却未必覆盖成本。报告至少包括：绝对差、相对差（若有意义）、置信区间、样本量、分层结果、延迟/费用和失败类型。

同时试 20 个 prompt，只报告最好且 p<0.05 的一个，会提高偶然“发现”。应预注册主要指标/比较，或采用多重比较校正，并保留全部实验记录。反复偷看数据后在刚显著时停止也会破坏名义错误率。

练习：A/B 差值为 2 个百分点，95% 区间 [-1, 5]。正确结论是数据与轻微退化到中等提升均相容，当前不足以确定方向；不能宣称“有 95% 概率提升”。