概率统计

知识库简介

模型输出、抽样评测、线上成功率和检索指标都带有随机性。概率帮助你描述不确定性，统计帮助你从有限样本推断总体。本库先从数据单位、分母和描述统计开始，再学习概率模型、抽样与推断，最后把这些概念用于 Agent A/B 评测。目标不是背公式，而是避免把一次实验、一个平均数或一个 p 值误当成确定结论。

在总路线中的位置

概率统计位于“数学与数据基础”阶段，为机器学习、评测体系、Benchmark 设计和运行监控提供不确定性语言。学完工程基础后即可进入；后续比较模型、检索器和 Agent 版本时会反复使用。

学习目标

• 用事件、条件概率和贝叶斯公式更新判断；
• 用均值、中位数、分位数、标准差和分层表描述数据，同时检查分母、缺失与重复；
• 认识随机变量、分布、期望、方差与抽样波动；
• 用置信区间表达指标的不确定性；
• 正确理解假设检验、p 值、多重比较与效应量；
• 为 Agent 评测定义目标总体、分析单位、配对结构、主要指标和最小实际差异；
• 用标准库 bootstrap 比较两个 Agent 版本，并如实陈述证据边界。

前置知识

会四则运算、平方根、Python 列表与函数即可。求和符号 $\sum$ 表示“把一组数加起来”。建议先完成 Python基础；本库不要求微积分，也不依赖第三方统计包。

推荐学习顺序

1. 描述统计与数据质量：先确认一行代表什么、分母是谁，以及数据是否缺失或重复。
2. 概率、条件概率与贝叶斯：从不确定事件和基率开始。
3. 随机变量与常见分布：把成功、类别、计数与延迟映射成概率模型。
4. 期望、方差与抽样：理解平均指标为何会波动，以及相关样本为何不等于更多信息。
5. 估计、置信区间与假设检验：从样本形成有限度结论。
6. 评测设计、效应量与统计陷阱：在计算前固定总体、单位、配对、主要指标和决策阈值。
7. 项目：Agent 评测不确定性：完成经过测试的配对 percentile bootstrap 比较。

动手实践或项目入口

• 在 描述统计与数据质量 中先完成一份 Agent 评测数据体检表。
• 进入 项目：Agent 评测不确定性，用标准库完成配对 percentile bootstrap，并通过复制样本、分层报告等实验识别虚假确定性。

掌握标准

• 能区分总体、样本、参数、统计量与随机变量。
• 能解释 $P(A\mid B)$ 与 $P(B\mid A)$ 不可互换。
• 报告均值时同时报告样本量、离散程度或区间。
• 能解释“未拒绝原假设”不等于“证明两者相同”。
• 能选择配对评测并用 bootstrap 给出差值区间。
• 能指出独立性、代表性和分布假设是否成立。
• 能在看结果之前写明主要指标、最小实际差异和停止规则。

与其他知识库的关系

知识库	连接点
机器学习	概率用于描述预测、损失、噪声与泛化不确定性。
评测体系、Benchmark设计	总体、抽样、配对、区间、效应量和多重比较决定结论边界。
Embedding、语义搜索	检索指标是随机变量，阈值与分布依赖查询和语料。
运行监控	成功率、延迟分位数与告警需要稳定基线和时间依赖分析。
数据可视化	图形用于揭示分布、分层、离群和时间结构，不能只看汇总数。

主要参考资料

• NIST/SEMATECH e-Handbook of Statistical Methods
• NIST Exploratory Data Analysis
• NIST Probability Distributions
• NIST Hypothesis Tests and Confidence Intervals
• NIST Randomized Block Designs
• ASA Statement on Statistical Significance and P-Values
• Python statistics 与 random

核验日期：2026-07-14。本轮外部资料以 NIST、ASA 与 Python 3.14.6 官方文档为基线；本机示例在 Python 3.11.9 验证。统计方法适用性依赖抽样过程和数据结构，来源清单不能替代对当前评测设计的审查。