AI Agent Engineer

AI Agent Engineer

指标基线与误差分析

8 min read

指标基线与误差分析

本节目标

你将从混淆矩阵推导分类指标，区分 macro/micro/weighted 汇总，选择多数类与规则基线，并把指标拆到类别、场景和错误成本。最终交付不是一个漂亮总分，而是一份含样本量、基线、区间边界和错误清单的决策材料。

从混淆矩阵理解分类

把“需要拦截”定义为正类：

  • TP：该拦且拦了。
  • FP：不该拦却拦了。
  • FN：该拦却漏了。
  • TN：不该拦且放行正确。

Precision 回答“拦下的有多少真的危险”；recall 回答“危险动作有多少被拦下”。F1 是二者的调和平均，但它不直接包含业务成本。

多分类怎样汇总

  • macro average：先逐类计算再等权平均，能让少数类拥有同等话语权。
  • weighted average：按每类 support 加权，容易被大类主导。
  • micro average：先汇总各类 TP/FP/FN 再计算；单标签多分类下，micro precision/recall/F1 与 accuracy 相同。

必须同时报告每类 support。一个只含 2 个样本的类别即使 F1 为 1.0，也不足以证明稳定。项目使用 macro F1，是为了不让三类中某一类被总样本数掩盖；但 6 条测试数据仍极小。

不要只看 accuracy

若 1% 样本有风险，永远预测“安全”也有 99% accuracy，却毫无价值。类别不平衡时应至少报告每类 precision/recall/F1、混淆矩阵、样本数和一个简单基线。

需要排序或阈值时，可查看 PR 曲线、ROC 曲线和阈值下的成本。概率要用于风险决策时，还应检查校准：预测 0.8 的样本是否大约 80% 为正类。

校准与区分能力不同：模型可能排序很好但概率过度自信，也可能概率总体校准却无法有效区分个体。可靠性图应同时报告各 bin 样本量和不确定性；Brier loss 同时受校准、区分能力和数据不确定性影响，不能单独证明“概率已校准”。阈值只能在验证区选择；若在测试集上挑到最漂亮的阈值，测试集已参与调参。

基线回答“有没有学到”

至少比较：

  1. 多数类或按先验随机的 dummy baseline；
  2. 当前人工/规则流程；
  3. 简单可复现模型；
  4. 若值得，再比较更复杂方案。

平衡三分类的多数类 baseline 约为 1/3 accuracy。若复杂模型只在一次 6 样本测试上得到 2/3，不能只看“翻倍”就上线；还要看区间、错误类别、成本和新时间窗口。

回归指标

  • MAE：绝对误差平均，单位与目标一致，较易解释。
  • MSE/RMSE：更重罚大误差；RMSE 回到原单位。
  • ：相对“预测训练均值”解释的变异比例；可能为负，不等于准确率。

Agent 与 RAG 还需要端到端指标

路由分类器的 F1 只是组件指标。系统还应看任务成功率、人工升级率、单任务成本、延迟、工具错误、安全事件和按场景拆分的失败率。一个总分不能掩盖关键子群失败。

公平性与隐私是评估边界，不是一个总分

当模型会影响不同人群、地区、语言、设备或业务渠道时，可在合法、必要且有访问控制的数据边界内，按相关切片报告样本量、错误率、校准和人工升级率，优先寻找有害差异及其数据/流程原因。切片定义、阈值取舍和可接受风险必须由具体场景的业务、法律、隐私与受影响方约束；“各组指标相同”也不能单独证明公平。

不要为了得到一个公平性数字而无目的地收集或长期保留敏感属性。若属性确实是风险审查所必需，应最小化使用范围、记录用途与访问权限，并把结果同数据质量、代表性、人工复核和申诉/纠错机制一起审查。NIST AI RMF 可作为自愿的风险管理框架，不是对某一地区法律合规性的结论。

误差分析模板

对每条错误记录：

样本 ID：
真实标签 / 预测标签：
错误类型：FP / FN / 标签争议 / 数据损坏
可能原因：覆盖不足 / 特征捷径 / 规则含糊 / 漂移
可执行改进：补样本、改指南、改特征、调阈值或加人工兜底

先汇总错误类别与数量，再决定是否改数据、模型或流程。只挑两个“有趣案例”容易产生幸存者偏差。

对重复实验或抽样测试，应结合 概率统计 报告不确定性。固定随机种子只复现当前切分，不会让小样本变大，也不会覆盖分布漂移。

练习

风险分类结果为 TP=30、FP=10、FN=20、TN=940。手算 precision、recall，并说明若漏拦代价远高于误拦，应优先改进哪个指标。

再完成：

  1. 三分类 support 分别为 90、9、1，说明 macro 与 weighted F1 可能怎样讲出不同故事。
  2. 为工单路由写一个多数类基线和一个规则基线，并说明各自的失败方式。
  3. 给 accuracy=0.667, n=6 写一段不夸大证据的结论。

掌握检查

  • 能从混淆矩阵计算并解释 precision/recall。
  • 能说明为什么高 accuracy 可能毫无意义。
  • 能把组件指标连接到任务成功率、成本和安全指标。
  • 能区分 macro、micro、weighted 和 support。
  • 会同时报告基线、样本量、错误样本和不确定性边界。

下一步：无监督学习入门。

参考资料

核验日期：2026-07-22。

Backlinks