AI Agent Engineer

AI Agent Engineer

基线指标与可比运行

8 min read

基线、指标与可比运行

本节目标

选择有解释力的基线和指标，并冻结提示、工具、预算、随机性与环境，使系统之间的差异来自候选本身而不是运行条件。

直觉解释

让一名选手用计算器、另一名心算，再比较答题速度，并不能说明谁算法更强。Benchmark 运行也要控制适配资源：few-shot 示例、检索语料、工具、重试、上下文长度和硬件都可能改变结果。

核心概念

  • baseline：比较参照，可是随机/多数类、简单规则、已发布实现或当前生产版本。
  • primary metric：与核心声明最直接的主要指标。
  • guardrail / gate：不可由其他收益抵消的风险或质量门槛。
  • macro average：先算每层结果再等权平均，避免大层支配。
  • micro / weighted result：按全部样本或冻结生产权重汇总。
  • run protocol：模型/应用版本、提示、适配、预算、环境和失败处理的完整规则。
  • resource metric：时延、调用次数、token、显存或货币成本等代价。

分步骤方法

  1. 至少准备一个最简单基线和一个当前可用基线；没有基线的绝对分数难以判断改进价值。
  2. 选择一个主指标，但同时列关键分层、风险 gate 和资源指标。
  3. 在看候选结果前固定规范化、缺失值、超时、拒答和部分得分规则。
  4. 对所有系统使用同一输入、工具定义、权限、外部状态、最大轮数和时间窗。
  5. 记录提示模板、few-shot 示例、解码参数、随机种子、模型快照和依赖版本。
  6. 随机系统运行多个 trial，并从干净环境开始；报告成功概率而非挑最好的一次。
  7. 若两系统因架构差异不能完全同协议，公开差异并把声明改为“完整系统效用比较”，不要声称裸模型能力差异。

冻结评分契约

在运行候选前写清：

  • 主指标的分子、分母和聚合层级；
  • 关键安全/隐私任务是否要求每次trial都通过；
  • 部分成功、拒答、超时、异常、解析失败和Unknown如何计分；
  • 缺失case是契约错误，还是按失败进入分母；
  • 成本、均值/p95时延和工具调用怎样测量；
  • 哪些条件触发BLOCK、REVIEW或“不可比”。

缺失不等于Unknown：缺失记录说明提交没有覆盖冻结测试，通常应拒绝整个结果包；Unknown说明记录存在但状态无法判定，应按预先规则计失败或进入人工复核。两者都不能静默从分母删除。

公平比较与非可比结论

相同资源不必意味着硬件型号永远完全一样，但必须对应声明中的等价约束。例如比较端到端系统时，可固定最大时间与成本；比较模型能力时，还需固定Prompt、工具、检索和适配数据。若候选多了重试、工具权限或私有数据，应标记为不同赛道或INCOMPARABLE，而不是先算高分再在脚注中淡化差异。

示例

二分类准确率：

若 A 层 90 个样本准确率 90%，B 层 10 个样本准确率 20%，micro 结果是 83%；按层 macro 是 。两者回答不同问题：前者更接近当前样本分布，后者强调层间均衡。报告时应给出层样本数和选择理由。

一个运行清单：

model_snapshot: exact-provider-or-local-id # 固定模型快照或本地模型身份，避免用浮动别名比较。
prompt_version: sha256-or-git-id # 以内容摘要或提交 ID 锁定提示词。
temperature: 0 # 固定随机性；若要随机试验，应另行声明重复次数与种子。
max_attempts: 1 # 控制重试预算，防止候选获得隐藏的额外机会。
tool_set: readonly-v2 # 固定可用工具与版本，避免能力边界不同。
timeout_seconds: 30 # 统一超时定义，超时是否计失败也应由协议决定。
external_state: frozen-fixture-v1 # 固定外部状态，避免动态数据让比较失去可复现性。
missing_output: fail # 明确缺失结果的评分规则，不能在看结果后临时处理。

常见错误与排查

  • 只与很弱基线比较：加入当前生产或公开可复现实现。
  • 指标与任务错位：字符串相似不能证明事实正确；为 outcome 写断言。
  • 候选获得更多上下文或重试：要么等价限制，要么同时报告增益与新增成本。
  • 把超时样本删掉：这是系统行为；按冻结规则计失败并单独报告。
  • 只给加权总分：补充各层、关键风险和资源代价。

练习

  1. 为一个邮件分类 Agent 选择简单基线、生产基线、主指标和两个 gate。
  2. 比较“同模型不同 RAG”时列出必须固定的五个条件。
  3. 为随机生成任务设计 trial 次数和环境重置规则，不需要指定任意“通用最佳次数”。

自测

  1. macro 一定比 micro 公平吗？不一定，它们对应不同权重假设，必须与声明一致。
  2. 候选质量更高但成本翻倍，谁更好？仅凭质量分不能决定，要结合预定资源约束。
  3. temperature 为 0 是否保证完全确定？不保证，服务、硬件、工具和实现仍可能有非确定性。

小结与下一步

可比性来自明确基线、等价协议和多维报告，不来自“同一按钮运行”。下一步进入 复现、统计与结果报告，把一次运行变成可审计证据包。

参考资料

Backlinks