AI Agent Engineer

AI Agent Engineer
个人学习进度

标记这门课程

课程正文公开可读；登录后可保存个人进度。

Benchmark设计

8 min read

Benchmark设计

知识库简介

Benchmark（基准测试）是一个被版本化、可重复执行、可用于比较的评测契约。它不等于“一批题加一个平均分”：还必须明确要支持的声明、目标人群与任务空间、数据来源和划分、运行协议、基线、指标、统计报告、提交规则及维护责任。

本知识库面向第一次设计团队基准的工程师。最终产物不是一张漂亮排行榜，而是一套能回答“谁在什么条件下、对哪些任务、以什么代价表现更好”的证据系统。

事实与版本边界

公开榜单、模型和平台会持续变化。本课程不记录易过期名次或性能数字；方法与来源复核日期为2026-07-21。MLPerf规则以本次核对的官方仓库当前内容为案例，实际提交必须核对当期规则。Stanford CRFM官方仓库已注明HELM自2026-06-01起进入maintenance mode；本库继续引用HELM原始论文的方法论，但不把该框架描述为积极新增功能的默认工具。

在总路线中的位置

本库位于“生产化、评测与治理”阶段。先完成 评测体系，学会构造 case、grader 与回归；再学习如何把它们冻结为可公平比较、可复现并长期维护的 Benchmark。合成压力样本由 数据合成 提供，但不得替代真实分布证据。

学习目标

  • 从待支持的决策写出 Benchmark 声明、范围与明确非目标。
  • 用任务空间、分层矩阵和缺口表检查代表性，而不是追求题量。
  • 设计组级划分、冻结测试集与污染登记，区分训练污染、运行时可发现性、开发适配和维护链泄漏。
  • 固定基线、提示、解码、工具、预算和环境，使比较条件等价。
  • 为 Agent 任务冻结初始/最终状态、副作用、reset、超时、重试和多trial规则。
  • 同时报告主指标、风险门槛、分层结果、资源代价与统计不确定性。
  • 识别 leaderboard gaming、反复调参和基准饱和，并用报告卡、版本变更和退役流程维护证据边界。

前置知识

  • 会读 JSON，并能在 PowerShell 7 中运行 Python 3 标准库脚本。
  • 理解准确率、均值、比例、抽样与置信区间的基本直觉。
  • 知道 评测体系 中 task、trial、grader、outcome 和 suite 的含义。
  • 不要求训练模型，也不要求访问任何真实 API。

推荐学习顺序

  1. 从声明到 Benchmark 契约：先决定分数要支持什么决策。
  2. 任务空间、代表性与分层：把真实使用场景展开成覆盖矩阵。
  3. 数据划分、泄漏与污染：保护测试独立性并记录污染风险。
  4. 基线、指标与可比运行：固定系统边界和运行协议。
  5. 复现、统计与结果报告：报告不确定性、逐项结果和复现材料。
  6. Leaderboard 机制、反游戏与维护：用提交政策、私有测试和版本治理限制投机。
  7. Agent环境、状态与多次运行：固定工具、初始/最终状态、副作用、reset和多trial协议。
  8. 项目：构建可维护 Benchmark：实跑严格JSON、协议可比性、关键任务门和配对区间。

动手实践或项目入口

  • 主项目：构建可维护 Benchmark。项目完全离线，分别演示PASS、关键任务BLOCK、协议INCOMPARABLE和数据契约错误。
  • 设计练习：选择一个真实 Agent 任务，写出一页 Benchmark card，包括声明、非目标、任务空间、风险门槛和更新条件。
  • 审计练习：拿一张公开排行榜，列出至少五个无法仅凭名次回答的问题。

掌握标准

  • 能区分评测套件、Benchmark、competition 与 leaderboard。
  • 能给出目标人群、任务分布、关键分层和覆盖缺口。
  • 能按用户、文档、模板或时间等“生成单位”做组级划分。
  • 能解释公开测试集为何会污染，区分not-detected与unknown，并说明污染检测为何只能提供风险证据。
  • 能为所有系统固定等价协议，并同时报告质量、风险、成本和时延。
  • 能为Agent case定义环境、工具、初始/最终状态、副作用、reset、预算和多次trial。
  • 能生成包含版本指纹、样本量、逐项结果、区间和限制的结果包。
  • 能设计提交频率、私有测试、审计、报告卡、退役和新版本迁移规则。

与其他知识库的关系

  • 评测体系 提供 case、grader、人工评审和回归方法；本库负责跨版本或跨系统的公平比较契约。
  • 概率统计 提供区间、抽样和假设检验的基础。
  • 数据合成 可填补组合条件和稀有风险，但必须保留 synthetic 标签并用真实留出集校准。
  • AI治理 决定谁批准范围、指标、公开披露与高风险结论。
  • 运行监控 提供分布漂移和失败样本，触发 Benchmark 更新而非静态沿用。

边界要始终明确：评测体系主要支持某个具体产品的开发、发布或回归决策；Benchmark设计固定较长期的跨系统比较协议；运行监控观察真实线上流量、SLO与事故。三者可以互相回灌数据，但不能用线上监控曲线冒充冻结Benchmark结果。

主要参考资料

以下均为官方资料、标准或原始论文，获取/复核日期为2026-07-21：

Backlinks