Leaderboard 机制、反游戏与维护
本节目标
理解排行榜改变参与者激励的方式，设计提交、审计、公开、版本更新和退役规则，降低 leaderboard gaming 与测试集过拟合。
直觉解释
一旦单一分数决定声誉、采购或奖金，参与者就会优化这个分数。有些优化是真能力提升，有些只是识别测试、利用评分漏洞、增加不公平资源或反复探测隐藏答案。治理不是假定所有人恶意，而是让规则把努力导向预定目标。
核心概念
- leaderboard gaming：提高榜单分数却不提高目标世界效用的策略。
- Goodhart 风险：代理指标成为强目标后，可能失去对原目标的代表性。
- benchmark detection：系统识别自己正在考试并改变行为。
- submission budget：限定提交次数、频率或反馈粒度，减少对隐藏集的自适应。
- audit：检查实现、数据、日志和结果是否符合规则。
- living benchmark：有责任人、版本、更新信号和迁移机制的持续基准。
- saturation：分数接近上限或不再区分真实能力，不等于任务已经解决。
分步骤方法
- 明确排行榜服务对象：研究比较、内部发布、采购筛选还是竞赛。
- 公开主指标之外的分层、风险和资源结果，避免所有优化压在一个数字上。
- 冻结允许的外部数据、适配、工具、硬件和计算预算；为不同赛道清楚分组。
- 使用隐藏测试、轮换题或受控运行时，限定提交频率和反馈粒度。
- 禁止按输入识别 Benchmark 后走特殊分支；保留代码、日志或可审计接口。
- 设置异常检测和随机/重点审计；申诉、撤回和更正流程提前公布。
- 定期检查饱和、污染、现实分布漂移、grader 漏洞和重要缺口。
- 发布新大版本时保留旧结果但明确“不可跨版排名”，提供迁移期与变更说明。
提交政策与私有测试
一份可执行政策至少说明：谁可以提交、系统/外部数据如何披露、允许的适配、资源赛道、提交频率、反馈粒度、私有测试访问、日志保留、审计抽样、利益冲突、申诉、更正和撤榜。私有测试降低直接抄答案的风险，却仍会被反复提交探测；因此需要提交预算、延迟反馈或周期轮换，而不是把“私有”当作永久保密保证。
报告卡与维护流程
每个发布版本保存一张Benchmark card：声明、目标总体、数据/协议版本、任务与切片覆盖、评分契约、基线、资源条件、结果、污染状态、限制、负责人和有效期。维护者按固定节奏执行：
- 收集错误报告、线上漂移和污染证据；
- 判断是标签修补、grader修复还是总体/协议变化；
- 在独立开发集验证修改，不用旧私有测试反复调参；
- 发布变更日志、版本号、迁移窗口和跨版可比声明；
- 旧版本只保留历史展示，明确停止接受新提交；
- 当任务饱和、污染不可控、现实分布失配或维护能力不足时退役。
修复明显错标也会改变部分结果，应重算受影响提交并保留更正记录。重大任务、权重、协议或grader语义变化则建立新版本，不能把新旧分数拼成同一排名。
示例
一个内部排行榜可以同时展示：
| 字段 | 作用 |
|---|---|
| 核心集成功率 | 接近目标分布的主结果 |
| 关键风险 gate | 任一越权就阻止发布 |
| 语言/任务分层 | 防止平均分掩盖弱点 |
| P95 时延、调用数 | 显示性能代价 |
| Benchmark 版本 | 防止跨版本误比 |
| 提交次数 | 暴露对测试集适配程度 |
| 复现状态 | 区分自报与独立重放 |
若参赛系统只在检测到固定提示前缀时调用特殊答案表，它可能得高分但没有泛化能力。本次核对的MLPerf Inference官方规则明确禁止benchmark detection和基于输入内容的特殊优化，并要求可复现与审计；MLCommons通用政策仓库还单独维护提交和结果表述规则。这是一种具体制度案例，不代表所有任务都应照抄同一规则，实际提交应核对当期版本。
常见错误与排查
- 公开测试答案且无限提交：建立新留出、频率限制和版本轮换。
- 只按总分排序：展示 Pareto 维度、关键 gate 和适用范围。
- 规则运行中临时改变：变更必须版本化并对所有参与者一致。
- 榜单第一等于生产最佳：检查目标人群、成本、风险和部署差异。
- 旧 Benchmark 永不退役：定义污染、饱和、漂移和维护资源的退役条件。
练习
- 为内部 Agent 排行榜写提交频率、反馈粒度和审计规则。
- 构造一个“分数提高但真实目标变差”的 gaming 示例，并修改指标或规则。
- 为一次数据版本升级写兼容性声明：哪些结果仍能比较，哪些不能。
自测
- 隐藏测试是否与透明复现冲突？存在权衡；可公开规范和评分代码，同时由受控服务保存部分输入。
- 多指标是否自动防 gaming？不能，指标和聚合仍可能被利用，需要审计与更新。
- 满分是否证明 Benchmark 已解决？不一定，可能是数据简单、污染、grader 漏洞或覆盖不足。
小结与下一步
Leaderboard是一个激励与治理系统，不只是排序界面。规则只有在运行条件可复现时才成立。下一步学习 Agent环境、状态与多次运行，再进入综合项目。
参考资料
- MLPerf Inference官方规则（master分支核对于2026-07-14）
- MLCommons通用政策仓库（提交与结果政策，master分支核对于2026-07-14）
- BetterBench原始论文（获取日期：2026-07-14）
- The Benchmark Lottery原始论文（获取日期：2026-07-14）
- Dynabench原始论文（获取日期：2026-07-14）