AI Agent Engineer

AI Agent Engineer
个人学习进度

标记这门课程

课程正文公开可读；登录后可保存个人进度。

评测体系

9 min read

评测体系

知识库简介

评测不是“给模型跑一个分数”，而是把产品目标转成可重复的任务、数据、评分和决策证据。本知识库从评测声明与基本单元出发，逐步建立数据集、确定性/人工/模型/Trace评分、RAG与Agent分层、统计不确定性、多维发布门以及审计治理流程。

事实边界

厂商评测API、grader类型和产品界面会变化。本课程只提炼官方方法论，资料复核日期为2026-07-22；代码项目完全离线，不依赖任何厂商API，也不使用营销榜单数字。OpenAI官方已于2026-06-03宣布弃用Evals平台；截至本页核验日的官方计划是既有eval于2026-10-31转为只读、dashboard和API于2026-11-30关闭，这些未来安排仍需届时复核。本库不教授该旧入口。MLflow相关链接指向本次核对的latest文档，不代表固定包版本；其经典ML和GenAI评测API的对象、指标与迁移边界也不能混用。

在总路线中的位置

它位于“生产化、评测与治理”阶段。先理解 概率统计、RAG 和 Agent 核心，再把质量目标变成上线门槛与回归证据。公共比较任务的长期设计进入 Benchmark设计。

学习目标

  • 写清评测要支持的声明、决策、对象与成功标准。
  • 建设包含典型、边界、失败和对抗场景的可追溯数据集。
  • 组合确定性断言、规则、人工评审、模型评审与Trace评分，并说明各自边界。
  • 用混淆矩阵、precision/recall/F1、均值/分位数和置信区间解释结果，并区分task总体与trial波动。
  • 分开评测检索、生成、工具选择、参数、轨迹和最终环境状态。
  • 正确区分离线评测与在线实验，报告样本量、波动和区间。
  • 把生产失败转成回归用例，用安全、公平、成本、延迟和质量的版本化门禁控制变更。
  • 生成可审计报告，记录数据、grader、harness、批准、例外和证据边界。

前置知识

  • 理解均值、比例、抽样、方差和置信区间的基本直觉。
  • 会读 JSON，并能在 PowerShell 7 运行 Python 3 标准库脚本。
  • 知道 RAG 的“检索→生成”结构与 Agent 的工具调用循环。
  • 不要求使用特定评测平台；先学习可迁移的评测契约。

推荐学习顺序

  1. 评测目标与基本单元：从要支持的决策反推评测声明。
  2. 用例数据集与分层：构建代表真实分布又保留困难尾部的数据集。
  3. 确定性断言、指标与评分规则：优先让机器检查可客观判断的部分。
  4. 人工评审与模型评审：明确 judge 的校准、偏差和人工保留边界。
  5. RAG、生成与 Agent 分层评测：定位系统在哪一层出错。
  6. 离线、在线、统计与回归：从单次分数走向稳定决策。
  7. 评测报告、审计与治理：把多维证据转成有优先级、可复核的发布决策。
  8. 离线到线上证据交接与回归闭环：将冻结评测、发布门、遥测和人工分诊串成单向、可审计的证据链。
  9. 项目：离线分层评测流水线：实跑严格契约、确定性grader、切片门禁、配对bootstrap和完整证据摘要。

动手实践或项目入口

  • 主项目：离线分层评测流水线。它只用Python 3标准库，验证dataset/rubric/predictions严格JSON契约、split泄漏、混淆矩阵、切片门、固定种子bootstrap、完整SHA-256证据摘要、仅供展示的短指纹和CLI退出码；fixture中的观测字段只用于离线教学，不等于候选自证或真实环境结果。
  • RAG 分层练习：离线可引用问答 直接生成 retrieval/context/citation fact recall、status accuracy、关键切片与 non-disclosure 的版本化 eval artifact，避免把 evidence_present=true 这类自报布尔值当完整 RAG 证据。
  • 报告实践：用 实际生成的 Agent 评测看板 检查多 trial 比例区间、尾延迟、路由混淆和成本—成功率权衡；图、fixture、生成脚本、精确尺寸测试与文字替代说明一并保留。
  • 实际任务：从一条真实失败日志提炼输入、期望环境状态、关键断言和失败严重度。
  • 评审练习：让两位评审者盲评同一组输出，先分析分歧再决定是否引入模型 grader。

掌握标准

  • 能区分 task、trial、grader、assertion、trace、outcome、harness 与 suite。
  • 能说明一个总分支持什么声明、不能支持什么声明。
  • 能为数据集记录来源、分层、版本、隐私处理和冻结策略。
  • 能优先使用确定性检查，并为主观维度写有锚点的 rubric。
  • 能用人工金标准校准grader，报告一致性、分歧、位置/长度/对抗敏感性与仲裁。
  • 能分别诊断检索、回答、工具参数和最终状态，而非只看终局文本。
  • 能正确计算并解释混淆矩阵、precision、recall、F1、p95与置信区间。
  • 能让安全/关键切片BLOCK优先于总体均值，并报告公平、成本与延迟边界。
  • 能报告配对差值与不确定性，经人工分诊后把失败样本加入回归候选，并保留完整审计证据。

与其他知识库的关系

  • Benchmark设计固定长期比较协议、任务分布与报告规范；本库首先解决具体产品声明、grader、数据与发布门。
  • 数据合成 可补充稀有场景，但合成样本必须单独标记并用真实数据验证效用。
  • 运行监控持续观察线上遥测、SLO与事故；评测体系只将经人工分诊、脱敏、去重和复现确认的候选沉淀为可重复case，绝不把监控曲线或告警自动写进冻结测试集。
  • LLMOps 负责将评测门禁接入版本、发布和回滚流程。

主要参考资料

以下均为官方资料、标准或原始论文，获取/复核日期为2026-07-21：

Backlinks