AI Agent Engineer

AI Agent Engineer
个人学习进度

标记这门课程

课程正文公开可读；登录后可保存个人进度。

AI 治理学习目录

10 min read

AI 治理学习目录

知识库简介

AI 治理把“应该怎样负责任地使用 AI”变成可执行、可追溯、可复查的组织机制。它不是一份伦理口号或上线检查表，而是一条贯穿提出需求、采购/开发、验证、部署、运行、变更、事件和退役的责任链：系统必须有人负责，风险必须有人决定，控制必须有证据，变化必须触发复查。

本库采用 NIST AI RMF 的 Govern、Map、Measure、Manage 作为通用风险管理骨架，并用 OECD 原则校准人权、透明、安全与问责视角。法规和标准只作为定位与复核入口；任何“是否适用、怎样合规”的判断都必须结合角色、用途、地区、行业和当前有效文本。

在总路线中的位置

本库位于“安全与治理”知识域，在 Agent 平台工程路径的生产发布门附近作为核心课程；其他路径可在承担系统或风险责任时按需进入。建议先掌握 Agent 核心、数据与模型基础，再结合评测、运行监控、AI 安全和隐私计算。治理负责把这些技术证据连接到负责人、风险容忍度、审批和生命周期决策，而不是替代技术验证。

学习目标

  • 建立能覆盖自研、采购、开源、嵌入式和试验系统的 AI 系统清单。
  • 区分负责、执行、复核、咨询与知情角色，并明确谁有权接受残余风险。
  • 用场景、受影响者和实际后果做风险分级与影响评估，而不是只看模型名称。
  • 管理数据、模型、工具、供应商和版本组成的完整价值链。
  • 为透明说明、评测、审批、变更、监控、事件和退役保留最少但充分的证据。
  • 能产出一套离线、可审查的最小 AI 治理包，并知道它不等同于合规证明。

从框架功能落到工件和责任

NIST AI RMF 的四项功能不是一次性瀑布流程：Govern 贯穿其他功能，Map、Measure 与 Manage 会随用途、证据、运行和外部变化反复迭代。Playbook 明确说明它是自愿建议，不是必须逐项执行的检查表。

功能本库中的核心工件主要责任接口
Govern清单、角色/决策权、政策、风险容忍度、供应链责任治理机构、最终责任人、系统/风险负责人
Map用途、受影响者、场景、地区、影响路径与非 AI 基线产品/领域、数据、隐私、安全与受影响者参与
Measure场景化评测、分群、红队、控制证据、不确定性独立评测、安全/隐私和领域复核
Manage风险排序、上线/例外决定、监控、事件、恢复与退役有权批准者、运维/事件负责人和业务责任人

框架条目负责提醒“应形成什么结果”；组织还要为每个结果指定版本化工件、负责人、决策权、验证和复查触发器。

前置知识

  • 了解一个 AI/Agent 系统通常包含模型、Prompt、数据、检索、工具、身份和运行基础设施。
  • 具备基本的项目管理、风险、测试和版本概念；不要求法律或审计背景。
  • 建议先阅读 AI安全 与 隐私计算，理解技术控制的边界。

推荐学习顺序

01-基础与风险

  1. 系统清单与角色责任：先回答“管什么、谁负责、谁能决定”。
  2. 风险分级与影响评估：从用途和受影响者推导审查深度。

02-控制与治理

  1. 数据、模型与供应商治理：管理从数据到外部服务的价值链。
  2. 文档、透明与可追溯证据：为不同受众保存可验证证据。
  3. 上线审批与变更管理：把证据绑定到版本、条件和决策。
  4. 运行监控、事故与退役：治理发布后的真实变化与损害。
  5. 法规、标准与地区复核：学会区分自愿框架、标准、组织政策与法律义务。

03-项目与自测

  1. 项目：离线 AI 治理包：把前七节整合为可审查 JSON 证据包。

动手实践或项目入口

  • 综合项目见 离线 AI 治理包。
  • 03-项目与自测/examples/governance_pack.py 使用合成的“福利申请材料辅助整理”场景，输出系统清单、角色、影响与风险、组件、审批、监控、事件和退役计划；脚本不联网、不接触真实个人数据、不需要密钥。
  • 每学完一节，用同一个“客服回复草稿 Agent”更新治理包，比对系统范围、风险和批准条件如何变化。

掌握标准

  • 任何 AI 用例都能在清单中找到唯一 ID、用途、负责人、状态、组件、地区和复查日。
  • 高影响决策有具名责任人和独立挑战渠道，不能由模型或供应商自行接受残余风险。
  • 风险等级能追溯到严重性、可能性、影响范围、可逆性、自主程度和受影响群体。
  • 数据、模型、供应商、评测、审批和变更记录能通过版本标识关联。
  • 监控指标有阈值、行动、负责人和升级路径；事故与危险信号都能进入闭环。
  • 退役会撤销访问、停止调用、处理数据/日志、保存必要证据并通知依赖方。
  • 能明确说明治理材料为何不自动证明符合某一法规或标准。

与其他知识库的关系

  • AI安全 产生威胁模型、红队、访问控制和事件证据；治理决定责任、门槛与风险接受。
  • 隐私计算 提供数据最小化和隐私增强技术；治理批准目的、预算、供应商和生命周期。
  • 评测体系 与 运行监控 提供上线前和运行中的量化证据。
  • LLMOps 负责版本、发布和可观测性；治理规定哪些变化需要重新评估与批准。

主要参考资料

适用边界

本库是工程教育材料，不构成法律、合规、认证或审计意见。任何生产项目都要由有权人员按部署地、用户所在地、行业、数据、组织角色及最新正式文本复核；“采用某框架”不等于“符合某法规”。

Backlinks