AI Agent Engineer

AI Agent Engineer
个人学习进度

标记这门课程

课程正文公开可读；登录后可保存个人进度。

AI 安全学习目录

11 min read

AI 安全学习目录

知识库简介

AI 安全研究系统在正常使用、故障、误用与攻击下，能否继续保护机密性、完整性、可用性以及人的安全与自主权。Agent 把概率模型连接到私有数据、身份和工具后，错误文本可能升级为真实副作用。本库用“资产与信任边界→注入与工具风险→身份/供应链→纵深控制→红队与事件响应”建立一条从零到可验证实践的路线。

本库不把模型拒答、系统 Prompt 或单一过滤器当成完整防线。核心原则是：外部内容和模型输出都是不可信建议；权限、授权、目的地、审批和执行必须由模型外的可测试边界决定。

在总路线中的位置

本库位于“安全与治理”知识域，并在四条角色路径的生产发布门附近作为核心课程。早期实践仍应先完成总路线的最小安全 milestone；学习完整课程时，可结合 Tool Calling、Agent 核心、工作流自动化 和 运行监控 的具体系统边界，并与 隐私计算、评测体系 和 AI治理 一起落地。

术语边界

  • AI security：抵抗攻击、误用与故障，保护系统和资产；
  • AI safety：更广泛地避免系统行为伤害人与社会，含但不限于安全攻击；
  • privacy：数据收集、使用、共享和主体权利是否受到保护；
  • governance：责任、政策、风险接受、监督和问责如何组织。

四者相互支持但不可互相替代；本库是工程教育材料，不构成法律、合规、渗透测试或风险接受意见。

学习目标

  • 从用途和不可接受结果出发，识别资产、攻击者、数据流与信任边界；
  • 区分直接/间接提示注入、越狱、记忆/上下文投毒，并限制最大影响；
  • 为工具实施最小功能、最小权限、对象级授权、目的地与出站控制；
  • 为身份、模型、数据、Prompt、MCP/Skill、依赖和部署产物建立供应链证据；
  • 正确组合 guardrail、确定性策略、沙箱、参数绑定审批、审计与紧急停用；
  • 从威胁模型构建红队集、发布门、监控信号和事件响应手册；
  • 运行一个严格契约、可回归、不会过度声称的离线威胁评审项目。

前置知识

  • HTTP、JSON、Python 与身份认证的基础概念；
  • 理解 Tool Calling 只是候选调用生成，不自动提供授权；
  • 知道模型输出具有概率性，网页、邮件、RAG、工具返回和其他 Agent 都可能不可信。

推荐学习顺序

01-基础与风险

  1. 资产、信任边界与威胁建模——从损失、资产和数据流建立可验证风险记录。
  2. 提示注入与间接注入——理解为什么不可信文本不能共享控制权。
  3. 工具越权与数据外泄——把安全边界落实到授权、目的地和副作用。

02-控制与治理

  1. 身份、最小权限与供应链——约束执行身份并追溯所有 Agent 组件。
  2. Guardrail、沙箱与人工审批——用模型外控制限制失败的爆炸半径。
  3. 红队、监控与事件响应——持续验证、发现、遏制、恢复并复盘。

03-项目与自测

  1. 项目：离线 Agent 威胁评审——运行严格 JSON 契约、11 条教学规则和 80 项测试。

与 2026 Agentic Top 10 的覆盖关系

OWASP Agentic Top 10 for 2026 可用作漏项提示，但不能替代本系统的资产、攻击路径、授权边界和验证证据。下表只说明本库从哪里进入这些风险，不表示读完相应章节就已经消除风险：

OWASP 类别本库主要入口需要验证的终态
ASI01 Agent Goal Hijack；ASI06 Memory & Context Poisoning提示注入与间接注入、红队与响应不可信内容不能扩大能力，投毒状态可隔离、删除和回滚
ASI02 Tool Misuse & Exploitation；ASI05 Unexpected Code Execution工具越权与数据外泄、沙箱与审批未授权副作用被拒绝，代码执行被限制在明确文件、网络和资源边界
ASI03 Identity & Privilege Abuse；ASI04 Agentic Supply Chain Vulnerabilities身份、最小权限与供应链每次调用按真实主体、对象和状态重新授权，运行组件可追溯、停用和回滚
ASI07 Insecure Inter-Agent Communication；ASI08 Cascading Failures威胁建模、红队与响应Agent 间消息有身份、完整性和权限边界，错误不会无预算地跨工作流放大
ASI09 Human-Agent Trust Exploitation；ASI10 Rogue Agents沙箱与审批、红队与响应人能看见真实动作并拒绝，运行时越界可被检测、停用和恢复

同一攻击通常跨多类，例如恶意文档劫持目标后，滥用过权工具，再经协作 Agent 传播并诱导人工批准。评审应保留完整链路，不要为了与 Top 10 一一对应而拆成互不相干的十项检查。

ASI07 的协议级合同与跨边界授权细节应继续阅读 多 Agent 的身份、授权与跨边界信任；本库负责把这类失败回接到威胁建模、红队、发布门和事件响应。

建议学习节奏

第一遍每节完成练习并画一张自己的系统图；第二遍把现有 Agent 的真实工具、身份、数据和依赖填进项目契约；第三遍把高风险发现转成负向测试、监控告警和事件手册。不要只背 OWASP 类别名称。

动手项目入口

进入 离线 Agent 威胁评审。项目完全离线，提供漏洞、加固、契约错误三条路径，退出码分别表达业务阻断/通过/输入错误；测试覆盖严格解析、引用完整性、11 项发现、决策、证据指纹和 CLI。

掌握标准

  • 能从用途推导最小能力，画出模型外的身份、策略、工具与数据边界。
  • 能写一条包含前置条件、步骤、资产、影响与终态的攻击路径。
  • 能让外部内容无法扩大工具、权限、目的地或批准。
  • 能区分 schema、认证、授权、审批、沙箱和 guardrail 的职责。
  • 能追溯模型、数据、Prompt、Skill/MCP、依赖与部署版本，并停用/回滚。
  • 能用恶意输入、工具终态和数据流断言构建安全回归门。
  • 能在事件中撤权、隔离、保全最小证据、安全恢复并形成永久回归。
  • 能说明项目 PASS 的证据边界，不声称它等于渗透测试或系统绝对安全。

与其他知识库的关系

  • 隐私计算 关注数据使用与隐私保护，但不能替代授权、供应链和事件响应。
  • AI治理 决定风险责任、批准、监督和问责，本库提供可验证技术证据。
  • 评测体系 与 Benchmark 设计 将红队路径转成版本门和可比实验。
  • 运行监控 承载工具拒绝、身份、版本、异常目的地和紧急控制信号。
  • 多Agent协作 负责委派、消息与跨边界身份合同；本库把其中的攻击路径、终态和事件证据纳入安全控制闭环。

主要参考资料

动态事实边界

OWASP、MITRE ATLAS、模型、框架与攻击手法会持续变化。版本与发布日期已按 2026-07-22 可访问的官方资料核对；实际部署前仍应重新检查当前版本、供应商文档、地区法规和组织政策。

Backlinks