多模态AI学习目录

多模态AI

资料获取日期：2026-07-22。模型支持的媒体类型、大小、时长、采样与计费规则变化很快；实际接入前必须再次核对所选供应商的模型页与 API 文档。本库不把当日限额写成永久规则。

知识库简介

“模态（modality）”是信息的表现形式，如文本、图像、音频、视频、深度或传感器数据。多模态 AI 的核心不是把不同文件一起上传，而是保存每种输入的结构、时间、空间与来源，让模型能对齐证据并输出可验证结果。本库从表示与对齐开始，逐步学习输入合同、融合架构、预处理、提示与结构化输出、评测、成本和安全。

在总路线中的位置

本库可在掌握现代 LLM 基本能力后进入，是复杂输入应用的总入口。Embedding、提示与上下文、Agent runtime 和生产化知识按具体任务补齐，不要求先完整学完这些课程。后续 OCR、语音识别、语音合成、图像生成和 视频生成分别深入某一种感知或生成能力；实时多模态交互再把音频、turn、用户打断、工具和会话状态组合成端到端系统。

学习目标

• 区分原始媒体、特征表示、共享 Embedding、对齐和真正的跨模态推理。
• 为图像、音频、视频和文档建立明确输入合同与来源记录。
• 理解早期融合、晚期融合、交叉注意力和共享空间的取舍。
• 保留图像区域、页码、时间戳和音视频同步等空间/时序证据。
• 设计带结构化输出、证据引用、缺失模态和不确定性规则的提示。
• 从感知、对齐、推理、任务成功、延迟成本、隐私和安全多层评测。
• 完成一个只使用合成元数据的离线证据路由项目。

前置知识

• 理解 向量基础与 Embedding中的向量、余弦相似度和检索。
• 能读写 Python、JSON，了解 MIME 类型、文件大小和哈希。
• 理解 提示词工程、上下文工程与结构化输出。

推荐学习顺序

1. 模态、表示与对齐：建立共享表示和对齐的直觉与边界。
2. 图文音视频输入合同：从文件类型走向可验证输入对象。
3. 融合架构直觉：按任务选择共享空间、早期/晚期或交叉融合。
4. 预处理与时空证据：在压缩与抽样时保留页、区域和时间来源。
5. 多模态提示与结构化输出：明确输入角色、证据范围和输出 schema。
6. 多模态质量评测：拆开感知、对齐、推理与端到端任务指标。
7. 延迟、成本、隐私与安全：建立路由、预算、数据最小化和媒体来源策略。
8. 离线多模态证据路由项目：用合成清单完成输入验证、路由和证据计划。

动手实践或项目入口

进入 离线多模态证据路由项目。脚本不读取真实图片、音频或视频，只检查合成媒体清单，输出处理器、成本单位、隐私动作和预期证据定位方式。

掌握标准

• 能说明“共享向量相近”为什么不等于事实一致或因果理解。
• 能为一项图文/音视频任务写出媒体、时间/空间、来源和输出合同。
• 能解释抽帧、裁剪、转写和压缩分别可能丢失什么。
• 能设计包含缺失模态、模态冲突、仅文本基线和攻击样本的评测集。
• 能在发送媒体前做格式验证、最小化、授权、预算和保留期决策。
• 能让输出中的关键结论指向页码、区域框或时间区间。

与其他知识库的关系

• Embedding提供共享表示和相似度基础，但多模态应用还需对齐与证据定位。
• RAG可检索图像、音频、视频或文档片段；进入检索库的每个片段都要保留原始 asset、页/区域/时间、版本、ACL 与删除状态，不能退化成脱离来源的纯 caption。
• 文档解析、OCR和 语音识别把媒体转换为可检索结构。
• 实时多模态交互负责流式 session、VAD/turn、barge-in、背压、工具关联和断线恢复，不重复本库的模态表示基础。
• 多Agent协作可让不同模态专家协作，但只有在单一多模态模型/工作流不足时才增加复杂度。
• 评测体系、AI安全和 隐私计算承接系统性质量与治理。

主要参考资料

• Radford 等，Learning Transferable Visual Models From Natural Language Supervision (CLIP)（原始论文）
• Girdhar 等，ImageBind: One Embedding Space To Bind Them All（原始论文）
• Google Gemini API：File input methods 与 Video understanding（访问于 2026-07-22）
• Yue 等，MMMU 与 MMMU-Pro（原始评测论文）
• C2PA Specifications 2.4（2026-04；访问于 2026-07-22）
• W3C WebVTT（访问于 2026-07-22；当前页面为 2026-05-20 Candidate Recommendation Draft）