延迟、成本、隐私与安全

本节目标

在媒体进入模型前完成预算、路由、授权和最小化;理解媒体元数据、内容、派生文本和追踪都可能泄露信息。

成本与延迟来自哪里

端到端延迟可粗分:

上传 + 解码/转码 + OCR/ASR/抽帧 + 模型队列/推理 + 后处理

媒体计费可能按 token、时长、图片数量/分辨率或模型调用;规则随供应商变化。不要把某日 token 换算写死为业务公式。内部可定义与供应商无关的“处理单位”做预路由,再由适配器估算真实费用。

分级路由

  1. 元数据和格式检查,不调用模型。
  2. 本地轻量预处理,提取候选页/片段。
  3. 单模态模型处理明确任务。
  4. 只有需要跨模态推理时调用多模态模型。
  5. 高分辨率或长上下文只用于关键证据。

缓存以资产哈希、处理器版本和参数为键;权限撤回或保留期到期时能删除。不要跨用户复用含个人数据的缓存。

数据分类与最小化

多模态数据的隐私面比文本更宽:

  • 图片含人脸、证件、屏幕、位置与 EXIF;
  • 音频含声音生物特征、背景谈话和地点线索;
  • 视频组合身份、行为、时间和场景;
  • OCR/ASR 派生文本仍是个人数据;
  • 调试追踪可能保存媒体或 base64。

为每个资产记录用途、授权、允许处理位置、保留期和删除状态。能用局部裁剪回答,就不要发送整张证件;能用脱敏转写回答,就不要上传原音频。

删除、撤权与检索传播

删除/撤权不是只删原文件。先用来源 revision 生成可审计事件,再让在线读取立即 fail closed;随后对派生图、OCR/ASR 文本、chunk、Embedding、向量/关键词索引、缓存、评测集副本和受控追踪分别确认传播状态。备份与法律保留可能有不同清除周期,不能把“在线不可检索”宣称为“所有介质已物理擦除”。这与 知识库构建的版本、删除与权限 是同一个数据生命周期问题。

flowchart LR
    A[原始媒体与授权] --> B[受限解析 / 派生物]
    B --> C[OCR、ASR、片段与证据]
    C --> D[Chunk / Embedding / 索引]
    D --> E[检索、回答与缓存]
    F[撤权 / 删除 / 到期事件] --> A
    F --> B
    F --> C
    F --> D
    F --> E

图中的箭头表示需分别留下确认记录的传播关系,不表示可以通过一次删除 API 自动完成所有层。

威胁模型

  • 伪装格式或解析器漏洞;
  • 图片/字幕/音频中的提示注入;
  • 隐写或隐藏层内容;
  • 恶意远程 URL、重定向和内网探测;
  • 模型输出触发高权限工具;
  • 日志、缓存和临时文件泄漏;
  • 生成/编辑媒体冒充真实来源。

防护包括 MIME 检测、沙箱解析、资源上限、URL allowlist、内容与指令隔离、输出 schema、工具侧授权、临时文件清理和审计。

来源与真实性

截至 2026-07-22,C2PA 规格站点列出 2.4(2026-04),并提供 Content Credentials、AI/ML 指南和安全考虑。C2PA 可把来源/编辑声明与资产做防篡改关联,但它不判断内容“是真的”或“好的”。验证通过只是一个信任信号:还要核验资产哈希、声明、签名、时间戳、撤销信息与证书链,并根据产品/业务自己的信任锚与签署主体决定是否采用。

若资产没有 Content Credentials,不能据此断言它是假;若有凭据,也不能跳过内容核验。

安全输出

  • 引用 asset_id 与证据区间;
  • 标明处理/生成步骤和模型版本;
  • 不输出不必要的身份推断;
  • 对医疗、执法、招聘等高影响判断设置人工复核;
  • 生成媒体按产品要求标注来源,保留许可和提示/输入记录;
  • 面向残障用户提供字幕、替代文本和可访问结果。

W3C WebVTT 是面向音视频时间对齐文本轨的标准化格式之一。截至 2026-07-22 的公开页面仍为 2026-05-20 Candidate Recommendation Draft,仍应按当时规范状态处理,而非称为最终推荐标准。

上线清单

  • 已核对供应商当日媒体类型、限制、数据保留和区域。
  • 文件解码在受限环境,大小/时长/像素有上限。
  • 个人数据有明确授权、最小化和删除路径。
  • 追踪不默认保存原始敏感媒体。
  • 媒体内容不能改变系统指令或工具权限。
  • 高风险输出有证据和人工复核。
  • 缓存与派生数据继承原资产分类。
  • 撤权/删除对在线检索、派生索引与缓存已 fail closed,并有各层传播确认;备份清除状态单独记录。

练习与自测

为“云端分析客服录音”画数据流,标出原音频、转写、Embedding、提示、响应、追踪和缓存的保存位置。自测:只删除原音频是否完成删除请求?C2PA 验证通过能否证明新闻内容真实?

下一步

进入 离线多模态证据路由项目。

参考资料