延迟、成本、隐私与安全
本节目标
在媒体进入模型前完成预算、路由、授权和最小化;理解媒体元数据、内容、派生文本和追踪都可能泄露信息。
成本与延迟来自哪里
端到端延迟可粗分:
上传 + 解码/转码 + OCR/ASR/抽帧 + 模型队列/推理 + 后处理媒体计费可能按 token、时长、图片数量/分辨率或模型调用;规则随供应商变化。不要把某日 token 换算写死为业务公式。内部可定义与供应商无关的“处理单位”做预路由,再由适配器估算真实费用。
分级路由
- 元数据和格式检查,不调用模型。
- 本地轻量预处理,提取候选页/片段。
- 单模态模型处理明确任务。
- 只有需要跨模态推理时调用多模态模型。
- 高分辨率或长上下文只用于关键证据。
缓存以资产哈希、处理器版本和参数为键;权限撤回或保留期到期时能删除。不要跨用户复用含个人数据的缓存。
数据分类与最小化
多模态数据的隐私面比文本更宽:
- 图片含人脸、证件、屏幕、位置与 EXIF;
- 音频含声音生物特征、背景谈话和地点线索;
- 视频组合身份、行为、时间和场景;
- OCR/ASR 派生文本仍是个人数据;
- 调试追踪可能保存媒体或 base64。
为每个资产记录用途、授权、允许处理位置、保留期和删除状态。能用局部裁剪回答,就不要发送整张证件;能用脱敏转写回答,就不要上传原音频。
删除、撤权与检索传播
删除/撤权不是只删原文件。先用来源 revision 生成可审计事件,再让在线读取立即 fail closed;随后对派生图、OCR/ASR 文本、chunk、Embedding、向量/关键词索引、缓存、评测集副本和受控追踪分别确认传播状态。备份与法律保留可能有不同清除周期,不能把“在线不可检索”宣称为“所有介质已物理擦除”。这与 知识库构建的版本、删除与权限 是同一个数据生命周期问题。
flowchart LR A[原始媒体与授权] --> B[受限解析 / 派生物] B --> C[OCR、ASR、片段与证据] C --> D[Chunk / Embedding / 索引] D --> E[检索、回答与缓存] F[撤权 / 删除 / 到期事件] --> A F --> B F --> C F --> D F --> E
图中的箭头表示需分别留下确认记录的传播关系,不表示可以通过一次删除 API 自动完成所有层。
威胁模型
- 伪装格式或解析器漏洞;
- 图片/字幕/音频中的提示注入;
- 隐写或隐藏层内容;
- 恶意远程 URL、重定向和内网探测;
- 模型输出触发高权限工具;
- 日志、缓存和临时文件泄漏;
- 生成/编辑媒体冒充真实来源。
防护包括 MIME 检测、沙箱解析、资源上限、URL allowlist、内容与指令隔离、输出 schema、工具侧授权、临时文件清理和审计。
来源与真实性
截至 2026-07-22,C2PA 规格站点列出 2.4(2026-04),并提供 Content Credentials、AI/ML 指南和安全考虑。C2PA 可把来源/编辑声明与资产做防篡改关联,但它不判断内容“是真的”或“好的”。验证通过只是一个信任信号:还要核验资产哈希、声明、签名、时间戳、撤销信息与证书链,并根据产品/业务自己的信任锚与签署主体决定是否采用。
若资产没有 Content Credentials,不能据此断言它是假;若有凭据,也不能跳过内容核验。
安全输出
- 引用 asset_id 与证据区间;
- 标明处理/生成步骤和模型版本;
- 不输出不必要的身份推断;
- 对医疗、执法、招聘等高影响判断设置人工复核;
- 生成媒体按产品要求标注来源,保留许可和提示/输入记录;
- 面向残障用户提供字幕、替代文本和可访问结果。
W3C WebVTT 是面向音视频时间对齐文本轨的标准化格式之一。截至 2026-07-22 的公开页面仍为 2026-05-20 Candidate Recommendation Draft,仍应按当时规范状态处理,而非称为最终推荐标准。
上线清单
- 已核对供应商当日媒体类型、限制、数据保留和区域。
- 文件解码在受限环境,大小/时长/像素有上限。
- 个人数据有明确授权、最小化和删除路径。
- 追踪不默认保存原始敏感媒体。
- 媒体内容不能改变系统指令或工具权限。
- 高风险输出有证据和人工复核。
- 缓存与派生数据继承原资产分类。
- 撤权/删除对在线检索、派生索引与缓存已 fail closed,并有各层传播确认;备份清除状态单独记录。
练习与自测
为“云端分析客服录音”画数据流,标出原音频、转写、Embedding、提示、响应、追踪和缓存的保存位置。自测:只删除原音频是否完成删除请求?C2PA 验证通过能否证明新闻内容真实?
下一步
进入 离线多模态证据路由项目。
参考资料
- C2PA Specifications 2.4(访问于 2026-07-22)
- C2PA Conformance / Trust List(访问于 2026-07-22)
- C2PA Guiding Principles(访问于 2026-07-22)
- W3C WebVTT(访问于 2026-07-22)