融合架构直觉
本节目标
理解不同模态在何时、以何种粒度交互，并能按任务、数据和延迟选择融合策略。
融合解决什么问题
单独编码各模态后，系统要回答：
- 哪段文字对应哪个图像区域？
- 哪个音频事件与哪个视频时刻同步？
- 一个模态缺失或冲突时怎样推理？
- 如何把联合证据转成结构化输出？
融合不是简单拼接文件。它决定信息交换的时间、粒度和计算量。
早期融合
把不同模态的 token/特征较早放入共同模型，让注意力学习细粒度交互。
优点：能表达区域—词、帧—语音等复杂关系。缺点：序列长、计算和显存高，对数据对齐与位置编码要求高。适合需要联合细节推理的任务。
晚期融合
各模态独立产生预测或分数，最后用规则/模型合并。
final_score = w_text * text_score + w_image * image_score优点：模块可独立替换、容易处理缺失模态和缓存，调试清晰。缺点：在独立编码中丢失的细粒度关系无法在最后恢复。适合多路分类、风险评分或已有成熟单模态模型的系统。
中间融合与交叉注意力
每个编码器先提取表示，再通过 cross-attention 让一种模态查询另一种模态。它在细粒度交互与计算成本之间折中。视觉问答常需要文本问题关注特定图像 patch；视频问答还需时间位置。
共享 Embedding 与检索式融合
将不同模态映射到共享空间，先检索候选，再让生成模型分析少量证据。适合大规模媒体库：
问题文本 -> 共享向量 -> 检索图片/片段 -> 生成器基于证据回答它减少生成上下文，但检索阶段可能漏掉关键证据，所以要单独评估召回率。
级联系统
生产系统常用路由：
- 轻量元数据/文本模型判断需要哪些模态；
- OCR/ASR/视觉模型提取候选；
- 多模态模型只处理高价值片段；
- 规则验证结构和证据。
这种架构比“所有媒体一次发送给最大模型”更可控，也更容易做隐私最小化。
缺失与冲突模态
训练/评测时加入 modality dropout（随机缺失模态），观察系统是否知道自己缺什么。融合器应区分“没有音频”“音频解析失败”和“音频中没有目标事件”。
当字幕说“红灯”而画面显示绿灯，系统应输出冲突及来源，而不是平均为一个模糊结论。高风险任务由规则或人工仲裁。
选择表
| 需求 | 首选思路 |
|---|---|
| 跨媒体搜索 | 共享 Embedding |
| 细粒度图文问答 | 早期/交叉注意力 |
| 多传感器独立评分 | 晚期融合 |
| 超长视频 | 分段检索 + 片段融合 |
| 隐私敏感 | 本地提取 + 最小证据发送 |
| 模态经常缺失 | 模块化晚期/中间融合 |
练习与自测
为“客服电话录音 + 工单文本判断是否解决”选择融合方案，并说明如果录音缺失怎样降级。自测：晚期融合为什么无法恢复被 ASR 丢掉的语气或重叠说话？
下一步
继续 预处理与时空证据。