模态、表示与对齐
本节目标
理解原始信号怎样变成向量或 token，什么是跨模态对齐，以及“对齐”不保证哪些能力。
什么是模态
模态是信息载体及其统计结构：
- 文本是离散 token 序列，有语法和顺序。
- 图像是空间网格中的像素，位置、尺度和颜色重要。
- 音频是随时间变化的波形，采样率、声道和频谱重要。
- 视频是带时间的图像序列，通常还含同步音轨。
- 深度、热成像、IMU 等传感器有自己的单位和采样频率。
文件扩展名只是容器线索，不等于模态内容。一个 PDF 可能含文本、扫描图、表格和图片；视频可能只有画面或只有可用音频。
从原始信号到表示
模型通常先用编码器把输入转换为向量序列：
文本 token -> 文本编码器 -> 文本向量
图像 patch -> 视觉编码器 -> 区域/全局向量
音频帧 -> 音频编码器 -> 时间向量
视频帧+音频 -> 编码器 -> 时序向量表示是计算所需的压缩。全局图像向量适合粗粒度检索，但可能丢失“左上角小字”；每帧向量能保留时间变化，但成本更高。
共享空间与对齐
对齐让相关内容在共享向量空间中接近。例如 CLIP 通过图像—文本配对的对比学习，让正确图文对相似度高、错误配对低。最小直觉：
sim(image, text) = cosine(image_vector, text_vector)训练目标提高配对相似度差距，推理时可用文本检索图像或做零样本分类。ImageBind 展示了把图像、文本、音频、深度、热成像和 IMU 映射到联合空间的研究路径。
对齐不等于理解
向量接近只说明模型学习到统计相关性，不能自动证明：
- 图中对象的精确数量、位置和关系；
- 视频事件的因果顺序；
- 音频说话人的真实身份；
- 文本描述没有偏见或错误；
- 不同模态冲突时哪个是真实证据。
跨模态检索还可能受“捷径”影响：模型根据背景、字幕水印或数据集风格匹配，而没有识别核心对象。
三种对齐粒度
- 全局对齐：整张图与整段文本，适合搜索和分类。
- 局部对齐：图像区域—短语、音频时间段—词，适合定位证据。
- 时序对齐：视频片段、音频和字幕在时间轴对应，适合事件理解。
任务要求决定表示粒度。若输出需要“证据在 01:12–01:18”，只保留全局视频向量不够。
简单可验证示例
假设图片向量已归一化为 (0.8, 0.6)，两个文本向量分别为 (1, 0) 与 (0, 1)，余弦相似度为 0.8 和 0.6。模型会偏向第一个文本，但这只是相对匹配分，不是 80% 的事实概率。
常见错误与排查
- 把相似度当置信概率：校准前只能比较排序，不可直接解释概率。
- 忽略模态粒度：定位任务却只保存全局向量。回到验收所需证据粒度。
- 只看平均效果：按图片类型、语言、噪声和人群切片检查偏差。
- 把转写当原音频：转写会丢失音色、停顿、背景声和说话人信息。
练习与自测
为“从培训视频找到讲到退款政策的时刻”列出至少三种表示及用途。自测：文字转写匹配到“退款”是否足以证明画面正在展示退款流程？
下一步
继续 图文音视频输入合同。