多模态质量评测
本节目标
把端到端结果拆成输入质量、单模态感知、跨模态对齐、推理、证据定位和业务结果，避免只看一个排行榜分数。
六层评测
1. 输入与预处理
测格式解析成功率、损坏检测率、时间/坐标映射误差、抽帧覆盖和转写分段完整性。预处理错误会让后续模型无论多强都失败。
2. 单模态感知
- OCR：字符错误率（CER）、字段准确率；
- ASR：词错误率（WER）、时间戳误差；
- 对象/区域：检测精确率、召回率、交并比（IoU）；
- 视频事件：片段时间 IoU、事件召回；
- 文档：阅读顺序和表格单元格恢复率。
平均指标之外，按语言、字体、噪声、分辨率、口音、时长和资产来源切片。
3. 跨模态检索与对齐
检索用 Recall@k、MRR 等；区域/短语与音视频时间对齐要测定位误差。加入困难负例：外观相似但文字不同的图片、相同关键词但事件不同的片段。
4. 推理与结构
检查逻辑正确率、数值/单位、一致性，以及 schema_valid_rate。结构合法与语义正确必须分别统计。
5. 证据扎根
每条 claim 是否有真实存在的 asset_id、页/区域/时间引用？引用片段是否支持该结论？可统计 evidence_precision、evidence_recall 和 unsupported_claim_rate。
再加入证据干预测试：遮蔽/替换已引用的区域或时间窗，同时尽量保持其他输入不变，观察结论是否改变；也要遮蔽未引用区域，检测“看似引用、实际依赖其他线索”的情况。它只能发现空引用、捷径和脆弱性，不能单独证明因果或事实；仍要用标注的证据蕴含与人工复核判断 evidence_supported。
6. 端到端与安全
业务任务成功、人工接受、返工、延迟、成本；同时测敏感数据泄露、媒体提示注入、模态冲突处理和拒答正确率。
必须有的基线与消融
- 文本/元数据基线：防止模型只用题干猜答案。
- 单模态基线：证明另一模态带来真实增益。
- 缺失模态：系统是否正确降级或拒答。
- 冲突模态：是否指出矛盾而非盲目融合。
- 随机/空白媒体：检查模型是否忽略媒体。
- 不同采样/分辨率：量化预处理取舍。
若去掉图片结果不变，所谓视觉能力可能只是语言先验。
数据集设计
从实际失败模式分层采样，保存原始资产授权、标注规范、多个标注者的一致性和版本。训练集与测试集按来源/实体隔离，防止同一视频切片跨集合泄漏。
参考答案不仅包含最终结论，还应包含证据页、框或时间段及可接受变体。对开放回答，优先用规则/专家核验关键字段；模型裁判应校准并抽查。
公开 benchmark 的正确用途
MMMU 原始论文构建了跨学科、异质图像类型的专家级多模态问题；MMMU-Pro 进一步过滤文本可答题、增加选项并引入视觉输入变化，意在更严格测试模型是否真正使用视觉。它们适合了解研究能力，不代表你的发票、会议或工业视频任务。
不要把不同版本、提示、输入分辨率或测试子集的分数直接横比。先固定自己的任务集与验收。
一个结果表
| 切片 | 成功率 | 证据支持率 | P95 延迟 | 备注 |
|---|---|---|---|---|
| 清晰图文 | 0.91 | 0.95 | 4.2 s | 基线 |
| 小字截图 | 0.62 | 0.70 | 4.4 s | 需切片 OCR |
| 音画冲突 | 0.48 | 0.86 | 7.1 s | 冲突仲裁弱 |
示例数字只是表格演示，不是任何模型实测结论。
练习与自测
为“会议视频决策抽取”设计 20 条最小评测，至少包含无音频、错误字幕、短暂画面、多人重叠、音画冲突和注入文字。自测：结构化 JSON 通过率 100% 是否说明模型答案正确？
下一步
继续 延迟、成本、隐私与安全。
参考资料
- Yue 等，MMMU
- Yue 等，MMMU-Pro
- Google Gemini API：Video understanding（访问于 2026-07-22）