生成原理与时序一致性
本节目标
理解视频模型为何既要画好每一帧,又要让相邻帧和远距离帧“属于同一个世界”。
比图像多出来的时间维度
单帧质量关注形状、纹理、文字和构图;视频还要学习对象如何随时间移动、遮挡后如何再出现、相机运动如何改变透视。若每帧独立生成,即使每张都漂亮,连起来也会闪烁、身份漂移或物体忽然消失。
早期视频扩散研究把图像扩散网络扩展为空间与时间联合建模:网络同时观察邻近帧,并用条件采样做时间或空间延展。后续系统常把视频压缩成潜表示,再切成时空 patch(一小块空间、跨若干时间的表示),由 Transformer 建模。课程中的比喻是“模型不是逐页画翻页书,而是在一组相互约束的时空块上反复修正”。具体架构因模型而异。
三个一致性尺度
- 局部运动一致性:相邻帧位移是否平滑,有无抖动或变形。
- 镜头内身份一致性:人物、服装、物体纹理在遮挡和转身后是否保持。
- 跨镜头叙事一致性:道具位置、光线、方向和事件状态能否衔接。
第三项通常不能只靠单次模型生成解决,需要分镜表、参考资产、连续性锚点和人工剪辑。Agent 的价值是保存这些状态并在每个作业中重复注入,而不是假定模型“记得上一镜头”。
条件与随机性
文本描述语义;首帧或参考图提供外观与构图;已有片段可提供运动或延展起点。条件越多不一定越稳定:互相冲突的文字、首帧和运动要求会让模型折中或失败。seed 只能帮助记录采样起点,不能跨模型版本、服务实现或后期处理保证完全重现。
失败模式与定位
- 闪烁:逐帧颜色/纹理不稳;先缩短镜头、减少复杂运动,再评估后期稳定。
- 融化或多肢体:动作、遮挡和主体过复杂;降低同时动作数量,拆镜头。
- 身份漂移:参考不足或镜头过长;增加合法参考、固定关键特征并在剪辑点重置。
- 物理错误:模型产生视觉上 plausible 但不符合真实因果的运动;不得用于事实或安全关键模拟。
练习与自测
观看任意短片(无需 AI 生成),逐帧抽查主体的颜色、形状、遮挡恢复和接触关系,分别归入三个一致性尺度。回答:为什么“单帧都清晰”不足以证明视频合格?
下一步:文本与图像条件。