视频生成
知识库简介
视频生成(video generation)让模型依据文本、图像或既有片段产生一段随时间变化的视听内容。它不是“连续生成很多张图”这么简单:镜头、帧率、运动、身份连续、声音、字幕、后期与失败恢复共同决定交付质量。本知识库以短镜头工作流为主,强调先分镜、逐镜头生成、离线验证任务包,再由人工剪辑与复核完成作品。输入、镜头变换和发布候选还必须分别追踪版本、对象级访问控制和撤权/删除传播。
在总路线中的位置
它位于“扩展应用与复杂协作”的末端,综合运用提示词、多模态输入、异步任务、评测、安全和生产化知识。学习完成后,你应能让 Agent 编排视频任务,但不会把创作与发布决定完全交给 Agent。
学习目标
- 理解帧、帧率、时长、分辨率、镜头与时间线的关系。
- 用直觉解释视频生成中的空间质量与时间一致性。
- 把创意拆成 storyboard、shot list、生成任务、后期、音频和字幕接口。
- 设计运动、身份、连续性、音画和安全的分层验收。
- 用离线验证器检查时间线、权利信息、失败恢复、人工审核门禁,以及
source_revision、transform_id、release_id的来源链。
前置知识
开始前建议具备以下能力:理解 图像生成 的构图、条件控制与质量边界;能用 提示词工程 描述镜头约束;理解 工作流自动化 的异步任务与失败恢复;能用 JSON 表达任务包。它们是按任务补齐的能力清单,不要求先完整学完四门课程。不要求剪辑软件经验;课程只讲可迁移的工作流与接口。
推荐学习顺序
- 视频基本量与时序:读懂帧率、时长、镜头和时间线。
- 生成原理与时序一致性:理解视频为何比图像多一个时间难题。
- 文本与图像条件:选择文本、首帧、参考素材和既有视频条件。
- 分镜与镜头清单:把故事拆成可生成的短镜头。
- 生成与后期拼接工作流:管理异步任务、版本和后期交接。
- 音频、字幕与无障碍接口:把音画同步和字幕作为正式交付物。
- 质量、运动与身份一致性评测:建立逐帧、逐镜头和成片三级评审。
- 成本、失败恢复与来源治理:限制重试、保留来源并安全发布。
- 项目:视频生成任务包验证:完成完全离线的分镜任务包检查。
动手实践或项目入口
按照 项目说明,阅读 示例任务包,运行 验证器、兼容性冒烟测试 与 完整合同和 CLI 测试。脚本不会请求 API,也不会创建视频或音频文件。
掌握标准
- 能把一个创意拆成有明确起止时间、镜头语言和连续性锚点的 shot list。
- 能解释帧内质量与跨帧一致性的区别。
- 能设计生成、下载、转码、剪辑、字幕、配音和审查之间的接口。
- 能为失败镜头局部重试,而不是每次重做整片。
- 能记录素材授权、人物同意、生成历史和内容凭证计划。
- 能在预览、评分或模型读取前落实对象级授权/ACL,并在撤权或删除时让镜头候选、成片派生物、缓存和链接按计划失效。
- 能区分合成内容披露与事实性主张;后者必须有独立证据达到
evidence_supported。 - 离线任务包验证器及其测试可以通过。
与其他知识库的关系
- 图像生成 提供构图、视觉条件、编辑和图像质量基础。
- 语音合成 与 语音识别 支撑配音、转写和字幕校对。
- 运行监控 支撑长任务状态、重试与成本观测。
- AI 安全 与 AI 治理 承接发布前风险和责任记录。
- 版本、删除与权限 提供版本、对象级授权/ACL 与撤权/删除传播的通用治理语义。
主要参考资料
资料核对/访问日期:2026-07-22。该日访问的 OpenAI 官方视频指南公告:Sora 2 视频模型和 Videos API 已弃用,计划于 2026-09-24 关闭;这是未来计划而非已发生状态。因此本课程把供应商字段视为适配层配置,而非永久知识。
- Video Diffusion Models(Ho 等,2022,原始论文)
- Video generation models as world simulators(Brooks、Peebles 等,2024,技术报告)
- OpenAI Video generation guide(2026-07-22 访问;当前接口和未来关闭计划)
- Google Cloud video generation prompt guide(当前供应商提示结构示例)
- WebVTT: The Web Video Text Tracks Format(W3C Candidate Recommendation Draft,2026-05-20)
- C2PA Content Credentials 2.4