扩散与自回归直觉
本节目标
不训练模型,只建立足以解释采样、随机性、条件控制和成本的心智模型。
扩散:从噪声逐步去噪
训练时,研究者给真实图像逐步加入噪声,让网络学习“在某个噪声程度下,怎样预测被加进去的噪声或干净方向”。生成时反过来:从随机噪声 出发,多次更新到较清晰的 。可用简化式表达一次前向加噪:
其中 是随机噪声, 控制还剩多少原图信号。真正实现包含噪声调度、网络预测目标和采样器;初学者只需抓住“多步纠偏”。潜扩散(latent diffusion)把这套过程放在压缩表示中,降低高分辨率计算量。
条件(conditioning)是给去噪过程的方向盘。文本编码、参考图、深度图或遮罩都可成为条件。分类器无关引导(classifier-free guidance)的直觉是比较“听条件”和“不听条件”的预测,再把结果朝条件方向推;推得过强可能牺牲自然度或多样性。
自回归:按序预测下一个视觉单元
自回归模型把图像转换为离散视觉 token,并像语言模型预测下一个词一样,按顺序预测下一个图像 token:
是文本等条件。优点是概率建模清楚,能沿用 Transformer;代价是顺序生成可能慢,早期错误会影响后续。现代系统也有并行、掩码预测等折中路线,因此不要把所有产品硬分成两类。
为什么同一提示会得到不同图
采样需要随机起点或随机选择。随机种子(seed)只是初始化伪随机数的整数;只有模型版本、参数、实现、硬件路径等也稳定时,相同种子才可能复现。云端产品若不承诺确定性,就不能把 seed 当作绝对复现保证。
采样步数、引导强度等参数常见但不是跨供应商标准。更多步通常增加延迟,却不保证一直提升;参数名、范围和默认值只能从所用版本的官方文档取得。
常见误区
- “模型在数据库里找一张最像的图”:生成模型学习分布并采样,不能据此断言没有训练数据记忆或权利风险。
- “扩散一定比自回归好”:质量取决于数据、模型、条件和评测,不只取决于范式。
- “锁 seed 就完全复现”:还需记录模型快照、请求、输入哈希和供应商行为。
- “步数越多越好”:应在自己的任务集上测质量—延迟曲线。
练习与自测
- 用“修复一张逐渐被雪花覆盖的照片”类比去噪过程,并指出类比哪里不准确。
- 条件过强可能导致什么视觉问题?
- 列出复现一张云端生成图至少要记录的五项信息。
下一步把条件变成可核对的任务描述:条件控制与提示设计。