1. 引言
生成模型的目标是从已知数据集中学习潜在分布，并生成新的数据样本。本文介绍了去噪扩散概率模型（DDPM），一种基于扩散过程的生成方法。DDPM 包含两个随机过程：扩散过程和去噪过程。扩散过程将初始状态逐步添加噪声，最终变为纯噪声状态；去噪过程则学习参数，使每个时间步的分布与扩散过程的对应时间步相似。通过逆向去噪，DDPM 将纯噪声转换为有意义的数据。
2. 去噪扩散概率模型（DDPM）
2.1 DDPM 的一般框架
DDPM 的框架包含以下要素：
- 维度：d，表示生成数据的维度。
- 时间步数：T，表示 DDPM 的时间步数。
- 扩散过程：X∅，一个从初始状态 X∅0 开始，逐步添加噪声的随机过程。
- 初始状态：X∅0，表示扩散过程的初始状态，其分布近似于我们希望采样的潜在分布。
- 去噪过程：Xθ，一个从纯噪声状态开始，逐步去除噪声的参数化随机过程。
- 去噪过程初始状态分布：Π，表示去噪过程初始状态的分布，例如高斯分布。
DDPM 的目标是学习去噪过程的参数 θ，使得去噪过程的终端状态 Xθ0 近似于扩散过程的初始状态 X∅0。
2.2 DDPM 的训练目标
DDPM 使用期望负对数似然（ENLL）作为训练目标，通过最小化 ENLL 来使去噪过程的分布近似于扩散过程的分布。
2.3 简化的 DDPM 生成方法
本文介绍了一种简化的 DDPM 生成方法，该方法基于 ENLL 的上界，通过训练一个神经网络来预测噪声，并从纯噪声状态开始逐步去除噪声，最终生成新的数据样本。
3. 高斯噪声的 DDPM
3.1 高斯分布的性质
本节讨论了高斯分布的一些性质，包括高斯过渡核的性质、贝叶斯法则以及高斯分布之间的 KL 散度等。
3.2 高斯噪声 DDPM 的框架
在本文讨论的 DDPM 框架中，扩散过程和去噪过程都采用高斯分布作为过渡核。扩散过程通过逐步添加高斯噪声来将初始状态转换为纯噪声状态；去噪过程则通过神经网络学习去除噪声。
3.3 高斯噪声 DDPM 中正向过程的分布
在本文的高斯噪声 DDPM 框架中，正向过程的条件分布和终端分布都是高斯分布。此外，本文还证明了当扩散过程添加足够多的噪声时，其终端分布将趋向于标准正态分布。
3.4 高斯噪声 DDPM 中训练目标的重新表述
本文选择特定的均值函数和方差函数，使得训练目标的上界可以简化为便于训练的表达式。该表达式涉及正向过程中添加的累积噪声，并指导神经网络学习去除噪声。
3.5 高斯噪声 DDPM 生成方法
本文介绍了一种基于高斯噪声 DDPM 框架的生成方法，该方法通过逐步去除噪声来生成新的数据样本。该方法使用 UNet 神经网络作为去噪模型，并使用标准正态随机变量来模拟扩散过程和去噪过程。
3.6 去噪过程的网络架构
本文讨论了去噪过程常用的网络架构，即 UNet。UNet 具有编码器-解码器结构，并使用跳跃连接来提高生成效果。
4. 生成模型的评估
生成模型的评估需要使用合适的指标来衡量生成数据的质量。本文讨论了两种类型的指标：
- 内容可变指标：例如 Inception Score（IS）和 Fréchet Inception Distance（FID），用于衡量生成数据的多样性和质量。
- 内容不变指标：例如结构相似性指数度量（SSIM）、峰值信噪比（PSNR）和感知图像块相似性（LPIPS），用于衡量生成数据与参考数据在结构、细节和整体质量方面的相似程度。
5. DDPM 的高级变体和扩展
本节讨论了 DDPM 的一些高级变体和扩展，包括：
- 改进 DDPM：通过学习去噪过程中的方差、使用余弦调度器和增加训练时间步数来提高 DDPM 的性能。
- 去噪扩散隐式模型（DDIM）：将扩散过程定义为非马尔可夫过程，同时保持与 DDPM 相同的训练目标，从而提高生成效率。
- 无分类器扩散引导：使用自适应组归一化（AdaGN）将类别信息直接整合到 UNet 架构中，从而控制生成数据的类别。
- Stable Diffusion：结合扩散模型和自动编码器，使用文本编码器来生成与文本描述相符的图像。
- 其他最新扩散技术：例如 GLIDE、DALL-E 2/3 和 Imagen，这些模型在图像生成方面取得了显著的进展。
本文提供的 DDPM 框架和变体为生成式人工智能研究提供了理论基础和技术支持，并为进一步研究和发展扩散模型提供了方向。
