From 92f40723c8c8d7a4e155b490ccd6a570365f3bb9 Mon Sep 17 00:00:00 2001 From: William Date: Sun, 27 Jul 2025 08:55:22 +0800 Subject: [PATCH 01/62] add with clues --- CLAUDE.md | 3 +- appendix-a.html | 1130 -------- appendix-a.md | 1463 ++++++++++ appendix-b.html | 771 ------ appendix-b.md | 883 ++++++ appendix-c.html | 2625 ------------------ appendix-c.md | 3296 +++++++++++++++++++++++ chapter1.html | 430 --- chapter1.md | 269 ++ chapter2.html | 1152 -------- chapter2.md | 1511 +++++++++++ chapter3.html | 3250 ---------------------- chapter3.md | 3426 +++++++++++++++++++++++ chapter4.html | 2639 ------------------ chapter4.md | 2956 ++++++++++++++++++++ chapter4_updated.md | 438 +++ chapter5.html | 4722 -------------------------------- chapter5.md | 6278 +++++++++++++++++++++++++++++++++++++++++++ common.css | 368 --- common.js | 190 -- diffusion_lib.py | 217 -- index.html | 385 --- index.md | 224 ++ 23 files changed, 20746 insertions(+), 17880 deletions(-) delete mode 100644 appendix-a.html create mode 100644 appendix-a.md delete mode 100644 appendix-b.html create mode 100644 appendix-b.md delete mode 100644 appendix-c.html create mode 100644 appendix-c.md delete mode 100644 chapter1.html create mode 100644 chapter1.md delete mode 100644 chapter2.html create mode 100644 chapter2.md delete mode 100644 chapter3.html create mode 100644 chapter3.md delete mode 100644 chapter4.html create mode 100644 chapter4.md create mode 100644 chapter4_updated.md delete mode 100644 chapter5.html create mode 100644 chapter5.md delete mode 100644 common.css delete mode 100644 common.js delete mode 100644 diffusion_lib.py delete mode 100644 index.html create mode 100644 index.md diff --git a/CLAUDE.md b/CLAUDE.md index e1ec138..b16377b 100644 --- a/CLAUDE.md +++ b/CLAUDE.md @@ -3,7 +3,8 @@ # 扩散模型教程项目说明 ## 项目目标 -编写一份 扩散模型设计的由浅入深的教程HTML，要包含大量的习题和参考答案（答案默认折叠）。 +编写一份 扩散模型设计的由浅入深的教程markdown，要包含大量的习题和参考答案（答案默认折叠）。合适时提及相关 pytorch 函数名但不写代码。 +项目特色是，包含大量的可继续研究的线索 ## 工具说明 当需要时，可以通过 `gemini -p "深入回答：<要问的问题> -m gemini-2.5-pro"` 来获取 gemini-2.5-pro 的参考意见(gemini 系只问 gemini-2.5-pro 不问别人) diff --git a/appendix-a.html b/appendix-a.html deleted file mode 100644 index c39d268..0000000 --- a/appendix-a.html +++ /dev/null @@ -1,1130 +0,0 @@ - - - - - - 附录A：测度论与随机过程速成 - Diffusion Models Tutorial - - - - - - - -
-
- ← 返回目录 - 附录A - 附录B → -
- -

附录A：测度论与随机过程速成

- -
- 本附录为理解第5章（连续时间扩散模型）提供必要的数学基础。我们将快速回顾测度论的核心概念，介绍布朗运动和随机微分方程的基本知识。这不是完整的数学课程，而是为理解扩散模型所需的最小知识集。 -
- -

A.1 测度论基础

- -

A.1.1 为什么需要测度论？

- -

让我们从一个简单但深刻的问题开始：在区间[0,1]上随机选一个点，这个点恰好是有理数的概率是多少？

- -

你的直觉可能会说："有理数有无穷多个，所以概率应该很大。"但实际上，这个概率是0！这个反直觉的结果揭示了我们需要一个比传统概率论更精细的数学框架。

- -
- 直观理解：想象你在数轴上随机投掷飞镖。虽然有理数密密麻麻地分布在数轴上（任意两个不同的实数之间都有无穷多个有理数），但它们太"稀疏"了——就像在无限的海洋中撒了无限多粒沙子，但每粒沙子都是孤立的点，没有"体积"。 -
- -

测度论正是为了严格处理这类"无穷"而诞生的。它不仅能处理"长度"、"面积"、"体积"，还能处理更抽象的"大小"概念。在随机过程中，我们需要测度论来：

- - -

A.1.2 σ-代数：可测量的事件

- -

在概率论中，不是所有的子集都能被赋予概率。我们需要一个"合理"的集合族来定义哪些事件是可测的。

- -
-
定义 A.1（σ-代数）
- 设 $\Omega$ 是一个非空集合（样本空间）。$\Omega$ 的子集族 $\mathcal{F}$ 称为 σ-代数，如果： -
    -
  1. $\Omega \in \mathcal{F}$（全集可测）
    2. -
  2. 若 $A \in \mathcal{F}$，则 $A^c \in \mathcal{F}$（对补运算封闭）
    3. -
  3. 若 $A_1, A_2, \ldots \in \mathcal{F}$，则 $\bigcup_{i=1}^{\infty} A_i \in \mathcal{F}$（对可数并封闭）
    4. -
-
- -

σ-代数的三个条件可以理解为：

- - -
-

例子：掷硬币的σ-代数

-

考虑掷一次硬币，$\Omega = \{H, T\}$（H=正面，T=反面）

-

最小的σ-代数（平凡σ-代数）：$\mathcal{F}_1 = \{\emptyset, \{H, T\}\}$

-

最大的σ-代数（幂集）：$\mathcal{F}_2 = \{\emptyset, \{H\}, \{T\}, \{H, T\}\}$

-

注意：$\{\emptyset, \{H\}\}$ 不是σ-代数，因为缺少 $\{H\}^c = \{T\}$

-
- -

A.1.3 测度：给集合赋予"大小"

- -
-
定义 A.2（测度）
- 测度 $\mu: \mathcal{F} \rightarrow [0, \infty]$ 是满足以下条件的函数： -
    -
  1. $\mu(\emptyset) = 0$（空集的测度为0）
    2. -
  2. 可数可加性：对于两两不交的 $A_1, A_2, \ldots \in \mathcal{F}$， - $$\mu\left(\bigcup_{i=1}^{\infty} A_i\right) = \sum_{i=1}^{\infty} \mu(A_i)$$
    3. -
-
- -

测度推广了我们熟悉的概念：

- - -
- 关键洞察：测度的可数可加性是其最重要的性质。它说明了为什么有理数在实数中的测度为0： -
    -
  • 每个单点集 $\{r\}$ 的Lebesgue测度为0
    • -
  • 有理数集 $\mathbb{Q} \cap [0,1]$ 是可数个单点的并
    • -
  • 由可数可加性：$\mu(\mathbb{Q} \cap [0,1]) = \sum_{r \in \mathbb{Q} \cap [0,1]} \mu(\{r\}) = \sum 0 = 0$
    • -
-
- -

A.1.4 可测函数与随机变量

- -
-
定义 A.3（随机变量）
- 设 $(\Omega, \mathcal{F}, \mathbb{P})$ 是概率空间。函数 $X: \Omega \rightarrow \mathbb{R}$ 称为随机变量，如果对任意 Borel 集 $B \subseteq \mathbb{R}$，有 - $$X^{-1}(B) = \{\omega \in \Omega : X(\omega) \in B\} \in \mathcal{F}$$ -
- -

这个定义看起来抽象，但其核心思想很简单：随机变量必须与我们的σ-代数兼容。

- -
-

例子：掷骰子的随机变量

-

$\Omega = \{1, 2, 3, 4, 5, 6\}$，$\mathcal{F} = 2^{\Omega}$（幂集）

-

定义随机变量 $X(\omega) = \omega$（点数本身）

-

事件"点数大于4" = $\{\omega: X(\omega) > 4\} = \{5, 6\} \in \mathcal{F}$ ✓

-

定义另一个随机变量 $Y(\omega) = \begin{cases} 1 & \text{if } \omega \text{ 是偶数} \\ 0 & \text{if } \omega \text{ 是奇数} \end{cases}$

-

$Y$ 将骰子结果映射到"奇偶性"，仍然是可测的

-
- -

在连续情况下，Borel σ-代数包含了所有"常见"的集合（开区间、闭区间、单点等），所以实践中几乎所有函数都是可测的。

- -

A.1.5 条件期望与滤波

- -

在随机过程中，我们经常需要基于"部分信息"进行预测。这就是条件期望的作用。

- -
-
定义 A.4（滤波）
- 滤波（filtration）$\{\mathcal{F}_t\}_{t \geq 0}$ 是一族递增的σ-代数： - $$\mathcal{F}_s \subseteq \mathcal{F}_t \subseteq \mathcal{F}, \quad \forall s \leq t$$ -
- -

滤波代表"信息的累积"：$\mathcal{F}_t$ 包含了到时刻 $t$ 为止的所有可观测信息。

- -
- 直观理解：想象你在观看一场足球比赛： -
    -
  • $\mathcal{F}_0$：比赛开始前的信息（球队阵容等）
    • -
  • $\mathcal{F}_{45}$：上半场结束时的信息（比分、黄牌等）
    • -
  • $\mathcal{F}_{90}$：全场比赛的完整信息
    • -
- 随着时间推进，你知道的信息越来越多，但不会"忘记"之前的信息。 -
- -
-
练习 A.1：构造σ-代数
-

设 $\Omega = \{1, 2, 3, 4\}$，事件 $A = \{1, 2\}$。

-
    -
  1. 构造包含 $A$ 的最小σ-代数 $\sigma(A)$
    2. -
  2. 如果再加入事件 $B = \{2, 3\}$，最小σ-代数 $\sigma(A, B)$ 是什么？
    3. -
- -
-

解答：

-

1. $\sigma(A) = \{\emptyset, \{1,2\}, \{3,4\}, \{1,2,3,4\}\}$

-

构造过程：

-
    -
  • 必须包含 $A = \{1,2\}$
    • -
  • 由封闭性，必须包含 $A^c = \{3,4\}$
    • -
  • 必须包含 $\emptyset$ 和 $\Omega = \{1,2,3,4\}$
    • -
-

2. $\sigma(A, B)$ 必须包含：

-
    -
  • $A = \{1,2\}$, $B = \{2,3\}$
    • -
  • $A \cap B = \{2\}$, $A \cup B = \{1,2,3\}$
    • -
  • 以及它们的补集...
    • -
-

最终：$\sigma(A, B) = 2^{\Omega}$（幂集，包含所有16个子集）

-
-
- -

A.2 布朗运动

- -

布朗运动是随机过程理论的基石，也是扩散模型的数学基础。让我们从物理直觉开始，逐步理解这个美妙的数学对象。

- -

A.2.1 从花粉到数学：布朗运动的起源

- -

1827年，植物学家罗伯特·布朗在显微镜下观察悬浮在水中的花粉颗粒，发现它们在不停地做无规则运动。这种运动后来被称为布朗运动。1905年，爱因斯坦从理论上解释了这一现象：花粉的运动是由于水分子的随机碰撞。

- -
- 物理直觉： -
    -
  • 每一瞬间，花粉受到来自各个方向的分子碰撞
    • -
  • 碰撞是完全随机的，没有特定方向的偏好
    • -
  • 大量微小的随机碰撞累积成可观察的随机运动
    • -
  • 运动轨迹是连续的，但极其不规则
    • -
-
- -

A.2.2 数学定义

- -
-
定义 A.5（标准布朗运动）
- 随机过程 $\{B_t\}_{t \geq 0}$ 称为标准布朗运动（或维纳过程），如果： -
    -
  1. 起点确定：$B_0 = 0$ a.s.（几乎必然）
    2. -
  2. 独立增量：对 $0 \leq t_1 < t_2 < \cdots < t_n$，增量 $B_{t_2}-B_{t_1}, \ldots, B_{t_n}-B_{t_{n-1}}$ 相互独立
    3. -
  3. 正态增量：$B_{t+s} - B_t \sim \mathcal{N}(0, s)$ 对所有 $t, s \geq 0$
    4. -
  4. 轨道连续：$t \mapsto B_t(\omega)$ 几乎必然连续
    5. -
-
- -

让我们逐条理解这些性质：

- - -
-

关键洞察：方差与时间的关系

-

为什么是 $\text{Var}(B_t - B_s) = t - s$ 而不是 $(t-s)^2$ 或其他？

-

这来自中心极限定理：

-
    -
  • 将时间段 $[0, t]$ 分成 $n$ 小段
    • -
  • 每小段的位移 $\sim \mathcal{N}(0, t/n)$
    • -
  • 总位移 = $n$ 个独立增量之和
    • -
  • 方差相加：$n \times (t/n) = t$
    • -
-
- -

A.2.3 布朗运动的构造

- -

布朗运动可以通过多种方式构造。最直观的是随机游走的极限：

- -
- - -
- -

A.2.4 布朗运动的深刻性质

- -
- 基本统计性质： -
    -
  • $\mathbb{E}[B_t] = 0$（期望始终为0）
    • -
  • $\text{Var}(B_t) = t$（方差随时间线性增长）
    • -
  • $\text{Cov}(B_s, B_t) = \min(s, t)$（协方差等于较早的时间）
    • -
-
- -

让我们推导协方差公式，这个推导揭示了布朗运动的本质：

-
- $$\text{Cov}(B_s, B_t) = \mathbb{E}[B_s B_t] - \mathbb{E}[B_s]\mathbb{E}[B_t] = \mathbb{E}[B_s B_t]$$ -
-

不失一般性，设 $s < t$，则：

-
- $$B_t = B_s + (B_t - B_s)$$ -
-

因此：

-
- $$\mathbb{E}[B_s B_t] = \mathbb{E}[B_s(B_s + (B_t - B_s))] = \mathbb{E}[B_s^2] + \mathbb{E}[B_s]\mathbb{E}[B_t - B_s] = s + 0 = s$$ -
- -
- 布朗运动的病态性质： -

布朗运动几乎必然：

-
    -
  • 处处连续：轨道没有跳跃
    • -
  • 处处不可微：在任何点都没有切线！
    • -
  • 无界变差：在任意有限区间上的总变差都是无穷大
    • -
  • Hölder连续：对任意 $\alpha < 1/2$，存在常数 $C$ 使得 $|B_t - B_s| \leq C|t-s|^{\alpha}$
    • -
-
- -

这些性质看似矛盾——连续但不可微？让我们通过一个直观的论证理解这一点：

- -
-

为什么布朗运动不可微？

-

假设在 $t$ 点可微，即存在导数：

- $$B'(t) = \lim_{h \to 0} \frac{B_{t+h} - B_t}{h}$$ -

但是 $B_{t+h} - B_t \sim \mathcal{N}(0, h)$，所以：

- $$\frac{B_{t+h} - B_t}{h} \sim \mathcal{N}(0, 1/h)$$ -

当 $h \to 0$ 时，方差 $1/h \to \infty$！

-

这意味着"导数"的分布越来越分散，不会收敛到任何确定的值。

-
- -

A.2.5 布朗运动的变形

- -

除了标准布朗运动，实践中还常用其他形式：

- -
-
定义 A.6（带漂移的布朗运动）
- $$X_t = \mu t + \sigma B_t$$ - 其中 $\mu$ 是漂移率，$\sigma$ 是扩散系数。 -
- -
-
定义 A.7（几何布朗运动）
- $$S_t = S_0 \exp\left((\mu - \frac{\sigma^2}{2})t + \sigma B_t\right)$$ - 用于建模股票价格等始终为正的量。 -
- -
-
定义 A.8（布朗桥）
- 条件布朗运动 $B_t^{bridge}$，满足 $B_0^{bridge} = 0$ 和 $B_1^{bridge} = 0$。 - $$B_t^{bridge} = B_t - t B_1, \quad t \in [0, 1]$$ -
- -
-
练习 A.2：布朗运动的性质
-

1. 证明：如果 $B_t$ 是标准布朗运动，则 $-B_t$ 也是标准布朗运动。

-

2. 证明：$W_t = \frac{1}{c}B_{c^2 t}$ 对任意 $c > 0$ 都是标准布朗运动（尺度不变性）。

-

3. 计算 $\mathbb{E}[B_t^4]$。

- -
-

解答：

-

1. 验证四个性质：

-
    -
  • $(-B)_0 = -B_0 = 0$ ✓
    • -
  • $(-B)_{t+s} - (-B)_t = -(B_{t+s} - B_t) \sim \mathcal{N}(0, s)$ ✓
    • -
  • 独立增量和连续性也保持 ✓
    • -
-

2. 验证 $W_t$ 的增量：

- $$W_{t+s} - W_t = \frac{1}{c}(B_{c^2(t+s)} - B_{c^2 t}) = \frac{1}{c}B_{c^2 s} \sim \mathcal{N}(0, s)$$ -

3. 使用 $B_t \sim \mathcal{N}(0, t)$ 和正态分布的四阶矩公式：

- $$\mathbb{E}[B_t^4] = 3(\text{Var}(B_t))^2 = 3t^2$$ -
-
- -

A.3 随机积分与伊藤公式

- -

现在我们进入随机微积分的核心——如何对布朗运动进行积分？这个问题比看起来更微妙。

- -

A.3.1 为什么需要伊藤积分？

- -

考虑积分 $\int_0^t B_s \, dB_s$。在普通微积分中，我们会说这等于 $\frac{1}{2}B_t^2$，但这在随机情况下是错误的！

- -
-

问题的根源：

-

对于黎曼积分，我们用矩形近似：

- $$\int_0^t f(s) \, ds \approx \sum_{i=0}^{n-1} f(\xi_i) \Delta s_i$$ -

其中 $\xi_i \in [s_i, s_{i+1}]$ 可以任意选择（左端点、右端点、中点等）。

-

但对于 $\int_0^t B_s \, dB_s$，不同的选择会导致不同的极限：

-
    -
  • 左端点（伊藤）：$\xi_i = s_i$ → 极限 = $\frac{1}{2}B_t^2 - \frac{1}{2}t$
    • -
  • 右端点：$\xi_i = s_{i+1}$ → 极限 = $\frac{1}{2}B_t^2 + \frac{1}{2}t$
    • -
  • 中点（Stratonovich）：$\xi_i = \frac{s_i + s_{i+1}}{2}$ → 极限 = $\frac{1}{2}B_t^2$
    • -
-
- -

A.3.2 伊藤积分的定义

- -
-
定义 A.9（伊藤积分）
- 对于适应过程 $f_t$（即 $f_t$ 只依赖于到时刻 $t$ 为止的信息），伊藤积分定义为： - $$\int_0^t f_s \, dB_s = \lim_{n \to \infty} \sum_{i=0}^{n-1} f_{t_i} (B_{t_{i+1}} - B_{t_i})$$ - 使用左端点 $f_{t_i}$ 确保了"不能预见未来"。 -
- -

为什么选择左端点？这确保了积分的鞅性质：

-
- $$\mathbb{E}\left[\int_0^t f_s \, dB_s\right] = 0$$ -
- -
- 伊藤积分的关键性质： -
    -
  • 线性性：$\int (af + bg) \, dB = a\int f \, dB + b\int g \, dB$
    • -
  • 伊藤等距：$\mathbb{E}\left[\left(\int_0^t f_s \, dB_s\right)^2\right] = \mathbb{E}\left[\int_0^t f_s^2 \, ds\right]$
    • -
  • 鞅性：如果 $\mathbb{E}[\int_0^t f_s^2 ds] < \infty$，则 $M_t = \int_0^t f_s dB_s$ 是鞅
    • -
-
- -

A.3.3 伊藤积分的计算示例

- -
-
例子：计算 $\int_0^t B_s \, dB_s$
-

使用分部积分的思想，但要加上"伊藤修正项"。

- -
-

考虑 $f(x) = \frac{1}{2}x^2$，则 $f(B_t) = \frac{1}{2}B_t^2$。

-

离散近似：

- $$f(B_t) - f(B_0) = \sum_{i=0}^{n-1} [f(B_{t_{i+1}}) - f(B_{t_i})]$$ -

泰勒展开（保留到二阶）：

- $$f(B_{t_{i+1}}) - f(B_{t_i}) \approx f'(B_{t_i})\Delta B_i + \frac{1}{2}f''(B_{t_i})(\Delta B_i)^2$$ -

其中 $\Delta B_i = B_{t_{i+1}} - B_{t_i}$。

-

代入 $f'(x) = x$, $f''(x) = 1$：

- $$\frac{1}{2}B_t^2 = \sum_{i=0}^{n-1} B_{t_i} \Delta B_i + \frac{1}{2}\sum_{i=0}^{n-1} (\Delta B_i)^2$$ -

当 $n \to \infty$：

-
    -
  • 第一项 → $\int_0^t B_s \, dB_s$
    • -
  • 第二项 → $\frac{1}{2}t$（二次变差）
    • -
-

因此：$\int_0^t B_s \, dB_s = \frac{1}{2}B_t^2 - \frac{1}{2}t$

-
-
- -

A.3.4 伊藤公式：随机微积分的链式法则

- -

伊藤公式是随机微积分最重要的工具，它告诉我们如何对复合函数求微分。与普通微积分的关键区别是多了一个二阶项。

- -
-
定理 A.1（伊藤公式）
- 设 $X_t$ 满足 SDE：$dX_t = \mu(X_t, t)dt + \sigma(X_t, t)dB_t$，$f(x, t) \in C^{2,1}$，则： - $$df(X_t, t) = \left[\frac{\partial f}{\partial t} + \mu \frac{\partial f}{\partial x} + \frac{1}{2}\sigma^2 \frac{\partial^2 f}{\partial x^2}\right]dt + \sigma \frac{\partial f}{\partial x} dB_t$$ -
- -
-

伊藤公式的直观理解：

-

普通微积分：$df = f'(x)dx$（一阶泰勒展开）

-

随机微积分：需要保留二阶项，因为 $(dB_t)^2 = dt$ 不是高阶无穷小！

- - - - - - - - - - - - - -
运算$dt \cdot dt$$dt \cdot dB_t$$dB_t \cdot dB_t$
结果0（高阶）0（高阶）$dt$（一阶！）
-
- -

A.3.5 伊藤公式的推导思路

- -

让我们通过一个启发式的推导理解伊藤公式为什么是这样：

- -
- $$f(X_{t+dt}, t+dt) - f(X_t, t) \approx \frac{\partial f}{\partial t}dt + \frac{\partial f}{\partial x}dX_t + \frac{1}{2}\frac{\partial^2 f}{\partial x^2}(dX_t)^2$$ -
- -

关键在于计算 $(dX_t)^2$：

-
- $$(dX_t)^2 = (\mu dt + \sigma dB_t)^2 = \mu^2(dt)^2 + 2\mu\sigma dt \cdot dB_t + \sigma^2(dB_t)^2$$ -
- -

使用伊藤规则：

- - -

因此 $(dX_t)^2 = \sigma^2 dt$，这就是伊藤修正项的来源。

- -

A.3.6 伊藤公式的应用

- -
-
例子1：几何布朗运动
-

设 $S_t$ 满足 $dS_t = \mu S_t dt + \sigma S_t dB_t$，求 $\log S_t$ 的动态。

- -
-

设 $f(x) = \log x$，则：

-
    -
  • $\frac{\partial f}{\partial x} = \frac{1}{x}$
    • -
  • $\frac{\partial^2 f}{\partial x^2} = -\frac{1}{x^2}$
    • -
-

应用伊藤公式：

- $$d(\log S_t) = \left[0 + \mu S_t \cdot \frac{1}{S_t} + \frac{1}{2}\sigma^2 S_t^2 \cdot \left(-\frac{1}{S_t^2}\right)\right]dt + \sigma S_t \cdot \frac{1}{S_t} dB_t$$ - $$= \left(\mu - \frac{\sigma^2}{2}\right)dt + \sigma dB_t$$ -

积分得：$\log S_t = \log S_0 + \left(\mu - \frac{\sigma^2}{2}\right)t + \sigma B_t$

-

因此：$S_t = S_0 \exp\left[\left(\mu - \frac{\sigma^2}{2}\right)t + \sigma B_t\right]$

-

注意：指数中出现了 $-\frac{\sigma^2}{2}$ 项，这是伊藤修正！

-
-
- -
-
例子2：Ornstein-Uhlenbeck过程的平方
-

设 $X_t$ 满足 $dX_t = -\theta X_t dt + \sigma dB_t$，求 $X_t^2$ 的SDE。

- -
-

设 $f(x) = x^2$，则 $f'(x) = 2x$，$f''(x) = 2$。

-

应用伊藤公式：

- $$d(X_t^2) = \left[-\theta X_t \cdot 2X_t + \frac{1}{2}\sigma^2 \cdot 2\right]dt + \sigma \cdot 2X_t dB_t$$ - $$= (-2\theta X_t^2 + \sigma^2)dt + 2\sigma X_t dB_t$$ -

这给出了 $X_t^2$ 的动态方程。注意漂移项中包含了 $\sigma^2$，这来自伊藤修正。

-
-
- -

A.3.7 多维伊藤公式

- -

对于多个布朗运动的情况，伊藤公式需要考虑所有的二阶交叉项：

- -
-
定理 A.2（多维伊藤公式）
- 设 $X_t^i$ 满足 $dX_t^i = \mu^i dt + \sum_j \sigma^{ij} dB_t^j$，其中 $B_t^j$ 是独立的布朗运动。 - 对于 $f(x^1, \ldots, x^n, t)$： - $$df = \frac{\partial f}{\partial t}dt + \sum_i \frac{\partial f}{\partial x^i}dX_t^i + \frac{1}{2}\sum_{i,j} \frac{\partial^2 f}{\partial x^i \partial x^j}d\langle X^i, X^j \rangle_t$$ -
- -

其中二次共变差 $d\langle X^i, X^j \rangle_t = \sum_k \sigma^{ik}\sigma^{jk} dt$。

- -
-
练习 A.3：伊藤公式的综合应用
-

1. 设 $B_t$ 是标准布朗运动，计算 $d(B_t^3)$。

-

2. 证明 $e^{B_t - \frac{t}{2}}$ 是鞅。

-

3. 设 $X_t = t B_t$，求 $dX_t$ 的表达式（提示：这是一个时变函数）。

- -
-

解答：

-

1. 对 $f(x) = x^3$：

-
    -
  • $f'(x) = 3x^2$, $f''(x) = 6x$
    • -
  • $d(B_t^3) = [0 + 0 + \frac{1}{2} \cdot 1 \cdot 6B_t]dt + 3B_t^2 dB_t = 3B_t dt + 3B_t^2 dB_t$
    • -
-

2. 设 $Y_t = e^{B_t - \frac{t}{2}}$，令 $f(x,t) = e^{x - \frac{t}{2}}$：

-
    -
  • $\frac{\partial f}{\partial t} = -\frac{1}{2}e^{x - \frac{t}{2}}$
    • -
  • $\frac{\partial f}{\partial x} = e^{x - \frac{t}{2}}$
    • -
  • $\frac{\partial^2 f}{\partial x^2} = e^{x - \frac{t}{2}}$
    • -
-

应用伊藤公式：

- $$dY_t = \left[-\frac{1}{2} + 0 + \frac{1}{2}\right]Y_t dt + Y_t dB_t = Y_t dB_t$$ -

因此 $Y_t$ 是鞅（漂移项为0）。

-

3. 对 $f(x,t) = tx$：

-
    -
  • $\frac{\partial f}{\partial t} = x = B_t$
    • -
  • $\frac{\partial f}{\partial x} = t$
    • -
  • $\frac{\partial^2 f}{\partial x^2} = 0$
    • -
- $$dX_t = d(tB_t) = B_t dt + t dB_t$$ -

这展示了乘积规则在随机情况下的形式。

-
-
- -

A.4 随机微分方程

- -

随机微分方程（SDE）描述了受随机扰动影响的动态系统。它们是扩散模型的数学基础，让我们能够精确描述前向和反向扩散过程。

- -

A.4.1 什么是SDE？

- -

一个典型的SDE具有形式：

-
- $$dX_t = b(X_t, t)dt + \sigma(X_t, t)dB_t$$ -
- -

这可以理解为：

- - -
-

物理类比：

-

想象一个在流动河水中的树叶：

-
    -
  • 河水的流速 → 漂移项 $b(X_t, t)$
    • -
  • 水流的湍流扰动 → 扩散项 $\sigma(X_t, t)dB_t$
    • -
  • 树叶的轨迹 → 解 $X_t$
    • -
-
- -

A.4.2 SDE的积分形式

- -

SDE实际上是积分方程的简写：

-
- $$X_t = X_0 + \int_0^t b(X_s, s)ds + \int_0^t \sigma(X_s, s)dB_s$$ -
- -

第二个积分是伊藤积分，这使得求解SDE变得非平凡。

- -

A.4.3 存在性与唯一性

- -
-
定理 A.3（存在唯一性定理）
- 考虑 SDE：$dX_t = b(X_t, t)dt + \sigma(X_t, t)dB_t$，$X_0 = x_0$。 - 如果系数满足： -
    -
  1. Lipschitz 条件：存在常数 $K$ 使得 - $$|b(x,t) - b(y,t)| + |\sigma(x,t) - \sigma(y,t)| \leq K|x-y|$$
    2. -
  2. 线性增长条件：存在常数 $K$ 使得 - $$|b(x,t)|^2 + |\sigma(x,t)|^2 \leq K^2(1 + |x|^2)$$
    3. -
- 则 SDE 存在唯一的强解。 -
- -
- 条件的直观理解： -
    -
  • Lipschitz条件：系数不能变化太剧烈，保证了解的唯一性
    • -
  • 线性增长条件：系数增长不能太快，保证了解不会在有限时间内爆炸
    • -
-
- -

A.4.4 经典SDE及其解

- -

让我们深入研究几个在理论和应用中都非常重要的SDE：

- -

1. Ornstein-Uhlenbeck (OU) 过程

- -
-
OU过程
- $$dX_t = -\theta X_t dt + \sigma dB_t$$ - 其中 $\theta > 0$ 是回归速度，$\sigma > 0$ 是波动率。 -
- -

物理意义：描述带有恢复力的布朗粒子，$-\theta X_t$ 项将粒子拉回原点。

- -
-
推导OU过程的解
- -
-

使用积分因子法。令 $Y_t = e^{\theta t} X_t$，应用伊藤公式：

- $$dY_t = e^{\theta t} dX_t + \theta e^{\theta t} X_t dt$$ - $$= e^{\theta t}(-\theta X_t dt + \sigma dB_t) + \theta e^{\theta t} X_t dt$$ - $$= \sigma e^{\theta t} dB_t$$ -

积分得：$Y_t = Y_0 + \sigma \int_0^t e^{\theta s} dB_s$

-

因此：

- $$X_t = e^{-\theta t}X_0 + \sigma e^{-\theta t}\int_0^t e^{\theta s} dB_s$$ - $$= e^{-\theta t}X_0 + \sigma \int_0^t e^{-\theta(t-s)} dB_s$$ -

性质：

-
    -
  • $\mathbb{E}[X_t] = e^{-\theta t}X_0$ （指数衰减到0）
    • -
  • $\text{Var}(X_t) = \frac{\sigma^2}{2\theta}(1 - e^{-2\theta t})$ （收敛到 $\frac{\sigma^2}{2\theta}$）
    • -
  • 稳态分布：$X_\infty \sim \mathcal{N}(0, \frac{\sigma^2}{2\theta})$
    • -
-
-
- -

2. 几何布朗运动 (GBM)

- -
-
几何布朗运动
- $$dS_t = \mu S_t dt + \sigma S_t dB_t$$ - 其中 $\mu$ 是漂移率，$\sigma$ 是波动率。 -
- -

应用：Black-Scholes模型中的股票价格模型。

- -

解（使用伊藤公式对 $\log S_t$）：

-
- $$S_t = S_0 \exp\left[\left(\mu - \frac{\sigma^2}{2}\right)t + \sigma B_t\right]$$ -
- -
- 为什么有 $-\frac{\sigma^2}{2}$ 项？ -

这是伊藤修正！如果没有这一项，$\mathbb{E}[S_t] \neq S_0 e^{\mu t}$。正是这个修正保证了：

- $$\mathbb{E}[S_t] = S_0 e^{\mu t}$$ -
- -

3. Cox-Ingersoll-Ross (CIR) 过程

- -
-
CIR过程
- $$dX_t = \kappa(\theta - X_t)dt + \sigma\sqrt{X_t}dB_t$$ - 条件：$2\kappa\theta > \sigma^2$ 保证 $X_t > 0$。 -
- -

特点：用于建模利率，保证非负性。扩散项 $\sigma\sqrt{X_t}$ 使得波动率随水平变化。

- -

A.4.5 SDE的解法技巧

- -

虽然大多数SDE没有解析解，但有几种常用的求解技巧：

- -
- 常用技巧： -
    -
  1. 积分因子法：适用于线性SDE
    2. -
  2. 变量替换：通过伊藤公式简化方程
    3. -
  3. Feynman-Kac公式：将SDE与PDE联系起来
    4. -
  4. 数值方法：Euler-Maruyama、Milstein等
    5. -
-
- -
-
练习 A.4：求解时变OU过程
-

求解 $dX_t = -\theta(t) X_t dt + \sigma(t) dB_t$，其中 $\theta(t), \sigma(t)$ 是已知函数。

- -
-

定义 $\Phi(t) = \exp\left(\int_0^t \theta(s)ds\right)$，令 $Y_t = \Phi(t)X_t$。

-

应用伊藤公式：

- $$dY_t = \Phi'(t)X_t dt + \Phi(t)dX_t = \sigma(t)\Phi(t)dB_t$$ -

积分得：

- $$Y_t = Y_0 + \int_0^t \sigma(s)\Phi(s)dB_s$$ -

因此：

- $$X_t = \frac{1}{\Phi(t)}\left[X_0 + \int_0^t \sigma(s)\Phi(s)dB_s\right]$$ - $$= e^{-\int_0^t \theta(s)ds}X_0 + \int_0^t \sigma(s)e^{-\int_s^t \theta(u)du}dB_s$$ -
-
- -

A.5 与扩散模型的深层联系

- -

现在我们终于可以理解扩散模型的数学基础了。扩散模型的核心是两个相互关联的SDE：前向过程和反向过程。

- -

A.5.1 前向扩散过程

- -

扩散模型的前向过程是一个精心设计的SDE：

-
- $$dx = f(x, t)dt + g(t)dB_t$$ -
- -

在DDPM中，选择 $f(x, t) = -\frac{1}{2}\beta(t)x$ 和 $g(t) = \sqrt{\beta(t)}$，得到：

-
- $$dx = -\frac{1}{2}\beta(t)x dt + \sqrt{\beta(t)} dB_t$$ -
- -
- 为什么这样选择？ -
    -
  • 线性漂移 $-\frac{1}{2}\beta(t)x$ 使得方程可解
    • -
  • 时变系数 $\beta(t)$ 控制扩散速度
    • -
  • 最终分布收敛到标准正态分布 $\mathcal{N}(0, I)$
    • -
-
- -
-
关键推导：前向过程的解
-

证明前向SDE的解具有形式：$x_t = \sqrt{\bar{\alpha}_t} x_0 + \sqrt{1 - \bar{\alpha}_t} \epsilon$

- -
-

这是一个时变OU过程。定义 $\alpha_t = 1 - \beta_t$ 和 $\bar{\alpha}_t = \prod_{s=0}^t \alpha_s$（离散情况）或 $\bar{\alpha}_t = \exp\left(-\int_0^t \beta(s)ds\right)$（连续情况）。

-

使用积分因子 $\Phi(t) = 1/\sqrt{\bar{\alpha}_t}$：

-
    -
  1. 令 $y_t = x_t / \sqrt{\bar{\alpha}_t}$
    2. -
  2. 应用伊藤公式得 $dy_t = \frac{\sqrt{\beta(t)}}{\sqrt{\bar{\alpha}_t}} dB_t$
    3. -
  3. 积分：$y_t = y_0 + \int_0^t \frac{\sqrt{\beta(s)}}{\sqrt{\bar{\alpha}_s}} dB_s$
    4. -
  4. 因此：$x_t = \sqrt{\bar{\alpha}_t} x_0 + \sqrt{\bar{\alpha}_t} \int_0^t \frac{\sqrt{\beta(s)}}{\sqrt{\bar{\alpha}_s}} dB_s$
    5. -
-

关键观察：积分 $\int_0^t \frac{\sqrt{\beta(s)}}{\sqrt{\bar{\alpha}_s}} dB_s$ 是均值为0的高斯随机变量，其方差为：

- $$\text{Var} = \int_0^t \frac{\beta(s)}{\bar{\alpha}_s} ds = \frac{1 - \bar{\alpha}_t}{\bar{\alpha}_t}$$ -

因此 $x_t \sim \mathcal{N}(\sqrt{\bar{\alpha}_t} x_0, 1 - \bar{\alpha}_t)$，可以写成：

- $$x_t = \sqrt{\bar{\alpha}_t} x_0 + \sqrt{1 - \bar{\alpha}_t} \epsilon, \quad \epsilon \sim \mathcal{N}(0, I)$$ -
-
- -

A.5.2 反向扩散过程

- -

扩散模型的魔力在于反向过程。Anderson (1982) 证明了，如果前向过程是：

-
- $$dx = f(x, t)dt + g(t)dB_t$$ -
- -

那么时间反演的过程（从 $t=T$ 到 $t=0$）满足：

-
- $$dx = [f(x, t) - g(t)^2 \nabla_x \log p_t(x)]dt + g(t)d\bar{B}_t$$ -
- -

其中 $\bar{B}_t$ 是反向时间的布朗运动，$p_t(x)$ 是 $x_t$ 的概率密度。

- -
- Score function 的出现！ -

$\nabla_x \log p_t(x)$ 称为 score function，它指向概率密度增加最快的方向。学习这个函数是扩散模型的核心任务。

-
- -

A.6 鞅论基础

- -

A.6.1 鞅的定义与性质

- -
-
定义 A.5（鞅）
- 随机过程 $\{M_t\}_{t \geq 0}$ 称为关于滤波 $\{\mathcal{F}_t\}$ 的鞅，如果： -
    -
  1. $M_t$ 是 $\mathcal{F}_t$-可测的
    2. -
  2. $\mathbb{E}[|M_t|] < \infty$ 对所有 $t \geq 0$
    3. -
  3. $\mathbb{E}[M_t | \mathcal{F}_s] = M_s$ 对所有 $0 \leq s \leq t$
    4. -
-
- -

鞅是"公平游戏"的数学化：给定过去的信息，未来的期望值等于现在的值。

- -
- 重要例子： -
    -
  • 布朗运动 $B_t$ 是鞅
    • -
  • $B_t^2 - t$ 是鞅（补偿布朗运动）
    • -
  • $\exp(\sigma B_t - \frac{\sigma^2 t}{2})$ 是鞅（指数鞅）
    • -
-
- -

A.6.2 鞅表示定理

- -
-
定理 A.3（鞅表示定理）
- 设 $M_t$ 是关于布朗运动 $B_t$ 生成的滤波的平方可积鞅。则存在适应过程 $\phi_t$ 使得： - $$M_t = M_0 + \int_0^t \phi_s dB_s$$ -
- -

这个定理告诉我们，所有的鞅都可以表示为关于布朗运动的随机积分，这在金融数学和扩散模型理论中非常重要。

- -

A.6.3 Doob-Meyer 分解

- -

任何连续半鞅 $X_t$ 都可以唯一分解为：

-
- $$X_t = X_0 + M_t + A_t$$ -
-

其中 $M_t$ 是局部鞅，$A_t$ 是有界变差过程。

- -
-
练习 A.4：验证鞅性质
-

证明过程 $M_t = \int_0^t s dB_s$ 是鞅，并计算其二次变差 $\langle M \rangle_t$。

- -
-

解答：

-

1. 验证鞅性质：对 $s < t$，

- $$\mathbb{E}[M_t | \mathcal{F}_s] = \mathbb{E}\left[\int_0^t u dB_u \bigg| \mathcal{F}_s\right]$$ - $$= \int_0^s u dB_u + \mathbb{E}\left[\int_s^t u dB_u \bigg| \mathcal{F}_s\right]$$ - $$= M_s + 0 = M_s$$ -

2. 计算二次变差：

- $$\langle M \rangle_t = \int_0^t s^2 ds = \frac{t^3}{3}$$ -
-
- -

A.7 Girsanov 定理与测度变换

- -

A.7.1 Radon-Nikodym 导数

- -
-
定义 A.6（Radon-Nikodym 导数）
- 设 $\mathbb{P}$ 和 $\mathbb{Q}$ 是概率测度，如果 $\mathbb{Q} \ll \mathbb{P}$（$\mathbb{Q}$ 关于 $\mathbb{P}$ 绝对连续），则存在 $\mathcal{F}$-可测的非负随机变量 $Z$，使得： - $$\mathbb{Q}(A) = \mathbb{E}^{\mathbb{P}}[Z \mathbf{1}_A]$$ - $Z$ 称为 Radon-Nikodym 导数，记为 $\frac{d\mathbb{Q}}{d\mathbb{P}}$。 -
- -

A.7.2 Girsanov 定理

- -
-
定理 A.4（Girsanov 定理）
- 设 $\theta_t$ 是适应过程，满足 Novikov 条件。定义： - $$Z_t = \exp\left(-\int_0^t \theta_s dB_s - \frac{1}{2}\int_0^t \theta_s^2 ds\right)$$ - 在新测度 $\mathbb{Q}$ 下（$\frac{d\mathbb{Q}}{d\mathbb{P}}\big|_{\mathcal{F}_t} = Z_t$），过程： - $$\tilde{B}_t = B_t + \int_0^t \theta_s ds$$ - 是标准布朗运动。 -
- -

Girsanov 定理允许我们改变概率测度，从而改变漂移项。这在扩散模型的理论分析中非常重要。

- -

A.8 Fokker-Planck 方程与 Kolmogorov 方程

- -

A.8.1 Fokker-Planck 方程

- -

对于 SDE $dX_t = b(X_t, t)dt + \sigma(X_t, t)dB_t$，其概率密度 $p(x, t)$ 满足 Fokker-Planck 方程（也称为前向 Kolmogorov 方程）：

- -
- $$\frac{\partial p}{\partial t} = -\nabla \cdot (b p) + \frac{1}{2}\nabla^2 : (\sigma \sigma^T p)$$ -
- -

在一维情况下：

-
- $$\frac{\partial p}{\partial t} = -\frac{\partial}{\partial x}(b(x,t) p) + \frac{1}{2}\frac{\partial^2}{\partial x^2}(\sigma^2(x,t) p)$$ -
- -

A.8.2 后向 Kolmogorov 方程

- -

对于函数 $u(x, t) = \mathbb{E}[f(X_T) | X_t = x]$，它满足后向 Kolmogorov 方程：

- -
- $$\frac{\partial u}{\partial t} + b(x,t)\frac{\partial u}{\partial x} + \frac{1}{2}\sigma^2(x,t)\frac{\partial^2 u}{\partial x^2} = 0$$ -
- -

边界条件：$u(x, T) = f(x)$。

- -
-
练习 A.5：Ornstein-Uhlenbeck 过程的稳态分布
-

使用 Fokker-Planck 方程求解 OU 过程 $dX_t = -\theta X_t dt + \sigma dB_t$ 的稳态分布。

- -
-

解答：

-

稳态时 $\frac{\partial p}{\partial t} = 0$，Fokker-Planck 方程变为：

- $$0 = \frac{\partial}{\partial x}(\theta x p) + \frac{\sigma^2}{2}\frac{\partial^2 p}{\partial x^2}$$ -

令概率流 $J = -\theta x p - \frac{\sigma^2}{2}\frac{\partial p}{\partial x} = 0$（稳态无净流）

-

解得：$p(x) \propto \exp\left(-\frac{\theta x^2}{\sigma^2}\right)$

-

归一化后得到稳态分布：$p(x) = \sqrt{\frac{\theta}{\pi \sigma^2}} \exp\left(-\frac{\theta x^2}{\sigma^2}\right)$

-

即 $X_\infty \sim \mathcal{N}\left(0, \frac{\sigma^2}{2\theta}\right)$。

-
-
- -

A.9 随机分析的高级主题

- -

A.9.1 局部时与 Tanaka 公式

- -

布朗运动在 0 点的局部时 $L_t^0$ 测量布朗运动在 0 附近花费的时间：

-
- $$L_t^0 = \lim_{\epsilon \to 0} \frac{1}{2\epsilon} \int_0^t \mathbf{1}_{|B_s| < \epsilon} ds$$ -
- -
-
定理 A.5（Tanaka 公式）
- 对于布朗运动 $B_t$： - $$|B_t| = \int_0^t \text{sgn}(B_s) dB_s + L_t^0$$ -
- -

A.9.2 反射布朗运动

- -

反射布朗运动 $|B_t|$ 在 0 处被反射。它的生成元是：

-
- $$\mathcal{L} = \frac{1}{2}\frac{d^2}{dx^2}, \quad x > 0$$ -
-

边界条件：$\frac{\partial u}{\partial x}(0) = 0$（Neumann 边界条件）。

- -

A.9.3 Bessel 过程

- -

$n$ 维 Bessel 过程定义为 $n$ 维布朗运动的范数：$R_t = |B_t^{(n)}|$。它满足：

-
- $$dR_t = \frac{n-1}{2R_t}dt + dW_t$$ -
-

其中 $W_t$ 是一维布朗运动。

- -

A.10 数值方法

- -

A.10.1 Euler-Maruyama 方法

- -

对于 SDE $dX_t = b(X_t)dt + \sigma(X_t)dB_t$，Euler-Maruyama 离散化为：

-
- $$X_{n+1} = X_n + b(X_n)\Delta t + \sigma(X_n)\sqrt{\Delta t} Z_n$$ -
-

其中 $Z_n \sim \mathcal{N}(0, 1)$ 独立同分布。

- -

A.10.2 Milstein 方法

- -

更高阶的 Milstein 方法包含伊藤修正项：

-
- $$X_{n+1} = X_n + b(X_n)\Delta t + \sigma(X_n)\sqrt{\Delta t} Z_n + \frac{1}{2}\sigma(X_n)\sigma'(X_n)\Delta t(Z_n^2 - 1)$$ -
- -
- - -
- -

A.11 与扩散模型的深层联系

- -

A.11.1 Score函数与漂移项

- -

在扩散模型中，反向SDE的漂移项包含score函数 $\nabla_x \log p_t(x)$：

-
- $$dx = \left[f(x, t) - g^2(t)\nabla_x \log p_t(x)\right]dt + g(t)d\bar{B}_t$$ -
- -

这里的score函数满足：

-
- $$\nabla_x \log p_t(x) = -\frac{1}{\sqrt{1-\bar{\alpha}_t}}\mathbb{E}[\epsilon | x_t = x]$$ -
- -

A.11.2 时间反演与伴随过程

- -

对于前向SDE，其时间反演过程（从 $t=T$ 到 $t=0$）由Anderson定理给出。这正是扩散模型反向过程的理论基础。

- -
-
综合练习：推导扩散模型的反向SDE
-

从前向SDE $dx = -\frac{1}{2}\beta(t)x dt + \sqrt{\beta(t)} dB_t$ 出发，使用时间反演理论推导反向SDE。

- -
-

提示：

-
    -
  1. 写出前向过程的Fokker-Planck方程
    2. -
  2. 使用Anderson定理，反向漂移项为：$b_{rev} = -b_{for} + \sigma^2 \nabla \log p_t$
    3. -
  3. 计算score函数 $\nabla \log p_t(x)$
    4. -
  4. 代入得到反向SDE
    5. -
-

关键洞察：score函数编码了数据分布的信息，学习score函数等价于学习如何去噪。

-
-
- -

A.12 进一步学习资源

- -
- 推荐阅读： -
    -
  • Øksendal, B. "Stochastic Differential Equations" - SDE 的经典教材
    • -
  • Karatzas, I. & Shreve, S. "Brownian Motion and Stochastic Calculus" - 更深入的理论
    • -
  • Evans, L.C. "An Introduction to Stochastic Differential Equations" - 适合初学者
    • -
-
- -
-

本章小结

-

在本附录中，我们快速回顾了理解连续时间扩散模型所需的数学基础：

-
    -
  • 测度论提供了处理连续随机变量的严格框架
    • -
  • 布朗运动是扩散过程的基本构建块
    • -
  • 伊藤公式是随机微积分的链式法则，包含额外的二阶项
    • -
  • SDE 描述了随机系统的演化，扩散模型的前向过程就是一个 SDE
    • -
-

这些工具将在第5章中用于理解扩散模型的连续时间公式化，特别是 Score-based SDE 框架。

-
-
- - \ No newline at end of file diff --git a/appendix-a.md b/appendix-a.md new file mode 100644 index 0000000..b5485d8 --- /dev/null +++ b/appendix-a.md @@ -0,0 +1,1463 @@ +[← 返回目录](index.md) + 附录A + [附录B →](appendix-b.md) + + + +# 附录A：测度论与随机过程速成 + + + + 本附录为理解第5章（连续时间扩散模型）提供必要的数学基础。我们将快速回顾测度论的核心概念，介绍布朗运动和随机微分方程的基本知识。这不是完整的数学课程，而是为理解扩散模型所需的最小知识集。 + + + +## A.1 测度论基础 + + + +### A.1.1 为什么需要测度论？ + + + +让我们从一个简单但深刻的问题开始：**在区间[0,1]上随机选一个点，这个点恰好是有理数的概率是多少？** + + + +你的直觉可能会说："有理数有无穷多个，所以概率应该很大。"但实际上，这个概率是0！这个反直觉的结果揭示了我们需要一个比传统概率论更精细的数学框架。 + + + + **直观理解：**想象你在数轴上随机投掷飞镖。虽然有理数密密麻麻地分布在数轴上（任意两个不同的实数之间都有无穷多个有理数），但它们太"稀疏"了——就像在无限的海洋中撒了无限多粒沙子，但每粒沙子都是孤立的点，没有"体积"。 + + + +测度论正是为了严格处理这类"无穷"而诞生的。它不仅能处理"长度"、"面积"、"体积"，还能处理更抽象的"大小"概念。在随机过程中，我们需要测度论来： + + + + - 定义什么是"随机事件"（可测集） + - 给事件赋予"概率"（测度） + - 处理连续时间上的无穷多个随机变量 + - 严格定义条件期望和鞅 + + + + +### A.1.2 σ-代数：可测量的事件 + + + +在概率论中，不是所有的子集都能被赋予概率。我们需要一个"合理"的集合族来定义哪些事件是可测的。 + + + +> **定义** +> 定义 A.1（σ-代数） + + 设 $\Omega$ 是一个非空集合（样本空间）。$\Omega$ 的子集族 $\mathcal{F}$ 称为 σ-代数，如果： + + + - $\Omega \in \mathcal{F}$（全集可测） + - 若 $A \in \mathcal{F}$，则 $A^c \in \mathcal{F}$（对补运算封闭） + - 若 $A_1, A_2, \ldots \in \mathcal{F}$，则 $\bigcup_{i=1}^{\infty} A_i \in \mathcal{F}$（对可数并封闭） + + + + + +σ-代数的三个条件可以理解为： + + + + - **条件1**：必然事件是可测的 + - **条件2**：如果事件A可测，那么"A不发生"也应该可测 + - **条件3**：如果每个事件都可测，那么"至少有一个发生"也应该可测 + + + + + +**例子：掷硬币的σ-代数** + + +考虑掷一次硬币，$\Omega = \{H, T\}$（H=正面，T=反面） + + +最小的σ-代数（平凡σ-代数）：$\mathcal{F}_1 = \{\emptyset, \{H, T\}\}$ + + +最大的σ-代数（幂集）：$\mathcal{F}_2 = \{\emptyset, \{H\}, \{T\}, \{H, T\}\}$ + + +注意：$\{\emptyset, \{H\}\}$ 不是σ-代数，因为缺少 $\{H\}^c = \{T\}$ + + + + +### A.1.3 测度：给集合赋予"大小" + + + +> **定义** +> 定义 A.2（测度） + + 测度 $\mu: \mathcal{F} \rightarrow [0, \infty]$ 是满足以下条件的函数： + + + - $\mu(\emptyset) = 0$（空集的测度为0） + - 可数可加性：对于两两不交的 $A_1, A_2, \ldots \in \mathcal{F}$， + $$\mu\left(\bigcup_{i=1}^{\infty} A_i\right) = \sum_{i=1}^{\infty} \mu(A_i)$$ + + + + + +测度推广了我们熟悉的概念： + + + + - **长度**：实数轴上的Lebesgue测度，$\mu([a,b]) = b - a$ + - **面积**：平面上的二维Lebesgue测度 + - **概率**：当 $\mu(\Omega) = 1$ 时，$\mu$ 称为概率测度 $\mathbb{P}$ + - **计数**：计数测度，$\mu(A) = |A|$（集合中元素的个数） + + + + + **关键洞察：**测度的可数可加性是其最重要的性质。它说明了为什么有理数在实数中的测度为0： + + + - 每个单点集 $\{r\}$ 的Lebesgue测度为0 + - 有理数集 $\mathbb{Q} \cap [0,1]$ 是可数个单点的并 + - 由可数可加性：$\mu(\mathbb{Q} \cap [0,1]) = \sum_{r \in \mathbb{Q} \cap [0,1]} \mu(\{r\}) = \sum 0 = 0$ + + + + + +### A.1.4 可测函数与随机变量 + + + +> **定义** +> 定义 A.3（随机变量） + + 设 $(\Omega, \mathcal{F}, \mathbb{P})$ 是概率空间。函数 $X: \Omega \rightarrow \mathbb{R}$ 称为随机变量，如果对任意 Borel 集 $B \subseteq \mathbb{R}$，有 + $$X^{-1}(B) = \{\omega \in \Omega : X(\omega) \in B\} \in \mathcal{F}$$ + + + +这个定义看起来抽象，但其核心思想很简单：**随机变量必须与我们的σ-代数兼容**。 + + + + +**例子：掷骰子的随机变量** + + +$\Omega = \{1, 2, 3, 4, 5, 6\}$，$\mathcal{F} = 2^{\Omega}$（幂集） + + +定义随机变量 $X(\omega) = \omega$（点数本身） + + +事件"点数大于4" = $\{\omega: X(\omega) > 4\} = \{5, 6\} \in \mathcal{F}$ ✓ + + +定义另一个随机变量 $Y(\omega) = \begin{cases} 1 & \text{if } \omega \text{ 是偶数} \\ 0 & \text{if } \omega \text{ 是奇数} \end{cases}$ + + +$Y$ 将骰子结果映射到"奇偶性"，仍然是可测的 + + + + +在连续情况下，Borel σ-代数包含了所有"常见"的集合（开区间、闭区间、单点等），所以实践中几乎所有函数都是可测的。 + + + +### A.1.5 条件期望与滤波 + + + +在随机过程中，我们经常需要基于"部分信息"进行预测。这就是条件期望的作用。 + + + +> **定义** +> 定义 A.4（滤波） + + 滤波（filtration）$\{\mathcal{F}_t\}_{t \geq 0}$ 是一族递增的σ-代数： + $$\mathcal{F}_s \subseteq \mathcal{F}_t \subseteq \mathcal{F}, \quad \forall s \leq t$$ + + + +滤波代表"信息的累积"：$\mathcal{F}_t$ 包含了到时刻 $t$ 为止的所有可观测信息。 + + + + **直观理解：**想象你在观看一场足球比赛： + + + - $\mathcal{F}_0$：比赛开始前的信息（球队阵容等） + - $\mathcal{F}_{45}$：上半场结束时的信息（比分、黄牌等） + - $\mathcal{F}_{90}$：全场比赛的完整信息 + + + 随着时间推进，你知道的信息越来越多，但不会"忘记"之前的信息。 + + + + +练习 A.1：构造σ-代数 + +设 $\Omega = \{1, 2, 3, 4\}$，事件 $A = \{1, 2\}$。 + + + + - 构造包含 $A$ 的最小σ-代数 $\sigma(A)$ + - 如果再加入事件 $B = \{2, 3\}$，最小σ-代数 $\sigma(A, B)$ 是什么？ + +**解答：** + + +1. $\sigma(A) = \{\emptyset, \{1,2\}, \{3,4\}, \{1,2,3,4\}\}$ + + + 构造过程： + + + + - 必须包含 $A = \{1,2\}$ + - 由封闭性，必须包含 $A^c = \{3,4\}$ + - 必须包含 $\emptyset$ 和 $\Omega = \{1,2,3,4\}$ + + + +2. $\sigma(A, B)$ 必须包含： + + + + - $A = \{1,2\}$, $B = \{2,3\}$ + - $A \cap B = \{2\}$, $A \cup B = \{1,2,3\}$ + - 以及它们的补集... + + + +最终：$\sigma(A, B) = 2^{\Omega}$（幂集，包含所有16个子集） + + + + + +## A.2 布朗运动 + + + +布朗运动是随机过程理论的基石，也是扩散模型的数学基础。让我们从物理直觉开始，逐步理解这个美妙的数学对象。 + + + +### A.2.1 从花粉到数学：布朗运动的起源 + + + +1827年，植物学家罗伯特·布朗在显微镜下观察悬浮在水中的花粉颗粒，发现它们在不停地做无规则运动。这种运动后来被称为布朗运动。1905年，爱因斯坦从理论上解释了这一现象：花粉的运动是由于水分子的随机碰撞。 + + + + **物理直觉：** + + + - 每一瞬间，花粉受到来自各个方向的分子碰撞 + - 碰撞是完全随机的，没有特定方向的偏好 + - 大量微小的随机碰撞累积成可观察的随机运动 + - 运动轨迹是连续的，但极其不规则 + + + + + +### A.2.2 数学定义 + + + +> **定义** +> 定义 A.5（标准布朗运动） + + 随机过程 $\{B_t\}_{t \geq 0}$ 称为标准布朗运动（或维纳过程），如果： + + + - **起点确定**：$B_0 = 0$ a.s.（几乎必然） + - **独立增量**：对 $0 \leq t_1 + + + + +### A.2.4 布朗运动的深刻性质 + + + + **基本统计性质：** + + + - $\mathbb{E}[B_t] = 0$（期望始终为0） + - $\text{Var}(B_t) = t$（方差随时间线性增长） + - $\text{Cov}(B_s, B_t) = \min(s, t)$（协方差等于较早的时间） + + + + + 让我们推导协方差公式，这个推导揭示了布朗运动的本质： + + + + $$\text{Cov}(B_s, B_t) = \mathbb{E}[B_s B_t] - \mathbb{E}[B_s]\mathbb{E}[B_t] = \mathbb{E}[B_s B_t]$$ + + + +不失一般性，设 $s **定义** +> 定义 A.6（带漂移的布朗运动） + + $$X_t = \mu t + \sigma B_t$$ + 其中 $\mu$ 是漂移率，$\sigma$ 是扩散系数。 + + + +> **定义** +> 定义 A.7（几何布朗运动） + + $$S_t = S_0 \exp\left((\mu - \frac{\sigma^2}{2})t + \sigma B_t\right)$$ + 用于建模股票价格等始终为正的量。 + + + +> **定义** +> 定义 A.8（布朗桥） + + 条件布朗运动 $B_t^{bridge}$，满足 $B_0^{bridge} = 0$ 和 $B_1^{bridge} = 0$。 + $$B_t^{bridge} = B_t - t B_1, \quad t \in [0, 1]$$ + + + + +练习 A.2：布朗运动的性质 + +1. 证明：如果 $B_t$ 是标准布朗运动，则 $-B_t$ 也是标准布朗运动。 + + +2. 证明：$W_t = \frac{1}{c}B_{c^2 t}$ 对任意 $c > 0$ 都是标准布朗运动（尺度不变性）。 + + +3. 计算 $\mathbb{E}[B_t^4]$。 + +**解答：** + + +1. 验证四个性质： + + + + - $(-B)_0 = -B_0 = 0$ ✓ + - $(-B)_{t+s} - (-B)_t = -(B_{t+s} - B_t) \sim \mathcal{N}(0, s)$ ✓ + - 独立增量和连续性也保持 ✓ + + + +2. 验证 $W_t$ 的增量： + + $$W_{t+s} - W_t = \frac{1}{c}(B_{c^2(t+s)} - B_{c^2 t}) = \frac{1}{c}B_{c^2 s} \sim \mathcal{N}(0, s)$$ + +3. 使用 $B_t \sim \mathcal{N}(0, t)$ 和正态分布的四阶矩公式： + + $$\mathbb{E}[B_t^4] = 3(\text{Var}(B_t))^2 = 3t^2$$ + + + + + +## A.3 随机积分与伊藤公式 + + + +现在我们进入随机微积分的核心——如何对布朗运动进行积分？这个问题比看起来更微妙。 + + + +### A.3.1 为什么需要伊藤积分？ + + + +考虑积分 $\int_0^t B_s \, dB_s$。在普通微积分中，我们会说这等于 $\frac{1}{2}B_t^2$，但这在随机情况下是**错误的**！ + + + + +**问题的根源：** + + +对于黎曼积分，我们用矩形近似： + + $$\int_0^t f(s) \, ds \approx \sum_{i=0}^{n-1} f(\xi_i) \Delta s_i$$ + +其中 $\xi_i \in [s_i, s_{i+1}]$ 可以任意选择（左端点、右端点、中点等）。 + + +但对于 $\int_0^t B_s \, dB_s$，不同的选择会导致**不同的极限**： + + + + - 左端点（伊藤）：$\xi_i = s_i$ → 极限 = $\frac{1}{2}B_t^2 - \frac{1}{2}t$ + - 右端点：$\xi_i = s_{i+1}$ → 极限 = $\frac{1}{2}B_t^2 + \frac{1}{2}t$ + - 中点（Stratonovich）：$\xi_i = \frac{s_i + s_{i+1}}{2}$ → 极限 = $\frac{1}{2}B_t^2$ + + + + + +### A.3.2 伊藤积分的定义 + + + +> **定义** +> 定义 A.9（伊藤积分） + + 对于适应过程 $f_t$（即 $f_t$ 只依赖于到时刻 $t$ 为止的信息），伊藤积分定义为： + $$\int_0^t f_s \, dB_s = \lim_{n \to \infty} \sum_{i=0}^{n-1} f_{t_i} (B_{t_{i+1}} - B_{t_i})$$ + 使用左端点 $f_{t_i}$ 确保了"不能预见未来"。 + + + +为什么选择左端点？这确保了积分的**鞅性质**： + + + + $$\mathbb{E}\left[\int_0^t f_s \, dB_s\right] = 0$$ + + + + + **伊藤积分的关键性质：** + + + - **线性性**：$\int (af + bg) \, dB = a\int f \, dB + b\int g \, dB$ + - **伊藤等距**：$\mathbb{E}\left[\left(\int_0^t f_s \, dB_s\right)^2\right] = \mathbb{E}\left[\int_0^t f_s^2 \, ds\right]$ + - **鞅性**：如果 $\mathbb{E}[\int_0^t f_s^2 ds] +例子：计算 $\int_0^t B_s \, dB_s$ + +使用分部积分的思想，但要加上"伊藤修正项"。 + +考虑 $f(x) = \frac{1}{2}x^2$，则 $f(B_t) = \frac{1}{2}B_t^2$。 + + +离散近似： + + $$f(B_t) - f(B_0) = \sum_{i=0}^{n-1} [f(B_{t_{i+1}}) - f(B_{t_i})]$$ + +泰勒展开（保留到二阶）： + + $$f(B_{t_{i+1}}) - f(B_{t_i}) \approx f'(B_{t_i})\Delta B_i + \frac{1}{2}f''(B_{t_i})(\Delta B_i)^2$$ + +其中 $\Delta B_i = B_{t_{i+1}} - B_{t_i}$。 + + +代入 $f'(x) = x$, $f''(x) = 1$： + + $$\frac{1}{2}B_t^2 = \sum_{i=0}^{n-1} B_{t_i} \Delta B_i + \frac{1}{2}\sum_{i=0}^{n-1} (\Delta B_i)^2$$ + +当 $n \to \infty$： + + + + - 第一项 → $\int_0^t B_s \, dB_s$ + - 第二项 → $\frac{1}{2}t$（二次变差） + + + +因此：$\int_0^t B_s \, dB_s = \frac{1}{2}B_t^2 - \frac{1}{2}t$ + + + + + +### A.3.4 伊藤公式：随机微积分的链式法则 + + + +伊藤公式是随机微积分最重要的工具，它告诉我们如何对复合函数求微分。与普通微积分的关键区别是多了一个二阶项。 + + + +> **定义** +> 定理 A.1（伊藤公式） + + 设 $X_t$ 满足 SDE：$dX_t = \mu(X_t, t)dt + \sigma(X_t, t)dB_t$，$f(x, t) \in C^{2,1}$，则： + $$df(X_t, t) = \left[\frac{\partial f}{\partial t} + \mu \frac{\partial f}{\partial x} + \frac{1}{2}\sigma^2 \frac{\partial^2 f}{\partial x^2}\right]dt + \sigma \frac{\partial f}{\partial x} dB_t$$ + + + + +**伊藤公式的直观理解：** + + +普通微积分：$df = f'(x)dx$（一阶泰勒展开） + + +随机微积分：需要保留二阶项，因为 $(dB_t)^2 = dt$ 不是高阶无穷小！ + + + + 运算 + $dt \cdot dt$ + $dt \cdot dB_t$ + $dB_t \cdot dB_t$ + + + 结果 + 0（高阶） + 0（高阶） + $dt$（一阶！） + + + + + +### A.3.5 伊藤公式的推导思路 + + + +让我们通过一个启发式的推导理解伊藤公式为什么是这样： + + + + + $$f(X_{t+dt}, t+dt) - f(X_t, t) \approx \frac{\partial f}{\partial t}dt + \frac{\partial f}{\partial x}dX_t + \frac{1}{2}\frac{\partial^2 f}{\partial x^2}(dX_t)^2$$ + + + + +关键在于计算 $(dX_t)^2$： + + + + $$(dX_t)^2 = (\mu dt + \sigma dB_t)^2 = \mu^2(dt)^2 + 2\mu\sigma dt \cdot dB_t + \sigma^2(dB_t)^2$$ + + + + +使用伊藤规则： + + + + - $(dt)^2 = 0$（高阶无穷小） + - $dt \cdot dB_t = 0$（高阶无穷小） + - $(dB_t)^2 = dt$（关键！） + + + + +因此 $(dX_t)^2 = \sigma^2 dt$，这就是伊藤修正项的来源。 + + + +### A.3.6 伊藤公式的应用 + + + + +例子1：几何布朗运动 + +设 $S_t$ 满足 $dS_t = \mu S_t dt + \sigma S_t dB_t$，求 $\log S_t$ 的动态。 + +设 $f(x) = \log x$，则： + + + + - $\frac{\partial f}{\partial x} = \frac{1}{x}$ + - $\frac{\partial^2 f}{\partial x^2} = -\frac{1}{x^2}$ + + + +应用伊藤公式： + + $$d(\log S_t) = \left[0 + \mu S_t \cdot \frac{1}{S_t} + \frac{1}{2}\sigma^2 S_t^2 \cdot \left(-\frac{1}{S_t^2}\right)\right]dt + \sigma S_t \cdot \frac{1}{S_t} dB_t$$ + $$= \left(\mu - \frac{\sigma^2}{2}\right)dt + \sigma dB_t$$ + +积分得：$\log S_t = \log S_0 + \left(\mu - \frac{\sigma^2}{2}\right)t + \sigma B_t$ + + +因此：$S_t = S_0 \exp\left[\left(\mu - \frac{\sigma^2}{2}\right)t + \sigma B_t\right]$ + + +**注意**：指数中出现了 $-\frac{\sigma^2}{2}$ 项，这是伊藤修正！ + + + + + + +例子2：Ornstein-Uhlenbeck过程的平方 + +设 $X_t$ 满足 $dX_t = -\theta X_t dt + \sigma dB_t$，求 $X_t^2$ 的SDE。 + +设 $f(x) = x^2$，则 $f'(x) = 2x$，$f''(x) = 2$。 + + +应用伊藤公式： + + $$d(X_t^2) = \left[-\theta X_t \cdot 2X_t + \frac{1}{2}\sigma^2 \cdot 2\right]dt + \sigma \cdot 2X_t dB_t$$ + $$= (-2\theta X_t^2 + \sigma^2)dt + 2\sigma X_t dB_t$$ + +这给出了 $X_t^2$ 的动态方程。注意漂移项中包含了 $\sigma^2$，这来自伊藤修正。 + + + + + +### A.3.7 多维伊藤公式 + + + +对于多个布朗运动的情况，伊藤公式需要考虑所有的二阶交叉项： + + + +> **定义** +> 定理 A.2（多维伊藤公式） + + 设 $X_t^i$ 满足 $dX_t^i = \mu^i dt + \sum_j \sigma^{ij} dB_t^j$，其中 $B_t^j$ 是独立的布朗运动。 + 对于 $f(x^1, \ldots, x^n, t)$： + $$df = \frac{\partial f}{\partial t}dt + \sum_i \frac{\partial f}{\partial x^i}dX_t^i + \frac{1}{2}\sum_{i,j} \frac{\partial^2 f}{\partial x^i \partial x^j}d\langle X^i, X^j \rangle_t$$ + + + +其中二次共变差 $d\langle X^i, X^j \rangle_t = \sum_k \sigma^{ik}\sigma^{jk} dt$。 + + + + +练习 A.3：伊藤公式的综合应用 + +1. 设 $B_t$ 是标准布朗运动，计算 $d(B_t^3)$。 + + +2. 证明 $e^{B_t - \frac{t}{2}}$ 是鞅。 + + +3. 设 $X_t = t B_t$，求 $dX_t$ 的表达式（提示：这是一个时变函数）。 + +**解答：** + + +1. 对 $f(x) = x^3$： + + + + - $f'(x) = 3x^2$, $f''(x) = 6x$ + - $d(B_t^3) = [0 + 0 + \frac{1}{2} \cdot 1 \cdot 6B_t]dt + 3B_t^2 dB_t = 3B_t dt + 3B_t^2 dB_t$ + + + +2. 设 $Y_t = e^{B_t - \frac{t}{2}}$，令 $f(x,t) = e^{x - \frac{t}{2}}$： + + + + - $\frac{\partial f}{\partial t} = -\frac{1}{2}e^{x - \frac{t}{2}}$ + - $\frac{\partial f}{\partial x} = e^{x - \frac{t}{2}}$ + - $\frac{\partial^2 f}{\partial x^2} = e^{x - \frac{t}{2}}$ + + + +应用伊藤公式： + + $$dY_t = \left[-\frac{1}{2} + 0 + \frac{1}{2}\right]Y_t dt + Y_t dB_t = Y_t dB_t$$ + +因此 $Y_t$ 是鞅（漂移项为0）。 + + +3. 对 $f(x,t) = tx$： + + + + - $\frac{\partial f}{\partial t} = x = B_t$ + - $\frac{\partial f}{\partial x} = t$ + - $\frac{\partial^2 f}{\partial x^2} = 0$ + + + $$dX_t = d(tB_t) = B_t dt + t dB_t$$ + +这展示了乘积规则在随机情况下的形式。 + + + + + +## A.4 随机微分方程 + + + +随机微分方程（SDE）描述了受随机扰动影响的动态系统。它们是扩散模型的数学基础，让我们能够精确描述前向和反向扩散过程。 + + + +### A.4.1 什么是SDE？ + + + +一个典型的SDE具有形式： + + + + $$dX_t = b(X_t, t)dt + \sigma(X_t, t)dB_t$$ + + + + +这可以理解为： + + + + - **确定性部分**：$b(X_t, t)dt$ — 漂移项，描述系统的平均行为 + - **随机部分**：$\sigma(X_t, t)dB_t$ — 扩散项，描述随机波动 + + + + + +**物理类比：** + + +想象一个在流动河水中的树叶： + + + + - 河水的流速 → 漂移项 $b(X_t, t)$ + - 水流的湍流扰动 → 扩散项 $\sigma(X_t, t)dB_t$ + - 树叶的轨迹 → 解 $X_t$ + + + + + +### A.4.2 SDE的积分形式 + + + +SDE实际上是积分方程的简写： + + + + $$X_t = X_0 + \int_0^t b(X_s, s)ds + \int_0^t \sigma(X_s, s)dB_s$$ + + + + +第二个积分是伊藤积分，这使得求解SDE变得非平凡。 + + + +### A.4.3 存在性与唯一性 + + + +> **定义** +> 定理 A.3（存在唯一性定理） + + 考虑 SDE：$dX_t = b(X_t, t)dt + \sigma(X_t, t)dB_t$，$X_0 = x_0$。 + 如果系数满足： + + + - **Lipschitz 条件**：存在常数 $K$ 使得 + $$|b(x,t) - b(y,t)| + |\sigma(x,t) - \sigma(y,t)| \leq K|x-y|$$ + - **线性增长条件**：存在常数 $K$ 使得 + $$|b(x,t)|^2 + |\sigma(x,t)|^2 \leq K^2(1 + |x|^2)$$ + + + 则 SDE 存在唯一的强解。 + + + + **条件的直观理解：** + + + - **Lipschitz条件**：系数不能变化太剧烈，保证了解的唯一性 + - **线性增长条件**：系数增长不能太快，保证了解不会在有限时间内爆炸 + + + + + +### A.4.4 经典SDE及其解 + + + +让我们深入研究几个在理论和应用中都非常重要的SDE： + + + +#### 1. Ornstein-Uhlenbeck (OU) 过程 + + + +> **定义** +> OU过程 + + $$dX_t = -\theta X_t dt + \sigma dB_t$$ + 其中 $\theta > 0$ 是回归速度，$\sigma > 0$ 是波动率。 + + + +**物理意义**：描述带有恢复力的布朗粒子，$-\theta X_t$ 项将粒子拉回原点。 + + + + +推导OU过程的解 + +使用积分因子法。令 $Y_t = e^{\theta t} X_t$，应用伊藤公式： + + $$dY_t = e^{\theta t} dX_t + \theta e^{\theta t} X_t dt$$ + $$= e^{\theta t}(-\theta X_t dt + \sigma dB_t) + \theta e^{\theta t} X_t dt$$ + $$= \sigma e^{\theta t} dB_t$$ + +积分得：$Y_t = Y_0 + \sigma \int_0^t e^{\theta s} dB_s$ + + +因此： + + $$X_t = e^{-\theta t}X_0 + \sigma e^{-\theta t}\int_0^t e^{\theta s} dB_s$$ + $$= e^{-\theta t}X_0 + \sigma \int_0^t e^{-\theta(t-s)} dB_s$$ + +**性质**： + + + + - $\mathbb{E}[X_t] = e^{-\theta t}X_0$ （指数衰减到0） + - $\text{Var}(X_t) = \frac{\sigma^2}{2\theta}(1 - e^{-2\theta t})$ （收敛到 $\frac{\sigma^2}{2\theta}$） + - 稳态分布：$X_\infty \sim \mathcal{N}(0, \frac{\sigma^2}{2\theta})$ + + + + + +#### 2. 几何布朗运动 (GBM) + + + +> **定义** +> 几何布朗运动 + + $$dS_t = \mu S_t dt + \sigma S_t dB_t$$ + 其中 $\mu$ 是漂移率，$\sigma$ 是波动率。 + + + +**应用**：Black-Scholes模型中的股票价格模型。 + + + +**解**（使用伊藤公式对 $\log S_t$）： + + + + $$S_t = S_0 \exp\left[\left(\mu - \frac{\sigma^2}{2}\right)t + \sigma B_t\right]$$ + + + + + **为什么有 $-\frac{\sigma^2}{2}$ 项？** + +这是伊藤修正！如果没有这一项，$\mathbb{E}[S_t] \neq S_0 e^{\mu t}$。正是这个修正保证了： + + $$\mathbb{E}[S_t] = S_0 e^{\mu t}$$ + + + +#### 3. Cox-Ingersoll-Ross (CIR) 过程 + + + +> **定义** +> CIR过程 + + $$dX_t = \kappa(\theta - X_t)dt + \sigma\sqrt{X_t}dB_t$$ + 条件：$2\kappa\theta > \sigma^2$ 保证 $X_t > 0$。 + + + +**特点**：用于建模利率，保证非负性。扩散项 $\sigma\sqrt{X_t}$ 使得波动率随水平变化。 + + + +### A.4.5 SDE的解法技巧 + + + +虽然大多数SDE没有解析解，但有几种常用的求解技巧： + + + + **常用技巧：** + + + - **积分因子法**：适用于线性SDE + - **变量替换**：通过伊藤公式简化方程 + - **Feynman-Kac公式**：将SDE与PDE联系起来 + - **数值方法**：Euler-Maruyama、Milstein等 + + + + + + +练习 A.4：求解时变OU过程 + +求解 $dX_t = -\theta(t) X_t dt + \sigma(t) dB_t$，其中 $\theta(t), \sigma(t)$ 是已知函数。 + +定义 $\Phi(t) = \exp\left(\int_0^t \theta(s)ds\right)$，令 $Y_t = \Phi(t)X_t$。 + + +应用伊藤公式： + + $$dY_t = \Phi'(t)X_t dt + \Phi(t)dX_t = \sigma(t)\Phi(t)dB_t$$ + +积分得： + + $$Y_t = Y_0 + \int_0^t \sigma(s)\Phi(s)dB_s$$ + +因此： + + $$X_t = \frac{1}{\Phi(t)}\left[X_0 + \int_0^t \sigma(s)\Phi(s)dB_s\right]$$ + $$= e^{-\int_0^t \theta(s)ds}X_0 + \int_0^t \sigma(s)e^{-\int_s^t \theta(u)du}dB_s$$ + + + + + +## A.5 与扩散模型的深层联系 + + + +现在我们终于可以理解扩散模型的数学基础了。扩散模型的核心是两个相互关联的SDE：前向过程和反向过程。 + + + +### A.5.1 前向扩散过程 + + + +扩散模型的前向过程是一个精心设计的SDE： + + + + $$dx = f(x, t)dt + g(t)dB_t$$ + + + + +在DDPM中，选择 $f(x, t) = -\frac{1}{2}\beta(t)x$ 和 $g(t) = \sqrt{\beta(t)}$，得到： + + + + $$dx = -\frac{1}{2}\beta(t)x dt + \sqrt{\beta(t)} dB_t$$ + + + + + **为什么这样选择？** + + + - 线性漂移 $-\frac{1}{2}\beta(t)x$ 使得方程可解 + - 时变系数 $\beta(t)$ 控制扩散速度 + - 最终分布收敛到标准正态分布 $\mathcal{N}(0, I)$ + + + + + + +关键推导：前向过程的解 + +证明前向SDE的解具有形式：$x_t = \sqrt{\bar{\alpha}_t} x_0 + \sqrt{1 - \bar{\alpha}_t} \epsilon$ + +这是一个时变OU过程。定义 $\alpha_t = 1 - \beta_t$ 和 $\bar{\alpha}_t = \prod_{s=0}^t \alpha_s$（离散情况）或 $\bar{\alpha}_t = \exp\left(-\int_0^t \beta(s)ds\right)$（连续情况）。 + + +使用积分因子 $\Phi(t) = 1/\sqrt{\bar{\alpha}_t}$： + + + + - 令 $y_t = x_t / \sqrt{\bar{\alpha}_t}$ + - 应用伊藤公式得 $dy_t = \frac{\sqrt{\beta(t)}}{\sqrt{\bar{\alpha}_t}} dB_t$ + - 积分：$y_t = y_0 + \int_0^t \frac{\sqrt{\beta(s)}}{\sqrt{\bar{\alpha}_s}} dB_s$ + - 因此：$x_t = \sqrt{\bar{\alpha}_t} x_0 + \sqrt{\bar{\alpha}_t} \int_0^t \frac{\sqrt{\beta(s)}}{\sqrt{\bar{\alpha}_s}} dB_s$ + + + +关键观察：积分 $\int_0^t \frac{\sqrt{\beta(s)}}{\sqrt{\bar{\alpha}_s}} dB_s$ 是均值为0的高斯随机变量，其方差为： + + $$\text{Var} = \int_0^t \frac{\beta(s)}{\bar{\alpha}_s} ds = \frac{1 - \bar{\alpha}_t}{\bar{\alpha}_t}$$ + +因此 $x_t \sim \mathcal{N}(\sqrt{\bar{\alpha}_t} x_0, 1 - \bar{\alpha}_t)$，可以写成： + + $$x_t = \sqrt{\bar{\alpha}_t} x_0 + \sqrt{1 - \bar{\alpha}_t} \epsilon, \quad \epsilon \sim \mathcal{N}(0, I)$$ + + + + + +### A.5.2 反向扩散过程 + + + +扩散模型的魔力在于反向过程。Anderson (1982) 证明了，如果前向过程是： + + + + $$dx = f(x, t)dt + g(t)dB_t$$ + + + + +那么时间反演的过程（从 $t=T$ 到 $t=0$）满足： + + + + $$dx = [f(x, t) - g(t)^2 \nabla_x \log p_t(x)]dt + g(t)d\bar{B}_t$$ + + + + +其中 $\bar{B}_t$ 是反向时间的布朗运动，$p_t(x)$ 是 $x_t$ 的概率密度。 + + + + **Score function 的出现！** + +$\nabla_x \log p_t(x)$ 称为 score function，它指向概率密度增加最快的方向。学习这个函数是扩散模型的核心任务。 + + + + +## A.6 鞅论基础 + + + +### A.6.1 鞅的定义与性质 + + + +> **定义** +> 定义 A.5（鞅） + + 随机过程 $\{M_t\}_{t \geq 0}$ 称为关于滤波 $\{\mathcal{F}_t\}$ 的鞅，如果： + + + - $M_t$ 是 $\mathcal{F}_t$-可测的 + - $\mathbb{E}[|M_t|] **定义** +> 定理 A.3（鞅表示定理） + + 设 $M_t$ 是关于布朗运动 $B_t$ 生成的滤波的平方可积鞅。则存在适应过程 $\phi_t$ 使得： + $$M_t = M_0 + \int_0^t \phi_s dB_s$$ + + + +这个定理告诉我们，所有的鞅都可以表示为关于布朗运动的随机积分，这在金融数学和扩散模型理论中非常重要。 + + + +### A.6.3 Doob-Meyer 分解 + + + +任何连续半鞅 $X_t$ 都可以唯一分解为： + + + + $$X_t = X_0 + M_t + A_t$$ + + + +其中 $M_t$ 是局部鞅，$A_t$ 是有界变差过程。 + + + + +练习 A.4：验证鞅性质 + +证明过程 $M_t = \int_0^t s dB_s$ 是鞅，并计算其二次变差 $\langle M \rangle_t$。 + +**解答：** + + +1. 验证鞅性质：对 $s + + + + +## A.7 Girsanov 定理与测度变换 + + + +### A.7.1 Radon-Nikodym 导数 + + + +> **定义** +> 定义 A.6（Radon-Nikodym 导数） + + 设 $\mathbb{P}$ 和 $\mathbb{Q}$ 是概率测度，如果 $\mathbb{Q} \ll \mathbb{P}$（$\mathbb{Q}$ 关于 $\mathbb{P}$ 绝对连续），则存在 $\mathcal{F}$-可测的非负随机变量 $Z$，使得： + $$\mathbb{Q}(A) = \mathbb{E}^{\mathbb{P}}[Z \mathbf{1}_A]$$ + $Z$ 称为 Radon-Nikodym 导数，记为 $\frac{d\mathbb{Q}}{d\mathbb{P}}$。 + + + +### A.7.2 Girsanov 定理 + + + +> **定义** +> 定理 A.4（Girsanov 定理） + + 设 $\theta_t$ 是适应过程，满足 Novikov 条件。定义： + $$Z_t = \exp\left(-\int_0^t \theta_s dB_s - \frac{1}{2}\int_0^t \theta_s^2 ds\right)$$ + 在新测度 $\mathbb{Q}$ 下（$\frac{d\mathbb{Q}}{d\mathbb{P}}\big|_{\mathcal{F}_t} = Z_t$），过程： + $$\tilde{B}_t = B_t + \int_0^t \theta_s ds$$ + 是标准布朗运动。 + + + +Girsanov 定理允许我们改变概率测度，从而改变漂移项。这在扩散模型的理论分析中非常重要。 + + + +## A.8 Fokker-Planck 方程与 Kolmogorov 方程 + + + +### A.8.1 Fokker-Planck 方程 + + + +对于 SDE $dX_t = b(X_t, t)dt + \sigma(X_t, t)dB_t$，其概率密度 $p(x, t)$ 满足 Fokker-Planck 方程（也称为前向 Kolmogorov 方程）： + + + + + $$\frac{\partial p}{\partial t} = -\nabla \cdot (b p) + \frac{1}{2}\nabla^2 : (\sigma \sigma^T p)$$ + + + + +在一维情况下： + + + + $$\frac{\partial p}{\partial t} = -\frac{\partial}{\partial x}(b(x,t) p) + \frac{1}{2}\frac{\partial^2}{\partial x^2}(\sigma^2(x,t) p)$$ + + + + +### A.8.2 后向 Kolmogorov 方程 + + + +对于函数 $u(x, t) = \mathbb{E}[f(X_T) | X_t = x]$，它满足后向 Kolmogorov 方程： + + + + + $$\frac{\partial u}{\partial t} + b(x,t)\frac{\partial u}{\partial x} + \frac{1}{2}\sigma^2(x,t)\frac{\partial^2 u}{\partial x^2} = 0$$ + + + + +边界条件：$u(x, T) = f(x)$。 + + + + +练习 A.5：Ornstein-Uhlenbeck 过程的稳态分布 + +使用 Fokker-Planck 方程求解 OU 过程 $dX_t = -\theta X_t dt + \sigma dB_t$ 的稳态分布。 + +**解答：** + + +稳态时 $\frac{\partial p}{\partial t} = 0$，Fokker-Planck 方程变为： + + $$0 = \frac{\partial}{\partial x}(\theta x p) + \frac{\sigma^2}{2}\frac{\partial^2 p}{\partial x^2}$$ + +令概率流 $J = -\theta x p - \frac{\sigma^2}{2}\frac{\partial p}{\partial x} = 0$（稳态无净流） + + +解得：$p(x) \propto \exp\left(-\frac{\theta x^2}{\sigma^2}\right)$ + + +归一化后得到稳态分布：$p(x) = \sqrt{\frac{\theta}{\pi \sigma^2}} \exp\left(-\frac{\theta x^2}{\sigma^2}\right)$ + + +即 $X_\infty \sim \mathcal{N}\left(0, \frac{\sigma^2}{2\theta}\right)$。 + + + + + +## A.9 随机分析的高级主题 + + + +### A.9.1 局部时与 Tanaka 公式 + + + +布朗运动在 0 点的局部时 $L_t^0$ 测量布朗运动在 0 附近花费的时间： + + + + $$L_t^0 = \lim_{\epsilon \to 0} \frac{1}{2\epsilon} \int_0^t \mathbf{1}_{|B_s| **定义** +> 定理 A.5（Tanaka 公式） + + 对于布朗运动 $B_t$： + $$|B_t| = \int_0^t \text{sgn}(B_s) dB_s + L_t^0$$ + + + +### A.9.2 反射布朗运动 + + + +反射布朗运动 $|B_t|$ 在 0 处被反射。它的生成元是： + + + + $$\mathcal{L} = \frac{1}{2}\frac{d^2}{dx^2}, \quad x > 0$$ + + + +边界条件：$\frac{\partial u}{\partial x}(0) = 0$（Neumann 边界条件）。 + + + +### A.9.3 Bessel 过程 + + + +$n$ 维 Bessel 过程定义为 $n$ 维布朗运动的范数：$R_t = |B_t^{(n)}|$。它满足： + + + + $$dR_t = \frac{n-1}{2R_t}dt + dW_t$$ + + + +其中 $W_t$ 是一维布朗运动。 + + + +## A.10 数值方法 + + + +### A.10.1 Euler-Maruyama 方法 + + + +对于 SDE $dX_t = b(X_t)dt + \sigma(X_t)dB_t$，Euler-Maruyama 离散化为： + + + + $$X_{n+1} = X_n + b(X_n)\Delta t + \sigma(X_n)\sqrt{\Delta t} Z_n$$ + + + +其中 $Z_n \sim \mathcal{N}(0, 1)$ 独立同分布。 + + + +### A.10.2 Milstein 方法 + + + +更高阶的 Milstein 方法包含伊藤修正项： + + + + $$X_{n+1} = X_n + b(X_n)\Delta t + \sigma(X_n)\sqrt{\Delta t} Z_n + \frac{1}{2}\sigma(X_n)\sigma'(X_n)\Delta t(Z_n^2 - 1)$$ + + + + + + + +`import numpy as np +import matplotlib.pyplot as plt + +def euler_maruyama(x0, drift, diffusion, T, N): + """Euler-Maruyama方法""" + dt = T / N + X = np.zeros(N + 1) + X[0] = x0 + + for i in range(N): + dW = np.sqrt(dt) * np.random.randn() + X[i+1] = X[i] + drift(X[i]) * dt + diffusion(X[i]) * dW + + return X + +def milstein(x0, drift, diffusion, diffusion_prime, T, N): + """Milstein方法""" + dt = T / N + X = np.zeros(N + 1) + X[0] = x0 + + for i in range(N): + Z = np.random.randn() + dW = np.sqrt(dt) * Z + X[i+1] = X[i] + drift(X[i]) * dt + diffusion(X[i]) * dW + \ + 0.5 * diffusion(X[i]) * diffusion_prime(X[i]) * dt * (Z**2 - 1) + + return X + +# 测试：几何布朗运动 +# dX_t = μX_t dt + σX_t dB_t +μ, σ = 0.1, 0.3 +drift = lambda x: μ * x +diffusion = lambda x: σ * x +diffusion_prime = lambda x: σ + +# 解析解 +def analytical_solution(x0, t, W): + return x0 * np.exp((μ - 0.5 * σ**2) * t + σ * W) + +# 模拟参数 +x0, T, N = 1.0, 1.0, 1000 +t = np.linspace(0, T, N + 1) + +# 多次模拟比较误差 +n_simulations = 100 +euler_errors = [] +milstein_errors = [] + +for _ in range(n_simulations): + # 生成布朗运动路径 + dW = np.sqrt(T/N) * np.random.randn(N) + W = np.concatenate([[0], np.cumsum(dW)]) + + # 真实解 + X_true = analytical_solution(x0, t, W) + + # Euler-Maruyama + X_euler = euler_maruyama(x0, drift, diffusion, T, N) + euler_errors.append(np.abs(X_euler[-1] - X_true[-1])) + + # Milstein + X_milstein = milstein(x0, drift, diffusion, diffusion_prime, T, N) + milstein_errors.append(np.abs(X_milstein[-1] - X_true[-1])) + +print(f"Euler-Maruyama 平均误差: {np.mean(euler_errors):.6f}") +print(f"Milstein 平均误差: {np.mean(milstein_errors):.6f}") + +# 绘制一条样本路径 +plt.figure(figsize=(10, 6)) +plt.plot(t, X_true, 'k-', label='解析解', linewidth=2) +plt.plot(t, X_euler, 'b--', label='Euler-Maruyama', alpha=0.7) +plt.plot(t, X_milstein, 'r:', label='Milstein', alpha=0.7) +plt.xlabel('时间 t') +plt.ylabel('X(t)') +plt.title('SDE数值方法比较') +plt.legend() +plt.grid(True, alpha=0.3) +plt.show()` + + + + +## A.11 与扩散模型的深层联系 + + + +### A.11.1 Score函数与漂移项 + + + 在扩散模型中，反向SDE的漂移项包含score函数 $\nabla_x \log p_t(x)$： + + + + $$dx = \left[f(x, t) - g^2(t)\nabla_x \log p_t(x)\right]dt + g(t)d\bar{B}_t$$ + + + + +这里的score函数满足： + + + + $$\nabla_x \log p_t(x) = -\frac{1}{\sqrt{1-\bar{\alpha}_t}}\mathbb{E}[\epsilon | x_t = x]$$ + + + + +### A.11.2 时间反演与伴随过程 + + + +对于前向SDE，其时间反演过程（从 $t=T$ 到 $t=0$）由Anderson定理给出。这正是扩散模型反向过程的理论基础。 + + + + +综合练习：推导扩散模型的反向SDE + +从前向SDE $dx = -\frac{1}{2}\beta(t)x dt + \sqrt{\beta(t)} dB_t$ 出发，使用时间反演理论推导反向SDE。 + +**提示：** + + + + - 写出前向过程的Fokker-Planck方程 + - 使用Anderson定理，反向漂移项为：$b_{rev} = -b_{for} + \sigma^2 \nabla \log p_t$ + - 计算score函数 $\nabla \log p_t(x)$ + - 代入得到反向SDE + + + +关键洞察：score函数编码了数据分布的信息，学习score函数等价于学习如何去噪。 + + + + + +## A.12 进一步学习资源 + + + + **推荐阅读：** + + + - Øksendal, B. "Stochastic Differential Equations" - SDE 的经典教材 + - Karatzas, I. & Shreve, S. "Brownian Motion and Stochastic Calculus" - 更深入的理论 + - Evans, L.C. "An Introduction to Stochastic Differential Equations" - 适合初学者 + + + + + + +## 本章小结 + + +在本附录中，我们快速回顾了理解连续时间扩散模型所需的数学基础： + + + + - 测度论提供了处理连续随机变量的严格框架 + - 布朗运动是扩散过程的基本构建块 + - 伊藤公式是随机微积分的链式法则，包含额外的二阶项 + - SDE 描述了随机系统的演化，扩散模型的前向过程就是一个 SDE + + + +这些工具将在第5章中用于理解扩散模型的连续时间公式化，特别是 Score-based SDE 框架。 \ No newline at end of file diff --git a/appendix-b.html b/appendix-b.html deleted file mode 100644 index 67620a4..0000000 --- a/appendix-b.html +++ /dev/null @@ -1,771 +0,0 @@ - - - - - - 附录B：倒向随机微分方程 (BSDE) 速成 - 扩散模型教程 - - - - - - - -
-

附录B：倒向随机微分方程 (BSDE) 速成

- -
-

倒向随机微分方程（Backward Stochastic Differential Equations, BSDE）是理解扩散模型反向过程的重要数学工具。虽然许多扩散模型的实践者可以在不深入BSDE理论的情况下使用这些模型，但理解BSDE能帮助我们更深刻地认识扩散模型的数学本质，特别是在连续时间框架下。

- -

本附录将快速介绍BSDE的核心概念，重点关注与扩散模型相关的部分。我们假设读者已经熟悉附录A中的测度论和随机过程基础。

-
- -

B.1 从前向到倒向：问题的提出

- -

B.1.1 前向SDE回顾

- -

在深入BSDE之前，让我们先回顾标准的（前向）随机微分方程。前向SDE描述了一个随机系统如何从已知的初始状态演化到未来：

- -
- $$dX_t = b(t, X_t)dt + \sigma(t, X_t)dW_t, \quad X_0 = x_0$$ -
- -

这个方程的特点是：

- - -

在扩散模型的语境中，前向SDE描述了数据如何逐渐被噪声破坏的过程。例如，在DDPM中，前向过程将清晰的图像 $x_0$ 逐步转化为纯噪声 $x_T \sim \mathcal{N}(0, I)$。

- -

B.1.2 倒向问题的动机

- -

然而，在许多实际问题中，我们面临的是相反的情况：我们知道（或期望）系统在未来某个时刻的状态，需要推断现在应该采取什么行动，或者系统现在应该处于什么状态。这就引出了倒向问题。

- -
-
终端值问题的直观例子
-

想象你要在时刻 $T$ 到达某个目的地，但路径是随机的（受到风、交通等随机因素影响）。倒向问题问的是：

-
    -
  • 现在（时刻 $t < T$）你应该在哪里？
    • -
  • 你应该如何调整你的速度和方向？
    • -
  • 这种调整如何依赖于你观察到的随机扰动？
    • -
-

数学上，假设我们知道某个随机过程在终端时刻 $T$ 的值 $Y_T = g(X_T)$（其中 $g$ 是给定函数），我们想要：

-
    -
  1. 找到一个过程 $\{Y_t\}_{0 \leq t \leq T}$，使得它在时刻 $T$ 满足终端条件
    2. -
  2. 这个过程应该适应于信息流 $\{\mathcal{F}_t\}$（即在时刻 $t$ 只依赖于到时刻 $t$ 为止的信息）
    3. -
  3. 过程的演化应该满足某种"最优性"或"鞅性"条件
    4. -
-
- -

这类倒向问题在许多领域都有深刻的应用：

- -
-

BSDE的应用领域

-
    -
  • 金融数学： -
      -
    • 期权定价：知道期权到期时的支付，求现在的价格
      • -
    • 对冲策略：如何动态调整投资组合以复制期权支付
      • -
    • 风险度量：从未来的损失分布推断现在的风险
      • -
    -
    • -
  • 随机控制： -
      -
    • 动态规划的值函数满足BSDE
      • -
    • 最优控制策略可以从BSDE的解中提取
      • -
    -
    • -
  • 偏微分方程： -
      -
    • 非线性PDE的概率表示
      • -
    • 高维PDE的数值求解
      • -
    -
    • -
  • 扩散模型： -
      -
    • 反向扩散过程的严格数学刻画
      • -
    • 分数函数（score function）的演化
      • -
    • 最优传输路径的构造
      • -
    -
    • -
-
- -

在扩散模型中，BSDE的视角特别有启发性。前向过程将数据破坏成噪声，而我们真正关心的是反向过程：如何从噪声重构数据。这个反向过程的数学描述自然地导向BSDE理论。具体来说：

- - -

B.2 BSDE的数学定义

- -

B.2.1 线性BSDE

- -

最简单的BSDE形式是线性BSDE，它为理解一般BSDE奠定基础。让我们从积分形式开始，这样更容易理解：

- -
- $$Y_t = \xi + \int_t^T [a(s)Y_s + b(s)Z_s + f(s)]ds - \int_t^T Z_s dW_s$$ -
- -

改写成微分形式（注意负号）：

- -
- $$\begin{cases} - -dY_t = [a(t)Y_t + b(t)Z_t + f(t)]dt - Z_t dW_t \\ - Y_T = \xi - \end{cases}$$ -
- -
-
直观理解：为什么是"倒向"？
-

考虑一个具体例子：你知道一支股票在时刻 $T$ 的价格是 $\xi$（可能是随机的），你想知道它在更早时刻 $t < T$ 的"公平价格"。

- -

这个问题的特点是：

-
    -
  1. 信息流向：虽然时间从 $0$ 流向 $T$，但我们的求解方向是从 $T$ 回推到 $0$
    2. -
  2. 适应性要求：在时刻 $t$，$Y_t$ 只能依赖于到时刻 $t$ 为止的信息（不能"预见未来"）
    3. -
  3. 随机性处理：从 $t$ 到 $T$ 的随机波动通过 $Z_t$ 来"对冲"
    4. -
-
- -

线性BSDE中各项的含义：

- - -
-

为什么需要 $Z_t$？三个视角

- -

1. 数学视角（鞅表示定理）

-

根据鞅表示定理，任何关于布朗运动的平方可积鞅 $M_t$ 都可以唯一表示为：

-
- $$M_t = M_0 + \int_0^t H_s dW_s$$ -
-

在BSDE中，$Y_t - \int_0^t [a(s)Y_s + b(s)Z_s + f(s)]ds$ 是一个鞅，因此必然存在某个过程使其可以表示为随机积分，这个过程就是 $Z_t$。

- -

2. 金融视角（完备市场）

-

在Black-Scholes模型中：

-
    -
  • $Y_t$ = 期权在时刻 $t$ 的价值
    • -
  • $Z_t$ = 对冲组合中需要持有的股票数量（Delta对冲）
    • -
  • 通过动态调整股票持仓 $Z_t$，可以完美复制期权的支付
    • -
- -

3. PDE视角（梯度信息）

-

如果 $Y_t = u(t, X_t)$ 其中 $u$ 满足某个PDE，则通过Itô公式可以证明：

-
- $$Z_t = \sigma(t, X_t)^T \nabla_x u(t, X_t)$$ -
-

即 $Z_t$ 编码了解关于空间变量的梯度信息。

-
- -
-
最简单的线性BSDE例子
-

考虑最简单的情况：$a(t) = b(t) = 0$，$f(t) = r$（常数），则BSDE变为：

-
- $$-dY_t = r \, dt - Z_t dW_t, \quad Y_T = \xi$$ -
- -

这个BSDE的解是：

-
- $$Y_t = \mathbb{E}[\xi | \mathcal{F}_t] + r(T-t)$$ -
- -

物理意义：如果终端收益是 $\xi$，无风险利率是 $r$，那么时刻 $t$ 的公平价值是终端收益的条件期望加上期间的利息。

- -

对应的 $Z_t$ 过程可以通过鞅表示定理得到。如果 $\xi = g(W_T)$，则：

-
- $$Z_t = \mathbb{E}[g'(W_T) | \mathcal{F}_t]$$ -
-
- -

B.2.2 一般（非线性）BSDE

- -

从线性到非线性的推广开启了BSDE理论的广阔应用空间。非线性BSDE不仅是数学上的推广，更重要的是它能够刻画许多线性模型无法描述的现象。

- -
- $$\begin{cases} - -dY_t = f(t, Y_t, Z_t)dt - Z_t dW_t \\ - Y_T = \xi - \end{cases}$$ -
- -

这里 $f: [0,T] \times \mathbb{R} \times \mathbb{R}^d \to \mathbb{R}$ 称为驱动函数（driver），它决定了BSDE的特性。

- -
-

驱动函数的重要性

-

驱动函数 $f$ 就像是BSDE的"灵魂"，不同的 $f$ 对应不同的应用：

-
    -
  • $f(t,y,z) = 0$：鞅，对应线性期望
    • -
  • $f(t,y,z) = g(z)$：风险度量，如期望缺口（Expected Shortfall）
    • -
  • $f(t,y,z) = \frac{1}{2}|z|^2$：指数效用，对应风险敏感控制
    • -
  • $f(t,y,z) = |z|^2 - \text{div}(z)$：扩散模型中的分数演化
    • -
-
- -
-
非线性的必要性：一个金融例子
-

考虑一个面临流动性约束的交易者。他不能无限制地买卖资产，交易成本随交易量非线性增长。

- -

此时，期权的对冲成本不再是线性的，必须用非线性BSDE来描述：

-
- $$-dY_t = \left[\frac{\gamma}{2}|Z_t|^2 + h(t,Z_t)\right]dt - Z_t dW_t$$ -
- -

其中：

-
    -
  • $\gamma > 0$ 表示风险厌恶系数
    • -
  • $h(t,z)$ 表示交易成本（通常是 $z$ 的凸函数）
    • -
  • 解 $Y_t$ 表示考虑交易成本后的期权价值
    • -
- -

这个BSDE的解通常高于Black-Scholes价格，差额反映了流动性成本。

-
- -
-
非线性的必要性：扩散模型例子
-

在扩散模型中，对数密度 $Y_t = \log p_t(X_t)$ 的演化遵循非线性BSDE。考虑标准的扩散过程：

- -
- $$dX_t = -\frac{1}{2}\beta(t)X_t dt + \sqrt{\beta(t)}dW_t$$ -
- -

应用Itô公式到 $Y_t = \log p_t(X_t)$，可以得到：

- -
- $$-dY_t = \left[\|Z_t\|^2 + \frac{1}{2}\beta(t)\text{div}(Z_t) + \text{其他项}\right]dt - Z_t \cdot dW_t$$ -
- -

这里的非线性项 $\|Z_t\|^2$ 至关重要：

-
    -
  • 它来自于扩散项的二阶效应（Itô修正）
    • -
  • 它确保了概率密度的归一化
    • -
  • 它与分数函数的能量有关
    • -
-
- -

驱动函数的性质与分类

- -

根据驱动函数的性质，BSDE可以分为几类：

- -
-
1. Lipschitz驱动
-

如果 $f$ 满足Lipschitz条件：

-
- $$|f(t,y_1,z_1) - f(t,y_2,z_2)| \leq L(|y_1-y_2| + |z_1-z_2|)$$ -
-

则BSDE存在唯一解。这是最经典的情况，由Pardoux-Peng (1990)建立。

-
- -
-
2. 二次增长驱动
-

如果 $f$ 关于 $z$ 有二次增长：

-
- $$|f(t,y,z)| \leq C(1 + |y| + |z|^2)$$ -
-

这类BSDE更具挑战性，但在许多应用中自然出现（如指数效用、扩散模型）。需要额外的技术处理，如BMO方法。

-
- -
-
3. 单调驱动
-

如果 $f$ 关于 $y$ 单调：

-
- $$(y_1 - y_2)(f(t,y_1,z) - f(t,y_2,z)) \leq 0$$ -
-

这保证了比较定理成立，在风险度量和最优控制中很重要。

-
- -

g-期望理论

- -

非线性BSDE引出了Peng提出的g-期望理论，这是对经典期望的非线性推广：

- -
-
g-期望
-

给定驱动函数 $g$（通常记为 $g$ 而非 $f$），定义g-期望：

-
- $$\mathcal{E}_g[\xi | \mathcal{F}_t] := Y_t$$ -
-

其中 $(Y,Z)$ 是BSDE的解：

-
- $$-dY_s = g(s,Y_s,Z_s)ds - Z_s dW_s, \quad Y_T = \xi$$ -
- -

g-期望的性质依赖于 $g$ 的性质：

-
    -
  • 如果 $g \equiv 0$，则 $\mathcal{E}_g[\xi] = \mathbb{E}[\xi]$（经典期望）
    • -
  • 如果 $g$ 是凸的，则 $\mathcal{E}_g$ 是凸的（风险厌恶）
    • -
  • 如果 $g$ 满足某些条件，$\mathcal{E}_g$ 可以表示模型不确定性下的稳健期望
    • -
-
- -

B.2.3 解的概念

- -

理解BSDE解的概念需要仔细考虑几个微妙之处。与前向SDE不同，BSDE的解是一对过程 $(Y, Z)$，而不仅仅是 $Y$。

- -
-
BSDE的解（严格定义）
-

一对适应过程 $(Y, Z)$ 称为BSDE的解，如果：

-
    -
  1. 正则性条件： -
      -
    • $Y: [0,T] \times \Omega \to \mathbb{R}$ 是连续适应过程
      • -
    • $Z: [0,T] \times \Omega \to \mathbb{R}^d$ 是循序可测过程
      • -
    • $\mathbb{E}\left[\sup_{0 \leq t \leq T} |Y_t|^2\right] < \infty$
      • -
    • $\mathbb{E}\left[\int_0^T |Z_t|^2 dt\right] < \infty$
      • -
    -
    2. -
  2. 积分方程：对所有 $t \in [0,T]$，几乎必然有 - $$Y_t = \xi + \int_t^T f(s, Y_s, Z_s)ds - \int_t^T Z_s dW_s$$ -
    3. -
  3. 终端条件：$Y_T = \xi$ 几乎必然成立
    4. -
-
- -
-

为什么需要这些条件？

- -

1. 适应性（Adaptedness）

-

$(Y_t, Z_t)$ 必须是 $\mathcal{F}_t$-适应的，这意味着它们不能"预见未来"。这是因果性的数学表述。

- -

2. 平方可积性

-

条件 $\mathbb{E}[\int_0^T |Z_t|^2 dt] < \infty$ 确保随机积分 $\int_0^t Z_s dW_s$ 有良好定义。这来自于Itô积分理论的要求。

- -

3. 连续性

-

$Y_t$ 的连续性不是必须的，但大多数应用中都假设连续性。这简化了许多技术细节，并且在金融和物理应用中是自然的。

-
- -
-
解的直观理解：倒向构造
-

想象我们要"倒向地"构造解 $(Y_t, Z_t)$：

- -
    -
  1. 起点：在时刻 $T$，我们知道 $Y_T = \xi$
    2. - -
  2. 倒退一小步：在时刻 $T-\Delta t$，我们需要找到 $Y_{T-\Delta t}$ 和 $Z_{T-\Delta t}$，使得： -
    - $$Y_{T-\Delta t} \approx \xi + f(T-\Delta t, Y_{T-\Delta t}, Z_{T-\Delta t})\Delta t - Z_{T-\Delta t}\Delta W_{T-\Delta t}$$ -
    -
    3. - -
  3. 关键洞察：$Z_{T-\Delta t}$ 的作用是"对冲"从 $T-\Delta t$ 到 $T$ 的随机性 $\Delta W_{T-\Delta t}$
    4. - -
  4. 继续倒退：重复这个过程直到时刻 $0$
    5. -
- -

这个构造过程的挑战在于：我们需要同时确定 $Y_t$ 和 $Z_t$，而它们是相互依赖的！

-
- -

解的唯一性

- -

BSDE解的唯一性是一个微妙的问题：

- -
-
唯一性的含义
-

当我们说BSDE有"唯一解"时，意味着：

-
    -
  • $Y$ 过程是唯一的（轨道意义下）
    • -
  • $Z$ 过程是唯一的（在 $dt \times d\mathbb{P}$ 意义下）
    • -
- -

更准确地说，如果 $(Y^1, Z^1)$ 和 $(Y^2, Z^2)$ 都是解，则：

-
    -
  1. $\mathbb{P}(Y^1_t = Y^2_t, \forall t \in [0,T]) = 1$
    2. -
  2. $\mathbb{E}\left[\int_0^T |Z^1_t - Z^2_t|^2 dt\right] = 0$
    3. -
-
- -

解的表示：与条件期望的联系

- -

在某些特殊情况下，BSDE的解有显式表示：

- -
-
例1：线性情况
-

对于 $f \equiv 0$ 的情况：

-
- $$Y_t = \mathbb{E}[\xi | \mathcal{F}_t]$$ -
-

这时 $Y_t$ 就是终端值的条件期望，$Z_t$ 来自鞅表示定理。

-
- -
-
例2：马尔可夫情况
-

如果系统具有马尔可夫性，即存在前向SDE：

-
- $$dX_t = b(t,X_t)dt + \sigma(t,X_t)dW_t$$ -
-

且 $\xi = g(X_T)$，$f(t,y,z) = \tilde{f}(t,X_t,y,z)$，则解可以表示为：

-
- $$Y_t = u(t, X_t), \quad Z_t = \sigma(t,X_t)^T\nabla_x u(t,X_t)$$ -
-

其中 $u$ 是相应PDE的解。

-
- -

解的构造方法预览

- -

实际求解BSDE有几种主要方法：

- -
    -
  1. Picard迭代：适用于Lipschitz驱动，理论上优美但计算量大
    2. -
  2. 四步法：利用马尔可夫性，将BSDE转化为PDE
    3. -
  3. 数值方法： -
      -
    • 时间离散化（Euler格式）
      • -
    • 空间离散化（有限差分、蒙特卡洛）
      • -
    • 深度学习方法（神经网络逼近）
      • -
    -
    4. -
- -

B.3 基本理论结果

- -

B.3.1 存在唯一性定理

- -
-
定理（Pardoux-Peng, 1990）
-

假设：

-
    -
  1. $\xi \in L^2(\mathcal{F}_T)$
    2. -
  2. $f$ 关于 $y, z$ 满足Lipschitz条件： - $$|f(t,y_1,z_1) - f(t,y_2,z_2)| \leq L(|y_1-y_2| + |z_1-z_2|)$$ -
    3. -
  3. $f(t,0,0) \in L^2([0,T] \times \Omega)$
    4. -
-

则BSDE存在唯一的平方可积解 $(Y,Z)$。

-
- -

B.3.2 比较定理

- -

BSDE的一个重要性质是比较定理，它允许我们比较不同BSDE解的大小关系：

- -
-
比较定理
-

设 $(Y^1, Z^1)$ 和 $(Y^2, Z^2)$ 分别是以下两个BSDE的解：

-
    -
  • BSDE 1: $-dY^1_t = f_1(t, Y^1_t, Z^1_t)dt - Z^1_t dW_t$, $Y^1_T = \xi_1$
    • -
  • BSDE 2: $-dY^2_t = f_2(t, Y^2_t, Z^2_t)dt - Z^2_t dW_t$, $Y^2_T = \xi_2$
    • -
-

如果 $\xi_1 \leq \xi_2$ a.s. 且 $f_1(t, y, z) \leq f_2(t, y, z)$ 对所有 $(t, y, z)$ 成立，则 $Y^1_t \leq Y^2_t$ a.s. 对所有 $t \in [0,T]$ 成立。

-
- -

B.4 BSDE与PDE的联系：Feynman-Kac公式

- -

BSDE与偏微分方程之间存在深刻的联系，这个联系通过Feynman-Kac公式体现。

- -

B.4.1 线性情况

- -

考虑线性PDE：

- -
- $$\begin{cases} - \frac{\partial u}{\partial t}(t,x) + \mathcal{L}u(t,x) + f(t,x) = 0 \\ - u(T,x) = g(x) - \end{cases}$$ -
- -

其中 $\mathcal{L}$ 是椭圆算子：

- -
- $$\mathcal{L}u = b(t,x) \cdot \nabla u + \frac{1}{2}\text{Tr}[\sigma\sigma^T(t,x) \nabla^2 u]$$ -
- -
-
Feynman-Kac公式（线性情况）
-

PDE的解可以表示为：

- $$u(t,x) = \mathbb{E}\left[g(X_T^{t,x}) + \int_t^T f(s,X_s^{t,x})ds \,\Big|\, X_t = x\right]$$ -

其中 $X^{t,x}$ 是从时刻 $t$、位置 $x$ 出发的SDE的解。

-
- -

B.4.2 非线性情况

- -

对于非线性PDE：

- -
- $$\begin{cases} - \frac{\partial u}{\partial t} + \mathcal{L}u + f(t,x,u,\sigma^T\nabla u) = 0 \\ - u(T,x) = g(x) - \end{cases}$$ -
- -

解可以通过BSDE表示：

- -
-
非线性Feynman-Kac公式
-

设 $(Y^{t,x}, Z^{t,x})$ 是BSDE的解：

- $$-dY_s = f(s, X_s^{t,x}, Y_s, Z_s)ds - Z_s dW_s, \quad Y_T = g(X_T^{t,x})$$ -

则 $u(t,x) = Y_t^{t,x}$，且 $\nabla u(t,x) = Z_t^{t,x}/\sigma(t,x)$。

-
- -

B.5 BSDE在扩散模型中的应用

- -

B.5.1 反向扩散过程的BSDE表示

- -

在连续时间扩散模型中，前向过程是：

- -
- $$dX_t = f(X_t, t)dt + g(t)dW_t$$ -
- -

Anderson (1982) 证明了反向过程可以写成：

- -
- $$dX_t = [f(X_t, t) - g^2(t)\nabla_x \log p_t(X_t)]dt + g(t)d\bar{W}_t$$ -
- -

其中 $\bar{W}_t$ 是反向布朗运动。这里的关键是分数函数 $\nabla_x \log p_t(x)$。

- -

B.5.2 分数函数的BSDE刻画

- -

定义 $Y_t = \log p_t(X_t)$，则可以证明 $(Y_t, Z_t)$ 满足某个BSDE，其中：

- - -
-
# BSDE视角下的分数匹配
-import torch
-import torch.nn as nn
-
-class BSDEScoreMatching(nn.Module):
-    """
-    使用BSDE框架的分数匹配
-    
-    核心思想：
-    - Y_t 表示对数密度
-    - Z_t 表示分数函数
-    - 通过最小化BSDE残差来学习
-    """
-    def __init__(self, score_model, T=1.0):
-        super().__init__()
-        self.score_model = score_model
-        self.T = T
-    
-    def bsde_loss(self, x_0, t):
-        """
-        计算BSDE形式的损失函数
-        
-        理论基础：
-        如果 (Y, Z) 满足BSDE，则残差应该为0
-        我们最小化这个残差来学习分数函数
-        """
-        # 前向扩散采样
-        noise = torch.randn_like(x_0)
-        x_t = self.forward_diffusion(x_0, t, noise)
-        
-        # 预测分数（对应Z过程）
-        score_pred = self.score_model(x_t, t)
-        
-        # BSDE残差：这来自于Itô公式应用于 log p_t(X_t)
-        # 具体形式依赖于扩散系数的选择
-        residual = self.compute_bsde_residual(x_t, t, score_pred, noise)
-        
-        return residual.pow(2).mean()
-    
-    def compute_bsde_residual(self, x_t, t, score, noise):
-        """计算BSDE残差（简化版本）"""
-        # 这里的具体形式依赖于所选择的SDE
-        # 对于标准的VP-SDE，残差与去噪分数匹配目标相关
-        return score + noise  # 简化示例
-
- -

B.5.3 最优传输视角

- -

BSDE理论还提供了扩散模型与最优传输之间的联系：

- -
-
扩散桥与BSDE
-

考虑连接两个分布 $\mu_0$ 和 $\mu_T$ 的扩散桥。相应的Schrödinger桥问题可以通过求解耦合的前向-倒向SDE系统来解决：

-
    -
  • 前向SDE描述从 $\mu_0$ 出发的扩散
    • -
  • 倒向SDE施加终端条件 $\mu_T$
    • -
  • 最优控制（漂移）由BSDE的解给出
    • -
-
- -

B.6 数值方法

- -

求解BSDE的数值方法对于实际应用至关重要。

- -

B.6.1 时间离散化

- -

最简单的方法是Euler格式的倒向版本：

- -
-
def backward_euler_bsde(terminal_condition, driver_f, dt, num_steps):
-    """
-    BSDE的倒向Euler格式
-    
-    Args:
-        terminal_condition: 终端条件 ξ
-        driver_f: 驱动函数 f(t, y, z)
-        dt: 时间步长
-        num_steps: 时间步数
-    """
-    # 初始化
-    Y = [terminal_condition]
-    Z = []
-    
-    # 倒向迭代
-    for i in range(num_steps):
-        t = (num_steps - i) * dt
-        
-        # 条件期望的近似（这里需要具体的数值方法）
-        Y_prev, Z_curr = compute_conditional_expectation(
-            Y[-1], t, dt, driver_f
-        )
-        
-        Y.append(Y_prev)
-        Z.append(Z_curr)
-    
-    return list(reversed(Y)), list(reversed(Z))
-
- -

B.6.2 深度学习方法

- -

现代方法使用神经网络来参数化BSDE的解：

- -
-
class DeepBSDE(nn.Module):
-    """
-    深度BSDE求解器
-    
-    使用神经网络逼近Z过程，通过最小化终端条件误差来训练
-    """
-    def __init__(self, dim, hidden_dim=256):
-        super().__init__()
-        # Z过程的神经网络逼近器
-        self.z_net = nn.Sequential(
-            nn.Linear(dim + 1, hidden_dim),  # x 和 t
-            nn.ReLU(),
-            nn.Linear(hidden_dim, hidden_dim),
-            nn.ReLU(),
-            nn.Linear(hidden_dim, dim)  # 输出 Z
-        )
-    
-    def solve(self, x_0, T, num_steps, terminal_g):
-        """
-        求解BSDE
-        
-        通过前向模拟和神经网络预测Z，
-        最小化终端条件误差
-        """
-        dt = T / num_steps
-        x = x_0
-        y = self.initial_value(x_0)  # Y_0的初始猜测
-        
-        for i in range(num_steps):
-            t = i * dt
-            
-            # 预测Z
-            z = self.z_net(torch.cat([x, t.expand_as(x[:, :1])], dim=1))
-            
-            # 前向演化
-            dw = torch.randn_like(x) * torch.sqrt(dt)
-            x = x + self.drift(x, t) * dt + self.diffusion(t) * dw
-            y = y - self.driver(t, y, z) * dt + torch.sum(z * dw, dim=1, keepdim=True)
-        
-        # 终端条件误差
-        terminal_error = (y - terminal_g(x)).pow(2).mean()
-        
-        return terminal_error
-
- -

B.7 练习题

- -
-
练习 B.1：线性BSDE的显式解
-

考虑线性BSDE：

- $$-dY_t = (aY_t + f_t)dt - Z_t dW_t, \quad Y_T = \xi$$ -

其中 $a$ 是常数，$f_t$ 是确定性函数。求解 $(Y_t, Z_t)$ 的显式表达式。

- - -
-

使用变量替换 $\tilde{Y}_t = e^{at}Y_t$，可以得到：

- $$Y_t = e^{-a(T-t)}\mathbb{E}\left[\xi + \int_t^T e^{a(T-s)}f_s ds \,\Big|\, \mathcal{F}_t\right]$$ -

利用鞅表示定理，可以得到 $Z_t$ 的表达式。具体地，如果 $\xi = g(W_T)$，则：

- $$Z_t = e^{-a(T-t)}\mathbb{E}[g'(W_T) | \mathcal{F}_t]$$ -
-
- -
-
练习 B.2：BSDE与热方程
-

证明热方程的解可以用BSDE表示。具体地，设 $u(t,x)$ 满足：

- $$\frac{\partial u}{\partial t} + \frac{1}{2}\Delta u = 0, \quad u(T,x) = g(x)$$ -

证明 $u(t,x) = Y_t$，其中 $Y_t$ 是某个BSDE的解。

- - -
-

考虑布朗运动 $X_t^x = x + W_t$，定义 $Y_t = u(t, X_t^x)$。

-

应用Itô公式：

- $$dY_t = \left(\frac{\partial u}{\partial t} + \frac{1}{2}\Delta u\right)dt + \nabla u \cdot dW_t = \nabla u \cdot dW_t$$ -

因此 $Y_t$ 满足BSDE：

- $$-dY_t = 0 \cdot dt - Z_t dW_t, \quad Y_T = g(X_T^x)$$ -

其中 $Z_t = -\nabla u(t, X_t^x)$。

-
-
- -
-
练习 B.3：扩散模型中的BSDE
-

设前向扩散过程为 $dX_t = \sqrt{2}dW_t$（标准布朗运动的缩放）。

-
    -
  1. 写出对应的Fokker-Planck方程
    2. -
  2. 证明反向过程涉及分数函数 $\nabla \log p_t$
    3. -
  3. 将分数函数的演化写成BSDE形式
    4. -
- - -
-

1. Fokker-Planck方程：

- $$\frac{\partial p}{\partial t} = \Delta p$$ - -

2. 反向过程（Anderson, 1982）：

- $$dX_t = -2\nabla \log p_{T-t}(X_t)dt + \sqrt{2}d\bar{W}_t$$ - -

3. 定义 $Y_t = \log p_{T-t}(X_t)$，$Z_t = \nabla \log p_{T-t}(X_t)$，则：

- $$-dY_t = \left(\|Z_t\|^2 - \text{div}(Z_t)\right)dt - Z_t \cdot dW_t$$ -

这是一个非线性BSDE，其驱动函数为 $f(z) = \|z\|^2 - \text{div}(z)$。

-
-
- -
-

本章小结

-

在本附录中，我们快速介绍了BSDE的核心概念：

-
    -
  • 基本定义：BSDE是从终端条件出发的随机微分方程
    • -
  • 存在唯一性：在Lipschitz条件下，BSDE有唯一解
    • -
  • 与PDE的联系：通过Feynman-Kac公式连接
    • -
  • 在扩散模型中的应用：刻画反向过程和分数函数
    • -
  • 数值方法：从经典的Euler格式到现代的深度学习方法
    • -
- -

BSDE理论为理解扩散模型提供了严格的数学框架，特别是在连续时间设定下。虽然实践中我们通常使用离散化的版本，但BSDE的视角帮助我们理解模型的本质，并启发新的算法设计。

- -

要深入学习BSDE理论，推荐阅读Pardoux和Peng的原始论文，以及El Karoui等人的综述文章。对于在机器学习中的应用，可以参考E, Han和Jentzen的深度BSDE工作。

-
-
- - - - \ No newline at end of file diff --git a/appendix-b.md b/appendix-b.md new file mode 100644 index 0000000..156c905 --- /dev/null +++ b/appendix-b.md @@ -0,0 +1,883 @@ +# 附录B：倒向随机微分方程 (BSDE) 速成 + + + + +倒向随机微分方程（Backward Stochastic Differential Equations, BSDE）是理解扩散模型反向过程的重要数学工具。虽然许多扩散模型的实践者可以在不深入BSDE理论的情况下使用这些模型，但理解BSDE能帮助我们更深刻地认识扩散模型的数学本质，特别是在连续时间框架下。 + + + +本附录将快速介绍BSDE的核心概念，重点关注与扩散模型相关的部分。我们假设读者已经熟悉附录A中的测度论和随机过程基础。 + + + + +## B.1 从前向到倒向：问题的提出 + + + +### B.1.1 前向SDE回顾 + + + +在深入BSDE之前，让我们先回顾标准的（前向）随机微分方程。前向SDE描述了一个随机系统如何从已知的初始状态演化到未来： + + + + $$dX_t = b(t, X_t)dt + \sigma(t, X_t)dW_t, \quad X_0 = x_0$$ + + + +这个方程的特点是： + + + + - **因果性**：给定初始条件 $X_0 = x_0$，我们可以逐步计算未来的状态 + - **适应性**：$X_t$ 只依赖于到时刻 $t$ 为止的随机性（布朗运动的历史） + - **信息流向**：从过去流向未来，这符合我们的物理直觉 + - **马尔可夫性**：未来只依赖于当前状态，不依赖于历史路径 + + + + +在扩散模型的语境中，前向SDE描述了数据如何逐渐被噪声破坏的过程。例如，在DDPM中，前向过程将清晰的图像 $x_0$ 逐步转化为纯噪声 $x_T \sim \mathcal{N}(0, I)$。 + + +### B.1.2 倒向问题的动机 + + + +然而，在许多实际问题中，我们面临的是相反的情况：我们知道（或期望）系统在未来某个时刻的状态，需要推断现在应该采取什么行动，或者系统现在应该处于什么状态。这就引出了倒向问题。 + + + + 终端值问题的直观例子 + +想象你要在时刻 $T$ 到达某个目的地，但路径是随机的（受到风、交通等随机因素影响）。倒向问题问的是： + + + + - 现在（时刻 $t 期权定价：知道期权到期时的支付，求现在的价格 + - 对冲策略：如何动态调整投资组合以复制期权支付 + - 风险度量：从未来的损失分布推断现在的风险 + + + + - **随机控制**： + + + 动态规划的值函数满足BSDE + - 最优控制策略可以从BSDE的解中提取 + + + + - **偏微分方程**： + + + 非线性PDE的概率表示 + - 高维PDE的数值求解 + + + + - **扩散模型**： + + + 反向扩散过程的严格数学刻画 + - 分数函数（score function）的演化 + - 最优传输路径的构造 + + + + + + + + +在扩散模型中，BSDE的视角特别有启发性。前向过程将数据破坏成噪声，而我们真正关心的是反向过程：如何从噪声重构数据。这个反向过程的数学描述自然地导向BSDE理论。具体来说： + + + + - 终端条件：$Y_T$ 对应于纯噪声状态的对数概率密度 + - $Y_t$ 过程：表示中间时刻的对数概率密度 + - $Z_t$ 过程：与分数函数 $\nabla \log p_t$ 密切相关，指导去噪方向 + + + +## B.2 BSDE的数学定义 + + + +### B.2.1 线性BSDE + + + +最简单的BSDE形式是线性BSDE，它为理解一般BSDE奠定基础。让我们从积分形式开始，这样更容易理解： + + + + $$Y_t = \xi + \int_t^T [a(s)Y_s + b(s)Z_s + f(s)]ds - \int_t^T Z_s dW_s$$ + + + +改写成微分形式（注意负号）： + + + + $$\begin{cases} + -dY_t = [a(t)Y_t + b(t)Z_t + f(t)]dt - Z_t dW_t \\ + Y_T = \xi + \end{cases}$$ + + + + 直观理解：为什么是"倒向"？ + +考虑一个具体例子：你知道一支股票在时刻 $T$ 的价格是 $\xi$（可能是随机的），你想知道它在更早时刻 $t 在金融中：对冲组合中的股票数量 + - 在控制中：最优控制策略 + - 在扩散模型中：与分数函数 $\nabla \log p_t$ 相关 + + + + - **$\xi$**：终端条件，$\mathcal{F}_T$-可测（即在时刻 $T$ 已知） + - **$a(t), b(t), f(t)$**：系数过程，描述系统的动态特性 + + + + +#### 为什么需要 $Z_t$？三个视角 + + + +**1. 数学视角（鞅表示定理）** + + +根据鞅表示定理，任何关于布朗运动的平方可积鞅 $M_t$ 都可以唯一表示为： + + + $$M_t = M_0 + \int_0^t H_s dW_s$$ + + +在BSDE中，$Y_t - \int_0^t [a(s)Y_s + b(s)Z_s + f(s)]ds$ 是一个鞅，因此必然存在某个过程使其可以表示为随机积分，这个过程就是 $Z_t$。 + + + +**2. 金融视角（完备市场）** + + +在Black-Scholes模型中： + + + + - $Y_t$ = 期权在时刻 $t$ 的价值 + - $Z_t$ = 对冲组合中需要持有的股票数量（Delta对冲） + - 通过动态调整股票持仓 $Z_t$，可以完美复制期权的支付 + + + + +**3. PDE视角（梯度信息）** + + +如果 $Y_t = u(t, X_t)$ 其中 $u$ 满足某个PDE，则通过Itô公式可以证明： + + + $$Z_t = \sigma(t, X_t)^T \nabla_x u(t, X_t)$$ + + +即 $Z_t$ 编码了解关于空间变量的梯度信息。 + + + + + 最简单的线性BSDE例子 + +考虑最简单的情况：$a(t) = b(t) = 0$，$f(t) = r$（常数），则BSDE变为： + + + $$-dY_t = r \, dt - Z_t dW_t, \quad Y_T = \xi$$ + + + +这个BSDE的解是： + + + $$Y_t = \mathbb{E}[\xi | \mathcal{F}_t] + r(T-t)$$ + + + +物理意义：如果终端收益是 $\xi$，无风险利率是 $r$，那么时刻 $t$ 的公平价值是终端收益的条件期望加上期间的利息。 + + + +对应的 $Z_t$ 过程可以通过鞅表示定理得到。如果 $\xi = g(W_T)$，则： + + + $$Z_t = \mathbb{E}[g'(W_T) | \mathcal{F}_t]$$ + + + + +### B.2.2 一般（非线性）BSDE + + + +从线性到非线性的推广开启了BSDE理论的广阔应用空间。非线性BSDE不仅是数学上的推广，更重要的是它能够刻画许多线性模型无法描述的现象。 + + + + $$\begin{cases} + -dY_t = f(t, Y_t, Z_t)dt - Z_t dW_t \\ + Y_T = \xi + \end{cases}$$ + + + +这里 $f: [0,T] \times \mathbb{R} \times \mathbb{R}^d \to \mathbb{R}$ 称为**驱动函数**（driver），它决定了BSDE的特性。 + + + + +#### 驱动函数的重要性 + + +驱动函数 $f$ 就像是BSDE的"灵魂"，不同的 $f$ 对应不同的应用： + + + + - **$f(t,y,z) = 0$**：鞅，对应线性期望 + - **$f(t,y,z) = g(z)$**：风险度量，如期望缺口（Expected Shortfall） + - **$f(t,y,z) = \frac{1}{2}|z|^2$**：指数效用，对应风险敏感控制 + - **$f(t,y,z) = |z|^2 - \text{div}(z)$**：扩散模型中的分数演化 + + + + + + 非线性的必要性：一个金融例子 + +考虑一个面临**流动性约束**的交易者。他不能无限制地买卖资产，交易成本随交易量非线性增长。 + + + +此时，期权的对冲成本不再是线性的，必须用非线性BSDE来描述： + + + $$-dY_t = \left[\frac{\gamma}{2}|Z_t|^2 + h(t,Z_t)\right]dt - Z_t dW_t$$ + + + +其中： + + + + - $\gamma > 0$ 表示风险厌恶系数 + - $h(t,z)$ 表示交易成本（通常是 $z$ 的凸函数） + - 解 $Y_t$ 表示考虑交易成本后的期权价值 + + + + +这个BSDE的解通常**高于**Black-Scholes价格，差额反映了流动性成本。 + + + + + 非线性的必要性：扩散模型例子 + +在扩散模型中，对数密度 $Y_t = \log p_t(X_t)$ 的演化遵循非线性BSDE。考虑标准的扩散过程： + + + + $$dX_t = -\frac{1}{2}\beta(t)X_t dt + \sqrt{\beta(t)}dW_t$$ + + + +应用Itô公式到 $Y_t = \log p_t(X_t)$，可以得到： + + + + $$-dY_t = \left[\|Z_t\|^2 + \frac{1}{2}\beta(t)\text{div}(Z_t) + \text{其他项}\right]dt - Z_t \cdot dW_t$$ + + + +这里的非线性项 $\|Z_t\|^2$ 至关重要： + + + + - 它来自于扩散项的二阶效应（Itô修正） + - 它确保了概率密度的归一化 + - 它与分数函数的能量有关 + + + + + +#### 驱动函数的性质与分类 + + + +根据驱动函数的性质，BSDE可以分为几类： + + + + 1. Lipschitz驱动 + +如果 $f$ 满足Lipschitz条件： + + + $$|f(t,y_1,z_1) - f(t,y_2,z_2)| \leq L(|y_1-y_2| + |z_1-z_2|)$$ + + +则BSDE存在唯一解。这是最经典的情况，由Pardoux-Peng (1990)建立。 + + + + + 2. 二次增长驱动 + +如果 $f$ 关于 $z$ 有二次增长： + + + $$|f(t,y,z)| \leq C(1 + |y| + |z|^2)$$ + + +这类BSDE更具挑战性，但在许多应用中自然出现（如指数效用、扩散模型）。需要额外的技术处理，如BMO方法。 + + + + + 3. 单调驱动 + +如果 $f$ 关于 $y$ 单调： + + + $$(y_1 - y_2)(f(t,y_1,z) - f(t,y_2,z)) \leq 0$$ + + +这保证了比较定理成立，在风险度量和最优控制中很重要。 + + + + +#### g-期望理论 + + + +非线性BSDE引出了Peng提出的**g-期望**理论，这是对经典期望的非线性推广： + + + + g-期望 + +给定驱动函数 $g$（通常记为 $g$ 而非 $f$），定义g-期望： + + + $$\mathcal{E}_g[\xi | \mathcal{F}_t] := Y_t$$ + + +其中 $(Y,Z)$ 是BSDE的解： + + + $$-dY_s = g(s,Y_s,Z_s)ds - Z_s dW_s, \quad Y_T = \xi$$ + + + +g-期望的性质依赖于 $g$ 的性质： + + + + - 如果 $g \equiv 0$，则 $\mathcal{E}_g[\xi] = \mathbb{E}[\xi]$（经典期望） + - 如果 $g$ 是凸的，则 $\mathcal{E}_g$ 是凸的（风险厌恶） + - 如果 $g$ 满足某些条件，$\mathcal{E}_g$ 可以表示模型不确定性下的稳健期望 + + + + + +### B.2.3 解的概念 + + + +理解BSDE解的概念需要仔细考虑几个微妙之处。与前向SDE不同，BSDE的解是一对过程 $(Y, Z)$，而不仅仅是 $Y$。 + + + + BSDE的解（严格定义） + +一对适应过程 $(Y, Z)$ 称为BSDE的解，如果： + + + + - **正则性条件**： + + + $Y: [0,T] \times \Omega \to \mathbb{R}$ 是连续适应过程 + - $Z: [0,T] \times \Omega \to \mathbb{R}^d$ 是循序可测过程 + - $\mathbb{E}\left[\sup_{0 \leq t \leq T} |Y_t|^2\right] + - **积分方程**：对所有 $t \in [0,T]$，几乎必然有 + $$Y_t = \xi + \int_t^T f(s, Y_s, Z_s)ds - \int_t^T Z_s dW_s$$ + + - **终端条件**：$Y_T = \xi$ 几乎必然成立 + + + + + + +#### 为什么需要这些条件？ + + + +**1. 适应性（Adaptedness）** + + +$(Y_t, Z_t)$ 必须是 $\mathcal{F}_t$-适应的，这意味着它们不能"预见未来"。这是因果性的数学表述。 + + + +**2. 平方可积性** + + +条件 $\mathbb{E}[\int_0^T |Z_t|^2 dt] 时间离散化（Euler格式） + - 空间离散化（有限差分、蒙特卡洛） + - 深度学习方法（神经网络逼近） + + + + + + +## B.3 基本理论结果 + + + +### B.3.1 存在唯一性定理 + + + + 定理（Pardoux-Peng, 1990） + +假设： + + + + - $\xi \in L^2(\mathcal{F}_T)$ + - $f$ 关于 $y, z$ 满足Lipschitz条件： + $$|f(t,y_1,z_1) - f(t,y_2,z_2)| \leq L(|y_1-y_2| + |z_1-z_2|)$$ + + - $f(t,0,0) \in L^2([0,T] \times \Omega)$ + + + +则BSDE存在唯一的平方可积解 $(Y,Z)$。 + + + + +### B.3.2 比较定理 + + + +BSDE的一个重要性质是比较定理，它允许我们比较不同BSDE解的大小关系： + + + + 比较定理 + +设 $(Y^1, Z^1)$ 和 $(Y^2, Z^2)$ 分别是以下两个BSDE的解： + + + + - BSDE 1: $-dY^1_t = f_1(t, Y^1_t, Z^1_t)dt - Z^1_t dW_t$, $Y^1_T = \xi_1$ + - BSDE 2: $-dY^2_t = f_2(t, Y^2_t, Z^2_t)dt - Z^2_t dW_t$, $Y^2_T = \xi_2$ + + + +如果 $\xi_1 \leq \xi_2$ a.s. 且 $f_1(t, y, z) \leq f_2(t, y, z)$ 对所有 $(t, y, z)$ 成立，则 $Y^1_t \leq Y^2_t$ a.s. 对所有 $t \in [0,T]$ 成立。 + + + + +## B.4 BSDE与PDE的联系：Feynman-Kac公式 + + + +BSDE与偏微分方程之间存在深刻的联系，这个联系通过Feynman-Kac公式体现。 + + +### B.4.1 线性情况 + + + +考虑线性PDE： + + + + $$\begin{cases} + \frac{\partial u}{\partial t}(t,x) + \mathcal{L}u(t,x) + f(t,x) = 0 \\ + u(T,x) = g(x) + \end{cases}$$ + + + +其中 $\mathcal{L}$ 是椭圆算子： + + + + $$\mathcal{L}u = b(t,x) \cdot \nabla u + \frac{1}{2}\text{Tr}[\sigma\sigma^T(t,x) \nabla^2 u]$$ + + + + Feynman-Kac公式（线性情况） + +PDE的解可以表示为： + + $$u(t,x) = \mathbb{E}\left[g(X_T^{t,x}) + \int_t^T f(s,X_s^{t,x})ds \,\Big|\, X_t = x\right]$$ + +其中 $X^{t,x}$ 是从时刻 $t$、位置 $x$ 出发的SDE的解。 + + + + +### B.4.2 非线性情况 + + + +对于非线性PDE： + + + + $$\begin{cases} + \frac{\partial u}{\partial t} + \mathcal{L}u + f(t,x,u,\sigma^T\nabla u) = 0 \\ + u(T,x) = g(x) + \end{cases}$$ + + + +解可以通过BSDE表示： + + + + 非线性Feynman-Kac公式 + +设 $(Y^{t,x}, Z^{t,x})$ 是BSDE的解： + + $$-dY_s = f(s, X_s^{t,x}, Y_s, Z_s)ds - Z_s dW_s, \quad Y_T = g(X_T^{t,x})$$ + +则 $u(t,x) = Y_t^{t,x}$，且 $\nabla u(t,x) = Z_t^{t,x}/\sigma(t,x)$。 + + + + +## B.5 BSDE在扩散模型中的应用 + + + +### B.5.1 反向扩散过程的BSDE表示 + + + +在连续时间扩散模型中，前向过程是： + + + + $$dX_t = f(X_t, t)dt + g(t)dW_t$$ + + + +Anderson (1982) 证明了反向过程可以写成： + + + + $$dX_t = [f(X_t, t) - g^2(t)\nabla_x \log p_t(X_t)]dt + g(t)d\bar{W}_t$$ + + + +其中 $\bar{W}_t$ 是反向布朗运动。这里的关键是分数函数 $\nabla_x \log p_t(x)$。 + + +### B.5.2 分数函数的BSDE刻画 + + + +定义 $Y_t = \log p_t(X_t)$，则可以证明 $(Y_t, Z_t)$ 满足某个BSDE，其中： + + + + - $Y_t$ 对应对数概率密度 + - $Z_t$ 与分数函数 $\nabla \log p_t$ 相关 + + + + +# BSDE视角下的分数匹配 +import torch +import torch.nn as nn + +class BSDEScoreMatching(nn.Module): + """ + 使用BSDE框架的分数匹配 + + 核心思想： + - Y_t 表示对数密度 + - Z_t 表示分数函数 + - 通过最小化BSDE残差来学习 + """ + def __init__(self, score_model, T=1.0): + super().__init__() + self.score_model = score_model + self.T = T + + def bsde_loss(self, x_0, t): + """ + 计算BSDE形式的损失函数 + + 理论基础： + 如果 (Y, Z) 满足BSDE，则残差应该为0 + 我们最小化这个残差来学习分数函数 + """ + # 前向扩散采样 + noise = torch.randn_like(x_0) + x_t = self.forward_diffusion(x_0, t, noise) + + # 预测分数（对应Z过程） + score_pred = self.score_model(x_t, t) + + # BSDE残差：这来自于Itô公式应用于 log p_t(X_t) + # 具体形式依赖于扩散系数的选择 + residual = self.compute_bsde_residual(x_t, t, score_pred, noise) + + return residual.pow(2).mean() + + def compute_bsde_residual(self, x_t, t, score, noise): + """计算BSDE残差（简化版本）""" + # 这里的具体形式依赖于所选择的SDE + # 对于标准的VP-SDE，残差与去噪分数匹配目标相关 + return score + noise # 简化示例 + + + +### B.5.3 最优传输视角 + + + BSDE理论还提供了扩散模型与最优传输之间的联系： + + + + 扩散桥与BSDE + +考虑连接两个分布 $\mu_0$ 和 $\mu_T$ 的扩散桥。相应的Schrödinger桥问题可以通过求解耦合的前向-倒向SDE系统来解决： + + + + - 前向SDE描述从 $\mu_0$ 出发的扩散 + - 倒向SDE施加终端条件 $\mu_T$ + - 最优控制（漂移）由BSDE的解给出 + + + + + +## B.6 数值方法 + + + +求解BSDE的数值方法对于实际应用至关重要。 + + +### B.6.1 时间离散化 + + + +最简单的方法是Euler格式的倒向版本： + + + + +def backward_euler_bsde(terminal_condition, driver_f, dt, num_steps): + """ + BSDE的倒向Euler格式 + + Args: + terminal_condition: 终端条件 ξ + driver_f: 驱动函数 f(t, y, z) + dt: 时间步长 + num_steps: 时间步数 + """ + # 初始化 + Y = [terminal_condition] + Z = [] + + # 倒向迭代 + for i in range(num_steps): + t = (num_steps - i) * dt + + # 条件期望的近似（这里需要具体的数值方法） + Y_prev, Z_curr = compute_conditional_expectation( + Y[-1], t, dt, driver_f + ) + + Y.append(Y_prev) + Z.append(Z_curr) + + return list(reversed(Y)), list(reversed(Z)) + + + +### B.6.2 深度学习方法 + + + 现代方法使用神经网络来参数化BSDE的解： + + + + +class DeepBSDE(nn.Module): + """ + 深度BSDE求解器 + + 使用神经网络逼近Z过程，通过最小化终端条件误差来训练 + """ + def __init__(self, dim, hidden_dim=256): + super().__init__() + # Z过程的神经网络逼近器 + self.z_net = nn.Sequential( + nn.Linear(dim + 1, hidden_dim), # x 和 t + nn.ReLU(), + nn.Linear(hidden_dim, hidden_dim), + nn.ReLU(), + nn.Linear(hidden_dim, dim) # 输出 Z + ) + + def solve(self, x_0, T, num_steps, terminal_g): + """ + 求解BSDE + + 通过前向模拟和神经网络预测Z， + 最小化终端条件误差 + """ + dt = T / num_steps + x = x_0 + y = self.initial_value(x_0) # Y_0的初始猜测 + + for i in range(num_steps): + t = i * dt + + # 预测Z + z = self.z_net(torch.cat([x, t.expand_as(x[:, :1])], dim=1)) + + # 前向演化 + dw = torch.randn_like(x) * torch.sqrt(dt) + x = x + self.drift(x, t) * dt + self.diffusion(t) * dw + y = y - self.driver(t, y, z) * dt + torch.sum(z * dw, dim=1, keepdim=True) + + # 终端条件误差 + terminal_error = (y - terminal_g(x)).pow(2).mean() + + return terminal_error + + + +## B.7 练习题 + + + + +练习 B.1：线性BSDE的显式解 + 考虑线性BSDE： + + $$-dY_t = (aY_t + f_t)dt - Z_t dW_t, \quad Y_T = \xi$$ + +其中 $a$ 是常数，$f_t$ 是确定性函数。求解 $(Y_t, Z_t)$ 的显式表达式。 + +使用变量替换 $\tilde{Y}_t = e^{at}Y_t$，可以得到： + + $$Y_t = e^{-a(T-t)}\mathbb{E}\left[\xi + \int_t^T e^{a(T-s)}f_s ds \,\Big|\, \mathcal{F}_t\right]$$ + +利用鞅表示定理，可以得到 $Z_t$ 的表达式。具体地，如果 $\xi = g(W_T)$，则： + + $$Z_t = e^{-a(T-t)}\mathbb{E}[g'(W_T) | \mathcal{F}_t]$$ + + + + + + +练习 B.2：BSDE与热方程 + +证明热方程的解可以用BSDE表示。具体地，设 $u(t,x)$ 满足： + + $$\frac{\partial u}{\partial t} + \frac{1}{2}\Delta u = 0, \quad u(T,x) = g(x)$$ + +证明 $u(t,x) = Y_t$，其中 $Y_t$ 是某个BSDE的解。 + +考虑布朗运动 $X_t^x = x + W_t$，定义 $Y_t = u(t, X_t^x)$。 + + +应用Itô公式： + + $$dY_t = \left(\frac{\partial u}{\partial t} + \frac{1}{2}\Delta u\right)dt + \nabla u \cdot dW_t = \nabla u \cdot dW_t$$ + +因此 $Y_t$ 满足BSDE： + + $$-dY_t = 0 \cdot dt - Z_t dW_t, \quad Y_T = g(X_T^x)$$ + +其中 $Z_t = -\nabla u(t, X_t^x)$。 + + + + + + +练习 B.3：扩散模型中的BSDE + +设前向扩散过程为 $dX_t = \sqrt{2}dW_t$（标准布朗运动的缩放）。 + + + + - 写出对应的Fokker-Planck方程 + - 证明反向过程涉及分数函数 $\nabla \log p_t$ + - 将分数函数的演化写成BSDE形式 + +1. Fokker-Planck方程： + + $$\frac{\partial p}{\partial t} = \Delta p$$ + + +2. 反向过程（Anderson, 1982）： + + $$dX_t = -2\nabla \log p_{T-t}(X_t)dt + \sqrt{2}d\bar{W}_t$$ + + +3. 定义 $Y_t = \log p_{T-t}(X_t)$，$Z_t = \nabla \log p_{T-t}(X_t)$，则： + + $$-dY_t = \left(\|Z_t\|^2 - \text{div}(Z_t)\right)dt - Z_t \cdot dW_t$$ + +这是一个非线性BSDE，其驱动函数为 $f(z) = \|z\|^2 - \text{div}(z)$。 + + + + + + +## 本章小结 + + +在本附录中，我们快速介绍了BSDE的核心概念： + + + + - **基本定义**：BSDE是从终端条件出发的随机微分方程 + - **存在唯一性**：在Lipschitz条件下，BSDE有唯一解 + - **与PDE的联系**：通过Feynman-Kac公式连接 + - **在扩散模型中的应用**：刻画反向过程和分数函数 + - **数值方法**：从经典的Euler格式到现代的深度学习方法 + + + + +BSDE理论为理解扩散模型提供了严格的数学框架，特别是在连续时间设定下。虽然实践中我们通常使用离散化的版本，但BSDE的视角帮助我们理解模型的本质，并启发新的算法设计。 + + + +要深入学习BSDE理论，推荐阅读Pardoux和Peng的原始论文，以及El Karoui等人的综述文章。对于在机器学习中的应用，可以参考E, Han和Jentzen的深度BSDE工作。 \ No newline at end of file diff --git a/appendix-c.html b/appendix-c.html deleted file mode 100644 index 10e7004..0000000 --- a/appendix-c.html +++ /dev/null @@ -1,2625 +0,0 @@ - - - - - - 附录C：信息几何与分数函数的力学解释 - 扩散模型教程 - - - - - - - -
-
- ← 上一章 - 附录C - 返回首页 → -
- -

附录C：信息几何与分数函数的力学解释

- -
- 扩散模型的成功不仅仅是工程上的胜利，更是深刻数学原理的体现。本附录将从信息几何的角度重新审视扩散模型，揭示分数函数作为"力"的物理意义，并建立与能量优化的深刻联系。这种视角不仅提供了理论洞察，也为设计新算法提供了指导原则。 -
- -

C.1 信息几何基础

- -

C.1.1 概率分布的流形结构

- -

信息几何将概率分布空间看作一个弯曲的流形，而不是平坦的欧几里得空间。这种视角对理解扩散模型至关重要。

- -

概率单纯形

- -
-
概率单纯形的定义
-

设 $\Omega$ 是样本空间，定义概率单纯形：

-
- $$\mathcal{P} = \left\{p = (p_1, ..., p_n) : p_i \geq 0, \sum_{i=1}^n p_i = 1\right\}$$ -
- -

这是一个 $(n-1)$ 维流形，嵌入在 $\mathbb{R}^n$ 中。对于连续分布，我们考虑：

-
- $$\mathcal{P}(\mathcal{X}) = \left\{p : \mathcal{X} \to \mathbb{R}^+ \mid \int_{\mathcal{X}} p(x)dx = 1\right\}$$ -
-
- -

切空间的结构

- -

在每个点 $p \in \mathcal{P}$，切空间由满足约束的无穷小变化组成：

- -
-

切向量的特征

-

对于概率分布 $p(x)$，切向量 $v(x) \in T_p\mathcal{P}$ 满足：

-
- $$\int_{\mathcal{X}} v(x) dx = 0$$ -
- -

这保证了沿着 $v$ 方向的无穷小移动仍然保持归一化。

-
- -

指数族与自然参数

- -
-
指数族分布
-

指数族是信息几何中最重要的例子：

-
- $$p(x; \theta) = \exp(\theta^T T(x) - A(\theta))$$ -
- -

其中：

-
    -
  • $\theta$ 是自然参数（natural parameters）
    • -
  • $T(x)$ 是充分统计量
    • -
  • $A(\theta) = \log \int \exp(\theta^T T(x)) dx$ 是对数配分函数
    • -
-
- -
-
# 可视化概率分布流形
-import torch
-import numpy as np
-
-class ProbabilityManifold:
-    """演示概率分布流形的概念"""
-    
-    def __init__(self, dim=3):
-        self.dim = dim  # 单纯形的维度
-    
-    def project_to_simplex(self, x):
-        """将点投影到概率单纯形上"""
-        # 使用softmax作为投影
-        return torch.softmax(x, dim=-1)
-    
-    def tangent_projection(self, p, v):
-        """将向量投影到切空间"""
-        # 切空间约束: sum(v) = 0
-        v_mean = v.mean(dim=-1, keepdim=True)
-        return v - v_mean
-    
-    def exponential_family_example(self):
-        """演示指数族的性质"""
-        print("指数族示例：二项分布")
-        print("="*50)
-        
-        # 自然参数空间
-        theta_values = torch.linspace(-2, 2, 5)
-        
-        for theta in theta_values:
-            # 二项分布: p = exp(theta*x) / (1 + exp(theta))
-            p = torch.sigmoid(theta)
-            
-            # 对数配分函数
-            A_theta = torch.log(1 + torch.exp(theta))
-            
-            # 期望参数（对偶参数）
-            mu = p  # dA/dtheta = E[X]
-            
-            # Fisher信息（二阶导）
-            I_theta = p * (1 - p)  # d²A/dtheta² = Var[X]
-            
-            print(f"\u03b8={theta:6.2f}: p={p:6.4f}, A(\u03b8)={A_theta:6.4f}, I(\u03b8)={I_theta:6.4f}")
-    
-    def geodesic_distance(self, p1, p2, metric='kl'):
-        """计算两个分布之间的测地线距离"""
-        eps = 1e-8
-        
-        if metric == 'kl':
-            # KL散度（不对称）
-            return (p1 * (torch.log(p1 + eps) - torch.log(p2 + eps))).sum()
-        
-        elif metric == 'fisher_rao':
-            # Fisher-Rao距离（真正的测地线距离）
-            sqrt_p1 = torch.sqrt(p1 + eps)
-            sqrt_p2 = torch.sqrt(p2 + eps)
-            cos_angle = (sqrt_p1 * sqrt_p2).sum()
-            return 2 * torch.acos(torch.clamp(cos_angle, -1, 1))
-        
-        elif metric == 'wasserstein':
-            # 简化的Wasserstein距离（一维情况）
-            # 这里只是示例，实际计算更复杂
-            return torch.abs(p1 - p2).sum()
-
-# 演示概率流形的性质
-def demonstrate_probability_manifold():
-    manifold = ProbabilityManifold()
-    
-    # 1. 指数族示例
-    manifold.exponential_family_example()
-    
-    # 2. 测地线距离比较
-    print("\n\n不同度量下的距离")
-    print("="*50)
-    
-    # 创建两个分布
-    p1 = torch.tensor([0.7, 0.2, 0.1])
-    p2 = torch.tensor([0.2, 0.3, 0.5])
-    
-    metrics = ['kl', 'fisher_rao', 'wasserstein']
-    for metric in metrics:
-        dist = manifold.geodesic_distance(p1, p2, metric)
-        print(f"{metric:15s}: {dist:8.4f}")
-    
-    # 3. 切空间投影
-    print("\n\n切空间投影")
-    print("="*50)
-    
-    v = torch.tensor([1.0, -0.5, -0.5])  # 一个向量
-    v_tangent = manifold.tangent_projection(p1, v)
-    
-    print(f"原始向量: {v.numpy()}")
-    print(f"切向量: {v_tangent.numpy()}")
-    print(f"切向量之和: {v_tangent.sum().item():.6f} (应为0)")
-
-demonstrate_probability_manifold()
-
- -

为什么几何视角重要？

- -
-

几何视角的优势

-
    -
  1. 坐标无关性：几何性质不依赖于特定的参数化
    2. -
  2. 自然的距离概念：Fisher-Rao距离提供了分布间的内在度量
    3. -
  3. 优化的指导：自然梯度比普通梯度更适合在流形上优化
    4. -
  4. 统一视角：将不同的统计方法统一在几何框架下
    5. -
-
- -
-
扩散模型中的流形结构
-

在扩散模型中，我们可以将整个过程看作在概率分布流形上的一条路径：

-
    -
  • $p_0 = p_{data}$：起点是数据分布
    • -
  • $p_T \approx \mathcal{N}(0, I)$：终点是简单的高斯分布
    • -
  • $\{p_t\}_{t \in [0,T]}$：连接两者的光滑路径
    • -
- -

这条路径的选择（即SDE的设计）直接影响模型的性能！

-
- -

C.1.2 Fisher信息度量

- -

Fisher信息度量是概率分布流形上的自然黎曼度量。它不仅在统计学中扮演着核心角色，也为理解扩散模型的分数函数提供了几何基础。

- -

Fisher信息矩阵的定义

- -
-
Fisher信息矩阵
-

对于参数化的概率分布族 $\{p(x; \theta) : \theta \in \Theta\}$，Fisher信息矩阵定义为：

-
- $$I_{ij}(\theta) = \mathbb{E}_{p(x;\theta)}\left[\frac{\partial \log p(x;\theta)}{\partial \theta_i} \frac{\partial \log p(x;\theta)}{\partial \theta_j}\right]$$ -
- -

等价地，可以写成：

-
- $$I_{ij}(\theta) = -\mathbb{E}_{p(x;\theta)}\left[\frac{\partial^2 \log p(x;\theta)}{\partial \theta_i \partial \theta_j}\right]$$ -
-
- -

几何意义

- -

Fisher信息矩阵定义了参数空间中的一个黎曼度量：

- -
-

度量的直观理解

-
    -
  • 局部距离：$ds^2 = \sum_{i,j} I_{ij}(\theta) d\theta_i d\theta_j$
    • -
  • 可区分性：矩阵元素越大，表示该方向上分布变化越快
    • -
  • 信息量：从数据中提取参数信息的难易程度
    • -
  • 曲率：反映了参数空间的弯曲程度
    • -
-
- -
-
例子：高斯分布的Fisher信息
-

考虑一维高斯分布 $\mathcal{N}(\mu, \sigma^2)$，参数 $\theta = (\mu, \sigma)$：

-
- $$I(\theta) = \begin{pmatrix} - \frac{1}{\sigma^2} & 0 \\ - 0 & \frac{2}{\sigma^2} - \end{pmatrix}$$ -
- -

观察：

-
    -
  • $\mu$ 和 $\sigma$ 参数正交（非对角元为0）
    • -
  • 方差越小，信息量越大（更容易估计参数）
    • -
  • 估计 $\sigma$ 比估计 $\mu$ 更难（因子为2）
    • -
-
- -
-
# 计算和可视化Fisher信息度量
-import torch
-import numpy as np
-
-class FisherInformation:
-    """计算和分析Fisher信息度量"""
-    
-    def gaussian_fisher(self, mu, sigma):
-        """计算高斯分布的Fisher信息矩阵"""
-        I = torch.zeros(2, 2)
-        I[0, 0] = 1 / sigma**2  # I_{μμ}
-        I[1, 1] = 2 / sigma**2  # I_{σσ}
-        return I
-    
-    def exponential_family_fisher(self, theta, compute_hessian=True):
-        """计算指数族的Fisher信息
-        
-        对于指数族 p(x;\theta) = exp(\theta^T T(x) - A(\theta))
-        Fisher信息 = A(\theta)的Hessian矩阵
-        """
-        # 例子：多项分布
-        # A(\theta) = log(sum(exp(\theta)))
-        exp_theta = torch.exp(theta)
-        Z = exp_theta.sum()
-        
-        # 一阶导数（期望参数）
-        mu = exp_theta / Z
-        
-        if compute_hessian:
-            # 二阶导数（Fisher信息）
-            n = len(theta)
-            I = torch.zeros(n, n)
-            
-            for i in range(n):
-                for j in range(n):
-                    if i == j:
-                        I[i, j] = mu[i] * (1 - mu[i])
-                    else:
-                        I[i, j] = -mu[i] * mu[j]
-            
-            return I, mu
-        
-        return mu
-    
-    def natural_gradient(self, grad, fisher_matrix, regularization=1e-8):
-        """计算自然梯度
-        
-        自然梯度 = Fisher信息矩阵的逆 × 普通梯度
-        """
-        # 添加正则化以保证数值稳定性
-        I_reg = fisher_matrix + regularization * torch.eye(fisher_matrix.shape[0])
-        
-        # 计算自然梯度
-        natural_grad = torch.linalg.solve(I_reg, grad)
-        
-        return natural_grad
-    
-    def geodesic_distance(self, theta1, theta2, n_steps=100):
-        """计算两点间的测地线距离（数值近似）"""
-        # 使用线性插值作为路径的近似
-        path = torch.linspace(0, 1, n_steps).unsqueeze(1)
-        thetas = theta1 + path * (theta2 - theta1)
-        
-        total_distance = 0
-        for i in range(n_steps - 1):
-            # 计算当前点的Fisher信息
-            I, _ = self.exponential_family_fisher(thetas[i])
-            
-            # 计算微小步长
-            d_theta = thetas[i+1] - thetas[i]
-            
-            # 计算度量距离 ds^2 = d\theta^T I d\theta
-            ds = torch.sqrt(d_theta @ I @ d_theta)
-            total_distance += ds
-        
-        return total_distance
-
-# 演示Fisher信息的性质
-def demonstrate_fisher_information():
-    fisher = FisherInformation()
-    
-    print("Fisher信息度量分析")
-    print("="*60)
-    
-    # 1. 高斯分布的Fisher信息
-    print("\n1. 高斯分布 N(μ, σ²)")
-    print("-"*40)
-    
-    mu, sigma = 0.0, 1.0
-    I_gaussian = fisher.gaussian_fisher(mu, sigma)
-    print(f"Fisher信息矩阵：\n{I_gaussian}")
-    print(f"\n行列式: {torch.det(I_gaussian):.4f}")
-    print(f"迹: {torch.trace(I_gaussian):.4f}")
-    
-    # 2. 指数族的Fisher信息
-    print("\n\n2. 多项分布（指数族）")
-    print("-"*40)
-    
-    theta = torch.tensor([1.0, 0.5, -0.5])
-    I_exp, mu = fisher.exponential_family_fisher(theta)
-    
-    print(f"\u81ea然参数 \u03b8: {theta.numpy()}")
-    print(f"\u671f望参数 μ: {mu.numpy()}")
-    print(f"\nFisher信息矩阵：\n{I_exp}")
-    
-    # 3. 自然梯度 vs 普通梯度
-    print("\n\n3. 自然梯度 vs 普通梯度")
-    print("-"*40)
-    
-    # 假设一个普通梯度
-    grad = torch.tensor([1.0, -0.5, 0.2])
-    natural_grad = fisher.natural_gradient(grad, I_exp)
-    
-    print(f"普通梯度: {grad.numpy()}")
-    print(f"自然梯度: {natural_grad.numpy()}")
-    print(f"范数比: {torch.norm(natural_grad) / torch.norm(grad):.4f}")
-    
-    # 4. 测地线距离
-    print("\n\n4. 测地线距离")
-    print("-"*40)
-    
-    theta1 = torch.tensor([0.0, 0.0, 0.0])
-    theta2 = torch.tensor([1.0, 1.0, 1.0])
-    
-    geo_dist = fisher.geodesic_distance(theta1, theta2)
-    euclidean_dist = torch.norm(theta2 - theta1)
-    
-    print(f"欧几里得距离: {euclidean_dist:.4f}")
-    print(f"测地线距离: {geo_dist:.4f}")
-    print(f"比值: {geo_dist / euclidean_dist:.4f}")
-    
-    print("\n观察：测地线距离考虑了流形的弯曲，通常比欧几里得距离更长")
-
-demonstrate_fisher_information()
-
- -

Fisher信息与分数函数

- -
-
重要联系
-

分数函数 $s(x, \theta) = \nabla_x \log p(x; \theta)$ 与Fisher信息密切相关：

-
- $$I_{ij}(\theta) = \mathbb{E}_{p(x;\theta)}[s_i(x, \theta) s_j(x, \theta)]$$ -
- -

其中 $s_i = \frac{\partial \log p}{\partial \theta_i}$ 是关于参数的分数。

- -

这表明：Fisher信息度量了分数函数的"变化率"。

-
- -

在扩散模型中的应用

- -
-

为什么Fisher信息对扩散模型重要？

-
    -
  1. 自然参数化：在训练分数网络时，使用自然梯度可以加速收敛
    2. -
  2. 距离度量：提供了分布间的内在距离，用于设计更好的损失函数
    3. -
  3. 最优传输：测地线提供了从数据分布到噪声分布的最优路径
    4. -
  4. 曲率信息：帮助理解为什么某些区域的学习更困难
    5. -
-
- -

C.1.3 自然梯度与普通梯度

- -

在优化概率模型时，选择合适的梯度方向至关重要。自然梯度考虑了参数空间的几何结构，提供了比普通梯度更好的下降方向。

- -

普通梯度的问题

- -
-

为什么普通梯度不够好？

-

考虑一个简单的例子：优化二项分布的参数 $p \in [0,1]$。

-
    -
  • 当 $p \approx 0$ 或 $p \approx 1$ 时，小的参数变化会导致分布的大幅变化
    • -
  • 当 $p \approx 0.5$ 时，同样的参数变化对分布影响较小
    • -
  • 普通梯度没有考虑这种"不均匀性"
    • -
-
- -

自然梯度的定义

- -
-
自然梯度
-

设 $L(\theta)$ 是关于参数 $\theta$ 的损失函数，普通梯度为 $g = \nabla_\theta L$。自然梯度定义为：

-
- $$\tilde{g} = I(\theta)^{-1} g$$ -
- -

其中 $I(\theta)$ 是Fisher信息矩阵。更新规则为：

-
- $$\theta_{t+1} = \theta_t - \alpha I(\theta_t)^{-1} \nabla_\theta L(\theta_t)$$ -
-
- -

几何解释

- -
-
最陡下降方向
-

自然梯度是在Fisher信息度量下的最陡下降方向：

-
    -
  • 普通梯度：在欧几里得空间中的最陡下降
    • -
  • 自然梯度：在曲线流形上的最陡下降
    • -
  • 优势：不依赖于参数化方式（坐标无关）
    • -
-
- -
-
# 比较自然梯度和普通梯度的优化路径
-import torch
-import numpy as np
-
-class GradientComparison:
-    """比较自然梯度和普通梯度的优化效果"""
-    
-    def __init__(self, target_dist):
-        """
-        Args:
-            target_dist: 目标分布的参数
-        """
-        self.target = target_dist
-    
-    def kl_divergence(self, theta, target):
-        """计算KL散度作为损失函数"""
-        # 简化：使用多项分布
-        p = torch.softmax(theta, dim=0)
-        q = torch.softmax(target, dim=0)
-        
-        kl = (p * (torch.log(p + 1e-8) - torch.log(q + 1e-8))).sum()
-        return kl
-    
-    def compute_gradients(self, theta):
-        """计算普通梯度和Fisher信息"""
-        theta.requires_grad_(True)
-        
-        # 计算损失
-        loss = self.kl_divergence(theta, self.target)
-        
-        # 普通梯度
-        grad = torch.autograd.grad(loss, theta, retain_graph=True)[0]
-        
-        # Fisher信息（对于多项分布）
-        p = torch.softmax(theta, dim=0)
-        n = len(theta)
-        fisher = torch.zeros(n, n)
-        
-        for i in range(n):
-            for j in range(n):
-                if i == j:
-                    fisher[i, j] = p[i] * (1 - p[i])
-                else:
-                    fisher[i, j] = -p[i] * p[j]
-        
-        return grad.detach(), fisher
-    
-    def natural_gradient_step(self, theta, grad, fisher, lr=0.1, reg=1e-4):
-        """执行自然梯度步"""
-        # 正则化Fisher矩阵
-        fisher_reg = fisher + reg * torch.eye(fisher.shape[0])
-        
-        # 计算自然梯度
-        nat_grad = torch.linalg.solve(fisher_reg, grad)
-        
-        # 更新参数
-        return theta - lr * nat_grad
-    
-    def ordinary_gradient_step(self, theta, grad, lr=0.1):
-        """执行普通梯度步"""
-        return theta - lr * grad
-    
-    def optimize(self, init_theta, method='natural', n_steps=50, lr=0.1):
-        """优化过程"""
-        theta = init_theta.clone()
-        history = {'theta': [theta.clone()], 'loss': []}
-        
-        for step in range(n_steps):
-            # 计算梯度
-            grad, fisher = self.compute_gradients(theta)
-            
-            # 更新参数
-            if method == 'natural':
-                theta = self.natural_gradient_step(theta, grad, fisher, lr)
-            else:
-                theta = self.ordinary_gradient_step(theta, grad, lr)
-            
-            # 记录
-            loss = self.kl_divergence(theta, self.target).item()
-            history['theta'].append(theta.clone())
-            history['loss'].append(loss)
-        
-        return history
-
-# 演示两种梯度的比较
-def demonstrate_gradient_comparison():
-    print("自然梯度 vs 普通梯度优化比较")
-    print("="*60)
-    
-    # 设置
-    target = torch.tensor([2.0, 1.0, -1.0])  # 目标分布参数
-    init = torch.tensor([0.0, 0.0, 0.0])     # 初始参数
-    
-    optimizer = GradientComparison(target)
-    
-    # 优化
-    print("\n正在优化...")
-    history_natural = optimizer.optimize(init, method='natural', n_steps=20, lr=0.5)
-    history_ordinary = optimizer.optimize(init, method='ordinary', n_steps=20, lr=0.1)
-    
-    # 结果分析
-    print("\n优化结果：")
-    print("-"*40)
-    print(f"目标分布: {torch.softmax(target, dim=0).numpy()}")
-    print(f"\n自然梯度最终结果: {torch.softmax(history_natural['theta'][-1], dim=0).numpy()}")
-    print(f"最终损失: {history_natural['loss'][-1]:.6f}")
-    print(f"收敛步数: {len([l for l in history_natural['loss'] if l > 0.01])}")
-    
-    print(f"\n普通梯度最终结果: {torch.softmax(history_ordinary['theta'][-1], dim=0).numpy()}")
-    print(f"最终损失: {history_ordinary['loss'][-1]:.6f}")
-    print(f"收敛步数: {len([l for l in history_ordinary['loss'] if l > 0.01])}")
-    
-    # 不同参数化下的行为
-    print("\n\n参数化不变性测试")
-    print("-"*40)
-    
-    # 重新参数化：对参数进行线性变换
-    A = torch.tensor([[2.0, 1.0, 0.0], 
-                      [1.0, 2.0, 1.0], 
-                      [0.0, 1.0, 2.0]])
-    
-    target_reparam = A @ target
-    init_reparam = A @ init
-    
-    print("在新参数化下：")
-    optimizer_reparam = GradientComparison(target_reparam)
-    
-    # 普通梯度在新参数化下会受影响
-    history_ordinary_reparam = optimizer_reparam.optimize(init_reparam, method='ordinary', n_steps=20, lr=0.1)
-    
-    print(f"普通梯度收敛步数（原参数化）: {len([l for l in history_ordinary['loss'] if l > 0.01])}")
-    print(f"普通梯度收敛步数（新参数化）: {len([l for l in history_ordinary_reparam['loss'] if l > 0.01])}")
-    print("\n观察：普通梯度的效率依赖于参数化，而自然梯度具有参数化不变性！")
-
-demonstrate_gradient_comparison()
-
- -

在扩散模型中的应用

- -
-

自然梯度与分数匹配

-

在训练分数网络时，可以考虑使用自然梯度的思想：

-
    -
  1. 预条件化：使用Fisher信息的近似来预条件化梯度
    2. -
  2. 自适应学习率：不同参数方向使用不同的学习率
    3. -
  3. 二阶方法：Adam等优化器部分地实现了自然梯度的思想
    4. -
-
- -
-
实用建议
-
    -
  • 完整Fisher矩阵：计算成本高，通常只用于小规模问题
    • -
  • 对角近似：只保留对角元素，大幅降低计算成本
    • -
  • Kronecker因子分解：对于神经网络，可以使用K-FAC等方法
    • -
  • 动量方法：结合动量可以进一步提高收敛速度
    • -
-
- -

C.2 分数函数的几何意义

- -

C.2.1 分数函数作为切向量

- -

分数函数 $\nabla_x \log p(x)$ 不仅仅是一个梯度——从信息几何的角度看，它是概率分布流形上的切向量，指示着密度增长最快的方向。这种几何视角为理解扩散模型提供了深刻的洞察。

- -

分数函数的几何定义

- -
-
分数函数作为切向量
-

考虑概率密度函数的对数变换流形。在点 $p(x)$ 处，分数函数定义了一个切向量场：

-
- $$s(x) = \nabla_x \log p(x) = \frac{\nabla_x p(x)}{p(x)}$$ -
- -

这个向量场具有特殊性质：

-
    -
  • 在高概率区域指向密度增加的方向
    • -
  • 在低概率区域具有大的模长
    • -
  • 满足积分约束：$\mathbb{E}_{p(x)}[s(x)] = 0$
    • -
-
- -

切向量的积分性质

- -
-

为什么期望为零？

-

分数函数的零期望性质来自于概率密度的归一化约束：

-
- $$\int p(x) dx = 1 \Rightarrow \int \nabla_x p(x) dx = 0$$ -
- -

因此：

-
- $$\mathbb{E}_{p(x)}[s(x)] = \int p(x) \cdot \frac{\nabla_x p(x)}{p(x)} dx = \int \nabla_x p(x) dx = 0$$ -
- -

这意味着分数函数确实是概率分布流形切空间中的向量！

-
- -

流形上的向量场

- -
-
具体例子：高斯混合模型
-

对于二维高斯混合模型：

-
- $$p(x) = \pi_1 \mathcal{N}(x; \mu_1, \Sigma_1) + \pi_2 \mathcal{N}(x; \mu_2, \Sigma_2)$$ -
- -

分数函数为：

-
- $$s(x) = \frac{\pi_1 \mathcal{N}_1(x) \cdot (-\Sigma_1^{-1}(x-\mu_1)) + \pi_2 \mathcal{N}_2(x) \cdot (-\Sigma_2^{-1}(x-\mu_2))}{\pi_1 \mathcal{N}_1(x) + \pi_2 \mathcal{N}_2(x)}$$ -
- -

这是两个高斯分数的加权平均，权重随位置变化！

-
- -
-
# 可视化分数函数作为向量场
-import torch
-import numpy as np
-
-class ScoreVectorField:
-    """分数函数的向量场可视化和分析"""
-    
-    def __init__(self):
-        self.device = torch.device('cpu')
-    
-    def gaussian_mixture_score(self, x, weights, means, covs):
-        """计算高斯混合模型的分数函数"""
-        n_components = len(weights)
-        scores = []
-        densities = []
-        
-        for i in range(n_components):
-            # 计算每个分量的密度
-            diff = x - means[i]
-            inv_cov = torch.inverse(covs[i])
-            
-            # Mahalanobis距离
-            mahal = torch.sum(diff @ inv_cov * diff, dim=-1)
-            log_det = torch.logdet(covs[i])
-            
-            # 概率密度
-            log_density = -0.5 * (mahal + log_det + 2 * np.log(2 * np.pi))
-            density = torch.exp(log_density) * weights[i]
-            densities.append(density)
-            
-            # 该分量的分数
-            score_i = -inv_cov @ diff.T
-            scores.append(score_i.T * density.unsqueeze(-1))
-        
-        # 加权平均
-        total_density = sum(densities)
-        weighted_score = sum(scores) / (total_density.unsqueeze(-1) + 1e-8)
-        
-        return weighted_score, total_density
-    
-    def analyze_vector_field(self, score_fn, x_range=(-3, 3), n_points=20):
-        """分析分数向量场的性质"""
-        # 创建网格
-        x = torch.linspace(x_range[0], x_range[1], n_points)
-        y = torch.linspace(x_range[0], x_range[1], n_points)
-        X, Y = torch.meshgrid(x, y, indexing='xy')
-        
-        # 平展为点集
-        points = torch.stack([X.flatten(), Y.flatten()], dim=1)
-        
-        # 计算分数
-        scores = score_fn(points)
-        
-        # 分析性质
-        results = {
-            'points': points,
-            'scores': scores,
-            'magnitudes': torch.norm(scores, dim=1),
-            'divergence': self.compute_divergence(score_fn, points),
-            'curl': self.compute_curl_2d(score_fn, points)
-        }
-        
-        return results
-    
-    def compute_divergence(self, score_fn, points, h=1e-4):
-        """数值计算散度 div(s) = ∂s_x/∂x + ∂s_y/∂y"""
-        divergences = []
-        
-        for point in points:
-            # x方向
-            point_px = point.clone()
-            point_px[0] += h
-            score_px = score_fn(point_px.unsqueeze(0)).squeeze()
-            
-            point_mx = point.clone()
-            point_mx[0] -= h
-            score_mx = score_fn(point_mx.unsqueeze(0)).squeeze()
-            
-            ds_dx = (score_px[0] - score_mx[0]) / (2 * h)
-            
-            # y方向
-            point_py = point.clone()
-            point_py[1] += h
-            score_py = score_fn(point_py.unsqueeze(0)).squeeze()
-            
-            point_my = point.clone()
-            point_my[1] -= h
-            score_my = score_fn(point_my.unsqueeze(0)).squeeze()
-            
-            ds_dy = (score_py[1] - score_my[1]) / (2 * h)
-            
-            divergences.append(ds_dx + ds_dy)
-        
-        return torch.tensor(divergences)
-    
-    def compute_curl_2d(self, score_fn, points, h=1e-4):
-        """计算2D旋度 curl(s) = ∂s_y/∂x - ∂s_x/∂y"""
-        curls = []
-        
-        for point in points:
-            # ∂s_y/∂x
-            point_px = point.clone()
-            point_px[0] += h
-            score_px = score_fn(point_px.unsqueeze(0)).squeeze()
-            
-            point_mx = point.clone()
-            point_mx[0] -= h
-            score_mx = score_fn(point_mx.unsqueeze(0)).squeeze()
-            
-            dsy_dx = (score_px[1] - score_mx[1]) / (2 * h)
-            
-            # ∂s_x/∂y
-            point_py = point.clone()
-            point_py[1] += h
-            score_py = score_fn(point_py.unsqueeze(0)).squeeze()
-            
-            point_my = point.clone()
-            point_my[1] -= h
-            score_my = score_fn(point_my.unsqueeze(0)).squeeze()
-            
-            dsx_dy = (score_py[0] - score_my[0]) / (2 * h)
-            
-            curls.append(dsy_dx - dsx_dy)
-        
-        return torch.tensor(curls)
-
-# 演示分数函数的向量场性质
-def demonstrate_score_vector_field():
-    """演示分数函数作为切向量场的性质"""
-    field = ScoreVectorField()
-    
-    print("分数函数的向量场分析")
-    print("="*60)
-    
-    # 1. 单高斯分布
-    print("\n1. 单高斯分布的分数场")
-    print("-"*40)
-    
-    mean = torch.tensor([0.0, 0.0])
-    cov = torch.eye(2)
-    
-    def single_gaussian_score(x):
-        diff = x - mean
-        return -diff  # 对于标准高斯，分数就是 -(x-μ)
-    
-    results = field.analyze_vector_field(single_gaussian_score, n_points=10)
-    
-    print(f"平均散度: {results['divergence'].mean():.4f}")
-    print(f"散度标准差: {results['divergence'].std():.4f}")
-    print(f"平均旋度: {results['curl'].mean():.4f}")
-    print(f"旋度标准差: {results['curl'].std():.4f}")
-    print("\n观察：对于高斯分布，散度为常数-2（维度），旋度为0（无旋场）")
-    
-    # 2. 高斯混合模型
-    print("\n\n2. 高斯混合模型的分数场")
-    print("-"*40)
-    
-    weights = torch.tensor([0.4, 0.6])
-    means = [torch.tensor([-1.5, 0.0]), torch.tensor([1.5, 0.0])]
-    covs = [0.5 * torch.eye(2), 0.5 * torch.eye(2)]
-    
-    def gmm_score(x):
-        if x.dim() == 1:
-            x = x.unsqueeze(0)
-        score, _ = field.gaussian_mixture_score(x, weights, means, covs)
-        return score.squeeze(0) if score.shape[0] == 1 else score
-    
-    results_gmm = field.analyze_vector_field(gmm_score, x_range=(-4, 4), n_points=15)
-    
-    print(f"平均散度: {results_gmm['divergence'].mean():.4f}")
-    print(f"散度标准差: {results_gmm['divergence'].std():.4f}")
-    print(f"最大分数模长: {results_gmm['magnitudes'].max():.4f}")
-    print(f"最小分数模长: {results_gmm['magnitudes'].min():.4f}")
-    
-    # 3. 分数函数的积分性质验证
-    print("\n\n3. 验证分数函数的积分性质")
-    print("-"*40)
-    
-    # 采样点
-    n_samples = 10000
-    
-    # 从高斯混合模型采样
-    samples = []
-    for _ in range(n_samples):
-        # 选择分量
-        component = torch.multinomial(weights, 1).item()
-        # 从该分量采样
-        sample = torch.randn(2) * torch.sqrt(torch.diag(covs[component])) + means[component]
-        samples.append(sample)
-    
-    samples = torch.stack(samples)
-    
-    # 计算分数的期望
-    scores_at_samples = gmm_score(samples)
-    mean_score = scores_at_samples.mean(dim=0)
-    
-    print(f"E[s(x)] = {mean_score.numpy()}")
-    print(f"||E[s(x)]|| = {torch.norm(mean_score):.6f}")
-    print("\n验证：分数函数的期望确实接近零！")
-    
-    # 4. 切空间性质
-    print("\n\n4. 切空间的正交性")
-    print("-"*40)
-    
-    # 在某个点计算
-    x0 = torch.tensor([0.5, 0.5])
-    score_at_x0 = gmm_score(x0.unsqueeze(0)).squeeze()
-    
-    # 密度梯度
-    h = 1e-4
-    density_grad = []
-    
-    for i in range(2):
-        x_plus = x0.clone()
-        x_plus[i] += h
-        x_minus = x0.clone()
-        x_minus[i] -= h
-        
-        _, density_plus = field.gaussian_mixture_score(x_plus.unsqueeze(0), weights, means, covs)
-        _, density_minus = field.gaussian_mixture_score(x_minus.unsqueeze(0), weights, means, covs)
-        
-        grad_i = (density_plus - density_minus) / (2 * h)
-        density_grad.append(grad_i)
-    
-    density_grad = torch.tensor(density_grad)
-    
-    # 验证关系 s = ∇p / p
-    _, density_at_x0 = field.gaussian_mixture_score(x0.unsqueeze(0), weights, means, covs)
-    predicted_score = density_grad / (density_at_x0 + 1e-8)
-    
-    print(f"点 {x0.numpy()} 处：")
-    print(f"实际分数: {score_at_x0.numpy()}")
-    print(f"预测分数 (∇p/p): {predicted_score.numpy()}")
-    print(f"误差: {torch.norm(score_at_x0 - predicted_score):.6f}")
-
-demonstrate_score_vector_field()
-
- -

切向量场的动力学意义

- -
-

分数流（Score Flow）

-

将分数函数视为速度场，我们可以定义分数流：

-
- $$\frac{dx}{dt} = s(x, t) = \nabla_x \log p_t(x)$$ -
- -

这个ODE描述了粒子沿着概率密度增加最快的方向移动。关键性质：

-
    -
  • 模式寻找：粒子最终会收敛到概率分布的模式（局部最大值）
    • -
  • 去噪效果：从任意初始点出发，粒子会移向高概率区域
    • -
  • 流形结构保持：流动保持在数据流形上
    • -
-
- -
-
与梯度流的类比
- - - - - - - - - - - - - - - - - - - - - - - - - - -
性质梯度流 $\dot{x} = -\nabla f(x)$分数流 $\dot{x} = \nabla \log p(x)$
目标最小化能量 $f(x)$最大化概率 $p(x)$
平衡点$\nabla f(x^*) = 0$$\nabla \log p(x^*) = 0$
稳定性取决于Hessian取决于分数的Jacobian
应用优化、物理系统采样、去噪
-
- -

C.2.2 Stein恒等式与无穷小生成元

- -

Stein恒等式是连接分数函数与概率分布的核心桥梁。它不仅提供了分数匹配的理论基础，也揭示了分数函数作为无穷小生成元的深刻意义。

- -

Stein恒等式

- -
-
Stein恒等式
-

对于光滑函数 $f: \mathbb{R}^d \to \mathbb{R}^d$ 和概率密度 $p(x)$，如果 $\lim_{||x|| \to \infty} p(x)f(x) = 0$，则：

-
- $$\mathbb{E}_{p(x)}[\text{trace}(\nabla_x f(x)) + f(x)^T \nabla_x \log p(x)] = 0$$ -
- -

这可以写成算子形式：

-
- $$\mathbb{E}_{p(x)}[\mathcal{A}_p f(x)] = 0$$ -
- -

其中 $\mathcal{A}_p$ 是Stein算子：$\mathcal{A}_p f = \nabla \cdot f + s^T f$，$s = \nabla \log p$。

-
- -

证明与直观

- -
-

简单证明

-

使用分部积分：

-
- $$\int p(x) \nabla \cdot f(x) dx = -\int f(x) \cdot \nabla p(x) dx$$ -
- -

由于 $\nabla p(x) = p(x) \nabla \log p(x)$：

-
- $$= -\int f(x) \cdot p(x) \nabla \log p(x) dx = -\mathbb{E}_{p(x)}[f(x)^T \nabla \log p(x)]$$ -
- -

移项得到Stein恒等式。

-
- -

Stein算子作为无穷小生成元

- -
-
从随机过程的角度
-

考虑以下随机微分方程：

-
- $$dX_t = \nabla \log p(X_t) dt + \sqrt{2} dW_t$$ -
- -

这个Langevin SDE的无穷小生成元正是Stein算子：

-
- $$\mathcal{L}f = \Delta f + \nabla \log p \cdot \nabla f$$ -
- -

它描述了函数 $f$ 沿着过程的期望变化率。

-
- -
-
# Stein恒等式的验证和应用
-import torch
-import numpy as np
-
-class SteinOperator:
-    """实现Stein算子和相关计算"""
-    
-    def __init__(self, score_fn):
-        """
-        Args:
-            score_fn: 分数函数 s(x) = ∇ log p(x)
-        """
-        self.score_fn = score_fn
-    
-    def apply(self, f, x, create_graph=True):
-        """应用Stein算子 A_p f = div(f) + s^T f
-        
-        Args:
-            f: 向量值函数 f(x) -> R^d
-            x: 输入点
-        """
-        # 计算f(x)
-        fx = f(x)
-        
-        # 计算散度 div(f) = trace(Jacobian)
-        div_f = 0
-        for i in range(fx.shape[-1]):
-            # 对第i个输出分量求导
-            grad_fi = torch.autograd.grad(
-                fx[..., i].sum(), x, 
-                create_graph=create_graph,
-                retain_graph=True
-            )[0]
-            div_f = div_f + grad_fi[..., i]
-        
-        # 计算分数
-        score = self.score_fn(x)
-        
-        # Stein算子的结果
-        stein_result = div_f + (score * fx).sum(dim=-1)
-        
-        return stein_result
-    
-    def verify_stein_identity(self, test_fn, n_samples=10000):
-        """验证Stein恒等式 E[A_p f] = 0"""
-        # 假设我们有一个采样器（这里用简单的高斯分布）
-        samples = torch.randn(n_samples, 2, requires_grad=True)
-        
-        # 在每个样本点计算Stein算子
-        stein_values = []
-        
-        for i in range(min(1000, n_samples)):  # 限制计算量
-            x = samples[i:i+1]
-            stein_val = self.apply(test_fn, x)
-            stein_values.append(stein_val.detach())
-        
-        stein_values = torch.stack(stein_values)
-        
-        # 计算期望
-        expectation = stein_values.mean()
-        std_error = stein_values.std() / np.sqrt(len(stein_values))
-        
-        return expectation.item(), std_error.item()
-    
-    def stein_discrepancy(self, f, g, x):
-        """计算两个函数的Stein差异"""
-        # S(f, g) = E[f^T A_p g]
-        Ag = self.apply(g, x)
-        fx = f(x)
-        
-        return (fx * Ag.unsqueeze(-1)).sum()
-
-# 示例：验证Stein恒等式
-def demonstrate_stein_identity():
-    print("Stein恒等式验证")
-    print("="*60)
-    
-    # 定义一个简单的分数函数（标准高斯）
-    def gaussian_score(x):
-        return -x  # 对于 N(0, I)，score = -x
-    
-    stein_op = SteinOperator(gaussian_score)
-    
-    # 测试不同的函数
-    test_functions = [
-        ("Linear", lambda x: x),
-        ("Quadratic", lambda x: x**2),
-        ("Sine", lambda x: torch.stack([torch.sin(x[:, 0]), torch.cos(x[:, 1])], dim=1)),
-        ("Exponential", lambda x: torch.exp(-0.5 * torch.sum(x**2, dim=1, keepdim=True)) * x)
-    ]
-    
-    print("\n函数\t\t\tE[A_p f]\t\t标准误差")
-    print("-"*60)
-    
-    for name, f in test_functions:
-        expectation, std_err = stein_op.verify_stein_identity(f, n_samples=5000)
-        print(f"{name:15s}\t{expectation:12.6f}\t±{std_err:10.6f}")
-    
-    print("\n结论：所有期望值都接近零，验证了Stein恒等式！")
-
-demonstrate_stein_identity()
-
-# 展示Stein算子的应用
-def demonstrate_stein_applications():
-    print("\n\nStein算子的应用")
-    print("="*60)
-    
-    # 1. 分数匹配损失
-    print("\n1. 分数匹配中的应用")
-    print("-"*40)
-    
-    # 真实分数
-    def true_score(x):
-        return -x
-    
-    # 近似分数（有误差）
-    def approx_score(x, noise_level=0.1):
-        return -x + noise_level * torch.randn_like(x)
-    
-    # 使用Stein差异测量近似质量
-    x_test = torch.randn(100, 2, requires_grad=True)
-    
-    stein_op_true = SteinOperator(true_score)
-    stein_op_approx = SteinOperator(lambda x: approx_score(x, 0.2))
-    
-    # 计算差异
-    def identity_fn(x):
-        return x
-    
-    true_stein = stein_op_true.apply(identity_fn, x_test)
-    approx_stein = stein_op_approx.apply(identity_fn, x_test)
-    
-    diff = torch.mean((true_stein - approx_stein)**2)
-    print(f"Stein差异: {diff.item():.6f}")
-    
-    # 2. Stein变分梯度下降
-    print("\n\n2. Stein变分梯度下降 (SVGD)")
-    print("-"*40)
-    
-    # 目标分布：混合高斯
-    def target_score(x):
-        # 两个高斯的混合
-        mu1 = torch.tensor([-2.0, 0.0])
-        mu2 = torch.tensor([2.0, 0.0])
-        
-        p1 = torch.exp(-0.5 * torch.sum((x - mu1)**2, dim=-1))
-        p2 = torch.exp(-0.5 * torch.sum((x - mu2)**2, dim=-1))
-        
-        s1 = -(x - mu1)
-        s2 = -(x - mu2)
-        
-        w1 = p1 / (p1 + p2 + 1e-8)
-        w2 = p2 / (p1 + p2 + 1e-8)
-        
-        return w1.unsqueeze(-1) * s1 + w2.unsqueeze(-1) * s2
-    
-    # SVGD更新
-    def svgd_update(particles, score_fn, kernel_bandwidth=1.0, lr=0.1):
-        n_particles = particles.shape[0]
-        
-        # 计算核及其梯度
-        pairwise_dist = torch.cdist(particles, particles)
-        h = kernel_bandwidth
-        K = torch.exp(-pairwise_dist**2 / (2 * h**2))
-        
-        # 核梯度
-        grad_K = torch.zeros(n_particles, n_particles, 2)
-        for i in range(n_particles):
-            for j in range(n_particles):
-                if i != j:
-                    grad_K[i, j] = -K[i, j] * (particles[i] - particles[j]) / h**2
-        
-        # SVGD梯度
-        score = score_fn(particles)
-        phi = torch.zeros_like(particles)
-        
-        for i in range(n_particles):
-            phi[i] = (K[i, :].unsqueeze(-1) * score).mean(0) + grad_K[:, i].mean(0)
-        
-        # 更新粒子
-        return particles + lr * phi
-    
-    # 初始化粒子
-    n_particles = 50
-    particles = torch.randn(n_particles, 2) * 0.5
-    
-    print("正在运行SVGD...")
-    
-    # 迭代
-    for step in range(100):
-        particles = svgd_update(particles, target_score, kernel_bandwidth=1.0, lr=0.05)
-        
-        if step % 25 == 0:
-            mean_pos = particles.mean(0)
-            std_pos = particles.std(0)
-            print(f"Step {step}: 平均位置={mean_pos.numpy()}, 标准差={std_pos.numpy()}")
-    
-    # 检查最终分布
-    print("\n最终粒子分布：")
-    cluster1 = particles[particles[:, 0] < 0]
-    cluster2 = particles[particles[:, 0] > 0]
-    
-    if len(cluster1) > 0:
-        print(f"簇集1: 中心={cluster1.mean(0).numpy()}, 数量={len(cluster1)}")
-    if len(cluster2) > 0:
-        print(f"簇集2: 中心={cluster2.mean(0).numpy()}, 数量={len(cluster2)}")
-
-demonstrate_stein_applications()
-
- -

Stein恒等式在扩散模型中的意义

- -
-

核心联系

-
    -
  1. 分数匹配的理论基础：Stein恒等式提供了一种不需要知道归一化常数的分数学习方法
    2. - -
  2. 损失函数设计：基于Stein差异可以设计新的损失函数： -
    - $$\mathcal{L}_{\text{Stein}} = \mathbb{E}_{x \sim p_{data}}[||\mathcal{A}_p s_\theta(x)||^2]$$ -
    -
    3. - -
  3. 采样算法：Stein变分梯度下降（SVGD）提供了一种基于粒子的采样方法
    4. - -
  4. 收敛性分析：通过Stein算子的谱分析可以研究扩散过程的收敛速度
    5. -
-
- -
-
与拉普拉斯算子的联系
-

对于能量函数 $E(x) = -\log p(x)$，Stein算子可以写成：

-
- $$\mathcal{A}_p f = \nabla \cdot f - \nabla E \cdot f$$ -
- -

这与Fokker-Planck算子和拉普拉斯算子密切相关，提供了从动力学系统到统计推断的桥梁。

-
- -

C.2.3 分数匹配的几何解释

- -

分数匹配不仅是一个统计学习问题，从信息几何的角度看，它是在学习概率分布流形上的切向量场。这种几何视角为理解和改进分数匹配算法提供了新的思路。

- -

分数匹配作为投影问题

- -
-
几何视角下的分数匹配
-

分数匹配可以理解为在函数空间中的投影问题：

-
- $$\min_{s_\theta} \mathbb{E}_{p_{data}}[||s_\theta(x) - \nabla_x \log p_{data}(x)||^2]$$ -
- -

这是将参数化的分数函数 $s_\theta$ 投影到真实分数的切空间上。由于Fisher信息度量，最佳投影应该使用Fisher内积：

-
- $$\langle f, g \rangle_{Fisher} = \mathbb{E}_{p}[f(x)^T I(x) g(x)]$$ -
-
- -

隐式分数匹配

- -
-

去噪分数匹配的几何解释

-

在去噪分数匹配中，我们不直接学习分数，而是学习一个变换：

-
- $$x + \sigma^2 s_\theta(x, \sigma) \approx \mathbb{E}[x_0 | x_t = x]$$ -
- -

几何上，这是学习一个将噪声数据映射回清晰数据流形的投影算子。分数提供了这个投影的方向。

-
- -

流形上的最优传输

- -
-
分数匹配与最优传输
-

从Wasserstein几何的角度，分数函数定义了最优传输映射的梯度：

-
    -
  • Monge问题：找到从 $p_0$ 到 $p_T$ 的最优传输映射 $T$
    • -
  • 动态视角：通过速度场 $v_t$ 描述这个传输
    • -
  • 与分数的联系：在某些情况下，$v_t \propto \nabla \log p_t$
    • -
-
- -
-
# 分数匹配的几何分析
-import torch
-import numpy as np
-
-class GeometricScoreMatching:
-    """从几何角度分析分数匹配"""
-    
-    def __init__(self, data_dim=2):
-        self.data_dim = data_dim
-    
-    def implicit_score_matching_loss(self, score_model, x):
-        """隐式分数匹配损失（无需真实分数）"""
-        # 计算分数
-        x.requires_grad_(True)
-        score = score_model(x)
-        
-        # 计算散度
-        div_score = 0
-        for i in range(self.data_dim):
-            grad_i = torch.autograd.grad(
-                score[:, i].sum(), x,
-                create_graph=True,
-                retain_graph=True
-            )[0]
-            div_score += grad_i[:, i]
-        
-        # 隐式分数匹配损失
-        loss = 0.5 * (score ** 2).sum(dim=1).mean() + div_score.mean()
-        
-        return loss
-    
-    def sliced_score_matching_loss(self, score_model, x, n_projections=10):
-        """切片分数匹配：通过随机投影降低计算复杂度"""
-        x.requires_grad_(True)
-        score = score_model(x)
-        
-        # 随机投影方向
-        projections = torch.randn(n_projections, self.data_dim)
-        projections = projections / torch.norm(projections, dim=1, keepdim=True)
-        
-        loss = 0
-        for v in projections:
-            # 投影分数
-            score_v = (score * v).sum(dim=1)
-            
-            # 计算方向导数
-            grad_v = torch.autograd.grad(
-                score_v.sum(), x,
-                create_graph=True,
-                retain_graph=True
-            )[0]
-            
-            # 方向导数的方向导数
-            tr_hess_v = (grad_v * v).sum(dim=1)
-            
-            # 累加损失
-            loss += 0.5 * score_v.pow(2).mean() + tr_hess_v.mean()
-        
-        return loss / n_projections
-    
-    def denoising_score_matching(self, score_model, x, noise_level=0.1):
-        """去噪分数匹配：通过噪声扰动学习分数"""
-        # 添加噪声
-        noise = torch.randn_like(x) * noise_level
-        x_noisy = x + noise
-        
-        # 预测分数
-        score_pred = score_model(x_noisy)
-        
-        # 真实分数（对于加性高斯噪声）
-        score_true = -noise / (noise_level ** 2)
-        
-        # MSE损失
-        loss = ((score_pred - score_true) ** 2).sum(dim=1).mean()
-        
-        return loss
-    
-    def analyze_score_field_geometry(self, score_fn, x_range=(-3, 3), n_points=20):
-        """分析分数场的几何性质"""
-        # 创建网格
-        x = torch.linspace(x_range[0], x_range[1], n_points)
-        y = torch.linspace(x_range[0], x_range[1], n_points)
-        X, Y = torch.meshgrid(x, y, indexing='xy')
-        points = torch.stack([X.flatten(), Y.flatten()], dim=1)
-        
-        # 计算分数
-        scores = score_fn(points)
-        
-        # 计算几何量
-        results = {
-            'curvature': self._compute_curvature(score_fn, points),
-            'geodesic_distance': self._compute_geodesic_distance(scores),
-            'jacobian_eigenvalues': self._compute_jacobian_spectrum(score_fn, points)
-        }
-        
-        return results
-    
-    def _compute_curvature(self, score_fn, points, h=1e-3):
-        """计算分数场的曲率"""
-        curvatures = []
-        
-        for point in points[:100]:  # 限制计算量
-            # 计算Hessian矩阵的近似
-            hessian_trace = 0
-            
-            for i in range(self.data_dim):
-                point_p = point.clone()
-                point_p[i] += h
-                score_p = score_fn(point_p.unsqueeze(0)).squeeze()
-                
-                point_m = point.clone()
-                point_m[i] -= h
-                score_m = score_fn(point_m.unsqueeze(0)).squeeze()
-                
-                # 二阶导数
-                d2s_di2 = (score_p[i] - 2*score_fn(point.unsqueeze(0)).squeeze()[i] + score_m[i]) / (h**2)
-                hessian_trace += d2s_di2
-            
-            curvatures.append(abs(hessian_trace.item()))
-        
-        return np.mean(curvatures)
-    
-    def _compute_geodesic_distance(self, score_field):
-        """计算分数场中的测地线距离"""
-        # 简化：使用分数范数的变化作为度量
-        score_norms = torch.norm(score_field, dim=1)
-        variation = torch.std(score_norms)
-        return variation.item()
-    
-    def _compute_jacobian_spectrum(self, score_fn, points, n_samples=50):
-        """计算分数函数Jacobian的谱"""
-        eigenvalues = []
-        
-        for i in range(min(n_samples, len(points))):
-            point = points[i].requires_grad_(True)
-            score = score_fn(point.unsqueeze(0)).squeeze()
-            
-            # 计算Jacobian
-            jacobian = []
-            for j in range(self.data_dim):
-                grad_j = torch.autograd.grad(
-                    score[j], point,
-                    create_graph=True,
-                    retain_graph=True
-                )[0]
-                jacobian.append(grad_j)
-            
-            jacobian = torch.stack(jacobian)
-            
-            # 计算特征值
-            eigvals = torch.linalg.eigvals(jacobian).real
-            eigenvalues.append(eigvals)
-        
-        eigenvalues = torch.stack(eigenvalues)
-        
-        return {
-            'mean_eigenvalue': eigenvalues.mean().item(),
-            'max_eigenvalue': eigenvalues.max().item(),
-            'min_eigenvalue': eigenvalues.min().item()
-        }
-
-# 演示分数匹配的几何性质
-def demonstrate_geometric_score_matching():
-    print("分数匹配的几何分析")
-    print("="*60)
-    
-    gsm = GeometricScoreMatching()
-    
-    # 1. 比较不同的分数匹配方法
-    print("\n1. 不同分数匹配方法的比较")
-    print("-"*40)
-    
-    # 简单的分数模型
-    class SimpleScoreModel(torch.nn.Module):
-        def __init__(self):
-            super().__init__()
-            self.net = torch.nn.Sequential(
-                torch.nn.Linear(2, 64),
-                torch.nn.ReLU(),
-                torch.nn.Linear(64, 64),
-                torch.nn.ReLU(),
-                torch.nn.Linear(64, 2)
-            )
-        
-        def forward(self, x):
-            return self.net(x)
-    
-    model = SimpleScoreModel()
-    x_data = torch.randn(100, 2)
-    
-    # 计算不同损失
-    loss_implicit = gsm.implicit_score_matching_loss(model, x_data)
-    loss_sliced = gsm.sliced_score_matching_loss(model, x_data)
-    loss_denoising = gsm.denoising_score_matching(model, x_data)
-    
-    print(f"隐式分数匹配损失: {loss_implicit.item():.4f}")
-    print(f"切片分数匹配损失: {loss_sliced.item():.4f}")
-    print(f"去噪分数匹配损失: {loss_denoising.item():.4f}")
-    
-    # 2. 分析分数场的几何性质
-    print("\n\n2. 分数场的几何性质")
-    print("-"*40)
-    
-    # 使用一个已知的分数函数（高斯混合）
-    def gmm_score(x):
-        if x.dim() == 1:
-            x = x.unsqueeze(0)
-        
-        mu1 = torch.tensor([-1.0, 0.0])
-        mu2 = torch.tensor([1.0, 0.0])
-        
-        # 两个高斯分量
-        p1 = torch.exp(-0.5 * torch.sum((x - mu1)**2, dim=1))
-        p2 = torch.exp(-0.5 * torch.sum((x - mu2)**2, dim=1))
-        
-        # 分数
-        s1 = -(x - mu1)
-        s2 = -(x - mu2)
-        
-        # 加权平均
-        w1 = p1 / (p1 + p2 + 1e-8)
-        w2 = p2 / (p1 + p2 + 1e-8)
-        
-        score = w1.unsqueeze(1) * s1 + w2.unsqueeze(1) * s2
-        return score.squeeze(0) if score.shape[0] == 1 else score
-    
-    geometry = gsm.analyze_score_field_geometry(gmm_score, x_range=(-3, 3), n_points=15)
-    
-    print(f"平均曲率: {geometry['curvature']:.4f}")
-    print(f"测地线距离变化: {geometry['geodesic_distance']:.4f}")
-    print(f"\nJacobian谱分析:")
-    print(f"  平均特征值: {geometry['jacobian_eigenvalues']['mean_eigenvalue']:.4f}")
-    print(f"  最大特征值: {geometry['jacobian_eigenvalues']['max_eigenvalue']:.4f}")
-    print(f"  最小特征值: {geometry['jacobian_eigenvalues']['min_eigenvalue']:.4f}")
-    
-    # 3. 几何视角的意义
-    print("\n\n3. 几何解释的意义")
-    print("-"*40)
-    print("• 曲率高的区域表示分布变化剧烈（如模式之间）")
-    print("• 负特征值表示收缩方向（向模式聚集）")
-    print("• 正特征值表示扩张方向（远离低概率区域）")
-    print("• 切片分数匹配通过随机投影近似高维几何")
-
-demonstrate_geometric_score_matching()
-
- -

信息几何优化

- -
-

利用几何结构改进分数匹配

-
    -
  1. 自适应度量：使用局部Fisher信息作为度量，在不同区域使用不同权重
    2. - -
  2. 流形正则化：添加几何约束，使学习到的分数场更光滑： -
    - $$\mathcal{L}_{reg} = \lambda \mathbb{E}[||\nabla_x s_\theta(x)||_F^2]$$ -
    -
    3. - -
  3. 曲率感知采样：在高曲率区域（如模式边界）增加采样密度
    4. - -
  4. 测地线损失：使用Wasserstein距离或其他几何距离作为损失函数
    5. -
-
- -

C.3 分数函数的力学解释

- -

C.3.1 从梯度流到力场

- -

分数函数不仅是数学上的梯度，更可以理解为物理上的"力"。这种力学类比为扩散模型提供了深刻的物理直觉，并建立了与能量优化的自然联系。

- -

分数作为保守力场

- -
-
力场的定义
-

对于概率密度 $p(x)$，定义能量函数：

-
- $$E(x) = -\log p(x)$$ -
- -

则分数函数定义了一个力场：

-
- $$F(x) = -\nabla E(x) = \nabla \log p(x)$$ -
- -

这是一个保守力场，因为它可以表示为势能的负梯度。

-
- -

动力学系统的视角

- -
-

三种相关的动力学

-
    -
  1. 梯度流（过阻尼动力学）： -
    - $$\frac{dx}{dt} = -\nabla E(x) = \nabla \log p(x)$$ -
    -
    2. - -
  2. Langevin动力学（有噪声的梯度流）： -
    - $$dx = \nabla \log p(x) dt + \sqrt{2} dW_t$$ -
    -
    3. - -
  3. 哈密顿动力学（保守系统）： -
    - $$\frac{dx}{dt} = v, \quad \frac{dv}{dt} = -\nabla E(x)$$ -
    -
    4. -
-
- -

力的物理解释

- -
-
直观理解
-
    -
  • 高概率区域：能量低，粒子被"吸引"
    • -
  • 低概率区域：能量高，粒子被"排斥"
    • -
  • 力的方向：总是指向概率增加最快的方向
    • -
  • 平衡点：概率分布的模式（局部最大值）
    • -
- -

这种力学图像解释了为什么扩散模型能够生成高质量样本：粒子在力场的引导下自然地移向高概率区域。

-
- -

C.3.2 能量景观与势函数

- -

能量景观提供了理解扩散模型的另一个强大视角。通过将概率分布转化为能量景观，我们可以直观地理解生成过程的动力学。

- -

能量景观的构造

- -
-
从概率到能量
-

给定概率分布 $p(x)$，能量景观定义为：

-
- $$E(x) = -\log p(x) + \text{const}$$ -
- -

这个关系来自于Boltzmann分布：

-
- $$p(x) \propto \exp(-E(x)/T)$$ -
- -

其中 $T$ 是"温度"参数（在扩散模型中通常设为1）。

-
- -

能量景观的特征

- -
-

关键特性

-
    -
  • 局部最小值：对应于概率分布的模式（高概率区域）
    • -
  • 局部最大值：对应于低概率区域
    • -
  • 點点：连接不同模式的过渡区域
    • -
  • 能量屏障：决定了模式间转换的难度
    • -
-
- -

扩散过程的能量视角

- -
-
动态能量景观
-

在扩散模型中，能量景观随时间变化：

-
    -
  1. 初始状态：$E_0(x) = -\log p_{data}(x)$，复杂的多峰景观
    2. -
  2. 扩散过程：能量景观逐渐平滑化
    3. -
  3. 终止状态：$E_T(x) \approx \frac{||x||^2}{2}$，简单的二次势井
    4. -
- -

反向过程则是在时变能量景观中的"下坡"运动。

-
- -

势函数与分数的关系

- -
-
势能-分数对应
-

分数函数是势能的负梯度：

-
- $$s(x,t) = \nabla_x \log p_t(x) = -\nabla_x E_t(x)$$ -
- -

这意味着：

-
    -
  • 分数指向能量下降最快的方向
    • -
  • 在能量最小值处，分数为零
    • -
  • 分数的模长反映了能量景观的陡峭程度
    • -
-
- -

C.3.3 Langevin动力学的物理图像

- -

Langevin动力学最初用于描述布朗运动，现在成为扩散模型中的核心采样方法。从物理角度理解这个过程，可以揭示噪声与分数之间的微妙平衡。

- -

物理模型

- -
-
Langevin方程
-

考虑一个在势场 $E(x)$ 中运动的粒子，受到两种力：

-
    -
  • 确定性力：$F = -\nabla E(x)$
    • -
  • 随机力：来自环境的热扰动
    • -
- -

Langevin方程描述了这个系统：

-
- $$m\ddot{x} = -\gamma \dot{x} - \nabla E(x) + \sqrt{2\gamma k_B T} \xi(t)$$ -
- -

其中：$m$ 是质量，$\gamma$ 是摩擦系数，$k_B T$ 是热能，$\xi(t)$ 是白噪声。

-
- -

过阻尼极限

- -
-
从物理到数学
-

在过阻尼极限（$m \to 0$ 或 $\gamma$ 很大），惯性项可以忽略：

-
- $$\gamma \dot{x} = -\nabla E(x) + \sqrt{2\gamma k_B T} \xi(t)$$ -
- -

整理得到：

-
- $$dx = -\frac{1}{\gamma}\nabla E(x) dt + \sqrt{\frac{2k_B T}{\gamma}} dW_t$$ -
- -

设置 $\gamma = 1$，$k_B T = 1$，并使用 $E(x) = -\log p(x)$：

-
- $$dx = \nabla \log p(x) dt + \sqrt{2} dW_t$$ -
-
- -

涛落定理与平衡分布

- -
-
物理直觉
-

涛落定理：阻尼力和随机力之间存在精确的平衡关系。

- -

这个平衡保证了：

-
    -
  • 系统最终达到热平衡（Boltzmann分布）
    • -
  • 平衡分布正是 $p(x) \propto \exp(-E(x))$
    • -
  • 噪声强度和温度成正比
    • -
- -

在扩散模型中，这解释了为什么Langevin动力学能从目标分布采样。

-
- -

退火动力学

- -
-
模拟退火
-

在实际应用中，常使用变温度的Langevin动力学：

-
- $$dx = \nabla \log p(x) dt + \sqrt{2\beta(t)^{-1}} dW_t$$ -
- -

其中 $\beta(t)$ 是逆温度，随时间增加（温度下降）。

- -

物理意义：

-
    -
  • 高温阶段：大噪声帮助探索全局
    • -
  • 降温过程：逐渐收敛到局部最优
    • -
  • 低温阶段：精细调整，找到模式
    • -
-
- -

C.4 能量模型与扩散模型的统一

- -

C.4.1 能量函数与概率密度

- -

能量基模型（EBM）和扩散模型看似不同，但实际上它们通过能量函数这一概念紧密相连。理解这种联系有助于我们从更广阔的视角看待生成模型。

- -

Boltzmann分布

- -
-
基本关系
-

给定能量函数 $E_\theta(x)$，对应的概率分布为：

-
- $$p_\theta(x) = \frac{1}{Z(\theta)} \exp(-E_\theta(x))$$ -
- -

其中归一化常数（配分函数）为：

-
- $$Z(\theta) = \int \exp(-E_\theta(x)) dx$$ -
- -

这个积分通常难以计算，这是EBM的主要挑战。

-
- -

能量模型的学习

- -
-

两种视角

-
    -
  1. 显式能量学习： -
      -
    • 直接参数化 $E_\theta(x)$
      • -
    • 通过对比散度等方法学习
      • -
    • 需要MCMC采样
      • -
    -
    2. - -
  2. 隐式能量学习： -
      -
    • 学习分数 $s_\theta(x) = -\nabla_x E_\theta(x)$
      • -
    • 无需归一化常数
      • -
    • 这正是扩散模型的方法！
      • -
    -
    3. -
-
- -

从分数到能量

- -
-
重建能量函数
-

给定分数函数 $s(x)$，可以通过积分重建能量：

-
- $$E(x) - E(x_0) = -\int_{x_0}^x s(\xi) \cdot d\xi$$ -
- -

但这需要：

-
    -
  • 分数场是保守的（旋度为零）
    • -
  • 积分路径无关
    • -
  • 在实践中可能存在数值误差
    • -
-
- -

C.4.2 对比散度与分数匹配

- -

对比散度（Contrastive Divergence）和分数匹配代表了两种不同的学习能量模型的方法。理解它们的联系和差异有助于我们更深入地理解扩散模型的优势。

- -

对比散度的原理

- -
-
对比散度算法
-

对于能量模型 $E_\theta(x)$，最大似然梯度为：

-
- $$\nabla_\theta \log p_\theta(x) = -\nabla_\theta E_\theta(x) + \mathbb{E}_{p_\theta}[\nabla_\theta E_\theta(x')]$$ -
- -

CD-k算法通过k步MCMC近似第二项：

-
    -
  1. 从数据 $x_0 \sim p_{data}$ 开始
    2. -
  2. 运行k步MCMC得到 $x_k \sim p_\theta$
    3. -
  3. 近似梯度：$\nabla_\theta E_\theta(x_k) - \nabla_\theta E_\theta(x_0)$
    4. -
-
- -

分数匹配的优势

- -
-

对比两种方法

- - - - - - - - - - - - - - - - - - - - - - - - - - -
方面对比散度分数匹配
学习目标能量函数 $E_\theta(x)$分数函数 $s_\theta(x)$
采样需求需要MCMC不需要（去噪版本）
混合速度受MCMC混合速度限制不受影响
稳定性可能不稳定更稳定
-
- -

统一视角

- -
-
从变分推断的角度
-

两种方法都可以看作最小化某种散度：

- -
    -
  1. 对比散度：最小化KL散度 -
    - $$KL(p_{data} || p_\theta) = \mathbb{E}_{p_{data}}[E_\theta(x)] + \log Z(\theta)$$ -
    -
    2. - -
  2. 分数匹配：最小化Fisher散度 -
    - $$\mathcal{J}(\theta) = \frac{1}{2}\mathbb{E}_{p_{data}}[||s_\theta(x) - \nabla \log p_{data}(x)||^2]$$ -
    -
    3. -
- -

Fisher散度可以看作是KL散度的二阶近似！

-
- -

联系与转换

- -
-
关键联系
-

如果我们有一个完美的分数模型 $s_\theta(x) = \nabla \log p_\theta(x)$，那么：

- -
    -
  1. 可以通过Langevin动力学从 $p_\theta$ 采样
    2. -
  2. 可以通过积分重建能量函数（至少是差异）
    3. -
  3. 可以计算任意两点间的能量差
    4. -
- -

这表明分数模型实际上隐式地学习了能量模型！

-
- -

C.4.3 从EBM到扩散模型的桥梁

- -

扩散模型可以看作是能量基模型的一种特殊形式，其中能量函数随时间变化。这种联系为我们理解和改进两类模型提供了统一的框架。

- -

时变能量模型

- -
-
扩散模型作为动态EBM
-

扩散模型定义了一系列时变的能量函数：

-
- $$E_t(x) = -\log p_t(x)$$ -
- -

其中：

-
    -
  • $t = 0$: $E_0(x) = -\log p_{data}(x)$ （复杂的数据能量）
    • -
  • $t = T$: $E_T(x) \approx \frac{||x||^2}{2}$ （简单的高斯能量）
    • -
  • 中间时刻：平滑过渡
    • -
-
- -

桥梁机制

- -
-

关键创新

-

扩散模型通过以下机制解决了EBM的难题：

- -
    -
  1. 渐进式平滑： -
      -
    • EBM直接学习复杂的数据分布
      • -
    • 扩散模型通过噪声注入逐渐平滑化
      • -
    • 在每个噪声级别学习更简单
      • -
    -
    2. - -
  2. 分数参数化： -
      -
    • EBM参数化能量 $E_\theta(x)$
      • -
    • 扩散模型参数化分数 $s_\theta(x,t)$
      • -
    • 避免了归一化常数问题
      • -
    -
    3. - -
  3. 变分目标： -
      -
    • EBM最大化似然
      • -
    • 扩散模型最小化加权去噪误差
      • -
    • 后者更稳定、更易优化
      • -
    -
    4. -
-
- -

统一框架

- -
-
两类模型的统一
-

我们可以将两类模型统一在以下框架中：

- -
- $$\min_\theta \int_0^T \lambda(t) \mathbb{E}_{p_t(x)}\left[\left\|s_\theta(x,t) - \nabla_x \log p_t(x)\right\|^2\right] dt$$ -
- -

其中：

-
    -
  • $\lambda(t)$ 是时间权重函数
    • -
  • $p_t(x)$ 是扩散过程在时刻 $t$ 的分布
    • -
  • $s_\theta(x,t)$ 是参数化的分数模型
    • -
- -

特殊情况：

-
    -
  • $T = 0$: 退化为普通的分数匹配
    • -
  • $T > 0$: 完整的扩散模型
    • -
-
- -

实践意义

- -
-
相互借鉴
-

两类模型可以相互借鉴技术：

- -
    -
  1. EBM → 扩散模型： -
      -
    • 使用能量函数的架构设计
      • -
    • 借鉴采样技巧（如HMC）
      • -
    • 应用能量正则化方法
      • -
    -
    2. - -
  2. 扩散模型 → EBM： -
      -
    • 使用去噪训练策略
      • -
    • 应用多尺度思想
      • -
    • 利用连续时间框架
      • -
    -
    3. -
-
- -

C.5 信息几何在扩散模型中的应用

- -

C.5.1 最优传输视角

- -

最优传输理论为扩散模型提供了另一个强大的理论框架。从这个视角看，扩散过程可以理解为在概率分布空间中的最优传输路径。

- -

Wasserstein距离与最优传输

- -
-
最优传输问题
-

给定两个概率分布 $\mu$ 和 $\nu$，最优传输问题寻找最小成本的传输方案：

-
- $$W_2^2(\mu, \nu) = \inf_{\pi \in \Pi(\mu, \nu)} \int ||x - y||^2 d\pi(x,y)$$ -
- -

其中 $\Pi(\mu, \nu)$ 是所有边缘分布为 $\mu$ 和 $\nu$ 的联合分布。

- -

在动态版本中，我们寻找连接 $\mu$ 到 $\nu$ 的最短路径。

-
- -

扩散模型与最优传输

- -
-

关键联系

-
    -
  1. 路径选择： -
      -
    • 扩散模型定义了从 $p_{data}$ 到 $\mathcal{N}(0,I)$ 的路径
      • -
    • 这条路径不一定是最优传输路径
      • -
    • 但它有其他优点（如易于学习、稳定性好）
      • -
    -
    2. - -
  2. Schrödinger Bridge： -
      -
    • 在给定边缘分布的情况下，找到最接近先验过程的路径
      • -
    • 可以看作带正则化的最优传输
      • -
    • 与扩散模型有深刻联系
      • -
    -
    3. -
-
- -

速度场与传输映射

- -
-
两种描述
-

最优传输可以通过两种方式描述：

- -
    -
  1. 静态映射：Monge映射 $T: \mathbb{R}^d \to \mathbb{R}^d$ -
    - $$T_\# \mu = \nu, \quad T = \nabla \phi$$ -
    - 其中 $\phi$ 是Kantorovich势函数。 -
    2. - -
  2. 动态速度场：Benamou-Brenier公式 -
    - $$\frac{\partial \rho_t}{\partial t} + \nabla \cdot (\rho_t v_t) = 0$$ -
    - 最小化动能：$\int_0^1 \int \frac{1}{2}\rho_t(x) ||v_t(x)||^2 dx dt$ -
    3. -
- -

分数函数在某些情况下与最优速度场相关！

-
- -

C.5.2 Wasserstein梯度流

- -

Wasserstein梯度流提供了一种在概率分布空间中进行梯度下降的自然方法。这种方法考虑了分布空间的几何结构，为理解和设计扩散模型提供了新的思路。

- -

Wasserstein空间中的梯度流

- -
-
Otto计算
-

在Wasserstein空间 $(\mathcal{P}_2(\mathbb{R}^d), W_2)$ 中，泛函 $\mathcal{F}[\rho]$ 的梯度流为：

-
- $$\frac{\partial \rho}{\partial t} = \nabla \cdot \left(\rho \nabla \frac{\delta \mathcal{F}}{\delta \rho}\right)$$ -
- -

其中 $\frac{\delta \mathcal{F}}{\delta \rho}$ 是泛函导数。这个方程描述了在Wasserstein度量下的最陡下降。

-
- -

特殊情况：Fokker-Planck方程

- -
-

重要例子

-

对于熵泛函 $\mathcal{F}[\rho] = \int \rho \log \rho dx$：

-
- $$\frac{\delta \mathcal{F}}{\delta \rho} = \log \rho + 1$$ -
- -

Wasserstein梯度流变为：

-
- $$\frac{\partial \rho}{\partial t} = \nabla \cdot (\rho \nabla \log \rho) = \Delta \rho$$ -
- -

这正是热方程！说明热扩散是熵的Wasserstein梯度流。

-
- -

与扩散模型的联系

- -
-
扩散作为梯度流
-

前向扩散过程可以理解为某种能量泛函的Wasserstein梯度流：

- -
    -
  1. 能量泛函： -
    - $$\mathcal{E}[\rho] = \int \rho \log \rho dx + \int V(x) \rho(x) dx$$ -
    - 其中 $V(x) = \frac{||x||^2}{2}$ 是二次势。 -
    2. - -
  2. 对应的梯度流： -
    - $$\frac{\partial \rho}{\partial t} = \Delta \rho + \nabla \cdot (\rho \nabla V)$$ -
    - 这与VP-SDE的Fokker-Planck方程一致！ -
    3. -
-
- -

JKO迭代格式

- -
-
Jordan-Kinderlehrer-Otto格式
-

Wasserstein梯度流可以通过迭代最小化问题离散化：

-
- $$\rho^{k+1} = \arg\min_{\rho} \left\{\frac{W_2^2(\rho, \rho^k)}{2\tau} + \mathcal{F}[\rho]\right\}$$ -
- -

这提供了：

-
    -
  • 数值计算方法
    • -
  • 变分解释
    • -
  • 与近端梯度方法的联系
    • -
-
- -

C.5.3 扩散过程的测地线

- -

从信息几何的角度看，扩散过程定义了在概率分布流形上的一条路径。这条路径的几何性质决定了模型的性能和效率。

- -

测地线的定义

- -
-
不同度量下的测地线
-

在不同的度量下，连接两个分布的测地线不同：

- -
    -
  1. Fisher-Rao测地线： -
    - $$\gamma_{FR}(t) = \frac{\sin((1-t)\theta)}{\sin \theta}\sqrt{p_0} + \frac{\sin(t\theta)}{\sin \theta}\sqrt{p_1}$$ -
    - 其中 $\cos \theta = \int \sqrt{p_0 p_1} dx$。 -
    2. - -
  2. Wasserstein测地线： - 通过最优传输映射 $T$ 定义： -
    - $$\gamma_W(t) = ((1-t)Id + tT)_\# p_0$$ -
    -
    3. -
-
- -

扩散路径的几何性质

- -
-

路径选择的权衡

-

扩散模型选择的路径通常不是测地线，而是平衡以下因素：

- -
    -
  • 学习难度：路径上每一点的分数函数应该容易学习
    • -
  • 采样效率：反向过程应该快速收敛
    • -
  • 数值稳定性：避免数值问题
    • -
  • 理论保证：确保收敛到正确分布
    • -
-
- -

最优路径的探索

- -
-
新的研究方向
-

最近的研究探索了更优的扩散路径：

- -
    -
  1. 流匹配（Flow Matching）： -
      -
    • 直接学习最优传输的速度场
      • -
    • 路径更直、更短
      • -
    • 采样效率更高
      • -
    -
    2. - -
  2. 变分扩散模型： -
      -
    • 学习最优的噪声调度
      • -
    • 适应不同的数据分布
      • -
    • 最小化某种损失泛函
      • -
    -
    3. - -
  3. Schrödinger Bridge： -
      -
    • 在给定边界条件下的最优路径
      • -
    • 结合了最优传输和扩散的优点
      • -
    • 提供更灵活的框架
      • -
    -
    4. -
-
- -

几何视角的启示

- -
-
设计原则
-

信息几何为设计更好的扩散模型提供了以下原则：

- -
    -
  1. 局部平坦性：路径应该在每个时刻保持局部平坦
    2. -
  2. 曲率最小化：减少不必要的弯曲
    3. -
  3. 信息保持：在扩散过程中保持尽可能多的信息
    4. -
  4. 可逆性：确保反向过程的数值稳定性
    5. -
-
- -

C.6 计算考虑与实践意义

- -

C.6.1 自然参数化的优势

- -

自然参数化在信息几何中占据特殊地位，因为它使得许多计算变得简单且高效。在扩散模型中利用这一点可以显著改善模型的性能。

- -

什么是自然参数

- -
-
自然参数的定义
-

对于指数族分布：

-
- $$p(x|\theta) = h(x) \exp(\theta^T T(x) - A(\theta))$$ -
- -

$\theta$ 是自然参数，它具有以下优美性质：

-
    -
  • Fisher信息矩阵 = $\nabla^2 A(\theta)$ （对数配分函数的Hessian）
    • -
  • 期望参数 $\eta = \mathbb{E}[T(x)] = \nabla A(\theta)$
    • -
  • 参数空间是凸的
    • -
-
- -

计算优势

- -
-

为什么自然参数化重要

-
    -
  1. 梯度计算简单： -
      -
    • 对数似然的梯度 = $T(x) - \nabla A(\theta)$
      • -
    • 无需复杂的链式法则
      • -
    • 数值稳定
      • -
    -
    2. - -
  2. 凸优化： -
      -
    • 负对数似然在自然参数下是凸的
      • -
    • 保证全局最优
      • -
    • 收敛速度快
      • -
    -
    3. - -
  3. KL散度的简单形式： -
    - $$KL(p||q) = A(\theta_q) - A(\theta_p) - (\theta_q - \theta_p)^T \nabla A(\theta_p)$$ -
    - 这是Bregman散度的形式！ -
    4. -
-
- -

在扩散模型中的应用

- -
-
利用自然参数化
-

虽然扩散模型中的分布通常不是指数族，但我们可以：

- -
    -
  1. 局部近似： -
      -
    • 在小噪声极限下，分布接近高斯
      • -
    • 可以使用高斯的自然参数化
      • -
    • 简化计算和分析
      • -
    -
    2. - -
  2. 变分推断： -
      -
    • 使用指数族作为变分家族
      • -
    • 利用自然参数化的优势
      • -
    • 获得更紧的下界
      • -
    -
    3. - -
  3. 分数函数参数化： -
      -
    • 设计网络输出自然参数梯度
      • -
    • 通过变换得到分数
      • -
    • 改善数值稳定性
      • -
    -
    4. -
-
- -

C.6.2 曲率与训练动力学

- -

参数空间的曲率直接影响优化的难度和速度。理解和利用这种曲率信息可以显著改善扩散模型的训练效率。

- -

曲率的来源

- -
-
曲率与条件数
-

Fisher信息矩阵的条件数反映了参数空间的曲率：

-
- $$\kappa(I) = \frac{\lambda_{\max}(I)}{\lambda_{\min}(I)}$$ -
- -

高条件数意味着：

-
    -
  • 不同方向的学习速度差异很大
    • -
  • 梯度下降可能震荡
    • -
  • 需要小学习率以保证稳定性
    • -
-
- -

扩散模型中的曲率问题

- -
-

特有的挑战

-
    -
  1. 时变曲率： -
      -
    • 不同时刻 $t$ 的分布不同
      • -
    • 曲率随时间变化
      • -
    • 早期（高SNR）和晚期（低SNR）差异很大
      • -
    -
    2. - -
  2. 空间不均匀性： -
      -
    • 数据流形附近曲率大
      • -
    • 远离数据的区域曲率小
      • -
    • 模式之间的过渡区曲率极大
      • -
    -
    3. -
-
- -

利用曲率信息改善训练

- -
-
实用技术
-
    -
  1. 自适应学习率： -
      -
    • 根据时刻 $t$ 调整学习率
      • -
    • 高曲率区域使用小学习率
      • -
    • 低曲率区域可以加速
      • -
    -
    2. - -
  2. 预条件化： -
      -
    • 使用近似的Fisher信息
      • -
    • 自然梯度方法
      • -
    • Adam等二阶方法
      • -
    -
    3. - -
  3. 重要性采样： -
      -
    • 在高曲率时刻增加采样
      • -
    • 平衡各时刻的学习
      • -
    • 减少方差
      • -
    -
    4. -
-
- -

理论分析

- -
-
收敛速度与曲率
-

对于梯度下降，收敛速度受曲率影响：

-
- $$||\theta_t - \theta^*|| \leq \left(1 - \frac{2\alpha}{\kappa + 1}\right)^t ||\theta_0 - \theta^*||$$ -
- -

其中 $\alpha$ 是学习率，$\kappa$ 是条件数。这表明：

-
    -
  • 条件数越大，收敛越慢
    • -
  • 最优学习率 $\propto 1/\kappa$
    • -
  • 预条件化可以改善 $\kappa$
    • -
-
- -

C.6.3 几何启发的算法设计

- -

信息几何的洞察不仅加深了我们对扩散模型的理解，还启发了新的算法设计。这些几何启发的方法往往能带来显著的性能提升。

- -

几何感知的采样算法

- -
-
利用局部几何
-

基于分数函数的局部几何信息，可以设计更高效的采样算法：

- -
    -
  1. 自适应步长： -
    - $$h(x,t) = \frac{c}{||\nabla s(x,t)||_F + \epsilon}$$ -
    - 在分数变化剧烈的区域使用小步长。 -
    2. - -
  2. 曲率校正： -
    - $$x_{t+1} = x_t + h \cdot (I + \lambda H)^{-1} s(x_t, t)$$ -
    - 其中 $H$ 是分数的Hessian矩阵。 -
    3. -
-
- -

流形感知的网络设计

- -
-

架构创新

-
    -
  1. 等变网络： -
      -
    • 保持几何变换的等变性
      • -
    • 减少参数量
      • -
    • 提高泛化能力
      • -
    -
    2. - -
  2. 流形注意力： -
      -
    • 在流形上计算注意力
      • -
    • 考虑局部度量
      • -
    • 更好地捕捉数据结构
      • -
    -
    3. - -
  3. 几何正则化： -
      -
    • 惩罚过大的曲率
      • -
    • 鼓励平滑的分数场
      • -
    • 提高数值稳定性
      • -
    -
    4. -
-
- -

最优传输启发的方法

- -
-
新一代算法
-
    -
  1. 流匹配（Flow Matching）： -
      -
    • 直接学习最优传输映射
      • -
    • 更直的路径
      • -
    • 更快的采样
      • -
    -
    2. - -
  2. 整流模型（Rectified Flow）： -
      -
    • 学习直线路径
      • -
    • 最小化路径曲率
      • -
    • 允许一步采样
      • -
    -
    3. - -
  3. 动态最优传输： -
      -
    • 在训练过程中调整路径
      • -
    • 适应数据分布
      • -
    • 最小化总传输成本
      • -
    -
    4. -
-
- -

未来方向

- -
-
几何方法的前景
-

信息几何为扩散模型的发展指明了几个重要方向：

- -
    -
  1. 非欧几何： -
      -
    • 在更一般的流形上定义扩散
      • -
    • 处理结构化数据
      • -
    • 图、分子等非欧数据
      • -
    -
    2. - -
  2. 多尺度几何： -
      -
    • 不同尺度的几何结构
      • -
    • 分层次的学习和采样
      • -
    • 提高效率
      • -
    -
    3. - -
  3. 动态几何： -
      -
    • 学习和适应数据流形
      • -
    • 在线更新几何结构
      • -
    • 处理分布漂移
      • -
    -
    4. -
-
- -
-

本章小结

-

本附录从信息几何的角度深入探讨了扩散模型的数学基础，揭示了分数函数的多重意义——它既是流形上的切向量，也是物理上的力场，更是连接能量优化与概率建模的桥梁。

- -

核心要点

-
    -
  1. 信息几何基础： -
      -
    • 概率分布空间是一个弯曲的流形
      • -
    • Fisher信息度量提供了自然的黎曼结构
      • -
    • 自然梯度考虑了流形的曲率
      • -
    -
    2. - -
  2. 分数函数的几何意义： -
      -
    • 分数是概率流形上的切向量场
      • -
    • Stein恒等式提供了分数的刻画
      • -
    • 分数匹配是几何投影问题
      • -
    -
    3. - -
  3. 力学解释： -
      -
    • 分数函数定义了一个保守力场
      • -
    • 能量景观随时间演化
      • -
    • Langevin动力学平衡噪声与漂移
      • -
    -
    4. - -
  4. 与能量模型的统一： -
      -
    • 扩散模型是时变的能量模型
      • -
    • 分数匹配避免了归一化难题
      • -
    • 两类方法可以相互借鉴
      • -
    -
    5. - -
  5. 最优传输视角： -
      -
    • 扩散定义了分布空间中的路径
      • -
    • Wasserstein梯度流提供了新视角
      • -
    • 启发了流匹配等新方法
      • -
    -
    6. - -
  6. 实践意义： -
      -
    • 自然参数化简化计算
      • -
    • 曲率信息指导优化
      • -
    • 几何启发的算法设计
      • -
    -
    7. -
- -

展望

-

信息几何为理解和改进扩散模型提供了丰富的理论工具。未来的研究方向包括：

-
    -
  • 在非欧流形上定义扩散过程
    • -
  • 利用曲率信息设计更高效的采样算法
    • -
  • 探索最优传输与扩散的更深联系
    • -
  • 开发几何感知的神经网络架构
    • -
- -

这些理论洞察不仅加深了我们对扩散模型的理解，也为设计下一代生成模型指明了方向。通过融合信息几何、物理直觉和机器学习技术，我们有望开发出更加强大和高效的生成模型。

-
-
- - \ No newline at end of file diff --git a/appendix-c.md b/appendix-c.md new file mode 100644 index 0000000..8f6080d --- /dev/null +++ b/appendix-c.md @@ -0,0 +1,3296 @@ +[← 上一章](appendix-b.md) + 附录C + [返回首页 →](index.md) + + + +# 附录C：信息几何与分数函数的力学解释 + + + + 扩散模型的成功不仅仅是工程上的胜利，更是深刻数学原理的体现。本附录将从信息几何的角度重新审视扩散模型，揭示分数函数作为"力"的物理意义，并建立与能量优化的深刻联系。这种视角不仅提供了理论洞察，也为设计新算法提供了指导原则。 + + + +## C.1 信息几何基础 + + + +### C.1.1 概率分布的流形结构 + + + +信息几何将概率分布空间看作一个弯曲的流形，而不是平坦的欧几里得空间。这种视角对理解扩散模型至关重要。 + + + +#### 概率单纯形 + + + + 概率单纯形的定义 + +设 $\Omega$ 是样本空间，定义概率单纯形： + + + $$\mathcal{P} = \left\{p = (p_1, ..., p_n) : p_i \geq 0, \sum_{i=1}^n p_i = 1\right\}$$ + + + +这是一个 $(n-1)$ 维流形，嵌入在 $\mathbb{R}^n$ 中。对于连续分布，我们考虑： + + + $$\mathcal{P}(\mathcal{X}) = \left\{p : \mathcal{X} \to \mathbb{R}^+ \mid \int_{\mathcal{X}} p(x)dx = 1\right\}$$ + + + + +#### 切空间的结构 + + + +在每个点 $p \in \mathcal{P}$，切空间由满足约束的无穷小变化组成： + + + + +#### 切向量的特征 + + +对于概率分布 $p(x)$，切向量 $v(x) \in T_p\mathcal{P}$ 满足： + + + $$\int_{\mathcal{X}} v(x) dx = 0$$ + + + +这保证了沿着 $v$ 方向的无穷小移动仍然保持归一化。 + + + + +#### 指数族与自然参数 + + + + 指数族分布 + +指数族是信息几何中最重要的例子： + + + $$p(x; \theta) = \exp(\theta^T T(x) - A(\theta))$$ + + + +其中： + + + + - $\theta$ 是自然参数（natural parameters） + - $T(x)$ 是充分统计量 + - $A(\theta) = \log \int \exp(\theta^T T(x)) dx$ 是对数配分函数 + + + + + + +# 可视化概率分布流形 +import torch +import numpy as np + +class ProbabilityManifold: + """演示概率分布流形的概念""" + + def __init__(self, dim=3): + self.dim = dim # 单纯形的维度 + + def project_to_simplex(self, x): + """将点投影到概率单纯形上""" + # 使用softmax作为投影 + return torch.softmax(x, dim=-1) + + def tangent_projection(self, p, v): + """将向量投影到切空间""" + # 切空间约束: sum(v) = 0 + v_mean = v.mean(dim=-1, keepdim=True) + return v - v_mean + + def exponential_family_example(self): + """演示指数族的性质""" + print("指数族示例：二项分布") + print("="*50) + + # 自然参数空间 + theta_values = torch.linspace(-2, 2, 5) + + for theta in theta_values: + # 二项分布: p = exp(theta*x) / (1 + exp(theta)) + p = torch.sigmoid(theta) + + # 对数配分函数 + A_theta = torch.log(1 + torch.exp(theta)) + + # 期望参数（对偶参数） + mu = p # dA/dtheta = E[X] + + # Fisher信息（二阶导） + I_theta = p * (1 - p) # d²A/dtheta² = Var[X] + + print(f"\u03b8={theta:6.2f}: p={p:6.4f}, A(\u03b8)={A_theta:6.4f}, I(\u03b8)={I_theta:6.4f}") + + def geodesic_distance(self, p1, p2, metric='kl'): + """计算两个分布之间的测地线距离""" + eps = 1e-8 + + if metric == 'kl': + # KL散度（不对称） + return (p1 * (torch.log(p1 + eps) - torch.log(p2 + eps))).sum() + + elif metric == 'fisher_rao': + # Fisher-Rao距离（真正的测地线距离） + sqrt_p1 = torch.sqrt(p1 + eps) + sqrt_p2 = torch.sqrt(p2 + eps) + cos_angle = (sqrt_p1 * sqrt_p2).sum() + return 2 * torch.acos(torch.clamp(cos_angle, -1, 1)) + + elif metric == 'wasserstein': + # 简化的Wasserstein距离（一维情况） + # 这里只是示例，实际计算更复杂 + return torch.abs(p1 - p2).sum() + +# 演示概率流形的性质 +def demonstrate_probability_manifold(): + manifold = ProbabilityManifold() + + # 1. 指数族示例 + manifold.exponential_family_example() + + # 2. 测地线距离比较 + print("\n\n不同度量下的距离") + print("="*50) + + # 创建两个分布 + p1 = torch.tensor([0.7, 0.2, 0.1]) + p2 = torch.tensor([0.2, 0.3, 0.5]) + + metrics = ['kl', 'fisher_rao', 'wasserstein'] + for metric in metrics: + dist = manifold.geodesic_distance(p1, p2, metric) + print(f"{metric:15s}: {dist:8.4f}") + + # 3. 切空间投影 + print("\n\n切空间投影") + print("="*50) + + v = torch.tensor([1.0, -0.5, -0.5]) # 一个向量 + v_tangent = manifold.tangent_projection(p1, v) + + print(f"原始向量: {v.numpy()}") + print(f"切向量: {v_tangent.numpy()}") + print(f"切向量之和: {v_tangent.sum().item():.6f} (应为0)") + +demonstrate_probability_manifold() + + + +#### 为什么几何视角重要？ + + + + +#### 几何视角的优势 + + + + - **坐标无关性**：几何性质不依赖于特定的参数化 + - **自然的距离概念**：Fisher-Rao距离提供了分布间的内在度量 + - **优化的指导**：自然梯度比普通梯度更适合在流形上优化 + - **统一视角**：将不同的统计方法统一在几何框架下 + + + + + + 扩散模型中的流形结构 + 在扩散模型中，我们可以将整个过程看作在概率分布流形上的一条路径： + + + + - $p_0 = p_{data}$：起点是数据分布 + - $p_T \approx \mathcal{N}(0, I)$：终点是简单的高斯分布 + - $\{p_t\}_{t \in [0,T]}$：连接两者的光滑路径 + + + + +这条路径的选择（即SDE的设计）直接影响模型的性能！ + + + + +### C.1.2 Fisher信息度量 + + + +Fisher信息度量是概率分布流形上的自然黎曼度量。它不仅在统计学中扮演着核心角色，也为理解扩散模型的分数函数提供了几何基础。 + + + +#### Fisher信息矩阵的定义 + + + + Fisher信息矩阵 + +对于参数化的概率分布族 $\{p(x; \theta) : \theta \in \Theta\}$，Fisher信息矩阵定义为： + + + $$I_{ij}(\theta) = \mathbb{E}_{p(x;\theta)}\left[\frac{\partial \log p(x;\theta)}{\partial \theta_i} \frac{\partial \log p(x;\theta)}{\partial \theta_j}\right]$$ + + + +等价地，可以写成： + + + $$I_{ij}(\theta) = -\mathbb{E}_{p(x;\theta)}\left[\frac{\partial^2 \log p(x;\theta)}{\partial \theta_i \partial \theta_j}\right]$$ + + + + +#### 几何意义 + + + +Fisher信息矩阵定义了参数空间中的一个黎曼度量： + + + + +#### 度量的直观理解 + + + + - **局部距离**：$ds^2 = \sum_{i,j} I_{ij}(\theta) d\theta_i d\theta_j$ + - **可区分性**：矩阵元素越大，表示该方向上分布变化越快 + - **信息量**：从数据中提取参数信息的难易程度 + - **曲率**：反映了参数空间的弯曲程度 + + + + + + 例子：高斯分布的Fisher信息 + +考虑一维高斯分布 $\mathcal{N}(\mu, \sigma^2)$，参数 $\theta = (\mu, \sigma)$： + + + $$I(\theta) = \begin{pmatrix} + \frac{1}{\sigma^2} & 0 \\ + 0 & \frac{2}{\sigma^2} + \end{pmatrix}$$ + + + +观察： + + + + - $\mu$ 和 $\sigma$ 参数正交（非对角元为0） + - 方差越小，信息量越大（更容易估计参数） + - 估计 $\sigma$ 比估计 $\mu$ 更难（因子为2） + + + + + + +# 计算和可视化Fisher信息度量 +import torch +import numpy as np + +class FisherInformation: + """计算和分析Fisher信息度量""" + + def gaussian_fisher(self, mu, sigma): + """计算高斯分布的Fisher信息矩阵""" + I = torch.zeros(2, 2) + I[0, 0] = 1 / sigma**2 # I_{μμ} + I[1, 1] = 2 / sigma**2 # I_{σσ} + return I + + def exponential_family_fisher(self, theta, compute_hessian=True): + """计算指数族的Fisher信息 + + 对于指数族 p(x;\theta) = exp(\theta^T T(x) - A(\theta)) + Fisher信息 = A(\theta)的Hessian矩阵 + """ + # 例子：多项分布 + # A(\theta) = log(sum(exp(\theta))) + exp_theta = torch.exp(theta) + Z = exp_theta.sum() + + # 一阶导数（期望参数） + mu = exp_theta / Z + + if compute_hessian: + # 二阶导数（Fisher信息） + n = len(theta) + I = torch.zeros(n, n) + + for i in range(n): + for j in range(n): + if i == j: + I[i, j] = mu[i] * (1 - mu[i]) + else: + I[i, j] = -mu[i] * mu[j] + + return I, mu + + return mu + + def natural_gradient(self, grad, fisher_matrix, regularization=1e-8): + """计算自然梯度 + + 自然梯度 = Fisher信息矩阵的逆 × 普通梯度 + """ + # 添加正则化以保证数值稳定性 + I_reg = fisher_matrix + regularization * torch.eye(fisher_matrix.shape[0]) + + # 计算自然梯度 + natural_grad = torch.linalg.solve(I_reg, grad) + + return natural_grad + + def geodesic_distance(self, theta1, theta2, n_steps=100): + """计算两点间的测地线距离（数值近似）""" + # 使用线性插值作为路径的近似 + path = torch.linspace(0, 1, n_steps).unsqueeze(1) + thetas = theta1 + path * (theta2 - theta1) + + total_distance = 0 + for i in range(n_steps - 1): + # 计算当前点的Fisher信息 + I, _ = self.exponential_family_fisher(thetas[i]) + + # 计算微小步长 + d_theta = thetas[i+1] - thetas[i] + + # 计算度量距离 ds^2 = d\theta^T I d\theta + ds = torch.sqrt(d_theta @ I @ d_theta) + total_distance += ds + + return total_distance + +# 演示Fisher信息的性质 +def demonstrate_fisher_information(): + fisher = FisherInformation() + + print("Fisher信息度量分析") + print("="*60) + + # 1. 高斯分布的Fisher信息 + print("\n1. 高斯分布 N(μ, σ²)") + print("-"*40) + + mu, sigma = 0.0, 1.0 + I_gaussian = fisher.gaussian_fisher(mu, sigma) + print(f"Fisher信息矩阵：\n{I_gaussian}") + print(f"\n行列式: {torch.det(I_gaussian):.4f}") + print(f"迹: {torch.trace(I_gaussian):.4f}") + + # 2. 指数族的Fisher信息 + print("\n\n2. 多项分布（指数族）") + print("-"*40) + + theta = torch.tensor([1.0, 0.5, -0.5]) + I_exp, mu = fisher.exponential_family_fisher(theta) + + print(f"\u81ea然参数 \u03b8: {theta.numpy()}") + print(f"\u671f望参数 μ: {mu.numpy()}") + print(f"\nFisher信息矩阵：\n{I_exp}") + + # 3. 自然梯度 vs 普通梯度 + print("\n\n3. 自然梯度 vs 普通梯度") + print("-"*40) + + # 假设一个普通梯度 + grad = torch.tensor([1.0, -0.5, 0.2]) + natural_grad = fisher.natural_gradient(grad, I_exp) + + print(f"普通梯度: {grad.numpy()}") + print(f"自然梯度: {natural_grad.numpy()}") + print(f"范数比: {torch.norm(natural_grad) / torch.norm(grad):.4f}") + + # 4. 测地线距离 + print("\n\n4. 测地线距离") + print("-"*40) + + theta1 = torch.tensor([0.0, 0.0, 0.0]) + theta2 = torch.tensor([1.0, 1.0, 1.0]) + + geo_dist = fisher.geodesic_distance(theta1, theta2) + euclidean_dist = torch.norm(theta2 - theta1) + + print(f"欧几里得距离: {euclidean_dist:.4f}") + print(f"测地线距离: {geo_dist:.4f}") + print(f"比值: {geo_dist / euclidean_dist:.4f}") + + print("\n观察：测地线距离考虑了流形的弯曲，通常比欧几里得距离更长") + +demonstrate_fisher_information() + + + +#### Fisher信息与分数函数 + + + + 重要联系 + 分数函数 $s(x, \theta) = \nabla_x \log p(x; \theta)$ 与Fisher信息密切相关： + + + $$I_{ij}(\theta) = \mathbb{E}_{p(x;\theta)}[s_i(x, \theta) s_j(x, \theta)]$$ + + + +其中 $s_i = \frac{\partial \log p}{\partial \theta_i}$ 是关于参数的分数。 + + + +这表明：Fisher信息度量了分数函数的"变化率"。 + + + + +#### 在扩散模型中的应用 + + + + +#### 为什么Fisher信息对扩散模型重要？ + + + + - **自然参数化**：在训练分数网络时，使用自然梯度可以加速收敛 + - **距离度量**：提供了分布间的内在距离，用于设计更好的损失函数 + - **最优传输**：测地线提供了从数据分布到噪声分布的最优路径 + - **曲率信息**：帮助理解为什么某些区域的学习更困难 + + + + + +### C.1.3 自然梯度与普通梯度 + + + +在优化概率模型时，选择合适的梯度方向至关重要。自然梯度考虑了参数空间的几何结构，提供了比普通梯度更好的下降方向。 + + + +#### 普通梯度的问题 + + + + +#### 为什么普通梯度不够好？ + + +考虑一个简单的例子：优化二项分布的参数 $p \in [0,1]$。 + + + + - 当 $p \approx 0$ 或 $p \approx 1$ 时，小的参数变化会导致分布的大幅变化 + - 当 $p \approx 0.5$ 时，同样的参数变化对分布影响较小 + - 普通梯度没有考虑这种"不均匀性" + + + + + +#### 自然梯度的定义 + + + + 自然梯度 + +设 $L(\theta)$ 是关于参数 $\theta$ 的损失函数，普通梯度为 $g = \nabla_\theta L$。自然梯度定义为： + + + $$\tilde{g} = I(\theta)^{-1} g$$ + + + +其中 $I(\theta)$ 是Fisher信息矩阵。更新规则为： + + + $$\theta_{t+1} = \theta_t - \alpha I(\theta_t)^{-1} \nabla_\theta L(\theta_t)$$ + + + + +#### 几何解释 + + + + 最陡下降方向 + +自然梯度是在Fisher信息度量下的最陡下降方向： + + + + - **普通梯度**：在欧几里得空间中的最陡下降 + - **自然梯度**：在曲线流形上的最陡下降 + - **优势**：不依赖于参数化方式（坐标无关） + + + + + + +# 比较自然梯度和普通梯度的优化路径 +import torch +import numpy as np + +class GradientComparison: + """比较自然梯度和普通梯度的优化效果""" + + def __init__(self, target_dist): + """ + Args: + target_dist: 目标分布的参数 + """ + self.target = target_dist + + def kl_divergence(self, theta, target): + """计算KL散度作为损失函数""" + # 简化：使用多项分布 + p = torch.softmax(theta, dim=0) + q = torch.softmax(target, dim=0) + + kl = (p * (torch.log(p + 1e-8) - torch.log(q + 1e-8))).sum() + return kl + + def compute_gradients(self, theta): + """计算普通梯度和Fisher信息""" + theta.requires_grad_(True) + + # 计算损失 + loss = self.kl_divergence(theta, self.target) + + # 普通梯度 + grad = torch.autograd.grad(loss, theta, retain_graph=True)[0] + + # Fisher信息（对于多项分布） + p = torch.softmax(theta, dim=0) + n = len(theta) + fisher = torch.zeros(n, n) + + for i in range(n): + for j in range(n): + if i == j: + fisher[i, j] = p[i] * (1 - p[i]) + else: + fisher[i, j] = -p[i] * p[j] + + return grad.detach(), fisher + + def natural_gradient_step(self, theta, grad, fisher, lr=0.1, reg=1e-4): + """执行自然梯度步""" + # 正则化Fisher矩阵 + fisher_reg = fisher + reg * torch.eye(fisher.shape[0]) + + # 计算自然梯度 + nat_grad = torch.linalg.solve(fisher_reg, grad) + + # 更新参数 + return theta - lr * nat_grad + + def ordinary_gradient_step(self, theta, grad, lr=0.1): + """执行普通梯度步""" + return theta - lr * grad + + def optimize(self, init_theta, method='natural', n_steps=50, lr=0.1): + """优化过程""" + theta = init_theta.clone() + history = {'theta': [theta.clone()], 'loss': []} + + for step in range(n_steps): + # 计算梯度 + grad, fisher = self.compute_gradients(theta) + + # 更新参数 + if method == 'natural': + theta = self.natural_gradient_step(theta, grad, fisher, lr) + else: + theta = self.ordinary_gradient_step(theta, grad, lr) + + # 记录 + loss = self.kl_divergence(theta, self.target).item() + history['theta'].append(theta.clone()) + history['loss'].append(loss) + + return history + +# 演示两种梯度的比较 +def demonstrate_gradient_comparison(): + print("自然梯度 vs 普通梯度优化比较") + print("="*60) + + # 设置 + target = torch.tensor([2.0, 1.0, -1.0]) # 目标分布参数 + init = torch.tensor([0.0, 0.0, 0.0]) # 初始参数 + + optimizer = GradientComparison(target) + + # 优化 + print("\n正在优化...") + history_natural = optimizer.optimize(init, method='natural', n_steps=20, lr=0.5) + history_ordinary = optimizer.optimize(init, method='ordinary', n_steps=20, lr=0.1) + + # 结果分析 + print("\n优化结果：") + print("-"*40) + print(f"目标分布: {torch.softmax(target, dim=0).numpy()}") + print(f"\n自然梯度最终结果: {torch.softmax(history_natural['theta'][-1], dim=0).numpy()}") + print(f"最终损失: {history_natural['loss'][-1]:.6f}") + print(f"收敛步数: {len([l for l in history_natural['loss'] if l > 0.01])}") + + print(f"\n普通梯度最终结果: {torch.softmax(history_ordinary['theta'][-1], dim=0).numpy()}") + print(f"最终损失: {history_ordinary['loss'][-1]:.6f}") + print(f"收敛步数: {len([l for l in history_ordinary['loss'] if l > 0.01])}") + + # 不同参数化下的行为 + print("\n\n参数化不变性测试") + print("-"*40) + + # 重新参数化：对参数进行线性变换 + A = torch.tensor([[2.0, 1.0, 0.0], + [1.0, 2.0, 1.0], + [0.0, 1.0, 2.0]]) + + target_reparam = A @ target + init_reparam = A @ init + + print("在新参数化下：") + optimizer_reparam = GradientComparison(target_reparam) + + # 普通梯度在新参数化下会受影响 + history_ordinary_reparam = optimizer_reparam.optimize(init_reparam, method='ordinary', n_steps=20, lr=0.1) + + print(f"普通梯度收敛步数（原参数化）: {len([l for l in history_ordinary['loss'] if l > 0.01])}") + print(f"普通梯度收敛步数（新参数化）: {len([l for l in history_ordinary_reparam['loss'] if l > 0.01])}") + print("\n观察：普通梯度的效率依赖于参数化，而自然梯度具有参数化不变性！") + +demonstrate_gradient_comparison() + + + +#### 在扩散模型中的应用 + + + + +#### 自然梯度与分数匹配 + + 在训练分数网络时，可以考虑使用自然梯度的思想： + + + + - **预条件化**：使用Fisher信息的近似来预条件化梯度 + - **自适应学习率**：不同参数方向使用不同的学习率 + - **二阶方法**：Adam等优化器部分地实现了自然梯度的思想 + + + + + + 实用建议 + + + - **完整Fisher矩阵**：计算成本高，通常只用于小规模问题 + - **对角近似**：只保留对角元素，大幅降低计算成本 + - **Kronecker因子分解**：对于神经网络，可以使用K-FAC等方法 + - **动量方法**：结合动量可以进一步提高收敛速度 + + + + + +## C.2 分数函数的几何意义 + + + +### C.2.1 分数函数作为切向量 + + + +分数函数 $\nabla_x \log p(x)$ 不仅仅是一个梯度——从信息几何的角度看，它是概率分布流形上的切向量，指示着密度增长最快的方向。这种几何视角为理解扩散模型提供了深刻的洞察。 + + + +#### 分数函数的几何定义 + + + + 分数函数作为切向量 + +考虑概率密度函数的对数变换流形。在点 $p(x)$ 处，分数函数定义了一个切向量场： + + + $$s(x) = \nabla_x \log p(x) = \frac{\nabla_x p(x)}{p(x)}$$ + + + +这个向量场具有特殊性质： + + + + - 在高概率区域指向密度增加的方向 + - 在低概率区域具有大的模长 + - 满足积分约束：$\mathbb{E}_{p(x)}[s(x)] = 0$ + + + + + +#### 切向量的积分性质 + + + + +#### 为什么期望为零？ + + +分数函数的零期望性质来自于概率密度的归一化约束： + + + $$\int p(x) dx = 1 \Rightarrow \int \nabla_x p(x) dx = 0$$ + + + +因此： + + + $$\mathbb{E}_{p(x)}[s(x)] = \int p(x) \cdot \frac{\nabla_x p(x)}{p(x)} dx = \int \nabla_x p(x) dx = 0$$ + + + +这意味着分数函数确实是概率分布流形切空间中的向量！ + + + + +#### 流形上的向量场 + + + + 具体例子：高斯混合模型 + +对于二维高斯混合模型： + + + $$p(x) = \pi_1 \mathcal{N}(x; \mu_1, \Sigma_1) + \pi_2 \mathcal{N}(x; \mu_2, \Sigma_2)$$ + + + +分数函数为： + + + $$s(x) = \frac{\pi_1 \mathcal{N}_1(x) \cdot (-\Sigma_1^{-1}(x-\mu_1)) + \pi_2 \mathcal{N}_2(x) \cdot (-\Sigma_2^{-1}(x-\mu_2))}{\pi_1 \mathcal{N}_1(x) + \pi_2 \mathcal{N}_2(x)}$$ + + + +这是两个高斯分数的加权平均，权重随位置变化！ + + + + + +# 可视化分数函数作为向量场 +import torch +import numpy as np + +class ScoreVectorField: + """分数函数的向量场可视化和分析""" + + def __init__(self): + self.device = torch.device('cpu') + + def gaussian_mixture_score(self, x, weights, means, covs): + """计算高斯混合模型的分数函数""" + n_components = len(weights) + scores = [] + densities = [] + + for i in range(n_components): + # 计算每个分量的密度 + diff = x - means[i] + inv_cov = torch.inverse(covs[i]) + + # Mahalanobis距离 + mahal = torch.sum(diff @ inv_cov * diff, dim=-1) + log_det = torch.logdet(covs[i]) + + # 概率密度 + log_density = -0.5 * (mahal + log_det + 2 * np.log(2 * np.pi)) + density = torch.exp(log_density) * weights[i] + densities.append(density) + + # 该分量的分数 + score_i = -inv_cov @ diff.T + scores.append(score_i.T * density.unsqueeze(-1)) + + # 加权平均 + total_density = sum(densities) + weighted_score = sum(scores) / (total_density.unsqueeze(-1) + 1e-8) + + return weighted_score, total_density + + def analyze_vector_field(self, score_fn, x_range=(-3, 3), n_points=20): + """分析分数向量场的性质""" + # 创建网格 + x = torch.linspace(x_range[0], x_range[1], n_points) + y = torch.linspace(x_range[0], x_range[1], n_points) + X, Y = torch.meshgrid(x, y, indexing='xy') + + # 平展为点集 + points = torch.stack([X.flatten(), Y.flatten()], dim=1) + + # 计算分数 + scores = score_fn(points) + + # 分析性质 + results = { + 'points': points, + 'scores': scores, + 'magnitudes': torch.norm(scores, dim=1), + 'divergence': self.compute_divergence(score_fn, points), + 'curl': self.compute_curl_2d(score_fn, points) + } + + return results + + def compute_divergence(self, score_fn, points, h=1e-4): + """数值计算散度 div(s) = ∂s_x/∂x + ∂s_y/∂y""" + divergences = [] + + for point in points: + # x方向 + point_px = point.clone() + point_px[0] += h + score_px = score_fn(point_px.unsqueeze(0)).squeeze() + + point_mx = point.clone() + point_mx[0] -= h + score_mx = score_fn(point_mx.unsqueeze(0)).squeeze() + + ds_dx = (score_px[0] - score_mx[0]) / (2 * h) + + # y方向 + point_py = point.clone() + point_py[1] += h + score_py = score_fn(point_py.unsqueeze(0)).squeeze() + + point_my = point.clone() + point_my[1] -= h + score_my = score_fn(point_my.unsqueeze(0)).squeeze() + + ds_dy = (score_py[1] - score_my[1]) / (2 * h) + + divergences.append(ds_dx + ds_dy) + + return torch.tensor(divergences) + + def compute_curl_2d(self, score_fn, points, h=1e-4): + """计算2D旋度 curl(s) = ∂s_y/∂x - ∂s_x/∂y""" + curls = [] + + for point in points: + # ∂s_y/∂x + point_px = point.clone() + point_px[0] += h + score_px = score_fn(point_px.unsqueeze(0)).squeeze() + + point_mx = point.clone() + point_mx[0] -= h + score_mx = score_fn(point_mx.unsqueeze(0)).squeeze() + + dsy_dx = (score_px[1] - score_mx[1]) / (2 * h) + + # ∂s_x/∂y + point_py = point.clone() + point_py[1] += h + score_py = score_fn(point_py.unsqueeze(0)).squeeze() + + point_my = point.clone() + point_my[1] -= h + score_my = score_fn(point_my.unsqueeze(0)).squeeze() + + dsx_dy = (score_py[0] - score_my[0]) / (2 * h) + + curls.append(dsy_dx - dsx_dy) + + return torch.tensor(curls) + +# 演示分数函数的向量场性质 +def demonstrate_score_vector_field(): + """演示分数函数作为切向量场的性质""" + field = ScoreVectorField() + + print("分数函数的向量场分析") + print("="*60) + + # 1. 单高斯分布 + print("\n1. 单高斯分布的分数场") + print("-"*40) + + mean = torch.tensor([0.0, 0.0]) + cov = torch.eye(2) + + def single_gaussian_score(x): + diff = x - mean + return -diff # 对于标准高斯，分数就是 -(x-μ) + + results = field.analyze_vector_field(single_gaussian_score, n_points=10) + + print(f"平均散度: {results['divergence'].mean():.4f}") + print(f"散度标准差: {results['divergence'].std():.4f}") + print(f"平均旋度: {results['curl'].mean():.4f}") + print(f"旋度标准差: {results['curl'].std():.4f}") + print("\n观察：对于高斯分布，散度为常数-2（维度），旋度为0（无旋场）") + + # 2. 高斯混合模型 + print("\n\n2. 高斯混合模型的分数场") + print("-"*40) + + weights = torch.tensor([0.4, 0.6]) + means = [torch.tensor([-1.5, 0.0]), torch.tensor([1.5, 0.0])] + covs = [0.5 * torch.eye(2), 0.5 * torch.eye(2)] + + def gmm_score(x): + if x.dim() == 1: + x = x.unsqueeze(0) + score, _ = field.gaussian_mixture_score(x, weights, means, covs) + return score.squeeze(0) if score.shape[0] == 1 else score + + results_gmm = field.analyze_vector_field(gmm_score, x_range=(-4, 4), n_points=15) + + print(f"平均散度: {results_gmm['divergence'].mean():.4f}") + print(f"散度标准差: {results_gmm['divergence'].std():.4f}") + print(f"最大分数模长: {results_gmm['magnitudes'].max():.4f}") + print(f"最小分数模长: {results_gmm['magnitudes'].min():.4f}") + + # 3. 分数函数的积分性质验证 + print("\n\n3. 验证分数函数的积分性质") + print("-"*40) + + # 采样点 + n_samples = 10000 + + # 从高斯混合模型采样 + samples = [] + for _ in range(n_samples): + # 选择分量 + component = torch.multinomial(weights, 1).item() + # 从该分量采样 + sample = torch.randn(2) * torch.sqrt(torch.diag(covs[component])) + means[component] + samples.append(sample) + + samples = torch.stack(samples) + + # 计算分数的期望 + scores_at_samples = gmm_score(samples) + mean_score = scores_at_samples.mean(dim=0) + + print(f"E[s(x)] = {mean_score.numpy()}") + print(f"||E[s(x)]|| = {torch.norm(mean_score):.6f}") + print("\n验证：分数函数的期望确实接近零！") + + # 4. 切空间性质 + print("\n\n4. 切空间的正交性") + print("-"*40) + + # 在某个点计算 + x0 = torch.tensor([0.5, 0.5]) + score_at_x0 = gmm_score(x0.unsqueeze(0)).squeeze() + + # 密度梯度 + h = 1e-4 + density_grad = [] + + for i in range(2): + x_plus = x0.clone() + x_plus[i] += h + x_minus = x0.clone() + x_minus[i] -= h + + _, density_plus = field.gaussian_mixture_score(x_plus.unsqueeze(0), weights, means, covs) + _, density_minus = field.gaussian_mixture_score(x_minus.unsqueeze(0), weights, means, covs) + + grad_i = (density_plus - density_minus) / (2 * h) + density_grad.append(grad_i) + + density_grad = torch.tensor(density_grad) + + # 验证关系 s = ∇p / p + _, density_at_x0 = field.gaussian_mixture_score(x0.unsqueeze(0), weights, means, covs) + predicted_score = density_grad / (density_at_x0 + 1e-8) + + print(f"点 {x0.numpy()} 处：") + print(f"实际分数: {score_at_x0.numpy()}") + print(f"预测分数 (∇p/p): {predicted_score.numpy()}") + print(f"误差: {torch.norm(score_at_x0 - predicted_score):.6f}") + +demonstrate_score_vector_field() + + + +#### 切向量场的动力学意义 + + + + +#### 分数流（Score Flow） + + 将分数函数视为速度场，我们可以定义分数流： + + + $$\frac{dx}{dt} = s(x, t) = \nabla_x \log p_t(x)$$ + + + +这个ODE描述了粒子沿着概率密度增加最快的方向移动。关键性质： + + + + - **模式寻找**：粒子最终会收敛到概率分布的模式（局部最大值） + - **去噪效果**：从任意初始点出发，粒子会移向高概率区域 + - **流形结构保持**：流动保持在数据流形上 + + + + + + 与梯度流的类比 + + + 性质 + 梯度流 $\dot{x} = -\nabla f(x)$ + 分数流 $\dot{x} = \nabla \log p(x)$ + + + 目标 + 最小化能量 $f(x)$ + 最大化概率 $p(x)$ + + + 平衡点 + $\nabla f(x^*) = 0$ + $\nabla \log p(x^*) = 0$ + + + 稳定性 + 取决于Hessian + 取决于分数的Jacobian + + + 应用 + 优化、物理系统 + 采样、去噪 + + + + + +### C.2.2 Stein恒等式与无穷小生成元 + + + +Stein恒等式是连接分数函数与概率分布的核心桥梁。它不仅提供了分数匹配的理论基础，也揭示了分数函数作为无穷小生成元的深刻意义。 + + + +#### Stein恒等式 + + + + Stein恒等式 + +对于光滑函数 $f: \mathbb{R}^d \to \mathbb{R}^d$ 和概率密度 $p(x)$，如果 $\lim_{||x|| \to \infty} p(x)f(x) = 0$，则： + + + $$\mathbb{E}_{p(x)}[\text{trace}(\nabla_x f(x)) + f(x)^T \nabla_x \log p(x)] = 0$$ + + + +这可以写成算子形式： + + + $$\mathbb{E}_{p(x)}[\mathcal{A}_p f(x)] = 0$$ + + + +其中 $\mathcal{A}_p$ 是Stein算子：$\mathcal{A}_p f = \nabla \cdot f + s^T f$，$s = \nabla \log p$。 + + + + +#### 证明与直观 + + + + +#### 简单证明 + + +使用分部积分： + + + $$\int p(x) \nabla \cdot f(x) dx = -\int f(x) \cdot \nabla p(x) dx$$ + + + +由于 $\nabla p(x) = p(x) \nabla \log p(x)$： + + + $$= -\int f(x) \cdot p(x) \nabla \log p(x) dx = -\mathbb{E}_{p(x)}[f(x)^T \nabla \log p(x)]$$ + + + +移项得到Stein恒等式。 + + + + +#### Stein算子作为无穷小生成元 + + + + 从随机过程的角度 + +考虑以下随机微分方程： + + + $$dX_t = \nabla \log p(X_t) dt + \sqrt{2} dW_t$$ + + + +这个Langevin SDE的无穷小生成元正是Stein算子： + + + $$\mathcal{L}f = \Delta f + \nabla \log p \cdot \nabla f$$ + + + +它描述了函数 $f$ 沿着过程的期望变化率。 + + + + + +# Stein恒等式的验证和应用 +import torch +import numpy as np + +class SteinOperator: + """实现Stein算子和相关计算""" + + def __init__(self, score_fn): + """ + Args: + score_fn: 分数函数 s(x) = ∇ log p(x) + """ + self.score_fn = score_fn + + def apply(self, f, x, create_graph=True): + """应用Stein算子 A_p f = div(f) + s^T f + + Args: + f: 向量值函数 f(x) -> R^d + x: 输入点 + """ + # 计算f(x) + fx = f(x) + + # 计算散度 div(f) = trace(Jacobian) + div_f = 0 + for i in range(fx.shape[-1]): + # 对第i个输出分量求导 + grad_fi = torch.autograd.grad( + fx[..., i].sum(), x, + create_graph=create_graph, + retain_graph=True + )[0] + div_f = div_f + grad_fi[..., i] + + # 计算分数 + score = self.score_fn(x) + + # Stein算子的结果 + stein_result = div_f + (score * fx).sum(dim=-1) + + return stein_result + + def verify_stein_identity(self, test_fn, n_samples=10000): + """验证Stein恒等式 E[A_p f] = 0""" + # 假设我们有一个采样器（这里用简单的高斯分布） + samples = torch.randn(n_samples, 2, requires_grad=True) + + # 在每个样本点计算Stein算子 + stein_values = [] + + for i in range(min(1000, n_samples)): # 限制计算量 + x = samples[i:i+1] + stein_val = self.apply(test_fn, x) + stein_values.append(stein_val.detach()) + + stein_values = torch.stack(stein_values) + + # 计算期望 + expectation = stein_values.mean() + std_error = stein_values.std() / np.sqrt(len(stein_values)) + + return expectation.item(), std_error.item() + + def stein_discrepancy(self, f, g, x): + """计算两个函数的Stein差异""" + # S(f, g) = E[f^T A_p g] + Ag = self.apply(g, x) + fx = f(x) + + return (fx * Ag.unsqueeze(-1)).sum() + +# 示例：验证Stein恒等式 +def demonstrate_stein_identity(): + print("Stein恒等式验证") + print("="*60) + + # 定义一个简单的分数函数（标准高斯） + def gaussian_score(x): + return -x # 对于 N(0, I)，score = -x + + stein_op = SteinOperator(gaussian_score) + + # 测试不同的函数 + test_functions = [ + ("Linear", lambda x: x), + ("Quadratic", lambda x: x**2), + ("Sine", lambda x: torch.stack([torch.sin(x[:, 0]), torch.cos(x[:, 1])], dim=1)), + ("Exponential", lambda x: torch.exp(-0.5 * torch.sum(x**2, dim=1, keepdim=True)) * x) + ] + + print("\n函数\t\t\tE[A_p f]\t\t标准误差") + print("-"*60) + + for name, f in test_functions: + expectation, std_err = stein_op.verify_stein_identity(f, n_samples=5000) + print(f"{name:15s}\t{expectation:12.6f}\t±{std_err:10.6f}") + + print("\n结论：所有期望值都接近零，验证了Stein恒等式！") + +demonstrate_stein_identity() + +# 展示Stein算子的应用 +def demonstrate_stein_applications(): + print("\n\nStein算子的应用") + print("="*60) + + # 1. 分数匹配损失 + print("\n1. 分数匹配中的应用") + print("-"*40) + + # 真实分数 + def true_score(x): + return -x + + # 近似分数（有误差） + def approx_score(x, noise_level=0.1): + return -x + noise_level * torch.randn_like(x) + + # 使用Stein差异测量近似质量 + x_test = torch.randn(100, 2, requires_grad=True) + + stein_op_true = SteinOperator(true_score) + stein_op_approx = SteinOperator(lambda x: approx_score(x, 0.2)) + + # 计算差异 + def identity_fn(x): + return x + + true_stein = stein_op_true.apply(identity_fn, x_test) + approx_stein = stein_op_approx.apply(identity_fn, x_test) + + diff = torch.mean((true_stein - approx_stein)**2) + print(f"Stein差异: {diff.item():.6f}") + + # 2. Stein变分梯度下降 + print("\n\n2. Stein变分梯度下降 (SVGD)") + print("-"*40) + + # 目标分布：混合高斯 + def target_score(x): + # 两个高斯的混合 + mu1 = torch.tensor([-2.0, 0.0]) + mu2 = torch.tensor([2.0, 0.0]) + + p1 = torch.exp(-0.5 * torch.sum((x - mu1)**2, dim=-1)) + p2 = torch.exp(-0.5 * torch.sum((x - mu2)**2, dim=-1)) + + s1 = -(x - mu1) + s2 = -(x - mu2) + + w1 = p1 / (p1 + p2 + 1e-8) + w2 = p2 / (p1 + p2 + 1e-8) + + return w1.unsqueeze(-1) * s1 + w2.unsqueeze(-1) * s2 + + # SVGD更新 + def svgd_update(particles, score_fn, kernel_bandwidth=1.0, lr=0.1): + n_particles = particles.shape[0] + + # 计算核及其梯度 + pairwise_dist = torch.cdist(particles, particles) + h = kernel_bandwidth + K = torch.exp(-pairwise_dist**2 / (2 * h**2)) + + # 核梯度 + grad_K = torch.zeros(n_particles, n_particles, 2) + for i in range(n_particles): + for j in range(n_particles): + if i != j: + grad_K[i, j] = -K[i, j] * (particles[i] - particles[j]) / h**2 + + # SVGD梯度 + score = score_fn(particles) + phi = torch.zeros_like(particles) + + for i in range(n_particles): + phi[i] = (K[i, :].unsqueeze(-1) * score).mean(0) + grad_K[:, i].mean(0) + + # 更新粒子 + return particles + lr * phi + + # 初始化粒子 + n_particles = 50 + particles = torch.randn(n_particles, 2) * 0.5 + + print("正在运行SVGD...") + + # 迭代 + for step in range(100): + particles = svgd_update(particles, target_score, kernel_bandwidth=1.0, lr=0.05) + + if step % 25 == 0: + mean_pos = particles.mean(0) + std_pos = particles.std(0) + print(f"Step {step}: 平均位置={mean_pos.numpy()}, 标准差={std_pos.numpy()}") + + # 检查最终分布 + print("\n最终粒子分布：") + cluster1 = particles[particles[:, 0] 0] + + if len(cluster1) > 0: + print(f"簇集1: 中心={cluster1.mean(0).numpy()}, 数量={len(cluster1)}") + if len(cluster2) > 0: + print(f"簇集2: 中心={cluster2.mean(0).numpy()}, 数量={len(cluster2)}") + +demonstrate_stein_applications() + + + +#### Stein恒等式在扩散模型中的意义 + + + + +#### 核心联系 + + + + - **分数匹配的理论基础**：Stein恒等式提供了一种不需要知道归一化常数的分数学习方法 + + - **损失函数设计**：基于Stein差异可以设计新的损失函数： + + $$\mathcal{L}_{\text{Stein}} = \mathbb{E}_{x \sim p_{data}}[||\mathcal{A}_p s_\theta(x)||^2]$$ + + + + - **采样算法**：Stein变分梯度下降（SVGD）提供了一种基于粒子的采样方法 + + - **收敛性分析**：通过Stein算子的谱分析可以研究扩散过程的收敛速度 + + + + + + 与拉普拉斯算子的联系 + 对于能量函数 $E(x) = -\log p(x)$，Stein算子可以写成： + + + $$\mathcal{A}_p f = \nabla \cdot f - \nabla E \cdot f$$ + + + +这与Fokker-Planck算子和拉普拉斯算子密切相关，提供了从动力学系统到统计推断的桥梁。 + + + + +### C.2.3 分数匹配的几何解释 + + + +分数匹配不仅是一个统计学习问题，从信息几何的角度看，它是在学习概率分布流形上的切向量场。这种几何视角为理解和改进分数匹配算法提供了新的思路。 + + + +#### 分数匹配作为投影问题 + + + + 几何视角下的分数匹配 + +分数匹配可以理解为在函数空间中的投影问题： + + + $$\min_{s_\theta} \mathbb{E}_{p_{data}}[||s_\theta(x) - \nabla_x \log p_{data}(x)||^2]$$ + + + +这是将参数化的分数函数 $s_\theta$ 投影到真实分数的切空间上。由于Fisher信息度量，最佳投影应该使用Fisher内积： + + + $$\langle f, g \rangle_{Fisher} = \mathbb{E}_{p}[f(x)^T I(x) g(x)]$$ + + + + +#### 隐式分数匹配 + + + + +#### 去噪分数匹配的几何解释 + + +在去噪分数匹配中，我们不直接学习分数，而是学习一个变换： + + + $$x + \sigma^2 s_\theta(x, \sigma) \approx \mathbb{E}[x_0 | x_t = x]$$ + + + +几何上，这是学习一个将噪声数据映射回清晰数据流形的投影算子。分数提供了这个投影的方向。 + + + + +#### 流形上的最优传输 + + + + 分数匹配与最优传输 + +从Wasserstein几何的角度，分数函数定义了最优传输映射的梯度： + + + + - **Monge问题**：找到从 $p_0$ 到 $p_T$ 的最优传输映射 $T$ + - **动态视角**：通过速度场 $v_t$ 描述这个传输 + - **与分数的联系**：在某些情况下，$v_t \propto \nabla \log p_t$ + + + + + + +# 分数匹配的几何分析 +import torch +import numpy as np + +class GeometricScoreMatching: + """从几何角度分析分数匹配""" + + def __init__(self, data_dim=2): + self.data_dim = data_dim + + def implicit_score_matching_loss(self, score_model, x): + """隐式分数匹配损失（无需真实分数）""" + # 计算分数 + x.requires_grad_(True) + score = score_model(x) + + # 计算散度 + div_score = 0 + for i in range(self.data_dim): + grad_i = torch.autograd.grad( + score[:, i].sum(), x, + create_graph=True, + retain_graph=True + )[0] + div_score += grad_i[:, i] + + # 隐式分数匹配损失 + loss = 0.5 * (score ** 2).sum(dim=1).mean() + div_score.mean() + + return loss + + def sliced_score_matching_loss(self, score_model, x, n_projections=10): + """切片分数匹配：通过随机投影降低计算复杂度""" + x.requires_grad_(True) + score = score_model(x) + + # 随机投影方向 + projections = torch.randn(n_projections, self.data_dim) + projections = projections / torch.norm(projections, dim=1, keepdim=True) + + loss = 0 + for v in projections: + # 投影分数 + score_v = (score * v).sum(dim=1) + + # 计算方向导数 + grad_v = torch.autograd.grad( + score_v.sum(), x, + create_graph=True, + retain_graph=True + )[0] + + # 方向导数的方向导数 + tr_hess_v = (grad_v * v).sum(dim=1) + + # 累加损失 + loss += 0.5 * score_v.pow(2).mean() + tr_hess_v.mean() + + return loss / n_projections + + def denoising_score_matching(self, score_model, x, noise_level=0.1): + """去噪分数匹配：通过噪声扰动学习分数""" + # 添加噪声 + noise = torch.randn_like(x) * noise_level + x_noisy = x + noise + + # 预测分数 + score_pred = score_model(x_noisy) + + # 真实分数（对于加性高斯噪声） + score_true = -noise / (noise_level ** 2) + + # MSE损失 + loss = ((score_pred - score_true) ** 2).sum(dim=1).mean() + + return loss + + def analyze_score_field_geometry(self, score_fn, x_range=(-3, 3), n_points=20): + """分析分数场的几何性质""" + # 创建网格 + x = torch.linspace(x_range[0], x_range[1], n_points) + y = torch.linspace(x_range[0], x_range[1], n_points) + X, Y = torch.meshgrid(x, y, indexing='xy') + points = torch.stack([X.flatten(), Y.flatten()], dim=1) + + # 计算分数 + scores = score_fn(points) + + # 计算几何量 + results = { + 'curvature': self._compute_curvature(score_fn, points), + 'geodesic_distance': self._compute_geodesic_distance(scores), + 'jacobian_eigenvalues': self._compute_jacobian_spectrum(score_fn, points) + } + + return results + + def _compute_curvature(self, score_fn, points, h=1e-3): + """计算分数场的曲率""" + curvatures = [] + + for point in points[:100]: # 限制计算量 + # 计算Hessian矩阵的近似 + hessian_trace = 0 + + for i in range(self.data_dim): + point_p = point.clone() + point_p[i] += h + score_p = score_fn(point_p.unsqueeze(0)).squeeze() + + point_m = point.clone() + point_m[i] -= h + score_m = score_fn(point_m.unsqueeze(0)).squeeze() + + # 二阶导数 + d2s_di2 = (score_p[i] - 2*score_fn(point.unsqueeze(0)).squeeze()[i] + score_m[i]) / (h**2) + hessian_trace += d2s_di2 + + curvatures.append(abs(hessian_trace.item())) + + return np.mean(curvatures) + + def _compute_geodesic_distance(self, score_field): + """计算分数场中的测地线距离""" + # 简化：使用分数范数的变化作为度量 + score_norms = torch.norm(score_field, dim=1) + variation = torch.std(score_norms) + return variation.item() + + def _compute_jacobian_spectrum(self, score_fn, points, n_samples=50): + """计算分数函数Jacobian的谱""" + eigenvalues = [] + + for i in range(min(n_samples, len(points))): + point = points[i].requires_grad_(True) + score = score_fn(point.unsqueeze(0)).squeeze() + + # 计算Jacobian + jacobian = [] + for j in range(self.data_dim): + grad_j = torch.autograd.grad( + score[j], point, + create_graph=True, + retain_graph=True + )[0] + jacobian.append(grad_j) + + jacobian = torch.stack(jacobian) + + # 计算特征值 + eigvals = torch.linalg.eigvals(jacobian).real + eigenvalues.append(eigvals) + + eigenvalues = torch.stack(eigenvalues) + + return { + 'mean_eigenvalue': eigenvalues.mean().item(), + 'max_eigenvalue': eigenvalues.max().item(), + 'min_eigenvalue': eigenvalues.min().item() + } + +# 演示分数匹配的几何性质 +def demonstrate_geometric_score_matching(): + print("分数匹配的几何分析") + print("="*60) + + gsm = GeometricScoreMatching() + + # 1. 比较不同的分数匹配方法 + print("\n1. 不同分数匹配方法的比较") + print("-"*40) + + # 简单的分数模型 + class SimpleScoreModel(torch.nn.Module): + def __init__(self): + super().__init__() + self.net = torch.nn.Sequential( + torch.nn.Linear(2, 64), + torch.nn.ReLU(), + torch.nn.Linear(64, 64), + torch.nn.ReLU(), + torch.nn.Linear(64, 2) + ) + + def forward(self, x): + return self.net(x) + + model = SimpleScoreModel() + x_data = torch.randn(100, 2) + + # 计算不同损失 + loss_implicit = gsm.implicit_score_matching_loss(model, x_data) + loss_sliced = gsm.sliced_score_matching_loss(model, x_data) + loss_denoising = gsm.denoising_score_matching(model, x_data) + + print(f"隐式分数匹配损失: {loss_implicit.item():.4f}") + print(f"切片分数匹配损失: {loss_sliced.item():.4f}") + print(f"去噪分数匹配损失: {loss_denoising.item():.4f}") + + # 2. 分析分数场的几何性质 + print("\n\n2. 分数场的几何性质") + print("-"*40) + + # 使用一个已知的分数函数（高斯混合） + def gmm_score(x): + if x.dim() == 1: + x = x.unsqueeze(0) + + mu1 = torch.tensor([-1.0, 0.0]) + mu2 = torch.tensor([1.0, 0.0]) + + # 两个高斯分量 + p1 = torch.exp(-0.5 * torch.sum((x - mu1)**2, dim=1)) + p2 = torch.exp(-0.5 * torch.sum((x - mu2)**2, dim=1)) + + # 分数 + s1 = -(x - mu1) + s2 = -(x - mu2) + + # 加权平均 + w1 = p1 / (p1 + p2 + 1e-8) + w2 = p2 / (p1 + p2 + 1e-8) + + score = w1.unsqueeze(1) * s1 + w2.unsqueeze(1) * s2 + return score.squeeze(0) if score.shape[0] == 1 else score + + geometry = gsm.analyze_score_field_geometry(gmm_score, x_range=(-3, 3), n_points=15) + + print(f"平均曲率: {geometry['curvature']:.4f}") + print(f"测地线距离变化: {geometry['geodesic_distance']:.4f}") + print(f"\nJacobian谱分析:") + print(f" 平均特征值: {geometry['jacobian_eigenvalues']['mean_eigenvalue']:.4f}") + print(f" 最大特征值: {geometry['jacobian_eigenvalues']['max_eigenvalue']:.4f}") + print(f" 最小特征值: {geometry['jacobian_eigenvalues']['min_eigenvalue']:.4f}") + + # 3. 几何视角的意义 + print("\n\n3. 几何解释的意义") + print("-"*40) + print("• 曲率高的区域表示分布变化剧烈（如模式之间）") + print("• 负特征值表示收缩方向（向模式聚集）") + print("• 正特征值表示扩张方向（远离低概率区域）") + print("• 切片分数匹配通过随机投影近似高维几何") + +demonstrate_geometric_score_matching() + + + +#### 信息几何优化 + + + + +#### 利用几何结构改进分数匹配 + + + + - **自适应度量**：使用局部Fisher信息作为度量，在不同区域使用不同权重 + + - **流形正则化**：添加几何约束，使学习到的分数场更光滑： + + $$\mathcal{L}_{reg} = \lambda \mathbb{E}[||\nabla_x s_\theta(x)||_F^2]$$ + + + + - **曲率感知采样**：在高曲率区域（如模式边界）增加采样密度 + + - **测地线损失**：使用Wasserstein距离或其他几何距离作为损失函数 + + + + + +## C.3 分数函数的力学解释 + + + +### C.3.1 从梯度流到力场 + + + 分数函数不仅是数学上的梯度，更可以理解为物理上的"力"。这种力学类比为扩散模型提供了深刻的物理直觉，并建立了与能量优化的自然联系。 + + + +#### 分数作为保守力场 + + + + 力场的定义 + +对于概率密度 $p(x)$，定义能量函数： + + + $$E(x) = -\log p(x)$$ + + + +则分数函数定义了一个力场： + + + $$F(x) = -\nabla E(x) = \nabla \log p(x)$$ + + + +这是一个保守力场，因为它可以表示为势能的负梯度。 + + + + +#### 动力学系统的视角 + + + + +#### 三种相关的动力学 + + + + - **梯度流**（过阻尼动力学）： + + $$\frac{dx}{dt} = -\nabla E(x) = \nabla \log p(x)$$ + + + + - **Langevin动力学**（有噪声的梯度流）： + + $$dx = \nabla \log p(x) dt + \sqrt{2} dW_t$$ + + + + - **哈密顿动力学**（保守系统）： + + $$\frac{dx}{dt} = v, \quad \frac{dv}{dt} = -\nabla E(x)$$ + + + + + + + +#### 力的物理解释 + + + + 直观理解 + + + - **高概率区域**：能量低，粒子被"吸引" + - **低概率区域**：能量高，粒子被"排斥" + - **力的方向**：总是指向概率增加最快的方向 + - **平衡点**：概率分布的模式（局部最大值） + + + + +这种力学图像解释了为什么扩散模型能够生成高质量样本：粒子在力场的引导下自然地移向高概率区域。 + + + + +### C.3.2 能量景观与势函数 + + + +能量景观提供了理解扩散模型的另一个强大视角。通过将概率分布转化为能量景观，我们可以直观地理解生成过程的动力学。 + + + +#### 能量景观的构造 + + + + 从概率到能量 + +给定概率分布 $p(x)$，能量景观定义为： + + + $$E(x) = -\log p(x) + \text{const}$$ + + + +这个关系来自于Boltzmann分布： + + + $$p(x) \propto \exp(-E(x)/T)$$ + + + +其中 $T$ 是"温度"参数（在扩散模型中通常设为1）。 + + + + +#### 能量景观的特征 + + + + +#### 关键特性 + + + + - **局部最小值**：对应于概率分布的模式（高概率区域） + - **局部最大值**：对应于低概率区域 + - **點点**：连接不同模式的过渡区域 + - **能量屏障**：决定了模式间转换的难度 + + + + + +#### 扩散过程的能量视角 + + + + 动态能量景观 + +在扩散模型中，能量景观随时间变化： + + + + - **初始状态**：$E_0(x) = -\log p_{data}(x)$，复杂的多峰景观 + - **扩散过程**：能量景观逐渐平滑化 + - **终止状态**：$E_T(x) \approx \frac{||x||^2}{2}$，简单的二次势井 + + + + +反向过程则是在时变能量景观中的"下坡"运动。 + + + + +#### 势函数与分数的关系 + + + + 势能-分数对应 + +分数函数是势能的负梯度： + + + $$s(x,t) = \nabla_x \log p_t(x) = -\nabla_x E_t(x)$$ + + + +这意味着： + + + + - 分数指向能量下降最快的方向 + - 在能量最小值处，分数为零 + - 分数的模长反映了能量景观的陡峭程度 + + + + + +### C.3.3 Langevin动力学的物理图像 + + + +Langevin动力学最初用于描述布朗运动，现在成为扩散模型中的核心采样方法。从物理角度理解这个过程，可以揭示噪声与分数之间的微妙平衡。 + + + +#### 物理模型 + + + + Langevin方程 + +考虑一个在势场 $E(x)$ 中运动的粒子，受到两种力： + + + + - 确定性力：$F = -\nabla E(x)$ + - 随机力：来自环境的热扰动 + + + + +Langevin方程描述了这个系统： + + + $$m\ddot{x} = -\gamma \dot{x} - \nabla E(x) + \sqrt{2\gamma k_B T} \xi(t)$$ + + + +其中：$m$ 是质量，$\gamma$ 是摩擦系数，$k_B T$ 是热能，$\xi(t)$ 是白噪声。 + + + + +#### 过阻尼极限 + + + + 从物理到数学 + +在过阻尼极限（$m \to 0$ 或 $\gamma$ 很大），惯性项可以忽略： + + + $$\gamma \dot{x} = -\nabla E(x) + \sqrt{2\gamma k_B T} \xi(t)$$ + + + +整理得到： + + + $$dx = -\frac{1}{\gamma}\nabla E(x) dt + \sqrt{\frac{2k_B T}{\gamma}} dW_t$$ + + + +设置 $\gamma = 1$，$k_B T = 1$，并使用 $E(x) = -\log p(x)$： + + + $$dx = \nabla \log p(x) dt + \sqrt{2} dW_t$$ + + + + +#### 涛落定理与平衡分布 + + + + 物理直觉 + +**涛落定理**：阻尼力和随机力之间存在精确的平衡关系。 + + + +这个平衡保证了： + + + + - 系统最终达到热平衡（Boltzmann分布） + - 平衡分布正是 $p(x) \propto \exp(-E(x))$ + - 噪声强度和温度成正比 + + + + +在扩散模型中，这解释了为什么Langevin动力学能从目标分布采样。 + + + + +#### 退火动力学 + + + + 模拟退火 + +在实际应用中，常使用变温度的Langevin动力学： + + + $$dx = \nabla \log p(x) dt + \sqrt{2\beta(t)^{-1}} dW_t$$ + + + +其中 $\beta(t)$ 是逆温度，随时间增加（温度下降）。 + + + +物理意义： + + + + - **高温阶段**：大噪声帮助探索全局 + - **降温过程**：逐渐收敛到局部最优 + - **低温阶段**：精细调整，找到模式 + + + + + +## C.4 能量模型与扩散模型的统一 + + + +### C.4.1 能量函数与概率密度 + + + +能量基模型（EBM）和扩散模型看似不同，但实际上它们通过能量函数这一概念紧密相连。理解这种联系有助于我们从更广阔的视角看待生成模型。 + + + +#### Boltzmann分布 + + + + 基本关系 + +给定能量函数 $E_\theta(x)$，对应的概率分布为： + + + $$p_\theta(x) = \frac{1}{Z(\theta)} \exp(-E_\theta(x))$$ + + + +其中归一化常数（配分函数）为： + + + $$Z(\theta) = \int \exp(-E_\theta(x)) dx$$ + + + +这个积分通常难以计算，这是EBM的主要挑战。 + + + + +#### 能量模型的学习 + + + + +#### 两种视角 + + + + - **显式能量学习**： + + + 直接参数化 $E_\theta(x)$ + - 通过对比散度等方法学习 + - 需要MCMC采样 + + + + + - **隐式能量学习**： + + + 学习分数 $s_\theta(x) = -\nabla_x E_\theta(x)$ + - 无需归一化常数 + - 这正是扩散模型的方法！ + + + + + + + + +#### 从分数到能量 + + + + 重建能量函数 + +给定分数函数 $s(x)$，可以通过积分重建能量： + + + $$E(x) - E(x_0) = -\int_{x_0}^x s(\xi) \cdot d\xi$$ + + + +但这需要： + + + + - 分数场是保守的（旋度为零） + - 积分路径无关 + - 在实践中可能存在数值误差 + + + + + +### C.4.2 对比散度与分数匹配 + + + +对比散度（Contrastive Divergence）和分数匹配代表了两种不同的学习能量模型的方法。理解它们的联系和差异有助于我们更深入地理解扩散模型的优势。 + + + +#### 对比散度的原理 + + + + 对比散度算法 + +对于能量模型 $E_\theta(x)$，最大似然梯度为： + + + $$\nabla_\theta \log p_\theta(x) = -\nabla_\theta E_\theta(x) + \mathbb{E}_{p_\theta}[\nabla_\theta E_\theta(x')]$$ + + + +CD-k算法通过k步MCMC近似第二项： + + + + - 从数据 $x_0 \sim p_{data}$ 开始 + - 运行k步MCMC得到 $x_k \sim p_\theta$ + - 近似梯度：$\nabla_\theta E_\theta(x_k) - \nabla_\theta E_\theta(x_0)$ + + + + + +#### 分数匹配的优势 + + + + +#### 对比两种方法 + + + + 方面 + 对比散度 + 分数匹配 + + + 学习目标 + 能量函数 $E_\theta(x)$ + 分数函数 $s_\theta(x)$ + + + 采样需求 + 需要MCMC + 不需要（去噪版本） + + + 混合速度 + 受MCMC混合速度限制 + 不受影响 + + + 稳定性 + 可能不稳定 + 更稳定 + + + + + +#### 统一视角 + + + + 从变分推断的角度 + +两种方法都可以看作最小化某种散度： + + + + + - **对比散度**：最小化KL散度 + + $$KL(p_{data} || p_\theta) = \mathbb{E}_{p_{data}}[E_\theta(x)] + \log Z(\theta)$$ + + + + - **分数匹配**：最小化Fisher散度 + + $$\mathcal{J}(\theta) = \frac{1}{2}\mathbb{E}_{p_{data}}[||s_\theta(x) - \nabla \log p_{data}(x)||^2]$$ + + + + + + +Fisher散度可以看作是KL散度的二阶近似！ + + + + +#### 联系与转换 + + + + 关键联系 + +如果我们有一个完美的分数模型 $s_\theta(x) = \nabla \log p_\theta(x)$，那么： + + + + + - 可以通过Langevin动力学从 $p_\theta$ 采样 + - 可以通过积分重建能量函数（至少是差异） + - 可以计算任意两点间的能量差 + + + + +这表明分数模型实际上隐式地学习了能量模型！ + + + + +### C.4.3 从EBM到扩散模型的桥梁 + + + +扩散模型可以看作是能量基模型的一种特殊形式，其中能量函数随时间变化。这种联系为我们理解和改进两类模型提供了统一的框架。 + + + +#### 时变能量模型 + + + + 扩散模型作为动态EBM + +扩散模型定义了一系列时变的能量函数： + + + $$E_t(x) = -\log p_t(x)$$ + + + +其中： + + + + - $t = 0$: $E_0(x) = -\log p_{data}(x)$ （复杂的数据能量） + - $t = T$: $E_T(x) \approx \frac{||x||^2}{2}$ （简单的高斯能量） + - 中间时刻：平滑过渡 + + + + + +#### 桥梁机制 + + + + +#### 关键创新 + + +扩散模型通过以下机制解决了EBM的难题： + + + + + - **渐进式平滑**： + + + EBM直接学习复杂的数据分布 + - 扩散模型通过噪声注入逐渐平滑化 + - 在每个噪声级别学习更简单 + + + + + - **分数参数化**： + + + EBM参数化能量 $E_\theta(x)$ + - 扩散模型参数化分数 $s_\theta(x,t)$ + - 避免了归一化常数问题 + + + + + - **变分目标**： + + + EBM最大化似然 + - 扩散模型最小化加权去噪误差 + - 后者更稳定、更易优化 + + + + + + + + +#### 统一框架 + + + + 两类模型的统一 + +我们可以将两类模型统一在以下框架中： + + + + $$\min_\theta \int_0^T \lambda(t) \mathbb{E}_{p_t(x)}\left[\left\|s_\theta(x,t) - \nabla_x \log p_t(x)\right\|^2\right] dt$$ + + + +其中： + + + + - $\lambda(t)$ 是时间权重函数 + - $p_t(x)$ 是扩散过程在时刻 $t$ 的分布 + - $s_\theta(x,t)$ 是参数化的分数模型 + + + + +特殊情况： + + + + - $T = 0$: 退化为普通的分数匹配 + - $T > 0$: 完整的扩散模型 + + + + + +#### 实践意义 + + + + 相互借鉴 + +两类模型可以相互借鉴技术： + + + + + - **EBM → 扩散模型**： + + + 使用能量函数的架构设计 + - 借鉴采样技巧（如HMC） + - 应用能量正则化方法 + + + + + - **扩散模型 → EBM**： + + + 使用去噪训练策略 + - 应用多尺度思想 + - 利用连续时间框架 + + + + + + + + +## C.5 信息几何在扩散模型中的应用 + + + +### C.5.1 最优传输视角 + + + +最优传输理论为扩散模型提供了另一个强大的理论框架。从这个视角看，扩散过程可以理解为在概率分布空间中的最优传输路径。 + + + +#### Wasserstein距离与最优传输 + + + + 最优传输问题 + +给定两个概率分布 $\mu$ 和 $\nu$，最优传输问题寻找最小成本的传输方案： + + + $$W_2^2(\mu, \nu) = \inf_{\pi \in \Pi(\mu, \nu)} \int ||x - y||^2 d\pi(x,y)$$ + + + +其中 $\Pi(\mu, \nu)$ 是所有边缘分布为 $\mu$ 和 $\nu$ 的联合分布。 + + + +在动态版本中，我们寻找连接 $\mu$ 到 $\nu$ 的最短路径。 + + + + +#### 扩散模型与最优传输 + + + + +#### 关键联系 + + + + - **路径选择**： + + + 扩散模型定义了从 $p_{data}$ 到 $\mathcal{N}(0,I)$ 的路径 + - 这条路径不一定是最优传输路径 + - 但它有其他优点（如易于学习、稳定性好） + + + + + - **Schrödinger Bridge**： + + + 在给定边缘分布的情况下，找到最接近先验过程的路径 + - 可以看作带正则化的最优传输 + - 与扩散模型有深刻联系 + + + + + + + + +#### 速度场与传输映射 + + + + 两种描述 + +最优传输可以通过两种方式描述： + + + + + - **静态映射**：Monge映射 $T: \mathbb{R}^d \to \mathbb{R}^d$ + + $$T_\# \mu = \nu, \quad T = \nabla \phi$$ + + 其中 $\phi$ 是Kantorovich势函数。 + + + - **动态速度场**：Benamou-Brenier公式 + + $$\frac{\partial \rho_t}{\partial t} + \nabla \cdot (\rho_t v_t) = 0$$ + + 最小化动能：$\int_0^1 \int \frac{1}{2}\rho_t(x) ||v_t(x)||^2 dx dt$ + + + + + +分数函数在某些情况下与最优速度场相关！ + + + + +### C.5.2 Wasserstein梯度流 + + + +Wasserstein梯度流提供了一种在概率分布空间中进行梯度下降的自然方法。这种方法考虑了分布空间的几何结构，为理解和设计扩散模型提供了新的思路。 + + + +#### Wasserstein空间中的梯度流 + + + + Otto计算 + +在Wasserstein空间 $(\mathcal{P}_2(\mathbb{R}^d), W_2)$ 中，泛函 $\mathcal{F}[\rho]$ 的梯度流为： + + + $$\frac{\partial \rho}{\partial t} = \nabla \cdot \left(\rho \nabla \frac{\delta \mathcal{F}}{\delta \rho}\right)$$ + + + +其中 $\frac{\delta \mathcal{F}}{\delta \rho}$ 是泛函导数。这个方程描述了在Wasserstein度量下的最陡下降。 + + + + +#### 特殊情况：Fokker-Planck方程 + + + + +#### 重要例子 + + +对于熵泛函 $\mathcal{F}[\rho] = \int \rho \log \rho dx$： + + + $$\frac{\delta \mathcal{F}}{\delta \rho} = \log \rho + 1$$ + + + +Wasserstein梯度流变为： + + + $$\frac{\partial \rho}{\partial t} = \nabla \cdot (\rho \nabla \log \rho) = \Delta \rho$$ + + + +这正是热方程！说明热扩散是熵的Wasserstein梯度流。 + + + + +#### 与扩散模型的联系 + + + + 扩散作为梯度流 + +前向扩散过程可以理解为某种能量泛函的Wasserstein梯度流： + + + + + - **能量泛函**： + + $$\mathcal{E}[\rho] = \int \rho \log \rho dx + \int V(x) \rho(x) dx$$ + + 其中 $V(x) = \frac{||x||^2}{2}$ 是二次势。 + + + - **对应的梯度流**： + + $$\frac{\partial \rho}{\partial t} = \Delta \rho + \nabla \cdot (\rho \nabla V)$$ + + 这与VP-SDE的Fokker-Planck方程一致！ + + + + + + +#### JKO迭代格式 + + + + Jordan-Kinderlehrer-Otto格式 + +Wasserstein梯度流可以通过迭代最小化问题离散化： + + + $$\rho^{k+1} = \arg\min_{\rho} \left\{\frac{W_2^2(\rho, \rho^k)}{2\tau} + \mathcal{F}[\rho]\right\}$$ + + + +这提供了： + + + + - 数值计算方法 + - 变分解释 + - 与近端梯度方法的联系 + + + + + +### C.5.3 扩散过程的测地线 + + + +从信息几何的角度看，扩散过程定义了在概率分布流形上的一条路径。这条路径的几何性质决定了模型的性能和效率。 + + + +#### 测地线的定义 + + + + 不同度量下的测地线 + +在不同的度量下，连接两个分布的测地线不同： + + + + + - **Fisher-Rao测地线**： + + $$\gamma_{FR}(t) = \frac{\sin((1-t)\theta)}{\sin \theta}\sqrt{p_0} + \frac{\sin(t\theta)}{\sin \theta}\sqrt{p_1}$$ + + 其中 $\cos \theta = \int \sqrt{p_0 p_1} dx$。 + + + - **Wasserstein测地线**： + 通过最优传输映射 $T$ 定义： + + $$\gamma_W(t) = ((1-t)Id + tT)_\# p_0$$ + + + + + + + +#### 扩散路径的几何性质 + + + + +#### 路径选择的权衡 + + +扩散模型选择的路径通常不是测地线，而是平衡以下因素： + + + + + - **学习难度**：路径上每一点的分数函数应该容易学习 + - **采样效率**：反向过程应该快速收敛 + - **数值稳定性**：避免数值问题 + - **理论保证**：确保收敛到正确分布 + + + + + +#### 最优路径的探索 + + + + 新的研究方向 + +最近的研究探索了更优的扩散路径： + + + + + - **流匹配（Flow Matching）**： + + + 直接学习最优传输的速度场 + - 路径更直、更短 + - 采样效率更高 + + + + + - **变分扩散模型**： + + + 学习最优的噪声调度 + - 适应不同的数据分布 + - 最小化某种损失泛函 + + + + + - **Schrödinger Bridge**： + + + 在给定边界条件下的最优路径 + - 结合了最优传输和扩散的优点 + - 提供更灵活的框架 + + + + + + + + +#### 几何视角的启示 + + + + 设计原则 + +信息几何为设计更好的扩散模型提供了以下原则： + + + + + - **局部平坦性**：路径应该在每个时刻保持局部平坦 + - **曲率最小化**：减少不必要的弯曲 + - **信息保持**：在扩散过程中保持尽可能多的信息 + - **可逆性**：确保反向过程的数值稳定性 + + + + + +## C.6 计算考虑与实践意义 + + + +### C.6.1 自然参数化的优势 + + + +自然参数化在信息几何中占据特殊地位，因为它使得许多计算变得简单且高效。在扩散模型中利用这一点可以显著改善模型的性能。 + + + +#### 什么是自然参数 + + + + 自然参数的定义 + +对于指数族分布： + + + $$p(x|\theta) = h(x) \exp(\theta^T T(x) - A(\theta))$$ + + + +$\theta$ 是自然参数，它具有以下优美性质： + + + + - Fisher信息矩阵 = $\nabla^2 A(\theta)$ （对数配分函数的Hessian） + - 期望参数 $\eta = \mathbb{E}[T(x)] = \nabla A(\theta)$ + - 参数空间是凸的 + + + + + +#### 计算优势 + + + + +#### 为什么自然参数化重要 + + + + - **梯度计算简单**： + + + 对数似然的梯度 = $T(x) - \nabla A(\theta)$ + - 无需复杂的链式法则 + - 数值稳定 + + + + + - **凸优化**： + + + 负对数似然在自然参数下是凸的 + - 保证全局最优 + - 收敛速度快 + + + + + - **KL散度的简单形式**： + + $$KL(p||q) = A(\theta_q) - A(\theta_p) - (\theta_q - \theta_p)^T \nabla A(\theta_p)$$ + + 这是Bregman散度的形式！ + + + + + + +#### 在扩散模型中的应用 + + + + 利用自然参数化 + +虽然扩散模型中的分布通常不是指数族，但我们可以： + + + + + - **局部近似**： + + + 在小噪声极限下，分布接近高斯 + - 可以使用高斯的自然参数化 + - 简化计算和分析 + + + + + - **变分推断**： + + + 使用指数族作为变分家族 + - 利用自然参数化的优势 + - 获得更紧的下界 + + + + + - **分数函数参数化**： + + + 设计网络输出自然参数梯度 + - 通过变换得到分数 + - 改善数值稳定性 + + + + + + + + +### C.6.2 曲率与训练动力学 + + + +参数空间的曲率直接影响优化的难度和速度。理解和利用这种曲率信息可以显著改善扩散模型的训练效率。 + + + +#### 曲率的来源 + + + + 曲率与条件数 + +Fisher信息矩阵的条件数反映了参数空间的曲率： + + + $$\kappa(I) = \frac{\lambda_{\max}(I)}{\lambda_{\min}(I)}$$ + + + +高条件数意味着： + + + + - 不同方向的学习速度差异很大 + - 梯度下降可能震荡 + - 需要小学习率以保证稳定性 + + + + + +#### 扩散模型中的曲率问题 + + + + +#### 特有的挑战 + + + + - **时变曲率**： + + + 不同时刻 $t$ 的分布不同 + - 曲率随时间变化 + - 早期（高SNR）和晚期（低SNR）差异很大 + + + + + - **空间不均匀性**： + + + 数据流形附近曲率大 + - 远离数据的区域曲率小 + - 模式之间的过渡区曲率极大 + + + + + + + + +#### 利用曲率信息改善训练 + + + + 实用技术 + + + - **自适应学习率**： + + + 根据时刻 $t$ 调整学习率 + - 高曲率区域使用小学习率 + - 低曲率区域可以加速 + + + + + - **预条件化**： + + + 使用近似的Fisher信息 + - 自然梯度方法 + - Adam等二阶方法 + + + + + - **重要性采样**： + + + 在高曲率时刻增加采样 + - 平衡各时刻的学习 + - 减少方差 + + + + + + + + +#### 理论分析 + + + + 收敛速度与曲率 + +对于梯度下降，收敛速度受曲率影响： + + + $$||\theta_t - \theta^*|| \leq \left(1 - \frac{2\alpha}{\kappa + 1}\right)^t ||\theta_0 - \theta^*||$$ + + + +其中 $\alpha$ 是学习率，$\kappa$ 是条件数。这表明： + + + + - 条件数越大，收敛越慢 + - 最优学习率 $\propto 1/\kappa$ + - 预条件化可以改善 $\kappa$ + + + + + +### C.6.3 几何启发的算法设计 + + + +信息几何的洞察不仅加深了我们对扩散模型的理解，还启发了新的算法设计。这些几何启发的方法往往能带来显著的性能提升。 + + + +#### 几何感知的采样算法 + + + + 利用局部几何 + +基于分数函数的局部几何信息，可以设计更高效的采样算法： + + + + + - **自适应步长**： + + $$h(x,t) = \frac{c}{||\nabla s(x,t)||_F + \epsilon}$$ + + 在分数变化剧烈的区域使用小步长。 + + + - **曲率校正**： + + $$x_{t+1} = x_t + h \cdot (I + \lambda H)^{-1} s(x_t, t)$$ + + 其中 $H$ 是分数的Hessian矩阵。 + + + + + + +#### 流形感知的网络设计 + + + + +#### 架构创新 + + + + - **等变网络**： + + + 保持几何变换的等变性 + - 减少参数量 + - 提高泛化能力 + + + + + - **流形注意力**： + + + 在流形上计算注意力 + - 考虑局部度量 + - 更好地捕捉数据结构 + + + + + - **几何正则化**： + + + 惩罚过大的曲率 + - 鼓励平滑的分数场 + - 提高数值稳定性 + + + + + + + + +#### 最优传输启发的方法 + + + + 新一代算法 + + + - **流匹配（Flow Matching）**： + + + 直接学习最优传输映射 + - 更直的路径 + - 更快的采样 + + + + + - **整流模型（Rectified Flow）**： + + + 学习直线路径 + - 最小化路径曲率 + - 允许一步采样 + + + + + - **动态最优传输**： + + + 在训练过程中调整路径 + - 适应数据分布 + - 最小化总传输成本 + + + + + + + + +#### 未来方向 + + + + 几何方法的前景 + +信息几何为扩散模型的发展指明了几个重要方向： + + + + + - **非欧几何**： + + + 在更一般的流形上定义扩散 + - 处理结构化数据 + - 图、分子等非欧数据 + + + + + - **多尺度几何**： + + + 不同尺度的几何结构 + - 分层次的学习和采样 + - 提高效率 + + + + + - **动态几何**： + + + 学习和适应数据流形 + - 在线更新几何结构 + - 处理分布漂移 + + + + + + + + + +## 本章小结 + + +本附录从信息几何的角度深入探讨了扩散模型的数学基础，揭示了分数函数的多重意义——它既是流形上的切向量，也是物理上的力场，更是连接能量优化与概率建模的桥梁。 + + + +### 核心要点 + + + + - **信息几何基础**： + + + 概率分布空间是一个弯曲的流形 + - Fisher信息度量提供了自然的黎曼结构 + - 自然梯度考虑了流形的曲率 + + + + + - **分数函数的几何意义**： + + + 分数是概率流形上的切向量场 + - Stein恒等式提供了分数的刻画 + - 分数匹配是几何投影问题 + + + + + - **力学解释**： + + + 分数函数定义了一个保守力场 + - 能量景观随时间演化 + - Langevin动力学平衡噪声与漂移 + + + + + - **与能量模型的统一**： + + + 扩散模型是时变的能量模型 + - 分数匹配避免了归一化难题 + - 两类方法可以相互借鉴 + + + + + - **最优传输视角**： + + + 扩散定义了分布空间中的路径 + - Wasserstein梯度流提供了新视角 + - 启发了流匹配等新方法 + + + + + - **实践意义**： + + + 自然参数化简化计算 + - 曲率信息指导优化 + - 几何启发的算法设计 + + + + + + + +### 展望 + + +信息几何为理解和改进扩散模型提供了丰富的理论工具。未来的研究方向包括： + + + + - 在非欧流形上定义扩散过程 + - 利用曲率信息设计更高效的采样算法 + - 探索最优传输与扩散的更深联系 + - 开发几何感知的神经网络架构 + + + + +这些理论洞察不仅加深了我们对扩散模型的理解，也为设计下一代生成模型指明了方向。通过融合信息几何、物理直觉和机器学习技术，我们有望开发出更加强大和高效的生成模型。 \ No newline at end of file diff --git a/chapter1.html b/chapter1.html deleted file mode 100644 index 72e5e9b..0000000 --- a/chapter1.html +++ /dev/null @@ -1,430 +0,0 @@ - - - - - - 第1章：扩散模型导论 - Diffusion Models Tutorial - - - - - - -
-
- ← 返回目录 - 第1章 / 共14章 - 下一章 → -
- -

第1章：扩散模型导论

- -

1.1 什么是扩散模型？

- -

扩散模型（Diffusion Models）是一类强大的生成模型，它通过学习数据的逐步去噪过程来生成高质量的样本。这个过程可以类比为物理学中的扩散现象：就像墨水在水中逐渐扩散直至均匀分布，扩散模型将数据逐步添加噪声直至变成纯噪声，然后学习如何反转这个过程。

- -
-
定义 1.1（扩散模型）
- 扩散模型是一类概率生成模型，它定义了两个过程： -
    -
  • 前向过程（Forward Process）：将数据逐步添加噪声，最终变成纯高斯噪声
    • -
  • 反向过程（Reverse Process）：从纯噪声开始，逐步去噪恢复出数据
    • -
-
- -

1.2 扩散模型的数学基础

- -

1.2.1 前向扩散过程

- -

给定数据点 \(\mathbf{x}_0 \sim q(\mathbf{x}_0)\)，前向过程通过 \(T\) 步逐渐添加高斯噪声：

- -
- $$q(\mathbf{x}_t | \mathbf{x}_{t-1}) = \mathcal{N}(\mathbf{x}_t; \sqrt{1-\beta_t}\mathbf{x}_{t-1}, \beta_t\mathbf{I})$$ -
- -

其中 \(\beta_t\) 是第 \(t\) 步的噪声调度（noise schedule），控制每一步添加噪声的量。通过重参数化技巧，我们可以直接从 \(\mathbf{x}_0\) 采样任意时刻 \(t\) 的 \(\mathbf{x}_t\)：

- -
- $$q(\mathbf{x}_t | \mathbf{x}_0) = \mathcal{N}(\mathbf{x}_t; \sqrt{\bar{\alpha}_t}\mathbf{x}_0, (1-\bar{\alpha}_t)\mathbf{I})$$ -
- -

其中 \(\alpha_t = 1 - \beta_t\)，\(\bar{\alpha}_t = \prod_{s=1}^{t}\alpha_s\)。

- -
-
练习 1.1：理解噪声调度
-

假设我们有一个线性噪声调度：\(\beta_t = \frac{t}{T} \cdot 0.02\)，其中 \(T=1000\)。

-
    -
  1. 计算 \(t=100\) 时的 \(\bar{\alpha}_{100}\)
    2. -
  2. 当 \(t \to T\) 时，\(\mathbf{x}_t\) 的分布趋向于什么？
    3. -
- -
-

解答：

-
    -
  1. 首先计算 \(\beta_{100} = \frac{100}{1000} \times 0.02 = 0.002\)
    2. -
  2. 因此 \(\alpha_{100} = 1 - 0.002 = 0.998\)
    3. -
  3. \(\bar{\alpha}_{100} = \prod_{s=1}^{100}\alpha_s \approx 0.998^{100} \approx 0.819\)
    4. -
  4. 当 \(t \to T\) 时，\(\bar{\alpha}_t \to 0\)，所以 \(q(\mathbf{x}_t | \mathbf{x}_0) \to \mathcal{N}(0, \mathbf{I})\)
    5. -
-
-
- -

1.2.2 反向去噪过程

- -

反向过程的目标是学习条件分布 \(p_\theta(\mathbf{x}_{t-1} | \mathbf{x}_t)\)，使其能够逐步去除噪声。我们通常将其参数化为：

- -
- $$p_\theta(\mathbf{x}_{t-1} | \mathbf{x}_t) = \mathcal{N}(\mathbf{x}_{t-1}; \boldsymbol{\mu}_\theta(\mathbf{x}_t, t), \sigma_t^2\mathbf{I})$$ -
- -

1.3 扩散模型的优势

- - - -

1.4 实践：可视化扩散过程

- -

让我们通过一个简单的例子来直观理解扩散过程。下面的代码展示了如何对一个2D高斯分布进行前向扩散：

- -
-
import numpy as np
-import matplotlib.pyplot as plt
-
-# 生成初始数据：2D高斯分布
-np.random.seed(42)
-x0 = np.random.randn(1000, 2) * 0.5 + np.array([2, 2])
-
-# 定义噪声调度
-T = 100
-betas = np.linspace(0.001, 0.02, T)
-alphas = 1 - betas
-alphas_bar = np.cumprod(alphas)
-
-# 可视化不同时间步的数据分布
-fig, axes = plt.subplots(1, 5, figsize=(15, 3))
-time_steps = [0, 25, 50, 75, 99]
-
-for i, t in enumerate(time_steps):
-    if t == 0:
-        xt = x0
-    else:
-        # 前向扩散：x_t = sqrt(alpha_bar_t) * x_0 + sqrt(1 - alpha_bar_t) * epsilon
-        epsilon = np.random.randn(*x0.shape)
-        xt = np.sqrt(alphas_bar[t-1]) * x0 + np.sqrt(1 - alphas_bar[t-1]) * epsilon
-    
-    axes[i].scatter(xt[:, 0], xt[:, 1], alpha=0.5, s=10)
-    axes[i].set_xlim(-4, 4)
-    axes[i].set_ylim(-4, 4)
-    axes[i].set_title(f't = {t}')
-    axes[i].grid(True, alpha=0.3)
-
-plt.tight_layout()
-plt.show()
-
- -
-
练习 1.2：实现简单的1D扩散
-

实现一个1D扩散过程的完整前向和反向过程。给定初始数据为单点 \(x_0 = 5\)：

-
    -
  1. 实现前向扩散过程，记录每一步的值
    2. -
  2. 假设你知道真实的反向过程，实现去噪过程
    3. -
  3. 绘制前向和反向过程的轨迹
    4. -
- -
-

参考代码：

- 
-import numpy as np
-import matplotlib.pyplot as plt
-
-# 初始化
-x0 = 5.0
-T = 50
-betas = np.linspace(0.01, 0.2, T)
-
-# 前向过程
-x_forward = [x0]
-for t in range(T):
-    noise = np.random.randn()
-    x_next = np.sqrt(1 - betas[t]) * x_forward[-1] + np.sqrt(betas[t]) * noise
-    x_forward.append(x_next)
-
-# 反向过程（假设知道真实的去噪方向）
-x_reverse = [x_forward[-1]]
-for t in range(T-1, -1, -1):
-    # 这里简化处理，实际需要学习
-    predicted_x0 = x0  # 假设知道目标
-    direction = (predicted_x0 - x_reverse[-1]) / (t + 1)
-    x_reverse.append(x_reverse[-1] + direction * 0.1 + np.random.randn() * 0.01)
-
-# 绘图
-plt.figure(figsize=(10, 5))
-plt.plot(x_forward, 'b-', label='Forward Process', alpha=0.7)
-plt.plot(x_reverse, 'r-', label='Reverse Process', alpha=0.7)
-plt.xlabel('Time Step')
-plt.ylabel('Value')
-plt.legend()
-plt.grid(True, alpha=0.3)
-plt.show()
-
-
-
- -

1.5 历史发展与里程碑

- -

扩散模型的发展经历了几个重要阶段：

- -
    -
  1. 2015年：Sohl-Dickstein等人提出了基于非平衡热力学的深度无监督学习方法
    2. -
  2. 2020年：Ho等人提出DDPM（Denoising Diffusion Probabilistic Models），简化了训练过程
    3. -
  3. 2021年：Song等人提出DDIM，大幅加速了采样过程
    4. -
  4. 2022年：Stable Diffusion的发布，使文本到图像生成达到了新高度
    5. -
- -

1.6 本章小结

- -

在本章中，我们学习了：

- - -

下一章我们将深入学习DDPM的具体实现细节，包括训练算法、损失函数推导和实际代码实现。

- -
-
综合练习：比较不同噪声调度
-

实现并比较三种不同的噪声调度策略：

-
    -
  1. 线性调度：\(\beta_t = \beta_{\text{start}} + \frac{t}{T}(\beta_{\text{end}} - \beta_{\text{start}})\)
    2. -
  2. 余弦调度：基于余弦函数的平滑调度
    3. -
  3. 二次调度：\(\beta_t = \beta_{\text{start}} + \left(\frac{t}{T}\right)^2(\beta_{\text{end}} - \beta_{\text{start}})\)
    4. -
-

绘制 \(\bar{\alpha}_t\) 随时间的变化曲线，并讨论它们的优缺点。

- -
-

提示：

-
    -
  • 线性调度简单直观，但可能在早期步骤添加噪声过快
    • -
  • 余弦调度在中间阶段更平滑，有助于保留更多信息
    • -
  • 二次调度在早期添加噪声较慢，后期加速
    • -
  • 选择哪种调度取决于具体任务和数据特性
    • -
-
-
-
- - - - \ No newline at end of file diff --git a/chapter1.md b/chapter1.md new file mode 100644 index 0000000..f71e5d8 --- /dev/null +++ b/chapter1.md @@ -0,0 +1,269 @@ +[← 返回目录](index.md) + 第1章 / 共14章 + [下一章 →](chapter2.md) + + + +# 第1章：扩散模型导论 + + + +## 1.1 什么是扩散模型？ + + + +扩散模型（Diffusion Models）是一类强大的生成模型，它通过学习数据的逐步去噪过程来生成高质量的样本。这个过程可以类比为物理学中的扩散现象：就像墨水在水中逐渐扩散直至均匀分布，扩散模型将数据逐步添加噪声直至变成纯噪声，然后学习如何反转这个过程。 + + + +> **定义** +> 定义 1.1（扩散模型） + + 扩散模型是一类概率生成模型，它定义了两个过程： + + + - **前向过程（Forward Process）**：将数据逐步添加噪声，最终变成纯高斯噪声 + - **反向过程（Reverse Process）**：从纯噪声开始，逐步去噪恢复出数据 + + + + + +## 1.2 扩散模型的数学基础 + + + +### 1.2.1 前向扩散过程 + + + +给定数据点 $\mathbf{x}_0 \sim q(\mathbf{x}_0)$，前向过程通过 $T$ 步逐渐添加高斯噪声： + + + + + $$q(\mathbf{x}_t | \mathbf{x}_{t-1}) = \mathcal{N}(\mathbf{x}_t; \sqrt{1-\beta_t}\mathbf{x}_{t-1}, \beta_t\mathbf{I})$$ + + + + +其中 $\beta_t$ 是第 $t$ 步的噪声调度（noise schedule），控制每一步添加噪声的量。通过重参数化技巧，我们可以直接从 $\mathbf{x}_0$ 采样任意时刻 $t$ 的 $\mathbf{x}_t$： + + + + + $$q(\mathbf{x}_t | \mathbf{x}_0) = \mathcal{N}(\mathbf{x}_t; \sqrt{\bar{\alpha}_t}\mathbf{x}_0, (1-\bar{\alpha}_t)\mathbf{I})$$ + + + + +其中 $\alpha_t = 1 - \beta_t$，$\bar{\alpha}_t = \prod_{s=1}^{t}\alpha_s$。 + + + + +练习 1.1：理解噪声调度 + +假设我们有一个线性噪声调度：$\beta_t = \frac{t}{T} \cdot 0.02$，其中 $T=1000$。 + + + + - 计算 $t=100$ 时的 $\bar{\alpha}_{100}$ + - 当 $t \to T$ 时，$\mathbf{x}_t$ 的分布趋向于什么？ + +**解答：** + + + + - 首先计算 $\beta_{100} = \frac{100}{1000} \times 0.02 = 0.002$ + - 因此 $\alpha_{100} = 1 - 0.002 = 0.998$ + - $\bar{\alpha}_{100} = \prod_{s=1}^{100}\alpha_s \approx 0.998^{100} \approx 0.819$ + - 当 $t \to T$ 时，$\bar{\alpha}_t \to 0$，所以 $q(\mathbf{x}_t | \mathbf{x}_0) \to \mathcal{N}(0, \mathbf{I})$ + + + + + +### 1.2.2 反向去噪过程 + + + +反向过程的目标是学习条件分布 $p_\theta(\mathbf{x}_{t-1} | \mathbf{x}_t)$，使其能够逐步去除噪声。我们通常将其参数化为： + + + + + $$p_\theta(\mathbf{x}_{t-1} | \mathbf{x}_t) = \mathcal{N}(\mathbf{x}_{t-1}; \boldsymbol{\mu}_\theta(\mathbf{x}_t, t), \sigma_t^2\mathbf{I})$$ + + + + +## 1.3 扩散模型的优势 + + + + + - **生成质量高**：能够生成极其逼真的图像，在许多指标上超越GAN + - **训练稳定**：不存在GAN的模式崩塌问题，训练过程稳定可靠 + - **理论基础扎实**：有严格的概率论基础，目标函数有明确的意义 + - **灵活性强**：易于扩展到条件生成、图像编辑等任务 + + + + +## 1.4 实践：可视化扩散过程 + + + +让我们通过一个简单的例子来直观理解扩散过程。下面的代码展示了如何对一个2D高斯分布进行前向扩散： + + + + +import numpy as np +import matplotlib.pyplot as plt + +# 生成初始数据：2D高斯分布 +np.random.seed(42) +x0 = np.random.randn(1000, 2) * 0.5 + np.array([2, 2]) + +# 定义噪声调度 +T = 100 +betas = np.linspace(0.001, 0.02, T) +alphas = 1 - betas +alphas_bar = np.cumprod(alphas) + +# 可视化不同时间步的数据分布 +fig, axes = plt.subplots(1, 5, figsize=(15, 3)) +time_steps = [0, 25, 50, 75, 99] + +for i, t in enumerate(time_steps): + if t == 0: + xt = x0 + else: + # 前向扩散：x_t = sqrt(alpha_bar_t) * x_0 + sqrt(1 - alpha_bar_t) * epsilon + epsilon = np.random.randn(*x0.shape) + xt = np.sqrt(alphas_bar[t-1]) * x0 + np.sqrt(1 - alphas_bar[t-1]) * epsilon + + axes[i].scatter(xt[:, 0], xt[:, 1], alpha=0.5, s=10) + axes[i].set_xlim(-4, 4) + axes[i].set_ylim(-4, 4) + axes[i].set_title(f't = {t}') + axes[i].grid(True, alpha=0.3) + +plt.tight_layout() +plt.show() + + + + +练习 1.2：实现简单的1D扩散 + 实现一个1D扩散过程的完整前向和反向过程。给定初始数据为单点 $x_0 = 5$： + + + + - 实现前向扩散过程，记录每一步的值 + - 假设你知道真实的反向过程，实现去噪过程 + - 绘制前向和反向过程的轨迹 + +**参考代码：** + + + +import numpy as np +import matplotlib.pyplot as plt + +# 初始化 +x0 = 5.0 +T = 50 +betas = np.linspace(0.01, 0.2, T) + +# 前向过程 +x_forward = [x0] +for t in range(T): + noise = np.random.randn() + x_next = np.sqrt(1 - betas[t]) * x_forward[-1] + np.sqrt(betas[t]) * noise + x_forward.append(x_next) + +# 反向过程（假设知道真实的去噪方向） +x_reverse = [x_forward[-1]] +for t in range(T-1, -1, -1): + # 这里简化处理，实际需要学习 + predicted_x0 = x0 # 假设知道目标 + direction = (predicted_x0 - x_reverse[-1]) / (t + 1) + x_reverse.append(x_reverse[-1] + direction * 0.1 + np.random.randn() * 0.01) + +# 绘图 +plt.figure(figsize=(10, 5)) +plt.plot(x_forward, 'b-', label='Forward Process', alpha=0.7) +plt.plot(x_reverse, 'r-', label='Reverse Process', alpha=0.7) +plt.xlabel('Time Step') +plt.ylabel('Value') +plt.legend() +plt.grid(True, alpha=0.3) +plt.show() + + + + + +## 1.5 历史发展与里程碑 + + + 扩散模型的发展经历了几个重要阶段： + + + + + - **2015年**：Sohl-Dickstein等人提出了基于非平衡热力学的深度无监督学习方法 + - **2020年**：Ho等人提出DDPM（Denoising Diffusion Probabilistic Models），简化了训练过程 + - **2021年**：Song等人提出DDIM，大幅加速了采样过程 + - **2022年**：Stable Diffusion的发布，使文本到图像生成达到了新高度 + + + + +## 1.6 本章小结 + + + +在本章中，我们学习了： + + + + - 扩散模型的基本概念和直观理解 + - 前向扩散过程的数学表述 + - 反向去噪过程的基本思想 + - 扩散模型相比其他生成模型的优势 + - 通过代码实现加深对扩散过程的理解 + + + + +下一章我们将深入学习DDPM的具体实现细节，包括训练算法、损失函数推导和实际代码实现。 + + + + +综合练习：比较不同噪声调度 + +实现并比较三种不同的噪声调度策略： + + + + - 线性调度：$\beta_t = \beta_{\text{start}} + \frac{t}{T}(\beta_{\text{end}} - \beta_{\text{start}})$ + - 余弦调度：基于余弦函数的平滑调度 + - 二次调度：$\beta_t = \beta_{\text{start}} + \left(\frac{t}{T}\right)^2(\beta_{\text{end}} - \beta_{\text{start}})$ + + + +绘制 $\bar{\alpha}_t$ 随时间的变化曲线，并讨论它们的优缺点。 + +**提示：** + + + + - 线性调度简单直观，但可能在早期步骤添加噪声过快 + - 余弦调度在中间阶段更平滑，有助于保留更多信息 + - 二次调度在早期添加噪声较慢，后期加速 + - 选择哪种调度取决于具体任务和数据特性 \ No newline at end of file diff --git a/chapter2.html b/chapter2.html deleted file mode 100644 index 2842065..0000000 --- a/chapter2.html +++ /dev/null @@ -1,1152 +0,0 @@ - - - - - - 第2章：神经网络架构：U-Net与ViT - Diffusion Models Tutorial - - - - - - - -
-
- ← 上一章 - 第2章 / 共14章 - 下一章 → -
- -

第2章：神经网络架构：U-Net与ViT

- -
- 扩散模型的成功离不开强大的神经网络架构。有趣的是，扩散模型并没有发明全新的网络结构，而是巧妙地借用了计算机视觉领域的两个里程碑式架构：U-Net和Vision Transformer。本章将追溯这两种架构的历史发展，理解它们的设计初衷，以及为什么它们恰好适合扩散模型的去噪任务。这种"历史的巧合"展示了深度学习领域知识迁移的魅力。 -
- -

2.1 从图像分割到去噪：U-Net的历史演变

- -

U-Net最初并非为扩散模型设计。2015年，Ronneberger等人提出U-Net用于生物医学图像分割，其独特的编码器-解码器结构配合跳跃连接，能够在保留细节信息的同时进行语义理解。这种架构特性恰好契合了扩散模型的需求。

- -
-
历史脉络
-
    -
  • 2015年：U-Net诞生，用于医学图像分割，在ISBI细胞追踪挑战赛中获胜
    • -
  • 2017-2019年：U-Net被广泛应用于各种密集预测任务（语义分割、深度估计等）
    • -
  • 2020年：DDPM采用U-Net作为去噪网络，开启了U-Net在生成模型中的新篇章
    • -
  • 2021-2022年：各种改进版U-Net成为扩散模型的标配（加入注意力机制、自适应归一化等）
    • -
-
- -

为什么U-Net特别适合扩散模型？关键在于扩散模型的去噪任务本质上是一个"图像到图像"的转换问题：

- -
- 输入：噪声图像 $\mathbf{x}_t$ → 输出：预测的噪声 $\boldsymbol{\epsilon}$ 或 清晰图像 $\mathbf{x}_0$ -
- -

这与U-Net最初设计的分割任务（输入：原始图像 → 输出：分割掩码）在结构上高度相似。U-Net的几个关键特性使其成为理想选择：

- -
    -
  1. 多尺度特征提取：编码器逐步降低分辨率，捕获从局部纹理到全局结构的各层次特征
    2. -
  2. 跳跃连接保留细节：直接将编码器的特征传递给解码器，避免细节信息在下采样过程中丢失
    3. -
  3. 对称结构：编码器和解码器的对称设计，天然适合"加噪"和"去噪"的可逆过程
    4. -
  4. 参数效率：相比全连接网络，卷积结构的参数共享大大减少了模型参数量
    5. -
- -

2.2 U-Net架构详解

- -

2.2.1 原始U-Net：优雅的对称设计

- -

2015年的原始U-Net论文标题很有意思："U-Net: Convolutional Networks for Biomedical Image Segmentation"。作者们面临的挑战是：如何在训练数据极少的情况下（ISBI挑战赛只有30张训练图像！）实现精确的细胞分割？他们的解决方案展现了深度学习的一个重要原则：好的架构设计可以弥补数据的不足。

- -
- 
-                        原始 U-Net 架构 (2015)
-            
-            输入图像                                              输出分割
-            572×572                                              388×388
-                |                                                    ↑
-                ↓                                                    |
-            [Conv3×3, ReLU] × 2  ←―――――――――――――――――→  [Conv3×3, ReLU] × 2
-            64 channels           跳跃连接 (crop)           64 channels
-                |                                                    ↑
-                ↓ MaxPool 2×2                          ↑ Conv2×2 (上采样)
-                |                                                    |
-            [Conv3×3, ReLU] × 2  ←―――――――――――――――――→  [Conv3×3, ReLU] × 2
-            128 channels                                  128 channels
-                |                                                    ↑
-                ↓ MaxPool 2×2                          ↑ Conv2×2 (上采样)
-                |                                                    |
-                        ... 继续下采样 ...    ... 继续上采样 ...
-                |                                                    |
-                ↓                                                    ↑
-                        底部：1024 channels
-
-
- -

U-Net的几个关键设计决策至今仍然影响着深度学习架构设计：

- -
    -
  1. 非对称的输入输出尺寸：原始U-Net使用valid卷积（无padding），导致每次卷积都会缩小特征图。这是为了避免边界伪影，确保输出的每个像素都有完整的感受野。
    2. - -
  2. 跳跃连接的crop操作：由于尺寸不匹配，需要裁剪（crop）编码器特征再与解码器特征拼接。这个看似笨拙的设计其实确保了特征对齐的精确性。
    3. - -
  3. 数据增强的重要性：原文特别强调了弹性形变（elastic deformation）对小数据集的重要性——这启发了后续研究中各种数据增强技术。
    4. -
- -

2.2.2 现代U-Net：为扩散模型重新设计

- -

当DDPM的作者们在2020年选择U-Net作为去噪网络时，他们面临着完全不同的需求。原始U-Net的一些设计（如valid卷积、非对称尺寸）对扩散模型来说是不必要的复杂。于是，一个"现代化"的U-Net诞生了：

- -
-
扩散模型U-Net的关键改进
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
组件原始U-Net (2015)扩散U-Net (2020+)
卷积类型Valid卷积（无padding）Same卷积（保持尺寸）
归一化无（后来加入BatchNorm）GroupNorm（稳定训练）
激活函数ReLUSiLU/Swish（更平滑）
残差连接无每个块都有（类ResNet）
注意力机制无多分辨率自注意力
条件机制无需条件时间嵌入（必需）
-
- -

让我们深入理解几个关键改进：

- -

1. 残差块设计

-
- 
-            输入 x
-               ↓
-            GroupNorm → SiLU → Conv3×3
-               ↓
-            GroupNorm → SiLU → Conv3×3
-               ↓
-               + ← x （残差连接）
-               ↓
-            输出
-
-
- -

2. 时间嵌入注入

-

时间信息通过自适应归一化层注入到每个残差块中：

-
- $h = \text{GroupNorm}(h)$
- $h = h \cdot (1 + \text{scale}(t)) + \text{shift}(t)$
- 其中 $\text{scale}(t)$ 和 $\text{shift}(t)$ 是时间嵌入经过线性变换得到的 -
- -

3. 自注意力的引入位置

-

自注意力通常只在中等分辨率（如16×16、32×32）引入，原因是：

- - -

2.2.3 下采样的演进：从池化到步进卷积

- -

下采样（downsampling）是U-Net的核心操作之一，但"如何正确地降低分辨率"这个看似简单的问题，却经历了深度学习历史上的多次范式转变。

- -

第一代：最大池化的统治时期（2012-2015）

- -

早期CNN几乎都使用最大池化（MaxPooling）进行下采样，包括原始U-Net：

- -
-
# 经典的MaxPool下采样
-self.down = nn.MaxPool2d(kernel_size=2, stride=2)
-
-# 优点：保留最强激活，计算简单
-# 缺点：丢失位置信息，不可学习
-
- -

最大池化的问题在于它是一个固定的、不可学习的操作。在每个2×2窗口中，75%的信息被直接丢弃，这对于需要精确重建的生成任务来说是灾难性的。

- -

DCGAN的革命性发现（2015）

- -
-
DCGAN论文的关键贡献
-

Radford等人在"Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks"中提出了几条影响深远的架构指南：

-
    -
  1. 用步进卷积（strided convolution）替代池化：让网络自己学习如何下采样
    2. -
  2. 去除全连接层：保持全卷积架构
    3. -
  3. 批归一化的系统使用：除了生成器输出层和判别器输入层
    4. -
  4. ReLU vs LeakyReLU：生成器用ReLU，判别器用LeakyReLU
    5. -
-
- -

DCGAN的这些发现不仅影响了GAN，也深刻改变了后续所有生成模型的设计，包括扩散模型。特别是"可学习的下采样"这一理念，成为了现代架构的标准。

- -

步进卷积：让网络决定如何采样

- -
-
# DCGAN风格的可学习下采样
-self.down = nn.Conv2d(in_channels, out_channels, 
-                      kernel_size=3, stride=2, padding=1)
-
-# 为什么是3×3而不是2×2？
-# - 3×3提供更大的感受野
-# - 避免棋盘效应（稍后详述）
-# - 与padding=1配合，输出正好是输入的一半
-
- -

上采样的对称问题：棋盘效应

- -

既然下采样可以用步进卷积，那么上采样自然想到用转置卷积（transposed convolution）。但这带来了一个意外的问题：

- -
-
⚠️ 棋盘效应（Checkerboard Artifacts）
-

当转置卷积的kernel_size不能被stride整除时，会产生棋盘状的伪影：

- 
-            kernel_size=3, stride=2 的重叠模式：
-            
-            1 2 1 2 1
-            2 4 2 4 2
-            1 2 1 2 1
-            2 4 2 4 2
-            1 2 1 2 1
-            
-            某些像素被覆盖4次，某些只有1次！
-
-
- -

现代解决方案：解耦采样和特征变换

- -

为了避免棋盘效应，现代架构倾向于将采样和卷积分离：

- -
-
# 下采样：先卷积，再降采样
-class DownBlock(nn.Module):
-    def __init__(self, in_channels, out_channels):
-        super().__init__()
-        self.conv = nn.Conv2d(in_channels, out_channels, 3, padding=1)
-        self.down = nn.Conv2d(out_channels, out_channels, 3, stride=2, padding=1)
-        
-# 上采样：先插值，再卷积（推荐）
-class UpBlock(nn.Module):
-    def __init__(self, in_channels, out_channels):
-        super().__init__()
-        self.up = nn.Upsample(scale_factor=2, mode='nearest')
-        self.conv = nn.Conv2d(in_channels, out_channels, 3, padding=1)
-
-# 或者使用PixelShuffle（对于学习型上采样）
-class PixelShuffleUp(nn.Module):
-    def __init__(self, in_channels, out_channels):
-        super().__init__()
-        # 先增加通道数到4倍
-        self.conv = nn.Conv2d(in_channels, out_channels * 4, 3, padding=1)
-        self.shuffle = nn.PixelShuffle(2)  # 将通道重排为空间维度
-
- -

扩散模型中的最佳实践

- -
-
下采样方式对比（扩散模型视角）
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
方法优点缺点推荐度
MaxPool简单、无参数信息丢失严重❌ 不推荐
步进卷积可学习、灵活可能有伪影✅ 推荐
Conv + 步进Conv更稳定计算量略大✅✅ 强烈推荐
平均池化平滑、抗锯齿模糊细节⚡ 特定场景
-
- -

实践建议：

-
    -
  1. 对于扩散模型，推荐使用"Conv + 步进Conv"的组合，这在Stable Diffusion等SOTA模型中被广泛采用
    2. -
  2. 上采样优先使用"最近邻插值 + Conv"，避免棋盘效应
    3. -
  3. 如果需要学习型上采样，PixelShuffle是个不错的选择
    4. -
  4. 在高分辨率（>256）时，考虑使用抗锯齿下采样（blur pool）
    5. -
- -

2.2.4 权重共享之争：编码器与解码器是否应该绑定？

- -

一个经常被忽视但值得深入讨论的设计决策是：U-Net的编码器和解码器是否应该共享权重（weight tying）？这个问题在自编码器领域有悠久的历史，但在扩散模型中有其独特的考量。

- -

权重共享的理论动机

- -

权重共享的想法来源于一个优雅的对称性假设：

- -
- 如果编码器学习映射 $f: \mathcal{X} \rightarrow \mathcal{Z}$
- 那么解码器应该学习逆映射 $f^{-1}: \mathcal{Z} \rightarrow \mathcal{X}$
- 理想情况下，$f^{-1} = f^T$（转置关系） -
- -

在传统的去噪自编码器（Denoising Autoencoders）中，这种设计有几个吸引人的特性：

- - -

扩散模型的特殊性：为什么不共享？

- -
-
扩散模型中编码器和解码器的不对称性
- - - - - - - - - - - - - - - - - - - - - - - - - - -
方面编码器任务解码器任务
主要目标提取多尺度特征表示基于特征重建细节
信息流向从细节到语义（压缩）从语义到细节（生成）
噪声敏感度需要对噪声鲁棒需要精确预测噪声
时间依赖性提取与t相关的特征根据t调整去噪策略
-
- -

扩散模型的去噪任务本质上是非对称的：

-
    -
  1. 不同时间步需要不同策略：早期（高噪声）需要全局结构恢复，后期（低噪声）需要细节润色
    2. -
  2. 跳跃连接的作用不同：编码器的跳跃连接保留原始信息，解码器的跳跃连接用于精确重建
    3. -
  3. 注意力机制的需求不同：编码器可能需要局部注意力，解码器可能需要全局注意力
    4. -
- -

实验证据：权重共享的实际效果

- -
-
# 实验：比较权重共享与独立权重的U-Net
-
-class TiedUNet(nn.Module):
-    """权重共享的U-Net实现"""
-    def __init__(self):
-        super().__init__()
-        # 编码器层
-        self.enc1 = nn.Conv2d(3, 64, 3, padding=1)
-        self.enc2 = nn.Conv2d(64, 128, 3, padding=1)
-        
-        # 解码器使用编码器的转置
-        # 注意：这里需要仔细处理维度匹配
-        
-    def decode_with_tied_weights(self, x, layer_idx):
-        # 使用编码器权重的转置
-        weight = getattr(self, f'enc{layer_idx}').weight
-        # PyTorch的F.conv_transpose2d允许我们使用转置的权重
-        return F.conv_transpose2d(x, weight, padding=1)
-
-class IndependentUNet(nn.Module):
-    """独立权重的U-Net实现（标准做法）"""
-    def __init__(self):
-        super().__init__()
-        # 编码器和解码器完全独立
-        self.enc1 = nn.Conv2d(3, 64, 3, padding=1)
-        self.dec1 = nn.Conv2d(64, 3, 3, padding=1)  # 独立的解码器权重
-
- -

根据社区的实验和论文报告，权重共享在扩散模型中的表现：

- -
-
实验结果汇总
-
    -
  • FID分数：独立权重通常好2-5个点
    • -
  • 训练稳定性：权重共享在某些配置下会导致训练不稳定
    • -
  • 参数效率：权重共享确实减少50%参数，但性能下降不成比例
    • -
  • 泛化能力：独立权重在out-of-distribution数据上表现更好
    • -
-
- -

特殊情况：部分权重共享

- -

一些研究探索了折中方案：

- -
-
# 部分权重共享：只在某些层共享
-class PartiallyTiedUNet(nn.Module):
-    def __init__(self):
-        super().__init__()
-        # 底层（高分辨率）独立
-        self.enc_high = nn.Conv2d(3, 64, 3, padding=1)
-        self.dec_high = nn.Conv2d(64, 3, 3, padding=1)
-        
-        # 中层（中等分辨率）共享
-        self.shared_mid = nn.Conv2d(128, 256, 3, padding=1)
-        
-        # 深层（低分辨率）独立 - 这里语义差异最大
-        self.enc_low = nn.Conv2d(256, 512, 3, padding=1)
-        self.dec_low = nn.Conv2d(512, 256, 3, padding=1)
-
- -

这种设计的直觉是：中间层学习的是较为通用的特征变换，可以共享；而浅层和深层由于任务差异较大，应该独立。

- -

现代实践：为什么主流模型都不用权重共享？

- -
-
主流扩散模型的选择
-
    -
  • DDPM (2020)：独立权重
    • -
  • IDDPM (2021)：独立权重 + 更深的架构
    • -
  • ADM (2021)：独立权重 + 自适应归一化
    • -
  • Stable Diffusion (2022)：独立权重 + 交叉注意力
    • -
  • DiT (2022)：不适用（Transformer架构）
    • -
-
- -

结论：尽管权重共享在理论上很优雅，在扩散模型的实践中，独立权重已经成为事实标准。主要原因是：

-
    -
  1. 扩散模型的计算瓶颈不在参数量，而在推理步数
    2. -
  2. 编码器和解码器的任务确实存在本质差异
    3. -
  3. 现代GPU的内存已经足够大，参数效率不再是首要考虑
    4. -
  4. 性能提升（2-5个FID点）对于竞争激烈的生成模型领域很重要
    5. -
- -
-
思考练习：设计实验验证权重共享的效果
-

设计一个实验来验证权重共享对扩散模型性能的影响。考虑以下因素：

-
    -
  1. 如何确保公平比较（相同的总参数量 vs 相同的架构）？
    2. -
  2. 应该在哪些指标上评估（FID、IS、LPIPS、推理时间）？
    3. -
  3. 如何测试不同噪声水平下的表现差异？
    4. -
- -
-

实验设计建议：

-
    -
  1. 公平比较： -
      -
    • 方案A：固定总参数量，权重共享版本可以更深
      • -
    • 方案B：固定架构深度，接受参数量差异
      • -
    • 推荐方案A，因为实际应用中参数效率很重要
      • -
    -
    2. -
  2. 评估指标： -
      -
    • 生成质量：FID、IS、Precision/Recall
      • -
    • 去噪能力：不同t下的MSE
      • -
    • 训练动态：损失曲线、梯度范数
      • -
    • 推理效率：内存使用、推理时间
      • -
    -
    3. -
  3. 噪声水平测试： -
      -
    • 将t分为三段：[0,300]、[300,700]、[700,1000]
      • -
    • 分别评估每段的去噪表现
      • -
    • 预期：高噪声段差异更大（解码器任务更难）
      • -
    -
    4. -
-
-
- -

2.2.5 归一化技术FAQ：从BatchNorm到AdaGN的演进史

- -

归一化（Normalization）可能是深度学习中最令人困惑的组件之一。让我们通过FAQ的形式，追溯归一化技术的演进历程，特别是它如何影响了生成模型的发展。

- -
-
Q1: 为什么原始U-Net没有使用归一化？
-

A: 2015年的U-Net发表时，BatchNorm刚刚被提出几个月（Ioffe & Szegedy, 2015）。原始U-Net依赖于良好的初始化和相对较浅的架构（只有4次下采样）来保持训练稳定。这在当时是常见做法，但限制了模型的深度。

-
- -

归一化技术时间线

- -
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
年份技术关键创新生成模型影响
2015BatchNorm标准化批次统计DCGAN采用，但需要大批次
2016LayerNorm标准化特征维度主要用于RNN/Transformer
2016InstanceNorm每个样本独立标准化风格迁移的关键
2018GroupNorm组内标准化成为扩散模型标准
2019AdaIN (StyleGAN)自适应实例标准化革命性的风格控制
2020+AdaGN自适应组标准化扩散模型时间调制
-
- -
-
Q2: 为什么扩散模型不用BatchNorm？
-

A: BatchNorm有几个对扩散模型致命的问题：

-
    -
  1. 批次依赖：生成质量受同批次其他样本影响，导致推理时行为不一致
    2. -
  2. 小批次退化：扩散模型由于内存限制常用小批次（如4或8），BatchNorm统计不稳定
    3. -
  3. 时间步混淆：不同时间步的样本混在一起计算统计量，违背了扩散过程的假设
    4. -
-
- -

StyleGAN的革命性发现：归一化即风格

- -

StyleGAN (Karras et al., 2019) 带来了一个深刻洞察：归一化操作本质上是在操纵特征的统计量，而这些统计量恰好编码了"风格"信息。

- -
-
# StyleGAN的AdaIN实现
-class AdaIN(nn.Module):
-    def __init__(self, num_features):
-        super().__init__()
-        self.norm = nn.InstanceNorm2d(num_features, affine=False)
-        
-    def forward(self, x, style):
-        # style是从潜在码w映射而来的向量
-        # 分别预测每个通道的均值和标准差调制
-        style = style.view(style.size(0), 2, x.size(1), 1, 1)
-        gamma = style[:, 0]  # 标准差调制
-        beta = style[:, 1]   # 均值调制
-        
-        # 先标准化，再用style调制
-        normalized = self.norm(x)
-        return gamma * normalized + beta
-
-# 扩散模型的AdaGN实现
-class AdaGN(nn.Module):
-    def __init__(self, num_features, num_groups=32):
-        super().__init__()
-        self.norm = nn.GroupNorm(num_groups, num_features, affine=False)
-        
-    def forward(self, x, time_emb):
-        # time_emb是时间步的嵌入
-        # 通过MLP映射到scale和shift
-        scale, shift = self.time_mlp(time_emb).chunk(2, dim=1)
-        scale = scale.view(-1, x.size(1), 1, 1)
-        shift = shift.view(-1, x.size(1), 1, 1)
-        
-        normalized = self.norm(x)
-        return normalized * (1 + scale) + shift  # 注意这里的(1 + scale)
-
- -
-
Q3: 各种归一化方法的直观理解是什么？
-
- 
-BatchNorm:   在批次维度求统计  →  "这批图片的平均亮度是多少？"
-LayerNorm:   在特征维度求统计  →  "这个位置所有通道的平均激活是多少？"
-InstanceNorm: 在空间维度求统计  →  "这张图片的平均纹理强度是多少？"
-GroupNorm:   在通道组内求统计  →  "这组相关特征的平均响应是多少？"
-
-
-
- -

扩散模型中的GroupNorm：为什么是最佳选择？

- -
-
GroupNorm的独特优势
-
    -
  1. 批次无关：每个样本独立计算，推理一致
    2. -
  2. 参数可调：通过调整组数在LN和IN之间平衡 -
      -
    • G=1：退化为LayerNorm（全局归一化）
      • -
    • G=C：退化为InstanceNorm（逐通道归一化）
      • -
    • G=8/16/32：实践中的甜点
      • -
    -
    3. -
  3. 语义分组：相近的通道往往编码相似的特征，组归一化保持了这种局部性
    4. -
-
- -
-
Q4: 为什么要用自适应归一化（AdaGN）而不是简单的条件拼接？
-

A: 这涉及到归一化的本质作用：

-
    -
  1. 统计调制 vs 特征叠加： -
      -
    • 拼接：$h' = \text{Conv}([h, \text{cond}])$ - 加法式的特征组合
      • -
    • AdaGN：$h' = \gamma(t) \cdot \text{Norm}(h) + \beta(t)$ - 乘法式的统计调制
      • -
    -
    2. -
  2. 不同时间步需要不同的"去噪策略"： -
      -
    • 早期（高噪声）：需要强归一化，关注全局结构
      • -
    • 后期（低噪声）：需要弱归一化，保留细节
      • -
    • AdaGN可以通过调整γ和β灵活控制归一化强度
      • -
    -
    3. -
-
- -

实践建议：如何选择归一化？

- -
-
# 扩散模型的标准归一化配置
-def get_norm_layer(norm_type, num_features, num_groups=32):
-    if norm_type == 'batch':
-        # ❌ 不推荐：批次依赖
-        return nn.BatchNorm2d(num_features)
-    elif norm_type == 'instance':
-        # ⚠️ 谨慎使用：可能丢失全局信息
-        return nn.InstanceNorm2d(num_features)
-    elif norm_type == 'layer':
-        # ⚠️ 仅用于Transformer架构
-        return nn.LayerNorm(num_features)
-    elif norm_type == 'group':
-        # ✅ 推荐：扩散模型标准选择
-        return nn.GroupNorm(num_groups, num_features)
-    elif norm_type == 'ada_group':
-        # ✅✅ 强烈推荐：最灵活的选择
-        return AdaGroupNorm(num_groups, num_features)
-
-# 组数选择指南
-def get_optimal_groups(num_channels):
-    """基于通道数选择最优组数"""
-    if num_channels <= 16:
-        return num_channels  # 退化为InstanceNorm
-    elif num_channels <= 64:
-        return 8
-    elif num_channels <= 256:
-        return 16
-    else:
-        return 32  # 大通道数用32组
-
- -
-
Q5: LayerNorm在扩散模型中完全没用吗？
-

A: 不是的！LayerNorm在Transformer架构（如DiT）中是标准配置。关键区别在于：

-
    -
  • CNN架构：空间维度重要 → GroupNorm
    • -
  • Transformer架构：token维度重要 → LayerNorm
    • -
-

DiT使用的是自适应LayerNorm（AdaLN），原理与AdaGN相似，只是作用维度不同。

-
- -

未来趋势：无归一化网络？

- -

最新的研究（如NFNet）展示了通过精心的初始化和激活函数设计，可以训练无归一化的深度网络。但在扩散模型中，归一化不仅是为了训练稳定性，更是条件信息注入的重要机制，因此短期内仍将是必需组件。

- -

2.2.6 实现细节：魔鬼在细节中

- -

许多看似微小的实现细节对模型性能有巨大影响。以下是一些容易被忽视但很重要的点：

- -
-
实践经验：U-Net实现的"坑"
-
    -
  1. 上采样方式：最近邻插值 + 卷积 比 转置卷积 更稳定，避免棋盘效应
    2. -
  2. 初始化策略：零初始化最后一层卷积，使网络初始输出接近零（恒等映射）
    3. -
  3. 通道数设计：通常遵循 [C, 2C, 4C, 8C] 的倍增规律，但不要超过512-1024
    4. -
  4. 注意力头数：通道数除以64作为头数是个不错的经验值
    5. -
  5. 跳跃连接处理：拼接（concat）比相加（add）更常用，保留更多信息
    6. -
-
- -
-
练习 2.1：构建简化的U-Net
-

[待完成：实现一个最小化的U-Net结构]

- -
-

[待完成：答案代码和解释]

-
-
- -

2.3 从NLP到CV：Vision Transformer的跨界之旅

- -

2.3.1 Transformer的计算机视觉革命

- -

Transformer架构原本是2017年为自然语言处理设计的（"Attention is All You Need"），但2020年Google的ViT论文证明了纯Transformer架构在图像分类上可以达到甚至超越CNN的性能。这个突破性发现开启了Transformer在计算机视觉领域的广泛应用。

- -
-
ViT发展时间线
-
    -
  • 2017年：Transformer提出，革新NLP领域
    • -
  • 2020年10月：ViT论文发表，首次将纯Transformer应用于图像分类
    • -
  • 2021年：Swin Transformer、DeiT等变体涌现，Transformer开始统治CV任务
    • -
  • 2022年：Peebles和Xie提出DiT，将Transformer引入扩散模型
    • -
  • 2023年：DiT成为大规模文生图模型的主流选择（如Stable Diffusion 3）
    • -
-
- -

ViT的核心思想极其简洁：将图像分割成固定大小的patches（例如16×16），将每个patch线性投影为向量，然后像处理NLP中的词序列一样处理这些patch序列。这种设计的优雅之处在于：

- -
    -
  1. 统一的架构：图像和文本可以用相同的Transformer处理，促进多模态理解
    2. -
  2. 全局感受野：自注意力机制让每个patch都能"看到"整张图像，不像CNN需要堆叠才能扩大感受野
    3. -
  3. 可扩展性：Transformer的性能随模型规模增长呈现出色的scaling law
    4. -
  4. 灵活的序列建模：容易处理不同分辨率的图像，只需调整patch数量
    5. -
- -

2.3.2 为什么Transformer适合扩散模型？

- -

扩散模型采用Transformer并非偶然。DiT的作者发现，当扩散模型需要处理复杂的全局依赖关系时，Transformer的优势尤为明显：

- -
- 去噪任务的本质：理解图像的全局结构 + 恢复局部细节 -
- -

这恰好是Transformer的强项：

- - -

2.3.3 实现用于扩散的ViT

-

[待完成：PyTorch实现，包括patch embedding、transformer blocks]

- -
-
练习 2.2：比较U-Net和ViT的计算复杂度
-

[待完成：分析两种架构的参数量和计算量]

- -
-

[待完成：详细的复杂度分析]

-
-
- -

2.4 架构改造：从原始设计到扩散模型适配

- -

将U-Net和ViT应用于扩散模型并非简单的"拿来主义"。研究者们对这些架构进行了巧妙的改造，使其能够处理扩散模型特有的需求。

- -

2.4.1 关键改造：时间信息的注入

- -

扩散模型最独特的需求是：网络必须知道当前处于哪个时间步 $t$，因为不同时间步的去噪策略完全不同。原始的U-Net和ViT都没有考虑这一点。主要的改造方案包括：

- -
-
时间嵌入技术
-
    -
  1. 正弦位置编码：借鉴Transformer的位置编码，将时间步 $t$ 编码为高维向量 -
    - $\text{PE}(t, 2i) = \sin(t/10000^{2i/d})$, $\text{PE}(t, 2i+1) = \cos(t/10000^{2i/d})$ -
    -
    2. -
  2. 可学习嵌入：通过MLP将时间步映射到高维空间，更加灵活
    3. -
  3. 自适应归一化（AdaGN）：用时间嵌入调制归一化层的scale和shift参数
    4. -
  4. 注意力机制：将时间嵌入作为额外的token加入序列
    5. -
-
- -

2.4.2 从分类到生成：架构哲学的转变

- -

原始U-Net和ViT都是为判别任务（分割、分类）设计的，而扩散模型是生成任务。这带来了设计哲学的根本转变：

- - - - - - - - - - - - - - - - - - - - - - - - - - - -
方面判别任务（原始设计）生成任务（扩散模型）
输出要求语义准确性像素级精确度
特征重要性高层语义特征所有层次特征同等重要
归一化策略BatchNorm（依赖批统计）GroupNorm（独立于批大小）
注意力使用主要在高层多个分辨率都需要
- -

2.5 架构演进对比：一图看懂发展脉络

- -
- - - - - - - - - - - - - - - -
U-Net 演进路线
- 原始U-Net (2015)
- • 用途：医学图像分割
- • 特点：编码器-解码器 + 跳跃连接
- • 归一化：BatchNorm
- • 注意力：无 - 		- Diffusion U-Net (2020+)
- • 用途：扩散模型去噪
- • 新增：时间嵌入 (AdaGN)
- • 归一化：GroupNorm
- • 注意力：多尺度自注意力 -
Transformer 演进路线
- ViT (2020)
- • 用途：图像分类
- • 特点：Patch嵌入 + 位置编码
- • 输出：分类logits
- • 条件：无 - 		- DiT (2022)
- • 用途：扩散模型去噪
- • 新增：时间/类别条件 (AdaLN)
- • 输出：噪声预测/速度预测
- • 条件：灵活的条件机制 -
-
- -
-
思考题：架构选择
-

假设你要为以下任务选择去噪网络架构，你会选择U-Net还是Transformer？说明理由：

-
    -
  1. 生成32×32的低分辨率图标
    2. -
  2. 生成1024×1024的高分辨率人脸
    3. -
  3. 生成需要强全局一致性的建筑设计图
    4. -
  4. 在计算资源受限的边缘设备上部署
    5. -
- -
-

参考答案：

-
    -
  1. 32×32图标：U-Net。低分辨率下卷积的归纳偏置更有效，计算开销小。
    2. -
  2. 1024×1024人脸：两者皆可。U-Net内存效率更高，但DiT在超大模型下质量可能更好。
    3. -
  3. 建筑设计图：Transformer。需要强全局一致性，自注意力机制优势明显。
    4. -
  4. 边缘设备：U-Net。参数量更少，计算效率更高，更适合部署。
    5. -
-

实际选择还需考虑：训练数据量、具体质量要求、推理延迟限制等因素。

-
-
- -
- - -
- -

2.6 性能优化与实用技巧

- -

理论架构和实际部署之间往往存在巨大鸿沟。本节分享一些在实践中积累的优化技巧，这些技巧往往决定了模型能否真正落地。

- -

2.6.1 内存优化：在GPU上塞下更大的模型

- -
-
内存瓶颈分析
-

训练扩散模型时，内存主要消耗在：

-
    -
  • 激活值：U-Net的跳跃连接需要保存所有中间特征（占用最大）
    • -
  • 梯度：反向传播需要的梯度存储
    • -
  • 优化器状态：Adam需要存储一阶和二阶动量
    • -
  • 模型参数：相对较小，但FP32下也不容忽视
    • -
-
- -

技巧1：梯度检查点（Gradient Checkpointing）

-

核心思想：用计算换内存。不保存中间激活值，反向传播时重新计算。

- -
-
import torch.utils.checkpoint as checkpoint
-
-class CheckpointedResBlock(nn.Module):
-    def forward(self, x, time_emb):
-        # 使用checkpoint包装计算密集但内存友好的部分
-        def _forward(x):
-            h = self.norm1(x)
-            h = self.act(h)
-            h = self.conv1(h)
-            # ... 更多计算
-            return h
-        
-        # 只在训练时使用checkpoint
-        if self.training:
-            return checkpoint.checkpoint(_forward, x)
-        else:
-            return _forward(x)
-
- -

经验法则：在U-Net的每个分辨率级别使用1-2个checkpoint，可减少约40%内存，训练时间增加约20%。

- -

技巧2：混合精度训练（Mixed Precision）

-

使用FP16计算，FP32累积，充分利用现代GPU的Tensor Core：

- -
-
from torch.cuda.amp import autocast, GradScaler
-
-scaler = GradScaler()
-
-for batch in dataloader:
-    optimizer.zero_grad()
-    
-    with autocast():  # 自动将合适的操作转为FP16
-        noise_pred = model(noisy_images, timesteps)
-        loss = F.mse_loss(noise_pred, noise)
-    
-    # 梯度缩放，防止FP16下溢
-    scaler.scale(loss).backward()
-    scaler.step(optimizer)
-    scaler.update()
-
- -

注意事项：

- - -

技巧3：注意力优化

-

自注意力是内存消耗大户，特别是在高分辨率特征图上：

- -
- 标准注意力内存复杂度：$O(N^2 \cdot d)$，其中$N = H \times W$ -
- -

优化方案：

-
    -
  1. Flash Attention：融合计算，减少内存读写
    2. -
  2. 分块注意力：将特征图分块，只在块内计算注意力
    3. -
  3. 线性注意力近似：用Performer或Linformer降低复杂度
    4. -
- -

2.6.2 训练稳定性：让10亿参数模型稳定收敛

- -

初始化的艺术

- -
-
扩散模型特殊的初始化需求
-

目标：让模型初始预测接近零均值高斯噪声，实现"恒等映射"

-
    -
  1. 最后一层零初始化： - 
    nn.init.zeros_(self.final_conv.weight)
-nn.init.zeros_(self.final_conv.bias)
    -
    2. -
  2. 残差分支缩放： - 
    self.residual_scale = nn.Parameter(torch.zeros(1))
-output = x + self.residual_scale * residual
    -
    3. -
  3. 注意力输出零初始化：初始时注意力不起作用
    4. -
-
- -

数值稳定性技巧

- - - - - - - - - - - - - - - - - - -
问题解决方案
FP16训练NaN - • 使用FP32 LayerNorm
- • 梯度裁剪：torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0)
- • 调整损失缩放因子 -
注意力爆炸 - • 缩放点积注意力（必须！）
- • 注意力dropout
- • QK归一化：q = F.normalize(q, dim=-1) -
训练后期不稳定 - • EMA权重平均
- • 学习率预热和余弦退火
- • AdamW权重衰减（通常0.01） -
- -

调试技巧：如何定位问题

- -
-
扩散模型调试检查清单
-
    -
  1. 单步测试：固定 $t=500$，检查模型是否能学会去噪中等噪声
    2. -
  2. 可视化中间激活： - 
    # 在forward中加入
-if hasattr(self, 'debug_mode') and self.debug_mode:
-    self.activations[f'layer_{i}'] = h.detach()
    -
    3. -
  3. 监控关键指标： -
      -
    • 各层激活值的均值和方差
      • -
    • 梯度范数（应该随深度递减）
      • -
    • 注意力权重分布（不应过度集中）
      • -
    -
    4. -
  4. 噪声调度验证：确认 $t=T$ 时 $x_T \approx \mathcal{N}(0,I)$
    5. -
-
- -

2.6.3 架构搜索：如何选择超参数

- -

没有一种架构适合所有任务。以下是一些经过验证的经验规则：

- -
-

U-Net超参数选择指南

- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
图像分辨率基础通道数下采样次数注意力分辨率
32×32128216×16
64×64128-256316×16, 32×32
256×256256-3204-516×16, 32×32
512×512+320-5125-6考虑使用DiT
-
- -

最后的建议：从小模型开始，逐步扩大。过早使用大模型只会让调试变得困难。记住，Stable Diffusion的成功很大程度上归功于其在64×64潜在空间而非512×512像素空间上操作的设计决策。

- -
-
综合练习：设计适合特定数据的去噪网络
-

[待完成：给定数据特性，选择和修改网络架构]

- -
-

[待完成：设计思路和实现]

-
-
- -
-

本章小结

-

本章我们追溯了扩散模型中两种主流架构的历史渊源：

-
    -
  • U-Net：从2015年的医学图像分割任务，到2020年成为DDPM的核心架构
    • -
  • Vision Transformer：从2017年的NLP革命，经2020年的CV突破，到2022年DiT的提出
    • -
- -

这两种架构能够成功应用于扩散模型并非偶然：

-
    -
  • U-Net的编码器-解码器结构天然适合"加噪-去噪"的对称过程
    • -
  • ViT的全局注意力机制正好满足扩散模型对长程依赖建模的需求
    • -
  • 两种架构都经过改造：加入时间嵌入、调整归一化策略、优化注意力机制
    • -
- -

扩散模型的成功启示我们：创新并不总是需要"从零开始"，善于发现和利用已有技术的潜力，通过巧妙的改造和组合，往往能产生意想不到的突破。

- -

下一章，我们将深入DDPM的数学原理，看看这些架构是如何在具体的扩散模型训练中发挥作用的。

-
-
- - \ No newline at end of file diff --git a/chapter2.md b/chapter2.md new file mode 100644 index 0000000..1b4fe31 --- /dev/null +++ b/chapter2.md @@ -0,0 +1,1511 @@ +[← 上一章](chapter1.md) + 第2章 / 共14章 + [下一章 →](chapter3.md) + + + +# 第2章：神经网络架构：U-Net与ViT + + + + 扩散模型的成功离不开强大的神经网络架构。有趣的是，扩散模型并没有发明全新的网络结构，而是巧妙地借用了计算机视觉领域的两个里程碑式架构：U-Net和Vision Transformer。本章将追溯这两种架构的历史发展，理解它们的设计初衷，以及为什么它们恰好适合扩散模型的去噪任务。这种"历史的巧合"展示了深度学习领域知识迁移的魅力。 + + + +## 2.1 从图像分割到去噪：U-Net的历史演变 + + + +U-Net最初并非为扩散模型设计。2015年，Ronneberger等人提出U-Net用于生物医学图像分割，其独特的编码器-解码器结构配合跳跃连接，能够在保留细节信息的同时进行语义理解。这种架构特性恰好契合了扩散模型的需求。 + + + +> **定义** +> 历史脉络 + + + + - **2015年**：U-Net诞生，用于医学图像分割，在ISBI细胞追踪挑战赛中获胜 + - **2017-2019年**：U-Net被广泛应用于各种密集预测任务（语义分割、深度估计等） + - **2020年**：DDPM采用U-Net作为去噪网络，开启了U-Net在生成模型中的新篇章 + - **2021-2022年**：各种改进版U-Net成为扩散模型的标配（加入注意力机制、自适应归一化等） + + + + + +为什么U-Net特别适合扩散模型？关键在于扩散模型的去噪任务本质上是一个"图像到图像"的转换问题： + + + + + 输入：噪声图像 $\mathbf{x}_t$ → 输出：预测的噪声 $\boldsymbol{\epsilon}$ 或 清晰图像 $\mathbf{x}_0$ + + + + +这与U-Net最初设计的分割任务（输入：原始图像 → 输出：分割掩码）在结构上高度相似。U-Net的几个关键特性使其成为理想选择： + + + + + - **多尺度特征提取**：编码器逐步降低分辨率，捕获从局部纹理到全局结构的各层次特征 + - **跳跃连接保留细节**：直接将编码器的特征传递给解码器，避免细节信息在下采样过程中丢失 + - **对称结构**：编码器和解码器的对称设计，天然适合"加噪"和"去噪"的可逆过程 + - **参数效率**：相比全连接网络，卷积结构的参数共享大大减少了模型参数量 + + + + +## 2.2 U-Net架构详解 + + + +### 2.2.1 原始U-Net：优雅的对称设计 + + + +2015年的原始U-Net论文标题很有意思："U-Net: Convolutional Networks for Biomedical Image Segmentation"。作者们面临的挑战是：如何在训练数据极少的情况下（ISBI挑战赛只有30张训练图像！）实现精确的细胞分割？他们的解决方案展现了深度学习的一个重要原则：**好的架构设计可以弥补数据的不足**。 + + + + + + 原始 U-Net 架构 (2015) + + 输入图像 输出分割 + 572×572 388×388 + | ↑ + ↓ | + [Conv3×3, ReLU] × 2 ←―――――――――――――――――→ [Conv3×3, ReLU] × 2 + 64 channels 跳跃连接 (crop) 64 channels + | ↑ + ↓ MaxPool 2×2 ↑ Conv2×2 (上采样) + | | + [Conv3×3, ReLU] × 2 ←―――――――――――――――――→ [Conv3×3, ReLU] × 2 + 128 channels 128 channels + | ↑ + ↓ MaxPool 2×2 ↑ Conv2×2 (上采样) + | | + ... 继续下采样 ... ... 继续上采样 ... + | | + ↓ ↑ + 底部：1024 channels + + + + U-Net的几个关键设计决策至今仍然影响着深度学习架构设计： + + + + + - **非对称的输入输出尺寸**：原始U-Net使用valid卷积（无padding），导致每次卷积都会缩小特征图。这是为了避免边界伪影，确保输出的每个像素都有完整的感受野。 + + - **跳跃连接的crop操作**：由于尺寸不匹配，需要裁剪（crop）编码器特征再与解码器特征拼接。这个看似笨拙的设计其实确保了特征对齐的精确性。 + + - **数据增强的重要性**：原文特别强调了弹性形变（elastic deformation）对小数据集的重要性——这启发了后续研究中各种数据增强技术。 + + + + +### 2.2.2 现代U-Net：为扩散模型重新设计 + + + +当DDPM的作者们在2020年选择U-Net作为去噪网络时，他们面临着完全不同的需求。原始U-Net的一些设计（如valid卷积、非对称尺寸）对扩散模型来说是不必要的复杂。于是，一个"现代化"的U-Net诞生了： + + + +> **定义** +> 扩散模型U-Net的关键改进 + + + + 组件 + 原始U-Net (2015) + 扩散U-Net (2020+) + + + 卷积类型 + Valid卷积（无padding） + Same卷积（保持尺寸） + + + 归一化 + 无（后来加入BatchNorm） + GroupNorm（稳定训练） + + + 激活函数 + ReLU + SiLU/Swish（更平滑） + + + 残差连接 + 无 + 每个块都有（类ResNet） + + + 注意力机制 + 无 + 多分辨率自注意力 + + + 条件机制 + 无需条件 + 时间嵌入（必需） + + + + + +让我们深入理解几个关键改进： + + + +#### 1. 残差块设计 + + + + + + 输入 x + ↓ + GroupNorm → SiLU → Conv3×3 + ↓ + GroupNorm → SiLU → Conv3×3 + ↓ + + ← x （残差连接） + ↓ + 输出 + + + + + +#### 2. 时间嵌入注入 + + 时间信息通过自适应归一化层注入到每个残差块中： + + + + $h = \text{GroupNorm}(h)$ + + $h = h \cdot (1 + \text{scale}(t)) + \text{shift}(t)$ + + 其中 $\text{scale}(t)$ 和 $\text{shift}(t)$ 是时间嵌入经过线性变换得到的 + + + + +#### 3. 自注意力的引入位置 + + +自注意力通常只在中等分辨率（如16×16、32×32）引入，原因是： + + + + - 高分辨率（64×64以上）：计算成本过高，且局部特征更重要 + - 低分辨率（8×8以下）：特征图太小，全局信息已经被压缩 + - 中等分辨率：平衡了计算效率和全局建模能力 + + + + +### 2.2.3 下采样的演进：从池化到步进卷积 + + + +下采样（downsampling）是U-Net的核心操作之一，但"如何正确地降低分辨率"这个看似简单的问题，却经历了深度学习历史上的多次范式转变。 + + + +#### 第一代：最大池化的统治时期（2012-2015） + + + +早期CNN几乎都使用最大池化（MaxPooling）进行下采样，包括原始U-Net： + + + + +# 经典的MaxPool下采样 +self.down = nn.MaxPool2d(kernel_size=2, stride=2) + +# 优点：保留最强激活，计算简单 +# 缺点：丢失位置信息，不可学习 + + + 最大池化的问题在于它是一个固定的、不可学习的操作。在每个2×2窗口中，75%的信息被直接丢弃，这对于需要精确重建的生成任务来说是灾难性的。 + + + +#### DCGAN的革命性发现（2015） + + + +> **定义** +> DCGAN论文的关键贡献 + + +Radford等人在"Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks"中提出了几条影响深远的架构指南： + + + + - **用步进卷积（strided convolution）替代池化**：让网络自己学习如何下采样 + - **去除全连接层**：保持全卷积架构 + - **批归一化的系统使用**：除了生成器输出层和判别器输入层 + - **ReLU vs LeakyReLU**：生成器用ReLU，判别器用LeakyReLU + + + + + +DCGAN的这些发现不仅影响了GAN，也深刻改变了后续所有生成模型的设计，包括扩散模型。特别是"可学习的下采样"这一理念，成为了现代架构的标准。 + + + +#### 步进卷积：让网络决定如何采样 + + + + +# DCGAN风格的可学习下采样 +self.down = nn.Conv2d(in_channels, out_channels, + kernel_size=3, stride=2, padding=1) + +# 为什么是3×3而不是2×2？ +# - 3×3提供更大的感受野 +# - 避免棋盘效应（稍后详述） +# - 与padding=1配合，输出正好是输入的一半 + + + +#### 上采样的对称问题：棋盘效应 + + + 既然下采样可以用步进卷积，那么上采样自然想到用转置卷积（transposed convolution）。但这带来了一个意外的问题： + + + + +##### ⚠️ 棋盘效应（Checkerboard Artifacts） + + +当转置卷积的kernel_size不能被stride整除时，会产生棋盘状的伪影： + + + + kernel_size=3, stride=2 的重叠模式： + + 1 2 1 2 1 + 2 4 2 4 2 + 1 2 1 2 1 + 2 4 2 4 2 + 1 2 1 2 1 + + 某些像素被覆盖4次，某些只有1次！ + + + + +#### 现代解决方案：解耦采样和特征变换 + + + 为了避免棋盘效应，现代架构倾向于将采样和卷积分离： + + + + +# 下采样：先卷积，再降采样 +class DownBlock(nn.Module): + def __init__(self, in_channels, out_channels): + super().__init__() + self.conv = nn.Conv2d(in_channels, out_channels, 3, padding=1) + self.down = nn.Conv2d(out_channels, out_channels, 3, stride=2, padding=1) + +# 上采样：先插值，再卷积（推荐） +class UpBlock(nn.Module): + def __init__(self, in_channels, out_channels): + super().__init__() + self.up = nn.Upsample(scale_factor=2, mode='nearest') + self.conv = nn.Conv2d(in_channels, out_channels, 3, padding=1) + +# 或者使用PixelShuffle（对于学习型上采样） +class PixelShuffleUp(nn.Module): + def __init__(self, in_channels, out_channels): + super().__init__() + # 先增加通道数到4倍 + self.conv = nn.Conv2d(in_channels, out_channels * 4, 3, padding=1) + self.shuffle = nn.PixelShuffle(2) # 将通道重排为空间维度 + + + +#### 扩散模型中的最佳实践 + + + +> **定义** +> 下采样方式对比（扩散模型视角） + + + + 方法 + 优点 + 缺点 + 推荐度 + + + MaxPool + 简单、无参数 + 信息丢失严重 + ❌ 不推荐 + + + 步进卷积 + 可学习、灵活 + 可能有伪影 + ✅ 推荐 + + + Conv + 步进Conv + 更稳定 + 计算量略大 + ✅✅ 强烈推荐 + + + 平均池化 + 平滑、抗锯齿 + 模糊细节 + ⚡ 特定场景 + + + + + **实践建议**： + + + + - 对于扩散模型，推荐使用"Conv + 步进Conv"的组合，这在Stable Diffusion等SOTA模型中被广泛采用 + - 上采样优先使用"最近邻插值 + Conv"，避免棋盘效应 + - 如果需要学习型上采样，PixelShuffle是个不错的选择 + - 在高分辨率（>256）时，考虑使用抗锯齿下采样（blur pool） + + + + +### 2.2.4 权重共享之争：编码器与解码器是否应该绑定？ + + + +一个经常被忽视但值得深入讨论的设计决策是：U-Net的编码器和解码器是否应该共享权重（weight tying）？这个问题在自编码器领域有悠久的历史，但在扩散模型中有其独特的考量。 + + + +#### 权重共享的理论动机 + + + +权重共享的想法来源于一个优雅的对称性假设： + + + + + 如果编码器学习映射 $f: \mathcal{X} \rightarrow \mathcal{Z}$ + + 那么解码器应该学习逆映射 $f^{-1}: \mathcal{Z} \rightarrow \mathcal{X}$ + + 理想情况下，$f^{-1} = f^T$（转置关系） + + + + +在传统的去噪自编码器（Denoising Autoencoders）中，这种设计有几个吸引人的特性： + + + + - **参数效率**：模型参数量减少一半 + - **正则化效果**：强制编码器和解码器学习互逆的变换 + - **理论优雅**：符合某些流形学习的理论框架 + + + + +#### 扩散模型的特殊性：为什么不共享？ + + + +> **定义** +> 扩散模型中编码器和解码器的不对称性 + + + + 方面 + 编码器任务 + 解码器任务 + + + 主要目标 + 提取多尺度特征表示 + 基于特征重建细节 + + + 信息流向 + 从细节到语义（压缩） + 从语义到细节（生成） + + + 噪声敏感度 + 需要对噪声鲁棒 + 需要精确预测噪声 + + + 时间依赖性 + 提取与t相关的特征 + 根据t调整去噪策略 + + + + + +扩散模型的去噪任务本质上是**非对称的**： + + + + - **不同时间步需要不同策略**：早期（高噪声）需要全局结构恢复，后期（低噪声）需要细节润色 + - **跳跃连接的作用不同**：编码器的跳跃连接保留原始信息，解码器的跳跃连接用于精确重建 + - **注意力机制的需求不同**：编码器可能需要局部注意力，解码器可能需要全局注意力 + + + + +#### 实验证据：权重共享的实际效果 + + + + +# 实验：比较权重共享与独立权重的U-Net + +class TiedUNet(nn.Module): + """权重共享的U-Net实现""" + def __init__(self): + super().__init__() + # 编码器层 + self.enc1 = nn.Conv2d(3, 64, 3, padding=1) + self.enc2 = nn.Conv2d(64, 128, 3, padding=1) + + # 解码器使用编码器的转置 + # 注意：这里需要仔细处理维度匹配 + + def decode_with_tied_weights(self, x, layer_idx): + # 使用编码器权重的转置 + weight = getattr(self, f'enc{layer_idx}').weight + # PyTorch的F.conv_transpose2d允许我们使用转置的权重 + return F.conv_transpose2d(x, weight, padding=1) + +class IndependentUNet(nn.Module): + """独立权重的U-Net实现（标准做法）""" + def __init__(self): + super().__init__() + # 编码器和解码器完全独立 + self.enc1 = nn.Conv2d(3, 64, 3, padding=1) + self.dec1 = nn.Conv2d(64, 3, 3, padding=1) # 独立的解码器权重 + + + 根据社区的实验和论文报告，权重共享在扩散模型中的表现： + + + + +##### 实验结果汇总 + + + + - **FID分数**：独立权重通常好2-5个点 + - **训练稳定性**：权重共享在某些配置下会导致训练不稳定 + - **参数效率**：权重共享确实减少50%参数，但性能下降不成比例 + - **泛化能力**：独立权重在out-of-distribution数据上表现更好 + + + + + +#### 特殊情况：部分权重共享 + + + +一些研究探索了折中方案： + + + + +# 部分权重共享：只在某些层共享 +class PartiallyTiedUNet(nn.Module): + def __init__(self): + super().__init__() + # 底层（高分辨率）独立 + self.enc_high = nn.Conv2d(3, 64, 3, padding=1) + self.dec_high = nn.Conv2d(64, 3, 3, padding=1) + + # 中层（中等分辨率）共享 + self.shared_mid = nn.Conv2d(128, 256, 3, padding=1) + + # 深层（低分辨率）独立 - 这里语义差异最大 + self.enc_low = nn.Conv2d(256, 512, 3, padding=1) + self.dec_low = nn.Conv2d(512, 256, 3, padding=1) + + + 这种设计的直觉是：中间层学习的是较为通用的特征变换，可以共享；而浅层和深层由于任务差异较大，应该独立。 + + + +#### 现代实践：为什么主流模型都不用权重共享？ + + + +> **定义** +> 主流扩散模型的选择 + + + + - **DDPM (2020)**：独立权重 + - **IDDPM (2021)**：独立权重 + 更深的架构 + - **ADM (2021)**：独立权重 + 自适应归一化 + - **Stable Diffusion (2022)**：独立权重 + 交叉注意力 + - **DiT (2022)**：不适用（Transformer架构） + + + + + +**结论**：尽管权重共享在理论上很优雅，在扩散模型的实践中，独立权重已经成为事实标准。主要原因是： + + + + - 扩散模型的计算瓶颈不在参数量，而在推理步数 + - 编码器和解码器的任务确实存在本质差异 + - 现代GPU的内存已经足够大，参数效率不再是首要考虑 + - 性能提升（2-5个FID点）对于竞争激烈的生成模型领域很重要 + + + + + +思考练习：设计实验验证权重共享的效果 + +设计一个实验来验证权重共享对扩散模型性能的影响。考虑以下因素： + + + + - 如何确保公平比较（相同的总参数量 vs 相同的架构）？ + - 应该在哪些指标上评估（FID、IS、LPIPS、推理时间）？ + - 如何测试不同噪声水平下的表现差异？ + +**实验设计建议：** + + + + - **公平比较**： + + + 方案A：固定总参数量，权重共享版本可以更深 + - 方案B：固定架构深度，接受参数量差异 + - 推荐方案A，因为实际应用中参数效率很重要 + + + + - **评估指标**： + + + 生成质量：FID、IS、Precision/Recall + - 去噪能力：不同t下的MSE + - 训练动态：损失曲线、梯度范数 + - 推理效率：内存使用、推理时间 + + + + - **噪声水平测试**： + + + 将t分为三段：[0,300]、[300,700]、[700,1000] + - 分别评估每段的去噪表现 + - 预期：高噪声段差异更大（解码器任务更难） + + + + + +### 2.2.5 归一化技术FAQ：从BatchNorm到AdaGN的演进史 + + + +归一化（Normalization）可能是深度学习中最令人困惑的组件之一。让我们通过FAQ的形式，追溯归一化技术的演进历程，特别是它如何影响了生成模型的发展。 + + + +> **定义** +> Q1: 为什么原始U-Net没有使用归一化？ + + +**A:** 2015年的U-Net发表时，BatchNorm刚刚被提出几个月（Ioffe & Szegedy, 2015）。原始U-Net依赖于良好的初始化和相对较浅的架构（只有4次下采样）来保持训练稳定。这在当时是常见做法，但限制了模型的深度。 + + + + +#### 归一化技术时间线 + + + + + + 年份 + 技术 + 关键创新 + 生成模型影响 + + + 2015 + BatchNorm + 标准化批次统计 + DCGAN采用，但需要大批次 + + + 2016 + LayerNorm + 标准化特征维度 + 主要用于RNN/Transformer + + + 2016 + InstanceNorm + 每个样本独立标准化 + 风格迁移的关键 + + + 2018 + GroupNorm + 组内标准化 + 成为扩散模型标准 + + + 2019 + AdaIN (StyleGAN) + 自适应实例标准化 + 革命性的风格控制 + + + 2020+ + AdaGN + 自适应组标准化 + 扩散模型时间调制 + + + + + +> **定义** +> Q2: 为什么扩散模型不用BatchNorm？ + + +**A:** BatchNorm有几个对扩散模型致命的问题： + + + + - **批次依赖**：生成质量受同批次其他样本影响，导致推理时行为不一致 + - **小批次退化**：扩散模型由于内存限制常用小批次（如4或8），BatchNorm统计不稳定 + - **时间步混淆**：不同时间步的样本混在一起计算统计量，违背了扩散过程的假设 + + + + + +#### StyleGAN的革命性发现：归一化即风格 + + + +StyleGAN (Karras et al., 2019) 带来了一个深刻洞察：**归一化操作本质上是在操纵特征的统计量，而这些统计量恰好编码了"风格"信息**。 + + + + +# StyleGAN的AdaIN实现 +class AdaIN(nn.Module): + def __init__(self, num_features): + super().__init__() + self.norm = nn.InstanceNorm2d(num_features, affine=False) + + def forward(self, x, style): + # style是从潜在码w映射而来的向量 + # 分别预测每个通道的均值和标准差调制 + style = style.view(style.size(0), 2, x.size(1), 1, 1) + gamma = style[:, 0] # 标准差调制 + beta = style[:, 1] # 均值调制 + + # 先标准化，再用style调制 + normalized = self.norm(x) + return gamma * normalized + beta + +# 扩散模型的AdaGN实现 +class AdaGN(nn.Module): + def __init__(self, num_features, num_groups=32): + super().__init__() + self.norm = nn.GroupNorm(num_groups, num_features, affine=False) + + def forward(self, x, time_emb): + # time_emb是时间步的嵌入 + # 通过MLP映射到scale和shift + scale, shift = self.time_mlp(time_emb).chunk(2, dim=1) + scale = scale.view(-1, x.size(1), 1, 1) + shift = shift.view(-1, x.size(1), 1, 1) + + normalized = self.norm(x) + return normalized * (1 + scale) + shift # 注意这里的(1 + scale) + + + +> **定义** +> Q3: 各种归一化方法的直观理解是什么？ + + + + +```python + +BatchNorm: 在批次维度求统计 → "这批图片的平均亮度是多少？" +LayerNorm: 在特征维度求统计 → "这个位置所有通道的平均激活是多少？" +InstanceNorm: 在空间维度求统计 → "这张图片的平均纹理强度是多少？" +GroupNorm: 在通道组内求统计 → "这组相关特征的平均响应是多少？" + +``` + + + + + + +#### 扩散模型中的GroupNorm：为什么是最佳选择？ + + + + +##### GroupNorm的独特优势 + + + + - **批次无关**：每个样本独立计算，推理一致 + - **参数可调**：通过调整组数在LN和IN之间平衡 + + + G=1：退化为LayerNorm（全局归一化） + - G=C：退化为InstanceNorm（逐通道归一化） + - G=8/16/32：实践中的甜点 + + + + - **语义分组**：相近的通道往往编码相似的特征，组归一化保持了这种局部性 + + + + + +> **定义** +> Q4: 为什么要用自适应归一化（AdaGN）而不是简单的条件拼接？ + + **A:** 这涉及到归一化的本质作用： + + + + - **统计调制 vs 特征叠加**： + + + 拼接：$h' = \text{Conv}([h, \text{cond}])$ - 加法式的特征组合 + - AdaGN：$h' = \gamma(t) \cdot \text{Norm}(h) + \beta(t)$ - 乘法式的统计调制 + + + + - **不同时间步需要不同的"去噪策略"**： + + + 早期（高噪声）：需要强归一化，关注全局结构 + - 后期（低噪声）：需要弱归一化，保留细节 + - AdaGN可以通过调整γ和β灵活控制归一化强度 + + + + + + + + +#### 实践建议：如何选择归一化？ + + + + +# 扩散模型的标准归一化配置 +def get_norm_layer(norm_type, num_features, num_groups=32): + if norm_type == 'batch': + # ❌ 不推荐：批次依赖 + return nn.BatchNorm2d(num_features) + elif norm_type == 'instance': + # ⚠️ 谨慎使用：可能丢失全局信息 + return nn.InstanceNorm2d(num_features) + elif norm_type == 'layer': + # ⚠️ 仅用于Transformer架构 + return nn.LayerNorm(num_features) + elif norm_type == 'group': + # ✅ 推荐：扩散模型标准选择 + return nn.GroupNorm(num_groups, num_features) + elif norm_type == 'ada_group': + # ✅✅ 强烈推荐：最灵活的选择 + return AdaGroupNorm(num_groups, num_features) + +# 组数选择指南 +def get_optimal_groups(num_channels): + """基于通道数选择最优组数""" + if num_channels + + + +> **定义** +> Q5: LayerNorm在扩散模型中完全没用吗？ + + **A:** 不是的！LayerNorm在Transformer架构（如DiT）中是标准配置。关键区别在于： + + + + - **CNN架构**：空间维度重要 → GroupNorm + - **Transformer架构**：token维度重要 → LayerNorm + + + +DiT使用的是自适应LayerNorm（AdaLN），原理与AdaGN相似，只是作用维度不同。 + + + + +#### 未来趋势：无归一化网络？ + + + +最新的研究（如NFNet）展示了通过精心的初始化和激活函数设计，可以训练无归一化的深度网络。但在扩散模型中，归一化不仅是为了训练稳定性，更是条件信息注入的重要机制，因此短期内仍将是必需组件。 + + + +### 2.2.6 实现细节：魔鬼在细节中 + + + +许多看似微小的实现细节对模型性能有巨大影响。以下是一些容易被忽视但很重要的点： + + + +> **定义** +> 实践经验：U-Net实现的"坑" + + + + - **上采样方式**：最近邻插值 + 卷积 比 转置卷积 更稳定，避免棋盘效应 + - **初始化策略**：零初始化最后一层卷积，使网络初始输出接近零（恒等映射） + - **通道数设计**：通常遵循 [C, 2C, 4C, 8C] 的倍增规律，但不要超过512-1024 + - **注意力头数**：通道数除以64作为头数是个不错的经验值 + - **跳跃连接处理**：拼接（concat）比相加（add）更常用，保留更多信息 + + + + + + +练习 2.1：构建简化的U-Net + +[待完成：实现一个最小化的U-Net结构] + +[待完成：答案代码和解释] + + + + + +## 2.3 从NLP到CV：Vision Transformer的跨界之旅 + + + +### 2.3.1 Transformer的计算机视觉革命 + + + +Transformer架构原本是2017年为自然语言处理设计的（"Attention is All You Need"），但2020年Google的ViT论文证明了纯Transformer架构在图像分类上可以达到甚至超越CNN的性能。这个突破性发现开启了Transformer在计算机视觉领域的广泛应用。 + + + +> **定义** +> ViT发展时间线 + + + + - **2017年**：Transformer提出，革新NLP领域 + - **2020年10月**：ViT论文发表，首次将纯Transformer应用于图像分类 + - **2021年**：Swin Transformer、DeiT等变体涌现，Transformer开始统治CV任务 + - **2022年**：Peebles和Xie提出DiT，将Transformer引入扩散模型 + - **2023年**：DiT成为大规模文生图模型的主流选择（如Stable Diffusion 3） + + + + + +ViT的核心思想极其简洁：将图像分割成固定大小的patches（例如16×16），将每个patch线性投影为向量，然后像处理NLP中的词序列一样处理这些patch序列。这种设计的优雅之处在于： + + + + + - **统一的架构**：图像和文本可以用相同的Transformer处理，促进多模态理解 + - **全局感受野**：自注意力机制让每个patch都能"看到"整张图像，不像CNN需要堆叠才能扩大感受野 + - **可扩展性**：Transformer的性能随模型规模增长呈现出色的scaling law + - **灵活的序列建模**：容易处理不同分辨率的图像，只需调整patch数量 + + + + +### 2.3.2 为什么Transformer适合扩散模型？ + + + +扩散模型采用Transformer并非偶然。DiT的作者发现，当扩散模型需要处理复杂的全局依赖关系时，Transformer的优势尤为明显： + + + + + 去噪任务的本质：理解图像的全局结构 + 恢复局部细节 + + + + +这恰好是Transformer的强项： + + + + - **长程依赖建模**：自注意力机制天然擅长捕获远距离像素间的关系 + - **并行计算**：相比U-Net的顺序计算，Transformer可以并行处理所有patches + - **条件信息融合**：通过cross-attention或AdaLN，轻松注入时间步、类别等条件信息 + - **训练稳定性**：LayerNorm和残差连接使深层Transformer训练更稳定 + + + + +### 2.3.3 实现用于扩散的ViT + + +[待完成：PyTorch实现，包括patch embedding、transformer blocks] + + + + +练习 2.2：比较U-Net和ViT的计算复杂度 + +[待完成：分析两种架构的参数量和计算量] + +[待完成：详细的复杂度分析] + + + + + +## 2.4 架构改造：从原始设计到扩散模型适配 + + + +将U-Net和ViT应用于扩散模型并非简单的"拿来主义"。研究者们对这些架构进行了巧妙的改造，使其能够处理扩散模型特有的需求。 + + + +### 2.4.1 关键改造：时间信息的注入 + + + +扩散模型最独特的需求是：网络必须知道当前处于哪个时间步 $t$，因为不同时间步的去噪策略完全不同。原始的U-Net和ViT都没有考虑这一点。主要的改造方案包括： + + + +> **定义** +> 时间嵌入技术 + + + + - **正弦位置编码**：借鉴Transformer的位置编码，将时间步 $t$ 编码为高维向量 + + + $\text{PE}(t, 2i) = \sin(t/10000^{2i/d})$, $\text{PE}(t, 2i+1) = \cos(t/10000^{2i/d})$ + + + + - **可学习嵌入**：通过MLP将时间步映射到高维空间，更加灵活 + - **自适应归一化（AdaGN）**：用时间嵌入调制归一化层的scale和shift参数 + - **注意力机制**：将时间嵌入作为额外的token加入序列 + + + + + +### 2.4.2 从分类到生成：架构哲学的转变 + + + +原始U-Net和ViT都是为判别任务（分割、分类）设计的，而扩散模型是生成任务。这带来了设计哲学的根本转变： + + + + + 方面 + 判别任务（原始设计） + 生成任务（扩散模型） + + + 输出要求 + 语义准确性 + 像素级精确度 + + + 特征重要性 + 高层语义特征 + 所有层次特征同等重要 + + + 归一化策略 + BatchNorm（依赖批统计） + GroupNorm（独立于批大小） + + + 注意力使用 + 主要在高层 + 多个分辨率都需要 + + + + +## 2.5 架构演进对比：一图看懂发展脉络 + + + + + + U-Net 演进路线 + + + + **原始U-Net (2015)** + + • 用途：医学图像分割 + + • 特点：编码器-解码器 + 跳跃连接 + + • 归一化：BatchNorm + + • 注意力：无 + + + **Diffusion U-Net (2020+)** + + • 用途：扩散模型去噪 + + • 新增：时间嵌入 (AdaGN) + + • 归一化：GroupNorm + + • 注意力：多尺度自注意力 + + + + Transformer 演进路线 + + + + **ViT (2020)** + + • 用途：图像分类 + + • 特点：Patch嵌入 + 位置编码 + + • 输出：分类logits + + • 条件：无 + + + **DiT (2022)** + + • 用途：扩散模型去噪 + + • 新增：时间/类别条件 (AdaLN) + + • 输出：噪声预测/速度预测 + + • 条件：灵活的条件机制 + + + + + + + +思考题：架构选择 + +假设你要为以下任务选择去噪网络架构，你会选择U-Net还是Transformer？说明理由： + + + + - 生成32×32的低分辨率图标 + - 生成1024×1024的高分辨率人脸 + - 生成需要强全局一致性的建筑设计图 + - 在计算资源受限的边缘设备上部署 + +**参考答案：** + + + + - **32×32图标**：U-Net。低分辨率下卷积的归纳偏置更有效，计算开销小。 + - **1024×1024人脸**：两者皆可。U-Net内存效率更高，但DiT在超大模型下质量可能更好。 + - **建筑设计图**：Transformer。需要强全局一致性，自注意力机制优势明显。 + - **边缘设备**：U-Net。参数量更少，计算效率更高，更适合部署。 + + + +实际选择还需考虑：训练数据量、具体质量要求、推理延迟限制等因素。 + + + + + + + + +`# 待完成：完整的U-Net代码实现 +import torch +import torch.nn as nn + +class UNet(nn.Module): + def __init__(self): + super().__init__() + # TODO: 实现完整的U-Net + pass` + + + + +## 2.6 性能优化与实用技巧 + + + 理论架构和实际部署之间往往存在巨大鸿沟。本节分享一些在实践中积累的优化技巧，这些技巧往往决定了模型能否真正落地。 + + + +### 2.6.1 内存优化：在GPU上塞下更大的模型 + + + +> **定义** +> 内存瓶颈分析 + + +训练扩散模型时，内存主要消耗在： + + + + - **激活值**：U-Net的跳跃连接需要保存所有中间特征（占用最大） + - **梯度**：反向传播需要的梯度存储 + - **优化器状态**：Adam需要存储一阶和二阶动量 + - **模型参数**：相对较小，但FP32下也不容忽视 + + + + + +#### 技巧1：梯度检查点（Gradient Checkpointing） + + +核心思想：用计算换内存。不保存中间激活值，反向传播时重新计算。 + + + + +import torch.utils.checkpoint as checkpoint + +class CheckpointedResBlock(nn.Module): + def forward(self, x, time_emb): + # 使用checkpoint包装计算密集但内存友好的部分 + def _forward(x): + h = self.norm1(x) + h = self.act(h) + h = self.conv1(h) + # ... 更多计算 + return h + + # 只在训练时使用checkpoint + if self.training: + return checkpoint.checkpoint(_forward, x) + else: + return _forward(x) + + + **经验法则**：在U-Net的每个分辨率级别使用1-2个checkpoint，可减少约40%内存，训练时间增加约20%。 + + + +#### 技巧2：混合精度训练（Mixed Precision） + + +使用FP16计算，FP32累积，充分利用现代GPU的Tensor Core： + + + + +from torch.cuda.amp import autocast, GradScaler + +scaler = GradScaler() + +for batch in dataloader: + optimizer.zero_grad() + + with autocast(): # 自动将合适的操作转为FP16 + noise_pred = model(noisy_images, timesteps) + loss = F.mse_loss(noise_pred, noise) + + # 梯度缩放，防止FP16下溢 + scaler.scale(loss).backward() + scaler.step(optimizer) + scaler.update() + + + **注意事项**： + + + + - LayerNorm和注意力机制的softmax保持FP32精度 + - 损失缩放（loss scaling）对稳定性至关重要 + - 某些操作（如上采样）可能需要显式转回FP32 + + + + +#### 技巧3：注意力优化 + + +自注意力是内存消耗大户，特别是在高分辨率特征图上： + + + + + 标准注意力内存复杂度：$O(N^2 \cdot d)$，其中$N = H \times W$ + + + + +优化方案： + + + + - **Flash Attention**：融合计算，减少内存读写 + - **分块注意力**：将特征图分块，只在块内计算注意力 + - **线性注意力近似**：用Performer或Linformer降低复杂度 + + + + +### 2.6.2 训练稳定性：让10亿参数模型稳定收敛 + + + +#### 初始化的艺术 + + + +> **定义** +> 扩散模型特殊的初始化需求 + + +目标：让模型初始预测接近零均值高斯噪声，实现"恒等映射" + + + + - **最后一层零初始化**： + +nn.init.zeros_(self.final_conv.weight) +nn.init.zeros_(self.final_conv.bias) + + - **残差分支缩放**： + +```python +self.residual_scale = nn.Parameter(torch.zeros(1)) +output = x + self.residual_scale * residual +``` + + + - **注意力输出零初始化**：初始时注意力不起作用 + + + + + +#### 数值稳定性技巧 + + + + + 问题 + 解决方案 + + + FP16训练NaN + + • 使用FP32 LayerNorm + + • 梯度裁剪：`torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0)` + + • 调整损失缩放因子 + + + + 注意力爆炸 + + • 缩放点积注意力（必须！） + + • 注意力dropout + + • QK归一化：`q = F.normalize(q, dim=-1)` + + + + 训练后期不稳定 + + • EMA权重平均 + + • 学习率预热和余弦退火 + + • AdamW权重衰减（通常0.01） + + + + + +#### 调试技巧：如何定位问题 + + + +> **定义** +> 扩散模型调试检查清单 + + + + - **单步测试**：固定 $t=500$，检查模型是否能学会去噪中等噪声 + - **可视化中间激活**： + +```python +# 在forward中加入 +if hasattr(self, 'debug_mode') and self.debug_mode: + self.activations[f'layer_{i}'] = h.detach() +``` + + + - **监控关键指标**： + + + 各层激活值的均值和方差 + - 梯度范数（应该随深度递减） + - 注意力权重分布（不应过度集中） + + + + - **噪声调度验证**：确认 $t=T$ 时 $x_T \approx \mathcal{N}(0,I)$ + + + + + +### 2.6.3 架构搜索：如何选择超参数 + + + 没有一种架构适合所有任务。以下是一些经过验证的经验规则： + + + + +#### U-Net超参数选择指南 + + + + 图像分辨率 + 基础通道数 + 下采样次数 + 注意力分辨率 + + + 32×32 + 128 + 2 + 16×16 + + + 64×64 + 128-256 + 3 + 16×16, 32×32 + + + 256×256 + 256-320 + 4-5 + 16×16, 32×32 + + + 512×512+ + 320-512 + 5-6 + 考虑使用DiT + + + + + +**最后的建议**：从小模型开始，逐步扩大。过早使用大模型只会让调试变得困难。记住，Stable Diffusion的成功很大程度上归功于其在64×64潜在空间而非512×512像素空间上操作的设计决策。 + + + + +综合练习：设计适合特定数据的去噪网络 + +[待完成：给定数据特性，选择和修改网络架构] + +[待完成：设计思路和实现] + + + + + + +## 本章小结 + + +本章我们追溯了扩散模型中两种主流架构的历史渊源： + + + + - **U-Net**：从2015年的医学图像分割任务，到2020年成为DDPM的核心架构 + - **Vision Transformer**：从2017年的NLP革命，经2020年的CV突破，到2022年DiT的提出 + + + + +这两种架构能够成功应用于扩散模型并非偶然： + + + + - U-Net的编码器-解码器结构天然适合"加噪-去噪"的对称过程 + - ViT的全局注意力机制正好满足扩散模型对长程依赖建模的需求 + - 两种架构都经过改造：加入时间嵌入、调整归一化策略、优化注意力机制 + + + + +扩散模型的成功启示我们：创新并不总是需要"从零开始"，善于发现和利用已有技术的潜力，通过巧妙的改造和组合，往往能产生意想不到的突破。 + + + +下一章，我们将深入DDPM的数学原理，看看这些架构是如何在具体的扩散模型训练中发挥作用的。 \ No newline at end of file diff --git a/chapter3.html b/chapter3.html deleted file mode 100644 index 6f07528..0000000 --- a/chapter3.html +++ /dev/null @@ -1,3250 +0,0 @@ - - - - - - 第3章：去噪扩散概率模型 (DDPM) - Diffusion Models Tutorial - - - - - - - -
-
- ← 上一章 - 第3章 / 共14章 - 下一章 → -
- -

第3章：去噪扩散概率模型 (DDPM)

- -
- 2020年，Ho等人的论文"Denoising Diffusion Probabilistic Models"让扩散模型真正进入了实用阶段。DDPM不仅简化了训练过程，还达到了与GAN相媲美的生成质量。本章将深入剖析DDPM的数学原理、训练算法和实现细节。通过本章学习，你将掌握如何从零实现一个完整的DDPM，并理解其背后的概率论基础。 -
- -

3.1 DDPM的核心思想：简化与统一

- -

在DDPM之前，扩散模型虽然理论优雅，但实践困难。2015年Sohl-Dickstein等人的开创性工作需要估计整个反向过程的熵，训练极其复杂。DDPM的革命性贡献在于：将复杂的变分推断简化为简单的去噪任务。

- -
-
DDPM的三个关键简化
-
    -
  1. 固定方差调度：前向过程使用预定义的 $\beta_t$ 序列，无需学习
    2. -
  2. 简化反向过程：假设反向过程也是高斯分布，只需学习均值（实际上是学习噪声）
    3. -
  3. 重参数化目标：将预测均值转换为预测噪声，大幅提升训练稳定性
    4. -
-
- -

3.1.1 从复杂到简单：DDPM的洞察

- -

让我们通过一个类比来理解DDPM的核心思想：

- -
-

墨水扩散的类比

-

想象一滴墨水在水中扩散：

-
    -
  • 前向过程：墨水逐渐扩散，最终均匀分布（物理过程，确定的）
    • -
  • 反向过程：如何让扩散的墨水重新聚集？（需要学习的）
    • -
-

DDPM的关键洞察：在每个时间步，我们只需要知道"墨水应该向哪个方向聚集"，而这个方向恰好与添加的噪声方向相反！

-
- -

3.1.2 数学框架概览

- -

DDPM定义了两个过程：

- -
- 前向过程（固定）：
- $q(\mathbf{x}_t | \mathbf{x}_{t-1}) = \mathcal{N}(\mathbf{x}_t; \sqrt{1-\beta_t}\mathbf{x}_{t-1}, \beta_t\mathbf{I})$

- - 反向过程（学习）：
- $p_\theta(\mathbf{x}_{t-1} | \mathbf{x}_t) = \mathcal{N}(\mathbf{x}_{t-1}; \boldsymbol{\mu}_\theta(\mathbf{x}_t, t), \sigma_t^2\mathbf{I})$ -
- -

关键创新在于如何参数化 $\boldsymbol{\mu}_\theta$：

- -
-
# 早期方法：直接预测均值（不稳定）
-mean = model(x_t, t)
-
-# DDPM创新：预测噪声（稳定且有效）
-noise_pred = model(x_t, t)
-mean = (x_t - beta_t / sqrt(1 - alpha_bar_t) * noise_pred) / sqrt(alpha_t)
-
- -

3.1.3 为什么预测噪声更好？

- -

这个看似简单的改变带来了巨大的好处：

- -
-
预测噪声的优势
- - - - - - - - - - - - - - - - - - - - - - - - - - -
方面预测均值预测噪声
输出范围需要匹配数据分布标准高斯（已归一化）
训练信号随t变化剧烈各时间步相对一致
梯度流可能梯度消失梯度传播良好
物理意义预测去噪后的图像预测添加的噪声
-
- -

3.1.4 DDPM vs 早期扩散模型

- -

让我们对比DDPM与2015年的原始扩散模型：

- -
-
# 2015年的扩散模型（复杂）
-# 需要估计：
-# 1. 前向过程的熵
-# 2. 反向过程的完整分布
-# 3. 变分参数的优化
-# 训练极其不稳定，生成质量差
-
-# DDPM（2020年）的训练（极简）
-for x_0, _ in dataloader:
-    t = torch.randint(0, num_timesteps, (batch_size,))
-    noise = torch.randn_like(x_0)
-    x_t = sqrt_alpha_bar[t] * x_0 + sqrt_one_minus_alpha_bar[t] * noise
-    
-    noise_pred = model(x_t, t)
-    loss = F.mse_loss(noise_pred, noise)
-    loss.backward()
-
- -

这种简化不是以牺牲性能为代价的——相反，DDPM首次让扩散模型在生成质量上与GAN竞争，同时保持了训练的稳定性。

- -
-
思考题 3.1：直觉理解
-

为什么在高噪声情况下（大的t），预测噪声比预测原始图像更容易？提示：考虑信噪比。

- -
-

答案：

-

当t很大时，$\mathbf{x}_t \approx \mathcal{N}(0, \mathbf{I})$，几乎是纯噪声。此时：

-
    -
  • 原始图像 $\mathbf{x}_0$ 的信息几乎完全丢失，预测它需要"凭空想象"
    • -
  • 但添加的噪声 $\boldsymbol{\epsilon}$ 是已知的，且占主导地位
    • -
  • 网络只需要识别噪声模式，而不是重建复杂的图像结构
    • -
-

类比：在雪花噪声的电视屏幕上，识别噪声模式比重建原始节目容易得多。

-
-
- -

3.2 前向过程：数学推导与性质

- -

前向过程是扩散模型的基础，它定义了如何将数据逐步转换为噪声。虽然这个过程在训练和推理时都不需要实际执行完整的马尔可夫链，但理解其数学性质对掌握DDPM至关重要。

- -

3.2.1 马尔可夫链的构建

- -

前向过程定义为一个马尔可夫链：

- -
- $$\mathbf{x}_0 \to \mathbf{x}_1 \to \mathbf{x}_2 \to \cdots \to \mathbf{x}_T$$ -
- -

其中每一步的转移概率为：

- -
- $$q(\mathbf{x}_t|\mathbf{x}_{t-1}) = \mathcal{N}(\mathbf{x}_t; \sqrt{1-\beta_t}\mathbf{x}_{t-1}, \beta_t\mathbf{I})$$ -
- -
-
关键性质1：方差调度的约束
-

为什么是 $\sqrt{1-\beta_t}$ 而不是其他系数？这是为了保持信号的期望能量：

-
- $$\mathbb{E}[\|\mathbf{x}_t\|^2 | \mathbf{x}_{t-1}] = (1-\beta_t)\|\mathbf{x}_{t-1}\|^2 + \beta_t \cdot d$$ -
-

其中 $d$ 是数据维度。当 $\beta_t$ 很小时，信号能量近似保持不变。

-
- -

让我们验证这个性质：

- -
-
import torch
-import matplotlib.pyplot as plt
-
-# 验证能量保持性质
-x_0 = torch.randn(1000, 3, 32, 32)  # 1000个32x32的RGB图像
-beta = 0.02  # 典型的beta值
-
-# 一步前向过程
-noise = torch.randn_like(x_0)
-x_1 = torch.sqrt(1 - beta) * x_0 + torch.sqrt(beta) * noise
-
-print(f"原始信号能量: {x_0.pow(2).mean():.4f}")
-print(f"扩散后信号能量: {x_1.pow(2).mean():.4f}")
-print(f"理论预期: {(1-beta)*x_0.pow(2).mean() + beta*3*32*32:.4f}")
-
- -

3.2.2 重参数化技巧

- -

DDPM的一个关键技巧是：我们可以直接从 $\mathbf{x}_0$ 采样任意时刻的 $\mathbf{x}_t$，而不需要逐步模拟整个马尔可夫链。

- -
-
定理：闭式采样公式
-

定义 $\alpha_t = 1 - \beta_t$ 和 $\bar{\alpha}_t = \prod_{s=1}^{t}\alpha_s$，则：

-
- $$q(\mathbf{x}_t|\mathbf{x}_0) = \mathcal{N}(\mathbf{x}_t; \sqrt{\bar{\alpha}_t}\mathbf{x}_0, (1-\bar{\alpha}_t)\mathbf{I})$$ -
-
- -

证明（这个证明很重要，值得仔细理解）：

- -
-

我们用归纳法证明。

-

基础情况（$t=1$）：显然成立，因为 $\bar{\alpha}_1 = \alpha_1 = 1 - \beta_1$。

- -

归纳步骤：假设对 $t-1$ 成立，即：

- $$\mathbf{x}_{t-1} = \sqrt{\bar{\alpha}_{t-1}}\mathbf{x}_0 + \sqrt{1-\bar{\alpha}_{t-1}}\boldsymbol{\epsilon}_{t-1}$$ - -

其中 $\boldsymbol{\epsilon}_{t-1} \sim \mathcal{N}(0, \mathbf{I})$。根据前向过程定义：

- $$\mathbf{x}_t = \sqrt{\alpha_t}\mathbf{x}_{t-1} + \sqrt{1-\alpha_t}\boldsymbol{\epsilon}_t$$ - -

代入 $\mathbf{x}_{t-1}$ 的表达式：

- $$\mathbf{x}_t = \sqrt{\alpha_t}(\sqrt{\bar{\alpha}_{t-1}}\mathbf{x}_0 + \sqrt{1-\bar{\alpha}_{t-1}}\boldsymbol{\epsilon}_{t-1}) + \sqrt{1-\alpha_t}\boldsymbol{\epsilon}_t$$ - - $$= \sqrt{\alpha_t\bar{\alpha}_{t-1}}\mathbf{x}_0 + \sqrt{\alpha_t(1-\bar{\alpha}_{t-1})}\boldsymbol{\epsilon}_{t-1} + \sqrt{1-\alpha_t}\boldsymbol{\epsilon}_t$$ - -

注意到 $\alpha_t\bar{\alpha}_{t-1} = \bar{\alpha}_t$，且两个独立高斯噪声的线性组合仍是高斯噪声：

- $$\text{Var}[\sqrt{\alpha_t(1-\bar{\alpha}_{t-1})}\boldsymbol{\epsilon}_{t-1} + \sqrt{1-\alpha_t}\boldsymbol{\epsilon}_t] = \alpha_t(1-\bar{\alpha}_{t-1}) + (1-\alpha_t) = 1-\bar{\alpha}_t$$ - -

因此：

- $$\mathbf{x}_t = \sqrt{\bar{\alpha}_t}\mathbf{x}_0 + \sqrt{1-\bar{\alpha}_t}\boldsymbol{\epsilon}$$ - -

其中 $\boldsymbol{\epsilon} \sim \mathcal{N}(0, \mathbf{I})$。证毕。

-
- -

3.2.3 噪声调度的设计

- -

噪声调度 $\{\beta_t\}_{t=1}^T$ 的选择对模型性能有重要影响。DDPM原文使用线性调度，但后续研究发现其他调度可能更优。

- -
-
import numpy as np
-import matplotlib.pyplot as plt
-
-def linear_beta_schedule(timesteps, beta_start=0.0001, beta_end=0.02):
-    """DDPM原始的线性调度"""
-    return np.linspace(beta_start, beta_end, timesteps)
-
-def cosine_beta_schedule(timesteps, s=0.008):
-    """Improved DDPM的余弦调度"""
-    steps = timesteps + 1
-    t = np.linspace(0, timesteps, steps)
-    alphas_cumprod = np.cos(((t / timesteps) + s) / (1 + s) * np.pi * 0.5) ** 2
-    alphas_cumprod = alphas_cumprod / alphas_cumprod[0]
-    betas = 1 - (alphas_cumprod[1:] / alphas_cumprod[:-1])
-    return np.clip(betas, 0.0001, 0.9999)
-
-def quadratic_beta_schedule(timesteps, beta_start=0.0001, beta_end=0.02):
-    """二次调度（较少使用）"""
-    t = np.linspace(0, 1, timesteps)
-    return beta_start + (beta_end - beta_start) * t ** 2
-
-# 可视化不同调度
-timesteps = 1000
-linear_betas = linear_beta_schedule(timesteps)
-cosine_betas = cosine_beta_schedule(timesteps)
-quadratic_betas = quadratic_beta_schedule(timesteps)
-
-# 计算信噪比（更直观的指标）
-# 比较不同噪声调度
-linear_betas = linear_beta_schedule(1000)
-cosine_betas = cosine_beta_schedule(1000) 
-quadratic_betas = quadratic_beta_schedule(1000)
-
-# 计算信噪比
-def compute_snr(betas):
-    alphas = 1 - betas
-    alphas_cumprod = np.cumprod(alphas)
-    return alphas_cumprod / (1 - alphas_cumprod)
-
-# 展示不同调度下的关键统计数据
-alphas_cumprod_linear = np.cumprod(1 - linear_betas)
-alphas_cumprod_cosine = np.cumprod(1 - cosine_betas)
-
-t_vis = [0, 250, 500, 750, 999]
-print("Signal preservation (√ᾱ_t) at key timesteps:")
-print("Timestep | Linear | Cosine")
-for t in t_vis:
-    print(f"{t:8d} | {np.sqrt(alphas_cumprod_linear[t]):.4f} | {np.sqrt(alphas_cumprod_cosine[t]):.4f}")
-
-print("\nSNR at key timesteps:")
-snr_linear = compute_snr(linear_betas)
-snr_cosine = compute_snr(cosine_betas)
-for t in t_vis:
-    print(f"{t:8d} | {snr_linear[t]:.4f} | {snr_cosine[t]:.4f}")
-
- -
-
调度策略对比
- - - - - - - - - - - - - - - - - - - - - - - - - -
调度类型特点优势劣势
线性 (Linear)β线性增长简单直观前期破坏过快
余弦 (Cosine)基于SNR设计更好的感知质量末期可能过慢
二次 (Quadratic)β二次增长前期保留更多信息后期可能太激进
-
- -
-
练习 3.2：实现自定义噪声调度
-

设计一个"S形"噪声调度，使得：

-
    -
  1. 前期（t < 200）：缓慢添加噪声，保留更多结构信息
    2. -
  2. 中期（200 ≤ t ≤ 800）：快速添加噪声
    3. -
  3. 后期（t > 800）：再次放缓，确保收敛到纯噪声
    4. -
-

实现这个调度并与标准调度对比SNR曲线。

- -
- 
def sigmoid_beta_schedule(timesteps, beta_start=0.0001, beta_end=0.02):
-    """S形噪声调度"""
-    t = np.linspace(-6, 6, timesteps)
-    sigmoid = 1 / (1 + np.exp(-t))
-    betas = beta_start + (beta_end - beta_start) * sigmoid
-    return betas
-
-# 也可以分段设计
-def piecewise_beta_schedule(timesteps, beta_start=0.0001, beta_end=0.02):
-    """分段噪声调度"""
-    betas = np.zeros(timesteps)
-    
-    # 前期：缓慢增长
-    t1 = int(0.2 * timesteps)
-    betas[:t1] = np.linspace(beta_start, beta_start * 5, t1)
-    
-    # 中期：快速增长
-    t2 = int(0.8 * timesteps)
-    betas[t1:t2] = np.linspace(beta_start * 5, beta_end * 0.8, t2 - t1)
-    
-    # 后期：缓慢增长到beta_end
-    betas[t2:] = np.linspace(beta_end * 0.8, beta_end, timesteps - t2)
-    
-    return betas
-

关键洞察：好的噪声调度应该在保留足够信息和充分探索噪声空间之间取得平衡。余弦调度之所以优于线性调度，正是因为它更好地平衡了这两个需求。

-
-
- -

3.3 反向过程：从噪声到图像

- -

反向过程是扩散模型的核心——如何从纯噪声逐步恢复出清晰的数据。DDPM的关键贡献之一是推导出了在已知 $\mathbf{x}_0$ 时的反向条件分布的闭式解。

- -

3.3.1 反向条件概率的推导

- -

这是DDPM中最重要的数学推导之一。我们想要计算 $q(\mathbf{x}_{t-1}|\mathbf{x}_t, \mathbf{x}_0)$。

- -
-
定理：反向过程的后验分布
-

给定 $\mathbf{x}_t$ 和 $\mathbf{x}_0$，反向过程的后验分布为：

-
- $$q(\mathbf{x}_{t-1}|\mathbf{x}_t, \mathbf{x}_0) = \mathcal{N}(\mathbf{x}_{t-1}; \tilde{\boldsymbol{\mu}}_t(\mathbf{x}_t, \mathbf{x}_0), \tilde{\beta}_t\mathbf{I})$$ -
-

其中：

-
- $$\tilde{\boldsymbol{\mu}}_t(\mathbf{x}_t, \mathbf{x}_0) = \frac{\sqrt{\bar{\alpha}_{t-1}}\beta_t}{1-\bar{\alpha}_t}\mathbf{x}_0 + \frac{\sqrt{\alpha_t}(1-\bar{\alpha}_{t-1})}{1-\bar{\alpha}_t}\mathbf{x}_t$$ - - $$\tilde{\beta}_t = \frac{1-\bar{\alpha}_{t-1}}{1-\bar{\alpha}_t}\beta_t$$ -
-
- -

证明：使用贝叶斯定理：

- -
- $$q(\mathbf{x}_{t-1}|\mathbf{x}_t, \mathbf{x}_0) = \frac{q(\mathbf{x}_t|\mathbf{x}_{t-1}, \mathbf{x}_0)q(\mathbf{x}_{t-1}|\mathbf{x}_0)}{q(\mathbf{x}_t|\mathbf{x}_0)}$$ -
- -

由于前向过程的马尔可夫性质，$q(\mathbf{x}_t|\mathbf{x}_{t-1}, \mathbf{x}_0) = q(\mathbf{x}_t|\mathbf{x}_{t-1})$。现在我们知道：

- - - -

将三个高斯分布代入贝叶斯公式，经过繁琐但直接的代数运算（主要是配方），可以得到上述结果。

- -
-

💡 关键洞察

-

注意 $\tilde{\boldsymbol{\mu}}_t$ 是 $\mathbf{x}_0$ 和 $\mathbf{x}_t$ 的线性组合！这意味着：

-
    -
  • 如果我们知道 $\mathbf{x}_0$，反向过程就是确定的（除了小的高斯噪声）
    • -
  • 实践中我们不知道 $\mathbf{x}_0$，所以需要神经网络来预测它
    • -
  • 这解释了为什么扩散模型本质上是在学习"去噪"
    • -
-
- -

3.3.2 参数化选择：预测噪声 vs 预测均值

- -

既然 $\tilde{\boldsymbol{\mu}}_t$ 依赖于未知的 $\mathbf{x}_0$，我们需要用神经网络来近似它。DDPM提供了几种参数化方式：

- -
-
# 方式1：直接预测均值（最直接但不稳定）
-mu_theta = model(x_t, t)
-
-# 方式2：预测x_0（需要clip到合理范围）
-x_0_pred = model(x_t, t)
-mu_theta = (sqrt_alpha_bar_prev * beta_t * x_0_pred + 
-            sqrt_alpha_t * (1 - alpha_bar_prev) * x_t) / (1 - alpha_bar_t)
-
-# 方式3：预测噪声（DDPM的选择，最稳定）
-epsilon_pred = model(x_t, t)
-x_0_pred = (x_t - sqrt_one_minus_alpha_bar_t * epsilon_pred) / sqrt_alpha_bar_t
-mu_theta = (sqrt_alpha_bar_prev * beta_t * x_0_pred + 
-            sqrt_alpha_t * (1 - alpha_bar_prev) * x_t) / (1 - alpha_bar_t)
-
- -

为什么预测噪声更好？让我们通过重参数化来理解：

- -
-

由于 $\mathbf{x}_t = \sqrt{\bar{\alpha}_t}\mathbf{x}_0 + \sqrt{1-\bar{\alpha}_t}\boldsymbol{\epsilon}$，我们可以表示：

- $$\mathbf{x}_0 = \frac{\mathbf{x}_t - \sqrt{1-\bar{\alpha}_t}\boldsymbol{\epsilon}}{\sqrt{\bar{\alpha}_t}}$$ - -

代入 $\tilde{\boldsymbol{\mu}}_t$ 的表达式，经过化简可得：

- $$\tilde{\boldsymbol{\mu}}_t = \frac{1}{\sqrt{\alpha_t}}\left(\mathbf{x}_t - \frac{\beta_t}{\sqrt{1-\bar{\alpha}_t}}\boldsymbol{\epsilon}\right)$$ -
- -

这个表达式揭示了一个优雅的事实：反向过程的均值只需要知道添加的噪声 $\boldsymbol{\epsilon}$！

- -
-
三种参数化的对比
- - - - - - - - - - - - - - - - - - - - - - - - - -
参数化优点缺点使用场景
预测 $\boldsymbol{\mu}_\theta$直接，无需转换不同t的输出尺度差异大几乎不用
预测 $\mathbf{x}_0$语义清晰高噪声时预测困难某些条件生成任务
预测 $\boldsymbol{\epsilon}$输出标准化，训练稳定间接，需要转换标准选择
-
- -

3.3.3 方差的处理：固定 vs 可学习

- -

DDPM的另一个简化是使用固定的方差 $\tilde{\beta}_t$。但这是最优的吗？

- -
-
# DDPM：固定方差（两种选择）
-# 选择1：使用后验方差
-variance = (1 - alpha_bar_prev) / (1 - alpha_bar_t) * beta_t
-
-# 选择2：使用β_t（DDPM论文的选择）
-variance = beta_t
-
-# 改进的DDPM：学习方差
-# 网络同时预测噪声和方差
-epsilon_pred, v_pred = model(x_t, t).chunk(2, dim=1)
-
-# 参数化方差（在对数空间插值）
-min_log = torch.log(beta_t)
-max_log = torch.log((1 - alpha_bar_prev) / (1 - alpha_bar_t) * beta_t)
-log_variance = v_pred * max_log + (1 - v_pred) * min_log
-variance = torch.exp(log_variance)
-
- -
-

⚠️ 实践经验

-

尽管学习方差理论上更优（可以获得更好的似然），但在实践中：

-
    -
  • 固定方差的DDPM已经能生成高质量图像
    • -
  • 学习方差增加了训练的复杂度
    • -
  • 对于大多数应用，固定方差是足够的
    • -
  • 如果追求最优似然（如压缩任务），才考虑学习方差
    • -
-
- -
-
练习 3.3：验证不同参数化的等价性
-

实现三种参数化方式，验证它们在数学上是等价的：

-
    -
  1. 给定相同的 $\mathbf{x}_t$、$\mathbf{x}_0$ 和 $t$
    2. -
  2. 计算真实的噪声 $\boldsymbol{\epsilon}$
    3. -
  3. 用三种方式计算 $\tilde{\boldsymbol{\mu}}_t$
    4. -
  4. 验证结果相同（在数值精度内）
    5. -
- -
- 
import torch
-
-# 设置
-batch_size = 4
-channels = 3
-size = 32
-t = 500
-T = 1000
-
-# 初始化
-x_0 = torch.randn(batch_size, channels, size, size)
-epsilon = torch.randn_like(x_0)
-
-# 计算alpha相关值
-betas = torch.linspace(0.0001, 0.02, T)
-alphas = 1 - betas
-alphas_bar = torch.cumprod(alphas, dim=0)
-alpha_t = alphas[t]
-alpha_bar_t = alphas_bar[t]
-alpha_bar_prev = alphas_bar[t-1]
-beta_t = betas[t]
-
-# 前向过程
-x_t = torch.sqrt(alpha_bar_t) * x_0 + torch.sqrt(1 - alpha_bar_t) * epsilon
-
-# 方式1：直接计算真实的后验均值
-mu_true = (torch.sqrt(alpha_bar_prev) * beta_t * x_0 + 
-           torch.sqrt(alpha_t) * (1 - alpha_bar_prev) * x_t) / (1 - alpha_bar_t)
-
-# 方式2：通过预测x_0
-x_0_pred = x_0  # 假设完美预测
-mu_x0 = (torch.sqrt(alpha_bar_prev) * beta_t * x_0_pred + 
-         torch.sqrt(alpha_t) * (1 - alpha_bar_prev) * x_t) / (1 - alpha_bar_t)
-
-# 方式3：通过预测噪声
-epsilon_pred = epsilon  # 假设完美预测
-x_0_from_eps = (x_t - torch.sqrt(1 - alpha_bar_t) * epsilon_pred) / torch.sqrt(alpha_bar_t)
-mu_eps = (torch.sqrt(alpha_bar_prev) * beta_t * x_0_from_eps + 
-          torch.sqrt(alpha_t) * (1 - alpha_bar_prev) * x_t) / (1 - alpha_bar_t)
-
-# 或者直接用简化公式
-mu_eps_direct = (x_t - beta_t / torch.sqrt(1 - alpha_bar_t) * epsilon_pred) / torch.sqrt(alpha_t)
-
-# 验证
-print(f"方式1和方式2的差异: {(mu_true - mu_x0).abs().max():.6f}")
-print(f"方式1和方式3的差异: {(mu_true - mu_eps).abs().max():.6f}")
-print(f"方式1和方式3(直接)的差异: {(mu_true - mu_eps_direct).abs().max():.6f}")
-
-# 输出应该都接近0（在浮点精度范围内）
-

关键洞察：三种参数化在数学上等价，但训练动态不同。预测噪声之所以更稳定，是因为噪声 $\boldsymbol{\epsilon} \sim \mathcal{N}(0, \mathbf{I})$ 始终是标准化的，而 $\mathbf{x}_0$ 的分布可能很复杂。

-
-
- -

3.4 训练目标：变分下界的简化

- -

DDPM的另一个重要贡献是将复杂的变分下界（ELBO）简化为一个简单的去噪目标。这一节我们将详细推导这个过程。

- -

3.4.1 完整的变分下界

- -

我们的目标是最大化数据的对数似然 $\log p_\theta(\mathbf{x}_0)$。由于直接计算困难，我们优化其变分下界：

- -
- $$\log p_\theta(\mathbf{x}_0) \geq \mathbb{E}_q\left[\log \frac{p_\theta(\mathbf{x}_{0:T})}{q(\mathbf{x}_{1:T}|\mathbf{x}_0)}\right] = -L_{\text{VLB}}$$ -
- -

其中 $L_{\text{VLB}}$ 是变分下界损失。经过展开（使用马尔可夫性质），可以得到：

- -
- $$L_{\text{VLB}} = L_T + \sum_{t=2}^{T} L_{t-1} + L_0$$ -
- -

其中各项定义为：

- -
-
变分下界的三个组成部分
-
- $$L_T = D_{\text{KL}}(q(\mathbf{x}_T|\mathbf{x}_0) \| p(\mathbf{x}_T))$$ - $$L_{t-1} = \mathbb{E}_q\left[D_{\text{KL}}(q(\mathbf{x}_{t-1}|\mathbf{x}_t, \mathbf{x}_0) \| p_\theta(\mathbf{x}_{t-1}|\mathbf{x}_t))\right]$$ - $$L_0 = \mathbb{E}_q\left[-\log p_\theta(\mathbf{x}_0|\mathbf{x}_1)\right]$$ -
-
    -
  • $L_T$：先验匹配项，通常很小可以忽略（因为 $q(\mathbf{x}_T|\mathbf{x}_0) \approx \mathcal{N}(0, \mathbf{I})$）
    • -
  • $L_{t-1}$：去噪匹配项，这是主要的优化目标
    • -
  • $L_0$：重建项，决定最终输出质量
    • -
-
- -

关键在于如何处理 $L_{t-1}$ 项。由于我们知道 $q(\mathbf{x}_{t-1}|\mathbf{x}_t, \mathbf{x}_0)$ 的闭式解（见3.3.1节），且假设 $p_\theta$ 也是高斯分布，KL散度可以简化为：

- -
- $$L_{t-1} = \mathbb{E}_q\left[\frac{1}{2\sigma_t^2}\|\tilde{\boldsymbol{\mu}}_t(\mathbf{x}_t, \mathbf{x}_0) - \boldsymbol{\mu}_\theta(\mathbf{x}_t, t)\|^2\right] + C$$ -
- -

其中 $C$ 是与 $\theta$ 无关的常数。

- -

3.4.2 简化的去噪目标

- -

DDPM的关键洞察是：通过选择噪声预测参数化，可以将上述目标进一步简化。回忆3.3.2节的结果：

- -
- $$\tilde{\boldsymbol{\mu}}_t = \frac{1}{\sqrt{\alpha_t}}\left(\mathbf{x}_t - \frac{\beta_t}{\sqrt{1-\bar{\alpha}_t}}\boldsymbol{\epsilon}\right)$$ -
- -

如果我们参数化 $\boldsymbol{\mu}_\theta$ 为：

- -
- $$\boldsymbol{\mu}_\theta(\mathbf{x}_t, t) = \frac{1}{\sqrt{\alpha_t}}\left(\mathbf{x}_t - \frac{\beta_t}{\sqrt{1-\bar{\alpha}_t}}\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t)\right)$$ -
- -

那么 $L_{t-1}$ 可以简化为：

- -
- $$L_{t-1} = \mathbb{E}_{\mathbf{x}_0, \boldsymbol{\epsilon}}\left[\frac{\beta_t^2}{2\sigma_t^2\alpha_t(1-\bar{\alpha}_t)}\|\boldsymbol{\epsilon} - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t)\|^2\right]$$ -
- -

其中 $\mathbf{x}_t = \sqrt{\bar{\alpha}_t}\mathbf{x}_0 + \sqrt{1-\bar{\alpha}_t}\boldsymbol{\epsilon}$。

- -
-

🎯 DDPM的简化训练目标

-

Ho等人发现，忽略权重系数并对所有时间步求和，得到的简化目标效果更好：

-
- $$L_{\text{simple}} = \mathbb{E}_{t,\mathbf{x}_0,\boldsymbol{\epsilon}}\left[\|\boldsymbol{\epsilon} - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t)\|^2\right]$$ -
-

这就是著名的"简单损失"——只需要预测噪声！

-
- -

3.4.3 损失函数的加权策略

- -

虽然简单损失效果很好，但不同时间步的重要性确实不同。后续研究提出了各种加权策略：

- -
-
import torch
-import matplotlib.pyplot as plt
-
-# 不同的损失加权策略
-def get_loss_weight(t, strategy='simple', snr_gamma=5.0):
-    """
-    计算时间步t的损失权重
-    
-    策略:
-    - simple: 所有时间步权重相同（DDPM原始）
-    - snr: 基于信噪比的加权
-    - truncated_snr: 截断的SNR加权（防止极端值）
-    - importance: 基于重要性采样
-    """
-    if strategy == 'simple':
-        return 1.0
-    
-    elif strategy == 'snr':
-        # 权重与信噪比成反比
-        snr = alpha_bar[t] / (1 - alpha_bar[t])
-        return 1.0 / (1.0 + snr)
-    
-    elif strategy == 'truncated_snr':
-        # Min-SNR-γ 加权（Hang et al., 2023）
-        snr = alpha_bar[t] / (1 - alpha_bar[t])
-        return torch.minimum(snr, torch.tensor(snr_gamma)) / snr
-    
-    elif strategy == 'importance':
-        # 基于L_t系数的重要性加权
-        return beta[t]**2 / (2 * sigma[t]**2 * alpha[t] * (1 - alpha_bar[t]))
-
-# 分析不同加权策略
-T = 1000
-t = torch.arange(T)
-beta = torch.linspace(0.0001, 0.02, T)
-alpha = 1 - beta
-alpha_bar = torch.cumprod(alpha, dim=0)
-sigma = beta  # DDPM的选择
-
-# 计算不同策略的权重
-strategies = ['simple', 'snr', 'truncated_snr', 'importance']
-weight_stats = {}
-
-for strategy in strategies:
-    weights = torch.tensor([get_loss_weight(i, strategy) for i in range(T)])
-    weight_stats[strategy] = {
-        'min': weights.min().item(),
-        'max': weights.max().item(),
-        'mean': weights.mean().item(),
-        'std': weights.std().item()
-    }
-
-# 打印权重统计
-print("Loss weight statistics for different strategies:")
-for strategy, stats in weight_stats.items():
-    print(f"\n{strategy}:")
-    print(f"  Min: {stats['min']:.6f}")
-    print(f"  Max: {stats['max']:.6f}")
-    print(f"  Mean: {stats['mean']:.6f}")
-    print(f"  Std: {stats['std']:.6f}")
-
- -
-
加权策略对比
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
策略动机效果计算开销
简单 (Simple)简化训练基准，效果已经不错最低
SNR加权平衡不同噪声水平改善高噪声区域低
Min-SNR-γ避免极端权重目前最优低
重要性采样理论最优实践中不稳定中等
-
- -

3.4.4 训练算法总结

- -

综合以上推导，DDPM的训练算法极其简洁：

- -
-
def train_ddpm(model, dataloader, num_epochs, T=1000):
-    """DDPM训练循环"""
-    optimizer = torch.optim.Adam(model.parameters(), lr=2e-4)
-    
-    # 预计算噪声调度相关值
-    betas = linear_beta_schedule(T)
-    alphas = 1 - betas
-    alphas_bar = torch.cumprod(alphas, dim=0)
-    sqrt_alphas_bar = torch.sqrt(alphas_bar)
-    sqrt_one_minus_alphas_bar = torch.sqrt(1 - alphas_bar)
-    
-    for epoch in range(num_epochs):
-        for batch_idx, (x_0, _) in enumerate(dataloader):
-            batch_size = x_0.shape[0]
-            
-            # 随机采样时间步
-            t = torch.randint(0, T, (batch_size,), device=x_0.device)
-            
-            # 采样噪声
-            epsilon = torch.randn_like(x_0)
-            
-            # 前向扩散：计算x_t
-            x_t = (sqrt_alphas_bar[t, None, None, None] * x_0 + 
-                   sqrt_one_minus_alphas_bar[t, None, None, None] * epsilon)
-            
-            # 预测噪声
-            epsilon_pred = model(x_t, t)
-            
-            # 计算损失
-            loss = F.mse_loss(epsilon_pred, epsilon)
-            
-            # 反向传播
-            optimizer.zero_grad()
-            loss.backward()
-            optimizer.step()
-            
-            if batch_idx % 100 == 0:
-                print(f'Epoch {epoch}, Batch {batch_idx}, Loss: {loss.item():.4f}')
-
- -
-
练习 3.4：实现加权损失
-

修改上述训练代码，实现Min-SNR-γ加权策略：

-
    -
  1. 计算每个时间步的SNR
    2. -
  2. 应用Min-SNR-γ加权（建议γ=5）
    3. -
  3. 比较加权前后的训练曲线
    4. -
- -
- 
def train_ddpm_weighted(model, dataloader, num_epochs, T=1000, snr_gamma=5.0):
-    """带Min-SNR加权的DDPM训练"""
-    optimizer = torch.optim.Adam(model.parameters(), lr=2e-4)
-    
-    # 预计算
-    betas = linear_beta_schedule(T)
-    alphas = 1 - betas
-    alphas_bar = torch.cumprod(alphas, dim=0)
-    sqrt_alphas_bar = torch.sqrt(alphas_bar)
-    sqrt_one_minus_alphas_bar = torch.sqrt(1 - alphas_bar)
-    
-    # 预计算SNR和权重
-    snr = alphas_bar / (1 - alphas_bar)
-    snr_clipped = torch.minimum(snr, torch.tensor(snr_gamma))
-    loss_weights = snr_clipped / snr
-    
-    for epoch in range(num_epochs):
-        for batch_idx, (x_0, _) in enumerate(dataloader):
-            batch_size = x_0.shape[0]
-            
-            # 采样时间步
-            t = torch.randint(0, T, (batch_size,), device=x_0.device)
-            
-            # 前向扩散
-            epsilon = torch.randn_like(x_0)
-            x_t = (sqrt_alphas_bar[t, None, None, None] * x_0 + 
-                   sqrt_one_minus_alphas_bar[t, None, None, None] * epsilon)
-            
-            # 预测噪声
-            epsilon_pred = model(x_t, t)
-            
-            # 计算加权损失
-            mse_loss = (epsilon_pred - epsilon).pow(2).mean(dim=[1,2,3])
-            weights = loss_weights[t]
-            loss = (weights * mse_loss).mean()
-            
-            # 反向传播
-            optimizer.zero_grad()
-            loss.backward()
-            optimizer.step()
-
-# 关键改进：
-# 1. 高SNR（低噪声）区域的权重被降低，避免过拟合细节
-# 2. 低SNR（高噪声）区域保持较高权重，确保结构学习
-# 3. γ参数控制截断程度，通常5-10效果较好
-

实践建议：Min-SNR-γ加权在高分辨率图像生成中特别有效，可以显著改善生成质量。但对于低分辨率或简单数据集，简单损失可能已经足够。

-
-
- -

3.5 采样算法：从理论到实践

- -

训练好DDPM后，如何生成新的样本？这一节我们将详细介绍DDPM的采样算法，从标准的1000步采样到各种实用技巧。

- -

3.5.1 标准DDPM采样

- -

DDPM的采样过程是从纯噪声 $\mathbf{x}_T \sim \mathcal{N}(0, \mathbf{I})$ 开始，逐步去噪直到得到清晰的图像 $\mathbf{x}_0$。

- -
-
DDPM采样算法
-

对于每一步 $t = T, T-1, ..., 1$：

-
- $$\mathbf{x}_{t-1} = \frac{1}{\sqrt{\alpha_t}}\left(\mathbf{x}_t - \frac{\beta_t}{\sqrt{1-\bar{\alpha}_t}}\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t)\right) + \sigma_t \mathbf{z}$$ -
-

其中：

-
    -
  • $\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t)$ 是训练好的噪声预测网络
    • -
  • $\mathbf{z} \sim \mathcal{N}(0, \mathbf{I})$ 是采样噪声（当 $t > 1$ 时）
    • -
  • $\sigma_t$ 是方差，DDPM使用 $\sigma_t = \beta_t$
    • -
-
- -

完整的实现代码：

- -
-
@torch.no_grad()
-def ddpm_sample(model, shape, num_timesteps=1000, device='cuda'):
-    """
-    DDPM标准采样算法
-    
-    Args:
-        model: 训练好的噪声预测模型
-        shape: 生成图像的形状，如 (batch_size, 3, 32, 32)
-        num_timesteps: 总时间步数
-        device: 计算设备
-    
-    Returns:
-        生成的图像 x_0
-    """
-    # 预计算噪声调度
-    betas = linear_beta_schedule(num_timesteps).to(device)
-    alphas = 1 - betas
-    alphas_bar = torch.cumprod(alphas, dim=0)
-    sqrt_alphas = torch.sqrt(alphas)
-    sqrt_one_minus_alphas_bar = torch.sqrt(1 - alphas_bar)
-    
-    # 从纯噪声开始
-    x_t = torch.randn(shape, device=device)
-    
-    # 逐步去噪
-    for t in reversed(range(num_timesteps)):
-        # 创建时间步张量
-        t_tensor = torch.full((shape[0],), t, device=device, dtype=torch.long)
-        
-        # 预测噪声
-        epsilon_pred = model(x_t, t_tensor)
-        
-        # 计算均值
-        mean = (x_t - betas[t] / sqrt_one_minus_alphas_bar[t] * epsilon_pred) / sqrt_alphas[t]
-        
-        # 添加噪声（除了最后一步）
-        if t > 0:
-            noise = torch.randn_like(x_t)
-            std = torch.sqrt(betas[t])  # DDPM使用β_t作为方差
-            x_t = mean + std * noise
-        else:
-            x_t = mean
-    
-    return x_t
-
- -

采样过程的可视化

- -

为了更好地理解采样过程，让我们可视化不同时间步的中间结果：

- -
-
def get_sampling_trajectory(model, num_steps_to_show=10):
-    """获取DDPM采样过程的中间结果"""
-    # 采样并保存中间结果
-    shape = (1, 3, 32, 32)
-    T = 1000
-    
-    # 选择要展示的时间步
-    steps_to_show = torch.linspace(T-1, 0, num_steps_to_show, dtype=torch.long)
-    intermediate_results = []
-    
-    # 初始化
-    x_t = torch.randn(shape, device='cuda')
-    betas = linear_beta_schedule(T).to('cuda')
-    alphas = 1 - betas
-    alphas_bar = torch.cumprod(alphas, dim=0)
-    
-    # 采样过程
-    for t in reversed(range(T)):
-        t_tensor = torch.full((1,), t, device='cuda', dtype=torch.long)
-        
-        # 预测并更新
-        epsilon_pred = model(x_t, t_tensor)
-        # ... (采样步骤同上)
-        
-        # 保存中间结果
-        if t in steps_to_show:
-            # 将x_t映射到[0, 1]范围（用于可视化）
-            img = (x_t.clamp(-1, 1) + 1) / 2
-            intermediate_results.append({
-                'timestep': t,
-                'image': img.cpu()
-            })
-    
-    return intermediate_results
-
-# 使用示例
-trajectory = get_sampling_trajectory(model, num_steps_to_show=10)
-print(f"Saved {len(trajectory)} intermediate results")
-for i, result in enumerate(trajectory):
-    print(f"Step {i}: t={result['timestep']}, shape={result['image'].shape}")
-
- -
-

采样过程的特点

-
    -
  • 前期（t ≈ 1000）：主要恢复全局结构和大致形状
    • -
  • 中期（t ≈ 500）：细化对象轮廓和主要特征
    • -
  • 后期（t ≈ 0）：添加纹理细节和高频信息
    • -
-

这个过程类似于艺术家作画：先勾勒轮廓，再填充颜色，最后添加细节。

-
- -

计算效率分析

- -

标准DDPM采样的主要问题是速度慢。让我们分析一下计算成本：

- -
-
def analyze_sampling_cost(model, batch_size=16, image_size=256):
-    """分析DDPM采样的计算成本"""
-    import time
-    
-    shape = (batch_size, 3, image_size, image_size)
-    T = 1000
-    
-    # 测量单次前向传播时间
-    x = torch.randn(shape, device='cuda')
-    t = torch.randint(0, T, (batch_size,), device='cuda')
-    
-    # 预热GPU
-    for _ in range(10):
-        _ = model(x, t)
-    torch.cuda.synchronize()
-    
-    # 计时
-    start = time.time()
-    num_runs = 50
-    for _ in range(num_runs):
-        _ = model(x, t)
-    torch.cuda.synchronize()
-    end = time.time()
-    
-    time_per_forward = (end - start) / num_runs
-    total_time = time_per_forward * T
-    
-    print(f"图像尺寸: {image_size}×{image_size}")
-    print(f"批次大小: {batch_size}")
-    print(f"单次前向传播: {time_per_forward*1000:.2f} ms")
-    print(f"完整采样 (1000步): {total_time:.2f} 秒")
-    print(f"每秒生成图像数: {batch_size/total_time:.3f}")
-    
-    # 内存使用估计
-    model_params = sum(p.numel() for p in model.parameters()) * 4 / 1024**3  # GB
-    activation_memory = batch_size * 3 * image_size**2 * 4 * 50 / 1024**3  # 粗略估计
-    print(f"\n内存使用:")
-    print(f"模型参数: {model_params:.2f} GB")
-    print(f"激活值 (估计): {activation_memory:.2f} GB")
-
- -
-
典型性能数据
- - - - - - - - - - - - - - - - - - - - - - - - - -
配置单步时间总采样时间吞吐量
32×32, batch=64~5ms5秒12.8 图像/秒
256×256, batch=8~50ms50秒0.16 图像/秒
512×512, batch=4~200ms200秒0.02 图像/秒
-

*基于RTX 3090，实际性能因模型架构而异

-
- -
-
练习 3.5.1：实现采样进度条
-

修改DDPM采样函数，添加：

-
    -
  1. tqdm进度条显示采样进度
    2. -
  2. 可选的中间结果保存
    3. -
  3. EMA（指数移动平均）模型支持
    4. -
- -
- 
from tqdm import tqdm
-
-@torch.no_grad()
-def ddpm_sample_with_progress(
-    model, 
-    shape, 
-    num_timesteps=1000,
-    device='cuda',
-    use_ema=True,
-    ema_model=None,
-    save_intermediate=False,
-    save_steps=None
-):
-    """增强版DDPM采样"""
-    # 选择模型
-    if use_ema and ema_model is not None:
-        sample_model = ema_model
-    else:
-        sample_model = model
-    
-    sample_model.eval()
-    
-    # 预计算
-    betas = linear_beta_schedule(num_timesteps).to(device)
-    alphas = 1 - betas
-    alphas_bar = torch.cumprod(alphas, dim=0)
-    sqrt_alphas = torch.sqrt(alphas)
-    sqrt_one_minus_alphas_bar = torch.sqrt(1 - alphas_bar)
-    
-    # 初始化
-    x_t = torch.randn(shape, device=device)
-    intermediates = []
-    
-    # 采样循环
-    for t in tqdm(reversed(range(num_timesteps)), desc='Sampling', total=num_timesteps):
-        t_tensor = torch.full((shape[0],), t, device=device, dtype=torch.long)
-        
-        # 预测噪声
-        epsilon_pred = sample_model(x_t, t_tensor)
-        
-        # 更新x_t
-        mean = (x_t - betas[t] / sqrt_one_minus_alphas_bar[t] * epsilon_pred) / sqrt_alphas[t]
-        
-        if t > 0:
-            noise = torch.randn_like(x_t)
-            std = torch.sqrt(betas[t])
-            x_t = mean + std * noise
-        else:
-            x_t = mean
-        
-        # 保存中间结果
-        if save_intermediate and save_steps is not None and t in save_steps:
-            intermediates.append({
-                't': t,
-                'x_t': x_t.cpu().clone(),
-                'pred_x_0': self._predict_x0_from_eps(x_t, t, epsilon_pred)
-            })
-    
-    if save_intermediate:
-        return x_t, intermediates
-    else:
-        return x_t
-
-def _predict_x0_from_eps(x_t, t, epsilon_pred):
-    """从噪声预测恢复x_0（用于可视化）"""
-    return (x_t - sqrt_one_minus_alphas_bar[t] * epsilon_pred) / sqrt_alphas_bar[t]
-

使用技巧：

-
    -
  • EMA模型通常生成质量更好，训练时应同时维护
    • -
  • 保存中间结果有助于调试和理解模型行为
    • -
  • 对于批量生成，考虑使用DataLoader风格的生成器以节省内存
    • -
-
-
- -

3.5.2 采样的随机性控制

- -

DDPM采样过程中的随机性来源于两个地方：初始噪声 $\mathbf{x}_T$ 和每步添加的噪声 $\mathbf{z}_t$。通过控制这些随机性，我们可以影响生成结果的多样性和质量。

- -

温度参数的引入

- -

类似于其他生成模型，我们可以引入温度参数来控制采样的随机性：

- -
-
def ddpm_sample_with_temperature(
-    model, 
-    shape, 
-    temperature=1.0,
-    noise_temperature=1.0,
-    num_timesteps=1000,
-    device='cuda'
-):
-    """
-    带温度控制的DDPM采样
-    
-    Args:
-        temperature: 控制初始噪声的温度
-        noise_temperature: 控制每步噪声的温度
-    """
-    # 预计算（同前）
-    betas = linear_beta_schedule(num_timesteps).to(device)
-    alphas = 1 - betas
-    alphas_bar = torch.cumprod(alphas, dim=0)
-    
-    # 温度调整的初始噪声
-    x_t = torch.randn(shape, device=device) * temperature
-    
-    for t in reversed(range(num_timesteps)):
-        t_tensor = torch.full((shape[0],), t, device=device, dtype=torch.long)
-        
-        # 预测噪声
-        epsilon_pred = model(x_t, t_tensor)
-        
-        # 计算均值
-        mean = (x_t - betas[t] / torch.sqrt(1 - alphas_bar[t]) * epsilon_pred) / torch.sqrt(alphas[t])
-        
-        if t > 0:
-            # 温度调整的步进噪声
-            noise = torch.randn_like(x_t) * noise_temperature
-            std = torch.sqrt(betas[t])
-            x_t = mean + std * noise
-        else:
-            x_t = mean
-    
-    return x_t
-
- -
-
温度参数的效果
-
    -
  • temperature < 1.0：减少初始随机性，生成更"典型"的样本
    • -
  • temperature > 1.0：增加初始随机性，生成更多样但可能质量较低的样本
    • -
  • noise_temperature < 1.0：减少去噪过程的随机性，结果更确定但可能过于平滑
    • -
  • noise_temperature > 1.0：增加去噪随机性，可能产生更多细节但也可能引入伪影
    • -
-
- -

确定性采样：DDIM预览

- -

一个有趣的观察是：如果我们完全去除步进噪声（设置 $\sigma_t = 0$），采样过程变成确定性的。这就是DDIM的核心思想：

- -
-
def ddpm_deterministic_sample(model, shape, num_timesteps=1000, eta=0.0):
-    """
-    确定性或部分确定性采样
-    eta=0: 完全确定性（DDIM）
-    eta=1: 标准DDPM（完全随机）
-    """
-    x_t = torch.randn(shape, device='cuda')
-    
-    for t in reversed(range(num_timesteps)):
-        # 预测噪声
-        epsilon_pred = model(x_t, t)
-        
-        # 预测x_0
-        x_0_pred = (x_t - torch.sqrt(1 - alphas_bar[t]) * epsilon_pred) / torch.sqrt(alphas_bar[t])
-        
-        if t > 0:
-            # 计算方向指向x_{t-1}
-            direction = torch.sqrt(1 - alphas_bar[t-1]) * epsilon_pred
-            
-            # 确定性部分
-            x_t = torch.sqrt(alphas_bar[t-1]) * x_0_pred + direction
-            
-            # 随机部分（由eta控制）
-            if eta > 0:
-                noise = torch.randn_like(x_t)
-                variance = eta * betas[t] * (1 - alphas_bar[t-1]) / (1 - alphas_bar[t])
-                x_t = x_t + torch.sqrt(variance) * noise
-        else:
-            x_t = x_0_pred
-    
-    return x_t
-
- -

采样种子与可重复性

- -

对于需要可重复结果的应用，控制随机种子至关重要：

- -
-
class SeededSampler:
-    """可重复的采样器"""
-    def __init__(self, model, device='cuda'):
-        self.model = model
-        self.device = device
-        
-    def sample_with_seed(self, seed, shape, **kwargs):
-        """使用指定种子采样"""
-        # 保存当前随机状态
-        cpu_state = torch.get_rng_state()
-        cuda_state = torch.cuda.get_rng_state(self.device)
-        
-        # 设置种子
-        torch.manual_seed(seed)
-        torch.cuda.manual_seed(seed)
-        
-        # 采样
-        result = ddpm_sample(self.model, shape, device=self.device, **kwargs)
-        
-        # 恢复随机状态
-        torch.set_rng_state(cpu_state)
-        torch.cuda.set_rng_state(cuda_state, self.device)
-        
-        return result
-    
-    def sample_variations(self, base_seed, num_variations, shape, temperature_range=(0.8, 1.2)):
-        """生成同一种子的多个变体"""
-        variations = []
-        
-        for i in range(num_variations):
-            # 使用相同的基础种子但不同的温度
-            temp = np.linspace(temperature_range[0], temperature_range[1], num_variations)[i]
-            
-            torch.manual_seed(base_seed)
-            torch.cuda.manual_seed(base_seed)
-            
-            sample = ddpm_sample_with_temperature(
-                self.model, shape, 
-                temperature=temp,
-                device=self.device
-            )
-            variations.append(sample)
-            
-        return torch.stack(variations)
-
- -

高级技巧：引导采样（Guided Sampling）

- -

我们可以在采样过程中加入额外的引导信号，这是条件生成的基础：

- -
-
def guided_sample(model, shape, guidance_fn=None, guidance_scale=1.0):
-    """
-    带引导的采样
-    guidance_fn: 计算引导梯度的函数
-    guidance_scale: 引导强度
-    """
-    x_t = torch.randn(shape, device='cuda')
-    x_t.requires_grad = True
-    
-    for t in reversed(range(num_timesteps)):
-        # 标准DDPM更新
-        with torch.no_grad():
-            epsilon_pred = model(x_t, t)
-            mean = compute_mean(x_t, epsilon_pred, t)
-            std = torch.sqrt(betas[t])
-        
-        # 计算引导梯度
-        if guidance_fn is not None and t > 0:
-            # 计算引导损失
-            guidance_loss = guidance_fn(x_t, t)
-            
-            # 计算梯度
-            grad = torch.autograd.grad(guidance_loss, x_t)[0]
-            
-            # 应用引导（注意符号：我们要最小化损失）
-            mean = mean - guidance_scale * std**2 * grad
-        
-        # 更新x_t
-        if t > 0:
-            noise = torch.randn_like(x_t)
-            x_t = mean + std * noise
-        else:
-            x_t = mean
-            
-        x_t = x_t.detach().requires_grad_(True)
-    
-    return x_t.detach()
-
-# 示例：类别引导
-def classifier_guidance(x_t, t, classifier, target_class):
-    """使用分类器引导生成特定类别"""
-    logits = classifier(x_t, t)
-    log_prob = F.log_softmax(logits, dim=1)
-    return -log_prob[:, target_class].sum()  # 负对数概率作为损失
-
- -
-
练习 3.5.2：探索温度参数的影响
-

实现一个实验，系统地探索不同温度参数对生成结果的影响：

-
    -
  1. 固定种子，改变temperature（0.5, 0.7, 1.0, 1.3, 1.5）
    2. -
  2. 固定种子，改变noise_temperature（0, 0.5, 1.0, 1.5）
    3. -
  3. 可视化结果并计算多样性指标（如平均像素方差）
    4. -
- -
- 
def temperature_ablation_study(model, seed=42):
-    """温度参数消融实验"""
-    shape = (1, 3, 32, 32)
-    
-    # 实验1：初始温度的影响
-    init_temps = [0.5, 0.7, 1.0, 1.3, 1.5]
-    init_results = []
-    
-    for temp in init_temps:
-        torch.manual_seed(seed)
-        torch.cuda.manual_seed(seed)
-        
-        sample = ddpm_sample_with_temperature(
-            model, shape, 
-            temperature=temp,
-            noise_temperature=1.0
-        )
-        init_results.append(sample)
-    
-    # 实验2：噪声温度的影响
-    noise_temps = [0.0, 0.5, 1.0, 1.5]
-    noise_results = []
-    
-    for noise_temp in noise_temps:
-        torch.manual_seed(seed)
-        torch.cuda.manual_seed(seed)
-        
-        sample = ddpm_sample_with_temperature(
-            model, shape,
-            temperature=1.0,
-            noise_temperature=noise_temp
-        )
-        noise_results.append(sample)
-    
-    # 分析结果
-    results = {
-        'init_temperature': {},
-        'noise_temperature': {}
-    }
-    
-    # 计算初始温度的影响
-    print("初始温度对图像统计特性的影响:")
-    for temp, img in zip(init_temps, init_results):
-        stats = {
-            'mean': img.mean().item(),
-            'std': img.std().item(),
-            'min': img.min().item(),
-            'max': img.max().item()
-        }
-        results['init_temperature'][temp] = stats
-        print(f"  T_init={temp}: mean={stats['mean']:.4f}, std={stats['std']:.4f}")
-    
-    # 计算噪声温度的影响
-    print("\n噪声温度对图像统计特性的影响:")
-    for temp, img in zip(noise_temps, noise_results):
-        stats = {
-            'mean': img.mean().item(),
-            'std': img.std().item(),
-            'min': img.min().item(),
-            'max': img.max().item()
-        }
-        results['noise_temperature'][temp] = stats
-        print(f"  T_noise={temp}: mean={stats['mean']:.4f}, std={stats['std']:.4f}")
-    
-    return results
-
-# 额外分析：多次采样的多样性
-def diversity_analysis(model, num_samples=100):
-    """分析不同温度设置下的样本多样性"""
-    shape = (num_samples, 3, 32, 32)
-    
-    # 标准采样
-    samples_standard = ddpm_sample(model, shape)
-    
-    # 低温采样
-    samples_low_temp = ddpm_sample_with_temperature(
-        model, shape, temperature=0.7, noise_temperature=0.7
-    )
-    
-    # 计算成对距离
-    def pairwise_l2_distance(samples):
-        # 展平样本
-        flat = samples.view(num_samples, -1)
-        # 计算成对L2距离
-        distances = torch.cdist(flat, flat, p=2)
-        # 取上三角部分（避免重复）
-        mask = torch.triu(torch.ones_like(distances), diagonal=1).bool()
-        return distances[mask].mean().item()
-    
-    div_standard = pairwise_l2_distance(samples_standard)
-    div_low_temp = pairwise_l2_distance(samples_low_temp)
-    
-    print(f"标准采样的平均成对距离: {div_standard:.4f}")
-    print(f"低温采样的平均成对距离: {div_low_temp:.4f}")
-    print(f"多样性降低比例: {(1 - div_low_temp/div_standard)*100:.1f}%")
-

关键发现：

-
    -
  • 降低初始温度会使生成结果更接近"平均"图像，减少极端情况
    • -
  • noise_temperature=0 会产生过度平滑的结果，丢失纹理细节
    • -
  • 适度降低温度（0.7-0.9）通常能提高感知质量，但会牺牲多样性
    • -
  • 对于特定应用，需要在质量和多样性之间找到平衡
    • -
-
-
- -

3.5.3 常见问题与调试技巧

- -

DDPM采样过程中可能遇到各种问题。本节总结常见问题及其解决方案，帮助你快速定位和修复问题。

- -

问题1：生成结果全是噪声

- -
-
症状与原因
-
    -
  • 症状：采样结果看起来像随机噪声，没有任何结构
    • -
  • 可能原因： -
      -
    1. 模型未正确加载或权重损坏
      2. -
    2. 噪声调度计算错误
      3. -
    3. 时间步编码错误
      4. -
    4. 输入归一化不匹配
      5. -
    -
    • -
-
- -
-
# 调试步骤1：验证模型预测
-def debug_model_predictions(model, device='cuda'):
-    """检查模型在不同时间步的预测"""
-    # 创建测试输入
-    x = torch.randn(1, 3, 32, 32, device=device)
-    
-    # 测试几个关键时间步
-    test_timesteps = [0, 250, 500, 750, 999]
-    
-    for t in test_timesteps:
-        t_tensor = torch.tensor([t], device=device)
-        with torch.no_grad():
-            pred = model(x, t_tensor)
-        
-        print(f"t={t}:")
-        print(f"  Input stats: mean={x.mean():.4f}, std={x.std():.4f}")
-        print(f"  Pred stats:  mean={pred.mean():.4f}, std={pred.std():.4f}")
-        
-        # 预测应该接近标准正态分布
-        if abs(pred.mean()) > 0.5 or abs(pred.std() - 1.0) > 0.5:
-            print("  ⚠️ 警告：预测统计量异常！")
-
-# 调试步骤2：验证噪声调度
-def debug_noise_schedule(num_timesteps=1000):
-    """检查噪声调度的合理性"""
-    betas = linear_beta_schedule(num_timesteps)
-    alphas = 1 - betas
-    alphas_bar = torch.cumprod(alphas, dim=0)
-    
-    print("噪声调度检查:")
-    print(f"β_0 = {betas[0]:.6f}, β_T = {betas[-1]:.6f}")
-    print(f"ᾱ_0 = {alphas_bar[0]:.6f}, ᾱ_T = {alphas_bar[-1]:.6f}")
-    
-    # 检查关键属性
-    if alphas_bar[-1] > 0.01:
-        print("⚠️ 警告：ᾱ_T 太大，最终噪声水平不够")
-    if betas[0] > 0.01:
-        print("⚠️ 警告：β_0 太大，初始破坏太严重")
-    
-    # 检查单调性
-    if not torch.all(alphas_bar[1:] <= alphas_bar[:-1]):
-        print("⚠️ 警告：ᾱ 不是单调递减的！")
-    
-    return betas, alphas, alphas_bar
-
- -

问题2：生成结果模糊或过度平滑

- -
-
常见原因及解决方案
-
    -
  1. 方差设置过小：检查是否使用了过小的 $\sigma_t$
    2. -
  2. 提前停止采样：确保完成所有1000步（或设定的步数）
    3. -
  3. 模型过拟合到均值：可能需要调整训练时的噪声调度
    4. -
  4. 数值精度问题：使用FP16时某些操作可能损失精度
    5. -
-
- -
-
# 诊断过度平滑问题
-def diagnose_smoothness(model, num_samples=10):
-    """诊断生成结果的平滑度问题"""
-    samples = []
-    
-    # 生成多个样本
-    for _ in range(num_samples):
-        sample = ddpm_sample(model, (1, 3, 32, 32))
-        samples.append(sample)
-    
-    samples = torch.cat(samples, dim=0)
-    
-    # 计算高频信息
-    def compute_high_freq_energy(images):
-        # 使用Sobel滤波器检测边缘
-        sobel_x = torch.tensor([[-1, 0, 1], [-2, 0, 2], [-1, 0, 1]], 
-                               dtype=torch.float32).view(1, 1, 3, 3)
-        sobel_y = torch.tensor([[-1, -2, -1], [0, 0, 0], [1, 2, 1]], 
-                               dtype=torch.float32).view(1, 1, 3, 3)
-        
-        # 转换为灰度
-        gray = images.mean(dim=1, keepdim=True)
-        
-        # 计算梯度
-        edges_x = F.conv2d(gray, sobel_x, padding=1)
-        edges_y = F.conv2d(gray, sobel_y, padding=1)
-        edges = torch.sqrt(edges_x**2 + edges_y**2)
-        
-        return edges.mean().item()
-    
-    # 与真实数据对比
-    real_data = next(iter(train_loader))[0][:num_samples]
-    
-    gen_hf = compute_high_freq_energy(samples)
-    real_hf = compute_high_freq_energy(real_data)
-    
-    print(f"生成样本的高频能量: {gen_hf:.4f}")
-    print(f"真实数据的高频能量: {real_hf:.4f}")
-    print(f"比率: {gen_hf/real_hf:.2f}")
-    
-    if gen_hf/real_hf < 0.5:
-        print("⚠️ 生成结果可能过度平滑！")
-        print("建议：")
-        print("  1. 检查噪声温度设置")
-        print("  2. 验证最后几步的方差")
-        print("  3. 考虑使用改进的方差调度")
-
- -

问题3：生成速度极慢

- -
-
性能分析与优化
-

DDPM的主要性能瓶颈在于需要1000步迭代，每步都需要通过U-Net进行一次前向传播。典型的性能特征：

-
    -
  • 预计算阶段：约0.1秒，包括噪声调度的计算
    • -
  • 模型推理：每步15-50ms（取决于模型大小和GPU），总计15-50秒
    • -
  • 更新计算：每步1-2ms，相对可忽略
    • -
- -

优化建议：

-
    -
  1. 使用更小的模型架构（减少通道数或层数）
    2. -
  2. 启用混合精度推理（torch.cuda.amp）
    3. -
  3. 使用torch.compile()进行图优化（PyTorch 2.0+）
    4. -
  4. 采用DDIM等快速采样方法（可减少到50步以下）
    5. -
  5. 批量生成以提高GPU利用率
    6. -
-
- -

问题4：内存溢出（OOM）

- -
-
# 内存友好的批量采样
-def memory_efficient_batch_sampling(model, total_samples, batch_size=16, 
-                                  image_shape=(3, 32, 32)):
-    """内存高效的批量采样"""
-    all_samples = []
-    
-    # 分批生成
-    num_batches = (total_samples + batch_size - 1) // batch_size
-    
-    for i in tqdm(range(num_batches), desc="Batch sampling"):
-        current_batch_size = min(batch_size, total_samples - i * batch_size)
-        shape = (current_batch_size,) + image_shape
-        
-        # 生成当前批次
-        with torch.cuda.amp.autocast():  # 使用混合精度节省内存
-            samples = ddpm_sample(model, shape)
-        
-        # 立即移到CPU以释放GPU内存
-        all_samples.append(samples.cpu())
-        
-        # 清理GPU缓存
-        if i % 10 == 0:
-            torch.cuda.empty_cache()
-    
-    return torch.cat(all_samples, dim=0)
-
-# 诊断内存使用
-def diagnose_memory_usage(model, batch_sizes=[1, 2, 4, 8, 16]):
-    """诊断不同批次大小的内存使用"""
-    import gc
-    
-    for bs in batch_sizes:
-        torch.cuda.empty_cache()
-        gc.collect()
-        
-        try:
-            # 记录初始内存
-            init_mem = torch.cuda.memory_allocated() / 1024**3
-            
-            # 尝试采样
-            shape = (bs, 3, 256, 256)  # 使用较大尺寸测试
-            _ = ddpm_sample(model, shape, num_timesteps=50)  # 只测试50步
-            
-            # 记录峰值内存
-            peak_mem = torch.cuda.max_memory_allocated() / 1024**3
-            
-            print(f"Batch size {bs}: 峰值内存 {peak_mem:.2f}GB "
-                  f"(增加 {peak_mem - init_mem:.2f}GB)")
-            
-        except torch.cuda.OutOfMemoryError:
-            print(f"Batch size {bs}: OOM!")
-            break
-        finally:
-            torch.cuda.empty_cache()
-
- -

可视化调试工具

- -
-
def analyze_sampling_debug(model):
-    """分析采样过程用于调试"""
-    # 设置
-    shape = (1, 3, 32, 32)
-    checkpoints = [999, 800, 600, 400, 200, 100, 50, 20, 10, 0]
-    
-    # 收集数据
-    x_t = torch.randn(shape, device='cuda')
-    debug_data = {
-        'x_t_history': [x_t.cpu()],
-        'pred_x0_history': [],
-        'noise_pred_history': [],
-        'noise_stats': []
-    }
-    
-    # 采样并记录
-    betas = linear_beta_schedule(1000).cuda()
-    alphas = 1 - betas
-    alphas_bar = torch.cumprod(alphas, dim=0)
-    
-    for t in reversed(range(1000)):
-        t_tensor = torch.tensor([t], device='cuda')
-        
-        # 预测
-        epsilon_pred = model(x_t, t_tensor)
-        
-        # 预测的x_0
-        pred_x0 = (x_t - torch.sqrt(1 - alphas_bar[t]) * epsilon_pred) / torch.sqrt(alphas_bar[t])
-        
-        # 更新
-        mean = (x_t - betas[t] / torch.sqrt(1 - alphas_bar[t]) * epsilon_pred) / torch.sqrt(alphas[t])
-        if t > 0:
-            noise = torch.randn_like(x_t)
-            x_t = mean + torch.sqrt(betas[t]) * noise
-        else:
-            x_t = mean
-        
-        # 记录检查点
-        if t in checkpoints:
-            debug_data['x_t_history'].append(x_t.cpu())
-            debug_data['pred_x0_history'].append(pred_x0.cpu())
-            debug_data['noise_pred_history'].append(epsilon_pred.cpu())
-            debug_data['noise_stats'].append({
-                't': t,
-                'mean': epsilon_pred.mean().item(),
-                'std': epsilon_pred.std().item(),
-                'min': epsilon_pred.min().item(),
-                'max': epsilon_pred.max().item()
-            })
-    
-    # 打印分析结果
-    print("采样过程调试分析:")
-    print("==================")
-    print("\n噪声预测统计:")
-    print("Timestep | Mean      | Std       | Min       | Max")
-    print("-" * 55)
-    for stats in debug_data['noise_stats']:
-        print(f"{stats['t']:8d} | {stats['mean']:9.6f} | {stats['std']:9.6f} | {stats['min']:9.6f} | {stats['max']:9.6f}")
-    
-    # 检查x_0预测的稳定性
-    print("\nx_0预测稳定性分析:")
-    for i, (t, x0) in enumerate(zip(checkpoints[:-1], debug_data['pred_x0_history'])):
-        x0_range = x0.max().item() - x0.min().item()
-        x0_clipped = (x0 < -1).sum().item() + (x0 > 1).sum().item()
-        total_pixels = x0.numel()
-        clip_ratio = x0_clipped / total_pixels
-        print(f"t={t:3d}: range={x0_range:.3f}, clipped pixels={clip_ratio:.1%}")
-    
-    return debug_data
-
- -
-
练习 3.5.3：实现采样质量诊断工具
-

创建一个综合诊断工具，能够：

-
    -
  1. 自动检测常见的采样问题
    2. -
  2. 生成诊断报告
    3. -
  3. 提供具体的修复建议
    4. -
- -
- 
class DDPMSamplingDiagnostics:
-    """DDPM采样综合诊断工具"""
-    
-    def __init__(self, model, device='cuda'):
-        self.model = model
-        self.device = device
-        self.diagnostics = {}
-        
-    def run_full_diagnostics(self, num_samples=5):
-        """运行完整诊断"""
-        print("=== DDPM采样诊断开始 ===\n")
-        
-        # 1. 模型基础检查
-        self._check_model_basics()
-        
-        # 2. 噪声调度检查
-        self._check_noise_schedule()
-        
-        # 3. 采样质量检查
-        self._check_sampling_quality(num_samples)
-        
-        # 4. 性能检查
-        self._check_performance()
-        
-        # 5. 生成报告
-        self._generate_report()
-        
-    def _check_model_basics(self):
-        """检查模型基础设置"""
-        print("1. 检查模型基础设置...")
-        
-        # 检查模型是否在eval模式
-        if self.model.training:
-            self.diagnostics['model_mode'] = 'WARNING: 模型在训练模式'
-        else:
-            self.diagnostics['model_mode'] = 'OK: 模型在评估模式'
-        
-        # 检查参数统计
-        params = []
-        for p in self.model.parameters():
-            params.append(p.data.flatten())
-        params = torch.cat(params)
-        
-        param_mean = params.mean().item()
-        param_std = params.std().item()
-        
-        if abs(param_mean) > 1.0 or param_std > 10.0:
-            self.diagnostics['param_stats'] = f'WARNING: 参数统计异常 (mean={param_mean:.3f}, std={param_std:.3f})'
-        else:
-            self.diagnostics['param_stats'] = 'OK: 参数统计正常'
-            
-    def _check_noise_schedule(self):
-        """检查噪声调度"""
-        print("2. 检查噪声调度...")
-        
-        betas = linear_beta_schedule(1000)
-        alphas_bar = torch.cumprod(1 - betas, dim=0)
-        
-        # 检查端点
-        if alphas_bar[0] < 0.99:
-            self.diagnostics['schedule_start'] = f'WARNING: α̅_0={alphas_bar[0]:.4f} 太小'
-        else:
-            self.diagnostics['schedule_start'] = 'OK: 起始点正常'
-            
-        if alphas_bar[-1] > 0.01:
-            self.diagnostics['schedule_end'] = f'WARNING: α̅_T={alphas_bar[-1]:.4f} 太大'
-        else:
-            self.diagnostics['schedule_end'] = 'OK: 终点正常'
-            
-    def _check_sampling_quality(self, num_samples):
-        """检查采样质量"""
-        print(f"3. 检查采样质量 (生成{num_samples}个样本)...")
-        
-        samples = []
-        for _ in range(num_samples):
-            sample = ddpm_sample(self.model, (1, 3, 32, 32), device=self.device)
-            samples.append(sample)
-        samples = torch.cat(samples)
-        
-        # 检查输出范围
-        sample_min = samples.min().item()
-        sample_max = samples.max().item()
-        
-        if sample_min < -3 or sample_max > 3:
-            self.diagnostics['output_range'] = f'WARNING: 输出范围异常 [{sample_min:.2f}, {sample_max:.2f}]'
-        else:
-            self.diagnostics['output_range'] = 'OK: 输出范围正常'
-            
-        # 检查多样性
-        if num_samples > 1:
-            diversity = samples.std(dim=0).mean().item()
-            if diversity < 0.1:
-                self.diagnostics['diversity'] = f'WARNING: 样本多样性过低 (std={diversity:.3f})'
-            else:
-                self.diagnostics['diversity'] = 'OK: 样本多样性正常'
-                
-    def _check_performance(self):
-        """检查性能"""
-        print("4. 检查性能...")
-        
-        import time
-        shape = (1, 3, 32, 32)
-        
-        # 测试单步时间
-        x = torch.randn(shape, device=self.device)
-        t = torch.tensor([500], device=self.device)
-        
-        # 预热
-        for _ in range(10):
-            _ = self.model(x, t)
-        torch.cuda.synchronize()
-        
-        # 计时
-        start = time.time()
-        for _ in range(100):
-            _ = self.model(x, t)
-        torch.cuda.synchronize()
-        step_time = (time.time() - start) / 100
-        
-        total_time = step_time * 1000
-        if total_time > 60:
-            self.diagnostics['performance'] = f'WARNING: 预计采样时间过长 ({total_time:.1f}秒)'
-        else:
-            self.diagnostics['performance'] = f'OK: 预计采样时间 {total_time:.1f}秒'
-            
-    def _generate_report(self):
-        """生成诊断报告"""
-        print("\n=== 诊断报告 ===")
-        
-        warnings = 0
-        for key, value in self.diagnostics.items():
-            if value.startswith('WARNING'):
-                print(f"❌ {value}")
-                warnings += 1
-            else:
-                print(f"✅ {value}")
-                
-        print(f"\n总结: {len(self.diagnostics)}项检查, {warnings}个警告")
-        
-        if warnings > 0:
-            print("\n建议的修复步骤:")
-            if 'model_mode' in self.diagnostics and 'WARNING' in self.diagnostics['model_mode']:
-                print("- 调用 model.eval() 切换到评估模式")
-            if 'schedule_end' in self.diagnostics and 'WARNING' in self.diagnostics['schedule_end']:
-                print("- 增加总时间步数或调整beta_end")
-            if 'diversity' in self.diagnostics and 'WARNING' in self.diagnostics['diversity']:
-                print("- 检查模型是否过拟合或模式崩塌")
-            if 'performance' in self.diagnostics and 'WARNING' in self.diagnostics['performance']:
-                print("- 考虑使用DDIM或其他快速采样方法")
-
-# 使用示例
-diagnostics = DDPMSamplingDiagnostics(model)
-diagnostics.run_full_diagnostics()
-

诊断工具的扩展：可以添加更多检查项，如：

-
    -
  • 检查是否使用了EMA模型
    • -
  • 验证条件生成的正确性
    • -
  • 检测特定的视觉伪影（棋盘效应、色彩偏移等）
    • -
  • 与真实数据分布的统计对比
    • -
-
-
- -

3.6 完整实现：构建你的第一个DDPM

-

本节将把前面学到的所有概念整合成一个完整的DDPM实现。我们将构建一个可以在MNIST数据集上训练的完整系统。

- -

3.6.1 模型架构

-

首先，让我们实现一个适合DDPM的U-Net架构。这个架构需要：

- - -
-
import torch
-import torch.nn as nn
-import torch.nn.functional as F
-import math
-
-class SinusoidalPositionalEmbedding(nn.Module):
-    """正弦位置编码，用于时间步嵌入"""
-    def __init__(self, dim):
-        super().__init__()
-        self.dim = dim
-    
-    def forward(self, time):
-        device = time.device
-        half_dim = self.dim // 2
-        embeddings = math.log(10000) / (half_dim - 1)
-        embeddings = torch.exp(torch.arange(half_dim, device=device) * -embeddings)
-        embeddings = time[:, None] * embeddings[None, :]
-        embeddings = torch.cat((embeddings.sin(), embeddings.cos()), dim=-1)
-        return embeddings
-
-class ResidualBlock(nn.Module):
-    """带时间嵌入的残差块"""
-    def __init__(self, in_channels, out_channels, time_emb_dim, dropout=0.1):
-        super().__init__()
-        self.conv1 = nn.Conv2d(in_channels, out_channels, 3, padding=1)
-        self.conv2 = nn.Conv2d(out_channels, out_channels, 3, padding=1)
-        self.time_emb = nn.Linear(time_emb_dim, out_channels)
-        self.dropout = nn.Dropout(dropout)
-        self.norm1 = nn.GroupNorm(8, out_channels)
-        self.norm2 = nn.GroupNorm(8, out_channels)
-        self.shortcut = nn.Conv2d(in_channels, out_channels, 1) if in_channels != out_channels else nn.Identity()
-        
-    def forward(self, x, t):
-        h = self.conv1(x)
-        h = self.norm1(h)
-        h = F.silu(h)
-        
-        # 添加时间嵌入
-        h = h + self.time_emb(F.silu(t))[:, :, None, None]
-        
-        h = self.conv2(h)
-        h = self.norm2(h)
-        h = F.silu(h)
-        h = self.dropout(h)
-        
-        return h + self.shortcut(x)
-
-class AttentionBlock(nn.Module):
-    """自注意力块"""
-    def __init__(self, channels, num_heads=4):
-        super().__init__()
-        self.num_heads = num_heads
-        self.norm = nn.GroupNorm(8, channels)
-        self.qkv = nn.Conv2d(channels, channels * 3, 1)
-        self.proj = nn.Conv2d(channels, channels, 1)
-        
-    def forward(self, x):
-        B, C, H, W = x.shape
-        h = self.norm(x)
-        qkv = self.qkv(h)
-        q, k, v = qkv.chunk(3, dim=1)
-        
-        # 重塑为多头格式
-        q = q.view(B, self.num_heads, C // self.num_heads, H * W).transpose(2, 3)
-        k = k.view(B, self.num_heads, C // self.num_heads, H * W).transpose(2, 3)
-        v = v.view(B, self.num_heads, C // self.num_heads, H * W).transpose(2, 3)
-        
-        # 计算注意力
-        scale = (C // self.num_heads) ** -0.5
-        attn = torch.softmax(torch.matmul(q, k.transpose(-2, -1)) * scale, dim=-1)
-        out = torch.matmul(attn, v)
-        
-        # 重塑回原始格式
-        out = out.transpose(2, 3).contiguous().view(B, C, H, W)
-        return x + self.proj(out)
-
- -
-
架构设计要点
-
    -
  • 时间嵌入：使用正弦位置编码将离散时间步转换为连续表示
    • -
  • 残差连接：每个块都包含残差连接，有助于梯度流动
    • -
  • 注意力机制：在低分辨率特征图上使用自注意力，捕获长程依赖
    • -
  • GroupNorm：使用组归一化而非批归一化，更适合小批量训练
    • -
-
- -

轻量级DDPM U-Net

-

对于简单任务（如MNIST），可以使用更轻量的架构：

- -
-
class SimpleDDPMUNet(nn.Module):
-    """轻量级DDPM U-Net，适用于MNIST等简单数据集"""
-    def __init__(self, image_channels=1, n_channels=32, ch_mults=(1, 2, 2, 4),
-                 n_blocks=2):
-        super().__init__()
-        
-        # 时间嵌入
-        self.time_emb = nn.Sequential(
-            SinusoidalPositionalEmbedding(n_channels),
-            nn.Linear(n_channels, n_channels * 4),
-            nn.GELU(),
-            nn.Linear(n_channels * 4, n_channels * 4)
-        )
-        
-        # 输入层
-        self.conv_in = nn.Conv2d(image_channels, n_channels, 3, padding=1)
-        
-        # 下采样
-        self.downs = nn.ModuleList()
-        chs = [n_channels]
-        now_ch = n_channels
-        
-        for i, mult in enumerate(ch_mults):
-            out_ch = n_channels * mult
-            for _ in range(n_blocks):
-                self.downs.append(ResidualBlock(now_ch, out_ch, n_channels * 4))
-                now_ch = out_ch
-                chs.append(now_ch)
-            
-            if i < len(ch_mults) - 1:
-                self.downs.append(nn.Conv2d(now_ch, now_ch, 3, stride=2, padding=1))
-                chs.append(now_ch)
-        
-        # 中间层
-        self.middle = nn.ModuleList([
-            ResidualBlock(now_ch, now_ch, n_channels * 4),
-            ResidualBlock(now_ch, now_ch, n_channels * 4)
-        ])
-        
-        # 上采样
-        self.ups = nn.ModuleList()
-        for i, mult in reversed(list(enumerate(ch_mults))):
-            out_ch = n_channels * mult
-            
-            for _ in range(n_blocks + 1):
-                self.ups.append(ResidualBlock(chs.pop() + now_ch, out_ch, n_channels * 4))
-                now_ch = out_ch
-            
-            if i > 0:
-                self.ups.append(nn.ConvTranspose2d(now_ch, now_ch, 4, stride=2, padding=1))
-        
-        # 输出层
-        self.conv_out = nn.Sequential(
-            nn.GroupNorm(8, now_ch),
-            nn.SiLU(),
-            nn.Conv2d(now_ch, image_channels, 3, padding=1)
-        )
-    
-    def forward(self, x, t):
-        # 获取时间嵌入
-        t = self.time_emb(t)
-        
-        # 初始卷积
-        h = self.conv_in(x)
-        
-        # 下采样
-        hs = [h]
-        for layer in self.downs:
-            if isinstance(layer, ResidualBlock):
-                h = layer(h, t)
-            else:
-                h = layer(h)
-            hs.append(h)
-        
-        # 中间层
-        for layer in self.middle:
-            h = layer(h, t)
-        
-        # 上采样
-        for layer in self.ups:
-            if isinstance(layer, ResidualBlock):
-                h = layer(torch.cat([h, hs.pop()], dim=1), t)
-            else:
-                h = layer(h)
-        
-        # 输出
-        return self.conv_out(h)
-
- -
-
练习 3.6.1：模型参数计算
-

实现一个函数来计算U-Net模型的参数量，并比较不同配置的模型大小。

- -
- 
def count_parameters(model):
-    """计算模型参数量"""
-    return sum(p.numel() for p in model.parameters() if p.requires_grad)
-
-def compare_model_sizes():
-    """比较不同模型配置的参数量"""
-    configs = [
-        {"name": "Tiny", "n_channels": 16, "ch_mults": (1, 2, 2)},
-        {"name": "Small", "n_channels": 32, "ch_mults": (1, 2, 2, 4)},
-        {"name": "Base", "n_channels": 64, "ch_mults": (1, 2, 4, 8)},
-        {"name": "Large", "n_channels": 128, "ch_mults": (1, 2, 4, 8)}
-    ]
-    
-    for config in configs:
-        model = SimpleDDPMUNet(
-            n_channels=config["n_channels"],
-            ch_mults=config["ch_mults"]
-        )
-        params = count_parameters(model)
-        print(f"{config['name']}: {params:,} parameters ({params/1e6:.2f}M)")
-
-# 输出示例：
-# Tiny: 461,729 parameters (0.46M)
-# Small: 3,652,481 parameters (3.65M)
-# Base: 35,742,785 parameters (35.74M)
-# Large: 142,836,097 parameters (142.84M)
-
-
- -

3.6.2 训练循环

-

现在让我们实现完整的DDPM训练循环。这个实现包含了前面章节介绍的所有关键组件。

- -
-
import torch
-import torch.optim as optim
-from torch.utils.data import DataLoader
-from torchvision import datasets, transforms
-from tqdm import tqdm
-import matplotlib.pyplot as plt
-import numpy as np
-
-class DDPMTrainer:
-    """DDPM训练器"""
-    def __init__(self, model, device='cuda', num_timesteps=1000, 
-                 beta_start=1e-4, beta_end=0.02, loss_type='l2'):
-        self.model = model.to(device)
-        self.device = device
-        self.num_timesteps = num_timesteps
-        self.loss_type = loss_type
-        
-        # 设置噪声调度
-        self.betas = torch.linspace(beta_start, beta_end, num_timesteps).to(device)
-        self.alphas = 1 - self.betas
-        self.alphas_bar = torch.cumprod(self.alphas, dim=0)
-        self.sqrt_alphas_bar = torch.sqrt(self.alphas_bar)
-        self.sqrt_one_minus_alphas_bar = torch.sqrt(1 - self.alphas_bar)
-        
-        # 用于采样的预计算值
-        self.sqrt_recip_alphas = torch.sqrt(1.0 / self.alphas)
-        self.sqrt_alphas_bar_prev = torch.sqrt(
-            torch.cat([torch.tensor([1.0]).to(device), self.alphas_bar[:-1]])
-        )
-        self.sqrt_one_minus_alphas_bar_prev = torch.sqrt(
-            1 - torch.cat([torch.tensor([1.0]).to(device), self.alphas_bar[:-1]])
-        )
-        self.posterior_variance = self.betas * (1.0 - self.alphas_bar_prev) / (1.0 - self.alphas_bar)
-        
-    def forward_diffusion(self, x_0, t, noise=None):
-        """前向扩散过程"""
-        if noise is None:
-            noise = torch.randn_like(x_0)
-        
-        sqrt_alphas_bar_t = self.sqrt_alphas_bar[t].view(-1, 1, 1, 1)
-        sqrt_one_minus_alphas_bar_t = self.sqrt_one_minus_alphas_bar[t].view(-1, 1, 1, 1)
-        
-        x_t = sqrt_alphas_bar_t * x_0 + sqrt_one_minus_alphas_bar_t * noise
-        return x_t, noise
-    
-    def compute_loss(self, x_0, t):
-        """计算训练损失"""
-        noise = torch.randn_like(x_0)
-        x_t, _ = self.forward_diffusion(x_0, t, noise)
-        noise_pred = self.model(x_t, t)
-        
-        if self.loss_type == 'l2':
-            loss = torch.nn.functional.mse_loss(noise_pred, noise)
-        elif self.loss_type == 'l1':
-            loss = torch.nn.functional.l1_loss(noise_pred, noise)
-        else:
-            raise ValueError(f"Unknown loss type: {self.loss_type}")
-        
-        return loss
-    
-    def train_step(self, batch, optimizer):
-        """单步训练"""
-        x_0 = batch[0].to(self.device)
-        batch_size = x_0.shape[0]
-        
-        # 随机采样时间步
-        t = torch.randint(0, self.num_timesteps, (batch_size,), device=self.device)
-        
-        # 计算损失
-        loss = self.compute_loss(x_0, t)
-        
-        # 反向传播
-        optimizer.zero_grad()
-        loss.backward()
-        optimizer.step()
-        
-        return loss.item()
-    
-    @torch.no_grad()
-    def sample(self, num_samples, image_size=(1, 28, 28), return_trajectory=False):
-        """DDPM采样"""
-        self.model.eval()
-        
-        # 从纯噪声开始
-        x_t = torch.randn(num_samples, *image_size, device=self.device)
-        
-        trajectory = [x_t.cpu()] if return_trajectory else None
-        
-        # 逐步去噪
-        for t in tqdm(reversed(range(self.num_timesteps)), desc="Sampling"):
-            t_batch = torch.full((num_samples,), t, device=self.device, dtype=torch.long)
-            
-            # 预测噪声
-            noise_pred = self.model(x_t, t_batch)
-            
-            # 计算均值
-            beta_t = self.betas[t]
-            sqrt_one_minus_alpha_bar_t = self.sqrt_one_minus_alphas_bar[t]
-            sqrt_recip_alpha_t = self.sqrt_recip_alphas[t]
-            
-            mean = sqrt_recip_alpha_t * (
-                x_t - beta_t / sqrt_one_minus_alpha_bar_t * noise_pred
-            )
-            
-            # 添加噪声（除了最后一步）
-            if t > 0:
-                noise = torch.randn_like(x_t)
-                posterior_variance_t = self.posterior_variance[t]
-                x_t = mean + torch.sqrt(posterior_variance_t) * noise
-            else:
-                x_t = mean
-            
-            if return_trajectory and t % 100 == 0:
-                trajectory.append(x_t.cpu())
-        
-        self.model.train()
-        
-        if return_trajectory:
-            return x_t, trajectory
-        return x_t
-
-def train_ddpm(model, train_loader, num_epochs=100, lr=2e-4, 
-               device='cuda', save_interval=10):
-    """完整的DDPM训练流程"""
-    trainer = DDPMTrainer(model, device=device)
-    optimizer = optim.Adam(model.parameters(), lr=lr)
-    
-    # 训练历史
-    losses = []
-    
-    for epoch in range(num_epochs):
-        epoch_losses = []
-        pbar = tqdm(train_loader, desc=f"Epoch {epoch+1}/{num_epochs}")
-        
-        for batch in pbar:
-            loss = trainer.train_step(batch, optimizer)
-            epoch_losses.append(loss)
-            pbar.set_postfix({'loss': f"{loss:.4f}"})
-        
-        avg_loss = np.mean(epoch_losses)
-        losses.append(avg_loss)
-        print(f"Epoch {epoch+1}, Average Loss: {avg_loss:.4f}")
-        
-        # 定期生成样本
-        if (epoch + 1) % save_interval == 0:
-            samples = trainer.sample(16)
-            save_samples(samples, epoch + 1)
-            
-            # 保存检查点
-            torch.save({
-                'epoch': epoch,
-                'model_state_dict': model.state_dict(),
-                'optimizer_state_dict': optimizer.state_dict(),
-                'loss': avg_loss,
-            }, f'ddpm_checkpoint_epoch_{epoch+1}.pt')
-    
-    return trainer, losses
-
-def save_samples(samples, epoch, save_dir='./samples'):
-    """保存生成的样本"""
-    import os
-    os.makedirs(save_dir, exist_ok=True)
-    
-    # 保存为PyTorch张量格式
-    torch.save(samples, os.path.join(save_dir, f'samples_epoch_{epoch}.pt'))
-    
-    # 可选：保存为单独的图像文件
-    if samples.shape[1] == 1:  # 单通道图像
-        from torchvision.utils import save_image
-        # 将值域从[-1, 1]映射到[0, 1]
-        samples_normalized = (samples + 1) / 2
-        save_image(samples_normalized, 
-                  os.path.join(save_dir, f'grid_epoch_{epoch}.png'),
-                  nrow=4, normalize=False)
-    
-    print(f"已保存 {len(samples)} 个样本到 {save_dir}")
-
- -

使用示例：在MNIST上训练DDPM

-
-
# 准备数据集
-transform = transforms.Compose([
-    transforms.ToTensor(),
-    transforms.Normalize((0.5,), (0.5,))  # 归一化到[-1, 1]
-])
-
-train_dataset = datasets.MNIST(root='./data', train=True, 
-                              download=True, transform=transform)
-train_loader = DataLoader(train_dataset, batch_size=128, 
-                         shuffle=True, num_workers=4)
-
-# 创建模型
-model = SimpleDDPMUNet(
-    image_channels=1,
-    n_channels=32,
-    ch_mults=(1, 2, 2, 4),
-    n_blocks=2
-)
-
-# 训练模型
-trainer, losses = train_ddpm(
-    model=model,
-    train_loader=train_loader,
-    num_epochs=50,
-    lr=2e-4,
-    device='cuda' if torch.cuda.is_available() else 'cpu',
-    save_interval=10
-)
-
-# 生成新样本
-new_samples = trainer.sample(64, image_size=(1, 28, 28))
-
-# 分析训练损失
-print("训练损失统计:")
-print(f"  初始损失: {losses[0]:.4f}")
-print(f"  最终损失: {losses[-1]:.4f}")
-print(f"  最低损失: {min(losses):.4f} (Epoch {losses.index(min(losses)) + 1})")
-print(f"  损失下降: {(losses[0] - losses[-1]) / losses[0] * 100:.1f}%")
-
- -
-
训练技巧
-
    -
  • 学习率调度：使用余弦退火或线性衰减可以提升训练稳定性
    • -
  • EMA：使用指数移动平均（EMA）可以获得更稳定的生成质量
    • -
  • 梯度裁剪：防止梯度爆炸，特别是在训练初期
    • -
  • 混合精度训练：使用FP16可以加速训练并减少显存占用
    • -
-
- -

高级训练技术

-
-
class EMA:
-    """指数移动平均"""
-    def __init__(self, model, decay=0.995):
-        self.model = model
-        self.decay = decay
-        self.shadow = {}
-        self.backup = {}
-        self.register()
-    
-    def register(self):
-        for name, param in self.model.named_parameters():
-            if param.requires_grad:
-                self.shadow[name] = param.data.clone()
-    
-    def update(self):
-        for name, param in self.model.named_parameters():
-            if param.requires_grad:
-                self.shadow[name] = self.decay * self.shadow[name] + \
-                                   (1 - self.decay) * param.data
-    
-    def apply_shadow(self):
-        for name, param in self.model.named_parameters():
-            if param.requires_grad:
-                self.backup[name] = param.data
-                param.data = self.shadow[name]
-    
-    def restore(self):
-        for name, param in self.model.named_parameters():
-            if param.requires_grad:
-                param.data = self.backup[name]
-        self.backup = {}
-
-def train_ddpm_with_ema(model, train_loader, num_epochs=100):
-    """带EMA的DDPM训练"""
-    trainer = DDPMTrainer(model)
-    optimizer = optim.Adam(model.parameters(), lr=2e-4)
-    scheduler = optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max=num_epochs)
-    ema = EMA(model)
-    
-    scaler = torch.cuda.amp.GradScaler()  # 混合精度训练
-    
-    for epoch in range(num_epochs):
-        for batch in train_loader:
-            x_0 = batch[0].to(trainer.device)
-            batch_size = x_0.shape[0]
-            t = torch.randint(0, trainer.num_timesteps, (batch_size,), 
-                            device=trainer.device)
-            
-            # 混合精度训练
-            with torch.cuda.amp.autocast():
-                loss = trainer.compute_loss(x_0, t)
-            
-            optimizer.zero_grad()
-            scaler.scale(loss).backward()
-            
-            # 梯度裁剪
-            scaler.unscale_(optimizer)
-            torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0)
-            
-            scaler.step(optimizer)
-            scaler.update()
-            
-            # 更新EMA
-            ema.update()
-        
-        scheduler.step()
-        
-        # 使用EMA权重生成样本
-        if (epoch + 1) % 10 == 0:
-            ema.apply_shadow()
-            samples = trainer.sample(16)
-            save_samples(samples, epoch + 1)
-            ema.restore()
-    
-    return trainer, ema
-
- -
-
练习 3.6.2：实现学习率预热
-

修改训练代码，添加学习率预热（warmup）功能，在训练初期逐渐增加学习率。

- -
- 
class WarmupCosineScheduler(optim.lr_scheduler._LRScheduler):
-    """带预热的余弦退火调度器"""
-    def __init__(self, optimizer, warmup_epochs, total_epochs, 
-                 warmup_lr=1e-5, base_lr=2e-4, min_lr=1e-6):
-        self.warmup_epochs = warmup_epochs
-        self.total_epochs = total_epochs
-        self.warmup_lr = warmup_lr
-        self.base_lr = base_lr
-        self.min_lr = min_lr
-        super().__init__(optimizer)
-    
-    def get_lr(self):
-        if self.last_epoch < self.warmup_epochs:
-            # 线性预热
-            lr = self.warmup_lr + (self.base_lr - self.warmup_lr) * \
-                 (self.last_epoch / self.warmup_epochs)
-        else:
-            # 余弦退火
-            progress = (self.last_epoch - self.warmup_epochs) / \
-                      (self.total_epochs - self.warmup_epochs)
-            lr = self.min_lr + (self.base_lr - self.min_lr) * \
-                 0.5 * (1 + np.cos(np.pi * progress))
-        
-        return [lr for _ in self.optimizer.param_groups]
-
-# 使用示例
-optimizer = optim.Adam(model.parameters(), lr=1e-5)  # 初始学习率
-scheduler = WarmupCosineScheduler(
-    optimizer, 
-    warmup_epochs=5,
-    total_epochs=100,
-    warmup_lr=1e-5,
-    base_lr=2e-4,
-    min_lr=1e-6
-)
-
-# 在训练循环中
-for epoch in range(num_epochs):
-    train_one_epoch(model, train_loader, optimizer)
-    scheduler.step()
-    print(f"Epoch {epoch}, LR: {scheduler.get_lr()[0]:.6f}")
-
-
- -

3.6.3 评估与可视化

-

评估生成模型的质量是一个重要但富有挑战性的任务。本节介绍常用的评估指标和可视化方法。

- -

常用评估指标

-
-
生成模型评估指标
-
    -
  • FID (Fréchet Inception Distance)：衡量生成分布与真实分布的距离
    • -
  • IS (Inception Score)：评估生成样本的质量和多样性
    • -
  • LPIPS：感知相似度，更符合人类视觉感知
    • -
  • Precision/Recall：分别衡量质量和覆盖度
    • -
-
- -

FID计算实现

-
-
import torch
-import numpy as np
-from scipy import linalg
-from torchvision.models import inception_v3
-from torch.nn.functional import adaptive_avg_pool2d
-
-class FIDCalculator:
-    """FID (Fréchet Inception Distance) 计算器"""
-    def __init__(self, device='cuda'):
-        self.device = device
-        self.inception = inception_v3(pretrained=True, transform_input=False).to(device)
-        self.inception.eval()
-        # 移除最后的全连接层
-        self.inception.fc = torch.nn.Identity()
-    
-    @torch.no_grad()
-    def extract_features(self, images):
-        """提取Inception特征"""
-        # 确保图像大小至少为299x299（Inception-v3要求）
-        if images.shape[2] < 299 or images.shape[3] < 299:
-            images = F.interpolate(images, size=(299, 299), mode='bilinear', align_corners=False)
-        
-        # 如果是单通道图像，扩展到3通道
-        if images.shape[1] == 1:
-            images = images.repeat(1, 3, 1, 1)
-        
-        # 归一化到[-1, 1]（Inception-v3的预处理要求）
-        images = 2 * images - 1
-        
-        features = self.inception(images)
-        return features.cpu().numpy()
-    
-    def calculate_statistics(self, features):
-        """计算均值和协方差"""
-        mu = np.mean(features, axis=0)
-        sigma = np.cov(features, rowvar=False)
-        return mu, sigma
-    
-    def calculate_fid(self, mu1, sigma1, mu2, sigma2):
-        """计算两个高斯分布之间的FID"""
-        diff = mu1 - mu2
-        
-        # 计算协方差矩阵的平方根
-        covmean, _ = linalg.sqrtm(sigma1.dot(sigma2), disp=False)
-        
-        # 处理数值误差
-        if not np.isfinite(covmean).all():
-            msg = "FID计算产生了数值误差"
-            print(msg)
-            offset = np.eye(sigma1.shape[0]) * 1e-6
-            covmean = linalg.sqrtm((sigma1 + offset).dot(sigma2 + offset))
-        
-        # 确保是实数
-        if np.iscomplexobj(covmean):
-            if not np.allclose(np.diagonal(covmean).imag, 0, atol=1e-3):
-                m = np.max(np.abs(covmean.imag))
-                raise ValueError(f"Imaginary component {m}")
-            covmean = covmean.real
-        
-        tr_covmean = np.trace(covmean)
-        
-        return diff.dot(diff) + np.trace(sigma1) + np.trace(sigma2) - 2 * tr_covmean
-    
-    def compute_fid_from_samples(self, real_images, generated_images, batch_size=64):
-        """从样本计算FID"""
-        # 提取真实图像特征
-        real_features = []
-        for i in range(0, len(real_images), batch_size):
-            batch = real_images[i:i+batch_size].to(self.device)
-            features = self.extract_features(batch)
-            real_features.append(features)
-        real_features = np.concatenate(real_features, axis=0)
-        
-        # 提取生成图像特征
-        gen_features = []
-        for i in range(0, len(generated_images), batch_size):
-            batch = generated_images[i:i+batch_size].to(self.device)
-            features = self.extract_features(batch)
-            gen_features.append(features)
-        gen_features = np.concatenate(gen_features, axis=0)
-        
-        # 计算统计量
-        mu1, sigma1 = self.calculate_statistics(real_features)
-        mu2, sigma2 = self.calculate_statistics(gen_features)
-        
-        # 计算FID
-        fid_score = self.calculate_fid(mu1, sigma1, mu2, sigma2)
-        
-        return fid_score
-
- -

Inception Score实现

-
-
class InceptionScore:
-    """Inception Score计算器"""
-    def __init__(self, device='cuda'):
-        self.device = device
-        self.inception = inception_v3(pretrained=True, transform_input=False).to(device)
-        self.inception.eval()
-    
-    @torch.no_grad()
-    def compute_is(self, images, batch_size=32, splits=10):
-        """计算Inception Score
-        
-        Args:
-            images: 生成的图像张量
-            batch_size: 批处理大小
-            splits: 用于计算IS的分割数
-        
-        Returns:
-            is_mean: IS均值
-            is_std: IS标准差
-        """
-        # 获取预测
-        preds = []
-        for i in range(0, len(images), batch_size):
-            batch = images[i:i+batch_size].to(self.device)
-            
-            # 调整大小和通道
-            if batch.shape[2] < 299:
-                batch = F.interpolate(batch, size=(299, 299), mode='bilinear')
-            if batch.shape[1] == 1:
-                batch = batch.repeat(1, 3, 1, 1)
-            
-            # 归一化
-            batch = 2 * batch - 1
-            
-            pred = self.inception(batch)
-            preds.append(F.softmax(pred, dim=1).cpu().numpy())
-        
-        preds = np.concatenate(preds, axis=0)
-        
-        # 计算IS
-        scores = []
-        for i in range(splits):
-            part = preds[i * len(preds) // splits: (i + 1) * len(preds) // splits]
-            kl = part * (np.log(part) - np.log(np.mean(part, axis=0, keepdims=True)))
-            kl = np.mean(np.sum(kl, axis=1))
-            scores.append(np.exp(kl))
-        
-        return np.mean(scores), np.std(scores)
-
- -

综合评估工具

-
-
class DDPMEvaluator:
-    """DDPM模型综合评估工具"""
-    def __init__(self, trainer, test_loader, device='cuda'):
-        self.trainer = trainer
-        self.test_loader = test_loader
-        self.device = device
-        self.fid_calculator = FIDCalculator(device)
-        self.is_calculator = InceptionScore(device)
-    
-    def evaluate(self, num_samples=10000, batch_size=64):
-        """全面评估模型"""
-        print("生成样本进行评估...")
-        
-        # 生成样本
-        generated_samples = []
-        num_batches = (num_samples + batch_size - 1) // batch_size
-        
-        for i in tqdm(range(num_batches), desc="生成样本"):
-            samples_in_batch = min(batch_size, num_samples - i * batch_size)
-            samples = self.trainer.sample(samples_in_batch, image_size=(1, 28, 28))
-            generated_samples.append(samples.cpu())
-        
-        generated_samples = torch.cat(generated_samples, dim=0)
-        
-        # 收集真实样本
-        real_samples = []
-        for batch, _ in self.test_loader:
-            real_samples.append(batch)
-            if len(real_samples) * batch.shape[0] >= num_samples:
-                break
-        real_samples = torch.cat(real_samples, dim=0)[:num_samples]
-        
-        # 计算FID
-        print("计算FID...")
-        fid_score = self.fid_calculator.compute_fid_from_samples(
-            real_samples, generated_samples, batch_size=batch_size
-        )
-        
-        # 计算IS
-        print("计算Inception Score...")
-        is_mean, is_std = self.is_calculator.compute_is(
-            generated_samples, batch_size=batch_size
-        )
-        
-        # 计算样本多样性
-        diversity = self.compute_diversity(generated_samples)
-        
-        results = {
-            'fid': fid_score,
-            'is_mean': is_mean,
-            'is_std': is_std,
-            'diversity': diversity
-        }
-        
-        return results, generated_samples
-    
-    def compute_diversity(self, samples):
-        """计算样本多样性（使用LPIPS或简单的L2距离）"""
-        # 简化版：使用L2距离
-        n_samples = min(1000, len(samples))
-        indices = torch.randperm(len(samples))[:n_samples]
-        subset = samples[indices]
-        
-        # 计算两两之间的L2距离
-        distances = []
-        for i in range(n_samples):
-            for j in range(i+1, n_samples):
-                dist = torch.norm(subset[i] - subset[j], p=2)
-                distances.append(dist.item())
-        
-        return np.mean(distances)
-    
-    def save_results(self, results, samples, save_path='evaluation_results.pt'):
-        """保存评估结果"""
-        # 保存样本和评估指标
-        torch.save({
-            'samples': samples,
-            'metrics': results,
-            'timestamp': np.datetime64('now')
-        }, save_path)
-        
-        # 打印评估报告
-        print("\n" + "="*50)
-        print("评估结果报告")
-        print("="*50)
-        print(f"FID Score: {results['fid']:.2f} (越低越好)")
-        print(f"Inception Score: {results['is_mean']:.2f} ± {results['is_std']:.2f} (越高越好)")
-        print(f"Diversity Score: {results['diversity']:.4f} (越高越好)")
-        print(f"\n结果已保存到: {save_path}")
-        
-        return results
-
- -

使用示例

-
-
# 创建评估器
-evaluator = DDPMEvaluator(trainer, test_loader)
-
-# 运行完整评估
-results, generated_samples = evaluator.evaluate(num_samples=5000)
-
-# 打印结果
-print(f"FID Score: {results['fid']:.2f}")
-print(f"Inception Score: {results['is_mean']:.2f} ± {results['is_std']:.2f}")
-print(f"Diversity Score: {results['diversity']:.4f}")
-
-# 保存结果
-evaluator.save_results(results, generated_samples)
-
-# 分析采样轨迹
-def analyze_sampling_trajectory(trainer, num_steps_show=10):
-    """分析采样轨迹"""
-    # 生成带轨迹的样本
-    samples, trajectory = trainer.sample(4, return_trajectory=True)
-    
-    # 选择要显示的步骤
-    total_steps = len(trajectory)
-    step_indices = np.linspace(0, total_steps-1, num_steps_show, dtype=int)
-    
-    print("\n采样轨迹分析:")
-    print("="*50)
-    print(f"总步数: {trainer.num_timesteps}")
-    print(f"轨迹采样点: {len(step_indices)}")
-    
-    # 分析每个阶段的统计特性
-    for i, step_idx in enumerate(step_indices):
-        t = trainer.num_timesteps - step_idx * 100 if step_idx > 0 else trainer.num_timesteps
-        img_batch = trajectory[step_idx]
-        
-        stats = {
-            'mean': img_batch.mean().item(),
-            'std': img_batch.std().item(),
-            'min': img_batch.min().item(),
-            'max': img_batch.max().item()
-        }
-        
-        print(f"\n步骤 {i+1}/{num_steps_show} (t={t}):")
-        print(f"  均值: {stats['mean']:6.3f}, 标准差: {stats['std']:6.3f}")
-        print(f"  范围: [{stats['min']:6.3f}, {stats['max']:6.3f}]")
-    
-    return samples, trajectory
-
-# 分析采样轨迹
-final_samples, full_trajectory = analyze_sampling_trajectory(trainer)
-
- -
-
练习 3.6.3：实现Precision和Recall指标
-

实现改进的Precision和Recall指标，分别衡量生成质量和模式覆盖度。

- -
- 
def compute_precision_recall(real_features, gen_features, k=3):
-    """计算改进的Precision和Recall
-    
-    基于k-最近邻的方法：
-    - Precision: 生成样本中有多少落在真实数据的支撑集内
-    - Recall: 真实数据的支撑集有多少被生成样本覆盖
-    """
-    from sklearn.neighbors import NearestNeighbors
-    
-    # 构建k-NN模型
-    nbrs_real = NearestNeighbors(n_neighbors=k+1, metric='euclidean').fit(real_features)
-    nbrs_gen = NearestNeighbors(n_neighbors=k+1, metric='euclidean').fit(gen_features)
-    
-    # 计算真实样本的k-NN距离
-    distances_real, _ = nbrs_real.kneighbors(real_features)
-    distances_real = distances_real[:, -1]  # 第k个最近邻的距离
-    
-    # 计算生成样本的k-NN距离
-    distances_gen, _ = nbrs_gen.kneighbors(gen_features)
-    distances_gen = distances_gen[:, -1]
-    
-    # 计算Precision：生成样本到真实流形的距离
-    distances_gen_to_real, _ = nbrs_real.kneighbors(gen_features, n_neighbors=1)
-    distances_gen_to_real = distances_gen_to_real[:, 0]
-    precision = np.mean(distances_gen_to_real <= np.median(distances_real))
-    
-    # 计算Recall：真实样本到生成流形的距离
-    distances_real_to_gen, _ = nbrs_gen.kneighbors(real_features, n_neighbors=1)
-    distances_real_to_gen = distances_real_to_gen[:, 0]
-    recall = np.mean(distances_real_to_gen <= np.median(distances_gen))
-    
-    return precision, recall
-
-# 使用示例
-real_features = fid_calculator.extract_features(real_samples)
-gen_features = fid_calculator.extract_features(generated_samples)
-precision, recall = compute_precision_recall(real_features, gen_features)
-print(f"Precision: {precision:.3f}, Recall: {recall:.3f}")
-
-
- -

3.7 DDPM的局限性与改进方向

-

虽然DDPM在生成质量上取得了重大突破，但它仍存在一些重要的局限性。理解这些局限性有助于我们理解后续的改进方法。

- -

3.7.1 主要局限性

- -
-
DDPM的核心问题
-
    -
  1. 采样速度慢 -
      -
    • 需要1000步迭代才能生成一张图像
      • -
    • 相比GAN的单次前向传播，效率差距巨大
      • -
    • 限制了实时应用的可能性
      • -
    -
    2. -
  2. 固定的噪声调度 -
      -
    • 线性β调度并非最优
      • -
    • 不同数据集可能需要不同的调度策略
      • -
    • 训练和采样必须使用相同的调度
      • -
    -
    3. -
  3. 固定的后验方差 -
      -
    • DDPM使用固定的后验方差 $\sigma_t^2 = \beta_t$
      • -
    • 这可能不是最优选择
      • -
    • 限制了模型的表达能力
      • -
    -
    4. -
  4. 计算资源需求高 -
      -
    • 训练需要大量GPU时间
      • -
    • 推理时的内存占用较大
      • -
    • 难以在边缘设备上部署
      • -
    -
    5. -
-
- -

3.7.2 性能分析

- -
-
def analyze_ddpm_performance(trainer, num_samples=100):
-    """分析DDPM的性能瓶颈"""
-    import time
-    
-    results = {
-        'sampling_times': [],
-        'memory_usage': [],
-        'step_times': []
-    }
-    
-    # 测试不同步数的采样时间
-    for num_steps in [10, 50, 100, 500, 1000]:
-        # 修改采样步数
-        original_steps = trainer.num_timesteps
-        trainer.num_timesteps = num_steps
-        
-        # 计时
-        start_time = time.time()
-        samples = trainer.sample(num_samples, image_size=(1, 28, 28))
-        end_time = time.time()
-        
-        sampling_time = end_time - start_time
-        results['sampling_times'].append({
-            'steps': num_steps,
-            'total_time': sampling_time,
-            'time_per_sample': sampling_time / num_samples,
-            'time_per_step': sampling_time / (num_samples * num_steps)
-        })
-        
-        trainer.num_timesteps = original_steps
-    
-    # 分析每步的时间分布
-    with torch.profiler.profile(
-        activities=[torch.profiler.ProfilerActivity.CPU, 
-                   torch.profiler.ProfilerActivity.CUDA],
-        record_shapes=True
-    ) as prof:
-        trainer.sample(1, image_size=(1, 28, 28))
-    
-    # 打印分析结果
-    print("=== DDPM Performance Analysis ===")
-    print(f"\nSampling Time vs Steps:")
-    for result in results['sampling_times']:
-        print(f"Steps: {result['steps']:4d} | "
-              f"Total: {result['total_time']:6.2f}s | "
-              f"Per Sample: {result['time_per_sample']:6.4f}s | "
-              f"Per Step: {result['time_per_step']*1000:6.2f}ms")
-    
-    print(f"\nTop operations by time:")
-    print(prof.key_averages().table(sort_by="cuda_time_total", row_limit=10))
-    
-    return results
-
-# 分析性能结果
-def analyze_performance_results(results):
-    """分析性能测试结果"""
-    steps = [r['steps'] for r in results['sampling_times']]
-    times = [r['time_per_sample'] for r in results['sampling_times']]
-    
-    print("\n性能分析报告:")
-    print("="*60)
-    print("步数    | 每样本时间(s) | 相对1000步加速比 | 质量影响")
-    print("-"*60)
-    
-    baseline_time = times[-1]  # 1000步的时间
-    for i, (step, time) in enumerate(zip(steps, times)):
-        speedup = baseline_time / time
-        quality_impact = "高" if step >= 500 else ("中" if step >= 100 else "低")
-        print(f"{step:8d} | {time:13.4f} | {speedup:15.1f}x | {quality_impact}")
-    
-    print("\n关键发现:")
-    print(f"- 从1000步减少到50步可获得 {baseline_time/times[1]:.1f}x 加速")
-    print(f"- 每步平均耗时: {times[-1]/1000*1000:.2f}ms")
-    print(f"- 主要瓶颈: U-Net前向传播")
-    
-    return results
-
- -

3.7.3 改进方向概览

- -
-
主要改进方向
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
问题改进方法关键思想相关章节
采样速度慢DDIM确定性采样，跳步第8章
采样速度慢DPM-Solver高阶ODE求解器第8章
固定噪声调度Improved DDPM余弦调度，学习方差第8章
理论框架Score-based Models分数匹配视角第4章
连续时间SDE/ODE连续时间框架第5章
计算效率Latent Diffusion潜在空间扩散第10章
一步生成Consistency Models自一致性映射第14章
-
- -

3.7.4 实验：不同改进的效果

- -
-
class ImprovedDDPMExperiments:
-    """实验不同的DDPM改进方法"""
-    
-    @staticmethod
-    def cosine_beta_schedule(num_timesteps, s=0.008):
-        """余弦噪声调度（Improved DDPM）"""
-        steps = num_timesteps + 1
-        x = torch.linspace(0, num_timesteps, steps)
-        alphas_bar = torch.cos(((x / num_timesteps) + s) / (1 + s) * torch.pi * 0.5) ** 2
-        alphas_bar = alphas_bar / alphas_bar[0]
-        betas = 1 - (alphas_bar[1:] / alphas_bar[:-1])
-        return torch.clip(betas, 0.0001, 0.9999)
-    
-    @staticmethod
-    def learned_variance_output(model_output, num_channels):
-        """学习方差的模型输出（Improved DDPM）"""
-        # 模型输出两倍通道：前半部分是均值，后半部分是对数方差
-        mean, log_variance = torch.split(model_output, num_channels, dim=1)
-        
-        # 参数化对数方差在[beta_t, beta_tilde_t]之间
-        # log_variance = log(beta_t) + v * log(beta_tilde_t / beta_t)
-        # 其中v是模型预测的插值参数
-        return mean, log_variance
-    
-    @staticmethod
-    def ddim_sampling_step(x_t, epsilon_pred, t, t_prev, alphas_bar, eta=0):
-        """DDIM采样步骤（可调节随机性）"""
-        alpha_bar_t = alphas_bar[t]
-        alpha_bar_t_prev = alphas_bar[t_prev] if t_prev >= 0 else 1.0
-        
-        # 计算x_0的预测
-        x_0_pred = (x_t - torch.sqrt(1 - alpha_bar_t) * epsilon_pred) / torch.sqrt(alpha_bar_t)
-        
-        # 计算方差
-        sigma_t = eta * torch.sqrt((1 - alpha_bar_t_prev) / (1 - alpha_bar_t)) * \
-                  torch.sqrt(1 - alpha_bar_t / alpha_bar_t_prev)
-        
-        # 预测x_{t-1}
-        mean = torch.sqrt(alpha_bar_t_prev) * x_0_pred + \
-               torch.sqrt(1 - alpha_bar_t_prev - sigma_t**2) * epsilon_pred
-        
-        if t_prev > 0:
-            noise = torch.randn_like(x_t)
-            x_t_prev = mean + sigma_t * noise
-        else:
-            x_t_prev = mean
-        
-        return x_t_prev
-    
-    @staticmethod
-    def compare_sampling_methods(model, device='cuda'):
-        """比较不同采样方法的效果"""
-        results = {}
-        
-        # 标准DDPM采样
-        print("Testing standard DDPM sampling...")
-        start_time = time.time()
-        ddpm_samples = standard_ddpm_sample(model, num_samples=16, num_steps=1000)
-        ddpm_time = time.time() - start_time
-        results['ddpm'] = {'samples': ddpm_samples, 'time': ddpm_time}
-        
-        # DDIM采样（50步）
-        print("Testing DDIM sampling (50 steps)...")
-        start_time = time.time()
-        ddim_samples = ddim_sample(model, num_samples=16, num_steps=50, eta=0)
-        ddim_time = time.time() - start_time
-        results['ddim'] = {'samples': ddim_samples, 'time': ddim_time}
-        
-        # 带随机性的DDIM采样
-        print("Testing stochastic DDIM (eta=0.5)...")
-        start_time = time.time()
-        stochastic_samples = ddim_sample(model, num_samples=16, num_steps=50, eta=0.5)
-        stochastic_time = time.time() - start_time
-        results['stochastic'] = {'samples': stochastic_samples, 'time': stochastic_time}
-        
-        return results
-
- -
-
练习 3.7：实现简化版DDIM
-

基于本章学到的DDPM知识，实现一个简化版的DDIM采样器，支持可变步数采样。

- -
- 
@torch.no_grad()
-def simplified_ddim_sample(model, shape, num_inference_steps=50, 
-                          num_train_steps=1000, eta=0.0, device='cuda'):
-    """简化版DDIM采样实现
-    
-    Args:
-        model: 训练好的噪声预测模型
-        shape: 生成图像的形状
-        num_inference_steps: 推理步数（<= num_train_steps）
-        num_train_steps: 训练时使用的总步数
-        eta: 控制随机性（0=确定性，1=DDPM）
-    """
-    # 设置噪声调度
-    betas = linear_beta_schedule(num_train_steps).to(device)
-    alphas = 1 - betas
-    alphas_bar = torch.cumprod(alphas, dim=0)
-    
-    # 选择推理时间步
-    step_ratio = num_train_steps // num_inference_steps
-    timesteps = torch.arange(0, num_train_steps, step_ratio).flip(0).to(device)
-    
-    # 从纯噪声开始
-    x_t = torch.randn(shape, device=device)
-    
-    for i, t in enumerate(timesteps):
-        # 获取前一个时间步
-        t_prev = timesteps[i + 1] if i < len(timesteps) - 1 else -1
-        
-        # 预测噪声
-        t_batch = torch.full((shape[0],), t, device=device, dtype=torch.long)
-        epsilon_pred = model(x_t, t_batch)
-        
-        # DDIM更新
-        alpha_bar_t = alphas_bar[t]
-        alpha_bar_t_prev = alphas_bar[t_prev] if t_prev >= 0 else 1.0
-        
-        # 预测x_0
-        x_0_pred = (x_t - torch.sqrt(1 - alpha_bar_t) * epsilon_pred) / torch.sqrt(alpha_bar_t)
-        x_0_pred = torch.clamp(x_0_pred, -1, 1)  # 数值稳定性
-        
-        # 计算方差
-        sigma_t = eta * torch.sqrt((1 - alpha_bar_t_prev) / (1 - alpha_bar_t)) * \
-                  torch.sqrt(1 - alpha_bar_t / alpha_bar_t_prev) if t_prev >= 0 else 0
-        
-        # 计算均值
-        mean = torch.sqrt(alpha_bar_t_prev) * x_0_pred + \
-               torch.sqrt(1 - alpha_bar_t_prev - sigma_t**2) * epsilon_pred
-        
-        # 添加噪声
-        if t_prev >= 0:
-            noise = torch.randn_like(x_t) if eta > 0 else 0
-            x_t = mean + sigma_t * noise
-        else:
-            x_t = mean
-    
-    return x_t
-
-# 测试不同步数和eta值
-test_configs = [
-    {'steps': 10, 'etas': [0.0, 0.3, 0.7, 1.0]},
-    {'steps': 25, 'etas': [0.0, 0.3, 0.7, 1.0]},
-    {'steps': 50, 'etas': [0.0, 0.3, 0.7, 1.0]}
-]
-
-print("DDIM采样测试结果:")
-print("="*60)
-print("步数 | η值  | 采样时间(s) | 相对质量评估")
-print("-"*60)
-
-for config in test_configs:
-    num_steps = config['steps']
-    for eta in config['etas']:
-        import time
-        start = time.time()
-        samples = simplified_ddim_sample(
-            model, shape=(1, 1, 28, 28), 
-            num_inference_steps=num_steps, 
-            eta=eta
-        )
-        elapsed = time.time() - start
-        
-        # 简单的质量评估（基于样本统计）
-        quality = "高" if samples.std() > 0.3 else ("中" if samples.std() > 0.2 else "低")
-        
-        print(f"{num_steps:4d} | {eta:4.1f} | {elapsed:11.4f} | {quality}")
-
-print("\n关键观察:")
-print("- η=0 (确定性采样) 速度最快，质量稳定")
-print("- η=1 (完全随机，等同于DDPM) 质量最高但速度慢")
-print("- 步数减少显著提升速度，但可能影响质量")
-
-
- -
-

本章小结

-

在本章中，我们深入学习了DDPM（去噪扩散概率模型）的核心原理和实现细节：

- -

主要收获

-
    -
  • 理论基础：理解了前向扩散过程、反向去噪过程和变分下界的推导
    • -
  • 实践实现：构建了完整的DDPM系统，包括U-Net架构、训练循环和采样算法
    • -
  • 评估方法：学习了FID、IS等生成模型评估指标的计算和使用
    • -
  • 局限认识：了解了DDPM的主要问题，为学习后续改进方法打下基础
    • -
- -

关键要点

-
    -
  1. DDPM通过逐步添加噪声和学习逆过程来生成数据
    2. -
  2. 训练目标简化为预测每一步添加的噪声
    3. -
  3. 采样过程需要多步迭代，这是主要的效率瓶颈
    4. -
  4. 模型质量高但推理速度慢，这推动了后续的众多改进
    5. -
- -

展望

-

在接下来的章节中，我们将探索：

-
    -
  • 第4章：从分数匹配的角度重新理解扩散模型
    • -
  • 第5章：连续时间框架下的SDE/ODE表述
    • -
  • 第8章：DDIM等快速采样方法的原理与实现
    • -
- -

DDPM奠定了现代扩散模型的基础，理解它的原理对于掌握后续的高级技术至关重要。继续前进，让我们在下一章探索扩散模型的另一种视角——基于分数的生成模型！

-
-
- - \ No newline at end of file diff --git a/chapter3.md b/chapter3.md new file mode 100644 index 0000000..baaee5a --- /dev/null +++ b/chapter3.md @@ -0,0 +1,3426 @@ +[← 上一章](chapter2.md) + 第3章 / 共14章 + [下一章 →](chapter4.md) + + + +# 第3章：去噪扩散概率模型 (DDPM) + + + + 2020年，Ho等人的论文"Denoising Diffusion Probabilistic Models"让扩散模型真正进入了实用阶段。DDPM不仅简化了训练过程，还达到了与GAN相媲美的生成质量。本章将深入剖析DDPM的数学原理、训练算法和实现细节。通过本章学习，你将掌握如何从零实现一个完整的DDPM，并理解其背后的概率论基础。 + + + +## 3.1 DDPM的核心思想：简化与统一 + + + +在DDPM之前，扩散模型虽然理论优雅，但实践困难。2015年Sohl-Dickstein等人的开创性工作需要估计整个反向过程的熵，训练极其复杂。DDPM的革命性贡献在于：**将复杂的变分推断简化为简单的去噪任务**。 + + + +> **定义** +> DDPM的三个关键简化 + + + + - **固定方差调度**：前向过程使用预定义的 $\beta_t$ 序列，无需学习 + - **简化反向过程**：假设反向过程也是高斯分布，只需学习均值（实际上是学习噪声） + - **重参数化目标**：将预测均值转换为预测噪声，大幅提升训练稳定性 + + + + + +### 3.1.1 从复杂到简单：DDPM的洞察 + + + +让我们通过一个类比来理解DDPM的核心思想： + + + + +#### 墨水扩散的类比 + + +想象一滴墨水在水中扩散： + + + + - **前向过程**：墨水逐渐扩散，最终均匀分布（物理过程，确定的） + - **反向过程**：如何让扩散的墨水重新聚集？（需要学习的） + + + +DDPM的关键洞察：**在每个时间步，我们只需要知道"墨水应该向哪个方向聚集"**，而这个方向恰好与添加的噪声方向相反！ + + + + +### 3.1.2 数学框架概览 + + + +DDPM定义了两个过程： + + + + + **前向过程（固定）**： + + $q(\mathbf{x}_t | \mathbf{x}_{t-1}) = \mathcal{N}(\mathbf{x}_t; \sqrt{1-\beta_t}\mathbf{x}_{t-1}, \beta_t\mathbf{I})$ + + + **反向过程（学习）**： + + $p_\theta(\mathbf{x}_{t-1} | \mathbf{x}_t) = \mathcal{N}(\mathbf{x}_{t-1}; \boldsymbol{\mu}_\theta(\mathbf{x}_t, t), \sigma_t^2\mathbf{I})$ + + + + +关键创新在于如何参数化 $\boldsymbol{\mu}_\theta$： + + + + +# 早期方法：直接预测均值（不稳定） +mean = model(x_t, t) + +# DDPM创新：预测噪声（稳定且有效） +noise_pred = model(x_t, t) +mean = (x_t - beta_t / sqrt(1 - alpha_bar_t) * noise_pred) / sqrt(alpha_t) + + + +### 3.1.3 为什么预测噪声更好？ + + + 这个看似简单的改变带来了巨大的好处： + + + +> **定义** +> 预测噪声的优势 + + + + 方面 + 预测均值 + 预测噪声 + + + 输出范围 + 需要匹配数据分布 + 标准高斯（已归一化） + + + 训练信号 + 随t变化剧烈 + 各时间步相对一致 + + + 梯度流 + 可能梯度消失 + 梯度传播良好 + + + 物理意义 + 预测去噪后的图像 + 预测添加的噪声 + + + + + +### 3.1.4 DDPM vs 早期扩散模型 + + + +让我们对比DDPM与2015年的原始扩散模型： + + + + +# 2015年的扩散模型（复杂） +# 需要估计： +# 1. 前向过程的熵 +# 2. 反向过程的完整分布 +# 3. 变分参数的优化 +# 训练极其不稳定，生成质量差 + +# DDPM（2020年）的训练（极简） +for x_0, _ in dataloader: + t = torch.randint(0, num_timesteps, (batch_size,)) + noise = torch.randn_like(x_0) + x_t = sqrt_alpha_bar[t] * x_0 + sqrt_one_minus_alpha_bar[t] * noise + + noise_pred = model(x_t, t) + loss = F.mse_loss(noise_pred, noise) + loss.backward() + + + 这种简化不是以牺牲性能为代价的——相反，DDPM首次让扩散模型在生成质量上与GAN竞争，同时保持了训练的稳定性。 + + + + +思考题 3.1：直觉理解 + +为什么在高噪声情况下（大的t），预测噪声比预测原始图像更容易？提示：考虑信噪比。 + +**答案：** + + +当t很大时，$\mathbf{x}_t \approx \mathcal{N}(0, \mathbf{I})$，几乎是纯噪声。此时： + + + + - 原始图像 $\mathbf{x}_0$ 的信息几乎完全丢失，预测它需要"凭空想象" + - 但添加的噪声 $\boldsymbol{\epsilon}$ 是已知的，且占主导地位 + - 网络只需要识别噪声模式，而不是重建复杂的图像结构 + + + +类比：在雪花噪声的电视屏幕上，识别噪声模式比重建原始节目容易得多。 + + + + + +## 3.2 前向过程：数学推导与性质 + + + +前向过程是扩散模型的基础，它定义了如何将数据逐步转换为噪声。虽然这个过程在训练和推理时都不需要实际执行完整的马尔可夫链，但理解其数学性质对掌握DDPM至关重要。 + + + +### 3.2.1 马尔可夫链的构建 + + + +前向过程定义为一个马尔可夫链： + + + + + $$\mathbf{x}_0 \to \mathbf{x}_1 \to \mathbf{x}_2 \to \cdots \to \mathbf{x}_T$$ + + + + +其中每一步的转移概率为： + + + + + $$q(\mathbf{x}_t|\mathbf{x}_{t-1}) = \mathcal{N}(\mathbf{x}_t; \sqrt{1-\beta_t}\mathbf{x}_{t-1}, \beta_t\mathbf{I})$$ + + + + +> **定义** +> 关键性质1：方差调度的约束 + + +为什么是 $\sqrt{1-\beta_t}$ 而不是其他系数？这是为了保持信号的期望能量： + + + + $$\mathbb{E}[\|\mathbf{x}_t\|^2 | \mathbf{x}_{t-1}] = (1-\beta_t)\|\mathbf{x}_{t-1}\|^2 + \beta_t \cdot d$$ + + + +其中 $d$ 是数据维度。当 $\beta_t$ 很小时，信号能量近似保持不变。 + + + + +让我们验证这个性质： + + + + +import torch +import matplotlib.pyplot as plt + +# 验证能量保持性质 +x_0 = torch.randn(1000, 3, 32, 32) # 1000个32x32的RGB图像 +beta = 0.02 # 典型的beta值 + +# 一步前向过程 +noise = torch.randn_like(x_0) +x_1 = torch.sqrt(1 - beta) * x_0 + torch.sqrt(beta) * noise + +print(f"原始信号能量: {x_0.pow(2).mean():.4f}") +print(f"扩散后信号能量: {x_1.pow(2).mean():.4f}") +print(f"理论预期: {(1-beta)*x_0.pow(2).mean() + beta*3*32*32:.4f}") + + + +### 3.2.2 重参数化技巧 + + + DDPM的一个关键技巧是：我们可以直接从 $\mathbf{x}_0$ 采样任意时刻的 $\mathbf{x}_t$，而不需要逐步模拟整个马尔可夫链。 + + + +> **定义** +> 定理：闭式采样公式 + + +定义 $\alpha_t = 1 - \beta_t$ 和 $\bar{\alpha}_t = \prod_{s=1}^{t}\alpha_s$，则： + + + + $$q(\mathbf{x}_t|\mathbf{x}_0) = \mathcal{N}(\mathbf{x}_t; \sqrt{\bar{\alpha}_t}\mathbf{x}_0, (1-\bar{\alpha}_t)\mathbf{I})$$ + + + + + +**证明**（这个证明很重要，值得仔细理解）： + + + + + +我们用归纳法证明。 + + +**基础情况**（$t=1$）：显然成立，因为 $\bar{\alpha}_1 = \alpha_1 = 1 - \beta_1$。 + + + +**归纳步骤**：假设对 $t-1$ 成立，即： + + $$\mathbf{x}_{t-1} = \sqrt{\bar{\alpha}_{t-1}}\mathbf{x}_0 + \sqrt{1-\bar{\alpha}_{t-1}}\boldsymbol{\epsilon}_{t-1}$$ + + +其中 $\boldsymbol{\epsilon}_{t-1} \sim \mathcal{N}(0, \mathbf{I})$。根据前向过程定义： + + $$\mathbf{x}_t = \sqrt{\alpha_t}\mathbf{x}_{t-1} + \sqrt{1-\alpha_t}\boldsymbol{\epsilon}_t$$ + + +代入 $\mathbf{x}_{t-1}$ 的表达式： + + $$\mathbf{x}_t = \sqrt{\alpha_t}(\sqrt{\bar{\alpha}_{t-1}}\mathbf{x}_0 + \sqrt{1-\bar{\alpha}_{t-1}}\boldsymbol{\epsilon}_{t-1}) + \sqrt{1-\alpha_t}\boldsymbol{\epsilon}_t$$ + + $$= \sqrt{\alpha_t\bar{\alpha}_{t-1}}\mathbf{x}_0 + \sqrt{\alpha_t(1-\bar{\alpha}_{t-1})}\boldsymbol{\epsilon}_{t-1} + \sqrt{1-\alpha_t}\boldsymbol{\epsilon}_t$$ + + +注意到 $\alpha_t\bar{\alpha}_{t-1} = \bar{\alpha}_t$，且两个独立高斯噪声的线性组合仍是高斯噪声： + + $$\text{Var}[\sqrt{\alpha_t(1-\bar{\alpha}_{t-1})}\boldsymbol{\epsilon}_{t-1} + \sqrt{1-\alpha_t}\boldsymbol{\epsilon}_t] = \alpha_t(1-\bar{\alpha}_{t-1}) + (1-\alpha_t) = 1-\bar{\alpha}_t$$ + + +因此： + + $$\mathbf{x}_t = \sqrt{\bar{\alpha}_t}\mathbf{x}_0 + \sqrt{1-\bar{\alpha}_t}\boldsymbol{\epsilon}$$ + + +其中 $\boldsymbol{\epsilon} \sim \mathcal{N}(0, \mathbf{I})$。证毕。 + + + + + +### 3.2.3 噪声调度的设计 + + + +噪声调度 $\{\beta_t\}_{t=1}^T$ 的选择对模型性能有重要影响。DDPM原文使用线性调度，但后续研究发现其他调度可能更优。 + + + + +import numpy as np +import matplotlib.pyplot as plt + +def linear_beta_schedule(timesteps, beta_start=0.0001, beta_end=0.02): + """DDPM原始的线性调度""" + return np.linspace(beta_start, beta_end, timesteps) + +def cosine_beta_schedule(timesteps, s=0.008): + """Improved DDPM的余弦调度""" + steps = timesteps + 1 + t = np.linspace(0, timesteps, steps) + alphas_cumprod = np.cos(((t / timesteps) + s) / (1 + s) * np.pi * 0.5) ** 2 + alphas_cumprod = alphas_cumprod / alphas_cumprod[0] + betas = 1 - (alphas_cumprod[1:] / alphas_cumprod[:-1]) + return np.clip(betas, 0.0001, 0.9999) + +def quadratic_beta_schedule(timesteps, beta_start=0.0001, beta_end=0.02): + """二次调度（较少使用）""" + t = np.linspace(0, 1, timesteps) + return beta_start + (beta_end - beta_start) * t ** 2 + +# 可视化不同调度 +timesteps = 1000 +linear_betas = linear_beta_schedule(timesteps) +cosine_betas = cosine_beta_schedule(timesteps) +quadratic_betas = quadratic_beta_schedule(timesteps) + +# 计算信噪比（更直观的指标） +# 比较不同噪声调度 +linear_betas = linear_beta_schedule(1000) +cosine_betas = cosine_beta_schedule(1000) +quadratic_betas = quadratic_beta_schedule(1000) + +# 计算信噪比 +def compute_snr(betas): + alphas = 1 - betas + alphas_cumprod = np.cumprod(alphas) + return alphas_cumprod / (1 - alphas_cumprod) + +# 展示不同调度下的关键统计数据 +alphas_cumprod_linear = np.cumprod(1 - linear_betas) +alphas_cumprod_cosine = np.cumprod(1 - cosine_betas) + +t_vis = [0, 250, 500, 750, 999] +print("Signal preservation (√ᾱ_t) at key timesteps:") +print("Timestep | Linear | Cosine") +for t in t_vis: + print(f"{t:8d} | {np.sqrt(alphas_cumprod_linear[t]):.4f} | {np.sqrt(alphas_cumprod_cosine[t]):.4f}") + +print("\nSNR at key timesteps:") +snr_linear = compute_snr(linear_betas) +snr_cosine = compute_snr(cosine_betas) +for t in t_vis: + print(f"{t:8d} | {snr_linear[t]:.4f} | {snr_cosine[t]:.4f}") + + + +> **定义** +> 调度策略对比 + + + + 调度类型 + 特点 + 优势 + 劣势 + + + 线性 (Linear) + β线性增长 + 简单直观 + 前期破坏过快 + + + 余弦 (Cosine) + 基于SNR设计 + 更好的感知质量 + 末期可能过慢 + + + 二次 (Quadratic) + β二次增长 + 前期保留更多信息 + 后期可能太激进 + + + + + + +练习 3.2：实现自定义噪声调度 + 设计一个"S形"噪声调度，使得： + + + + - 前期（t 800）：再次放缓，确保收敛到纯噪声 + + + +实现这个调度并与标准调度对比SNR曲线。 + +def sigmoid_beta_schedule(timesteps, beta_start=0.0001, beta_end=0.02): + """S形噪声调度""" + t = np.linspace(-6, 6, timesteps) + sigmoid = 1 / (1 + np.exp(-t)) + betas = beta_start + (beta_end - beta_start) * sigmoid + return betas + +# 也可以分段设计 +def piecewise_beta_schedule(timesteps, beta_start=0.0001, beta_end=0.02): + """分段噪声调度""" + betas = np.zeros(timesteps) + + # 前期：缓慢增长 + t1 = int(0.2 * timesteps) + betas[:t1] = np.linspace(beta_start, beta_start * 5, t1) + + # 中期：快速增长 + t2 = int(0.8 * timesteps) + betas[t1:t2] = np.linspace(beta_start * 5, beta_end * 0.8, t2 - t1) + + # 后期：缓慢增长到beta_end + betas[t2:] = np.linspace(beta_end * 0.8, beta_end, timesteps - t2) + + return betas + **关键洞察**：好的噪声调度应该在保留足够信息和充分探索噪声空间之间取得平衡。余弦调度之所以优于线性调度，正是因为它更好地平衡了这两个需求。 + + + + + +## 3.3 反向过程：从噪声到图像 + + + +反向过程是扩散模型的核心——如何从纯噪声逐步恢复出清晰的数据。DDPM的关键贡献之一是推导出了在已知 $\mathbf{x}_0$ 时的反向条件分布的闭式解。 + + + +### 3.3.1 反向条件概率的推导 + + + +这是DDPM中最重要的数学推导之一。我们想要计算 $q(\mathbf{x}_{t-1}|\mathbf{x}_t, \mathbf{x}_0)$。 + + + +> **定义** +> 定理：反向过程的后验分布 + + +给定 $\mathbf{x}_t$ 和 $\mathbf{x}_0$，反向过程的后验分布为： + + + + $$q(\mathbf{x}_{t-1}|\mathbf{x}_t, \mathbf{x}_0) = \mathcal{N}(\mathbf{x}_{t-1}; \tilde{\boldsymbol{\mu}}_t(\mathbf{x}_t, \mathbf{x}_0), \tilde{\beta}_t\mathbf{I})$$ + + + +其中： + + + + $$\tilde{\boldsymbol{\mu}}_t(\mathbf{x}_t, \mathbf{x}_0) = \frac{\sqrt{\bar{\alpha}_{t-1}}\beta_t}{1-\bar{\alpha}_t}\mathbf{x}_0 + \frac{\sqrt{\alpha_t}(1-\bar{\alpha}_{t-1})}{1-\bar{\alpha}_t}\mathbf{x}_t$$ + + $$\tilde{\beta}_t = \frac{1-\bar{\alpha}_{t-1}}{1-\bar{\alpha}_t}\beta_t$$ + + + + + +**证明**：使用贝叶斯定理： + + + + + $$q(\mathbf{x}_{t-1}|\mathbf{x}_t, \mathbf{x}_0) = \frac{q(\mathbf{x}_t|\mathbf{x}_{t-1}, \mathbf{x}_0)q(\mathbf{x}_{t-1}|\mathbf{x}_0)}{q(\mathbf{x}_t|\mathbf{x}_0)}$$ + + + + +由于前向过程的马尔可夫性质，$q(\mathbf{x}_t|\mathbf{x}_{t-1}, \mathbf{x}_0) = q(\mathbf{x}_t|\mathbf{x}_{t-1})$。现在我们知道： + + + + + - $q(\mathbf{x}_t|\mathbf{x}_{t-1}) = \mathcal{N}(\mathbf{x}_t; \sqrt{\alpha_t}\mathbf{x}_{t-1}, \beta_t\mathbf{I})$ + - $q(\mathbf{x}_{t-1}|\mathbf{x}_0) = \mathcal{N}(\mathbf{x}_{t-1}; \sqrt{\bar{\alpha}_{t-1}}\mathbf{x}_0, (1-\bar{\alpha}_{t-1})\mathbf{I})$ + - $q(\mathbf{x}_t|\mathbf{x}_0) = \mathcal{N}(\mathbf{x}_t; \sqrt{\bar{\alpha}_t}\mathbf{x}_0, (1-\bar{\alpha}_t)\mathbf{I})$ + + + + +将三个高斯分布代入贝叶斯公式，经过繁琐但直接的代数运算（主要是配方），可以得到上述结果。 + + + + +#### 💡 关键洞察 + + +注意 $\tilde{\boldsymbol{\mu}}_t$ 是 $\mathbf{x}_0$ 和 $\mathbf{x}_t$ 的**线性组合**！这意味着： + + + + - 如果我们知道 $\mathbf{x}_0$，反向过程就是确定的（除了小的高斯噪声） + - 实践中我们不知道 $\mathbf{x}_0$，所以需要神经网络来预测它 + - 这解释了为什么扩散模型本质上是在学习"去噪" + + + + + +### 3.3.2 参数化选择：预测噪声 vs 预测均值 + + + +既然 $\tilde{\boldsymbol{\mu}}_t$ 依赖于未知的 $\mathbf{x}_0$，我们需要用神经网络来近似它。DDPM提供了几种参数化方式： + + + + +# 方式1：直接预测均值（最直接但不稳定） +mu_theta = model(x_t, t) + +# 方式2：预测x_0（需要clip到合理范围） +x_0_pred = model(x_t, t) +mu_theta = (sqrt_alpha_bar_prev * beta_t * x_0_pred + + sqrt_alpha_t * (1 - alpha_bar_prev) * x_t) / (1 - alpha_bar_t) + +# 方式3：预测噪声（DDPM的选择，最稳定） +epsilon_pred = model(x_t, t) +x_0_pred = (x_t - sqrt_one_minus_alpha_bar_t * epsilon_pred) / sqrt_alpha_bar_t +mu_theta = (sqrt_alpha_bar_prev * beta_t * x_0_pred + + sqrt_alpha_t * (1 - alpha_bar_prev) * x_t) / (1 - alpha_bar_t) + + + 为什么预测噪声更好？让我们通过重参数化来理解： + + + + + +由于 $\mathbf{x}_t = \sqrt{\bar{\alpha}_t}\mathbf{x}_0 + \sqrt{1-\bar{\alpha}_t}\boldsymbol{\epsilon}$，我们可以表示： + + $$\mathbf{x}_0 = \frac{\mathbf{x}_t - \sqrt{1-\bar{\alpha}_t}\boldsymbol{\epsilon}}{\sqrt{\bar{\alpha}_t}}$$ + + +代入 $\tilde{\boldsymbol{\mu}}_t$ 的表达式，经过化简可得： + + $$\tilde{\boldsymbol{\mu}}_t = \frac{1}{\sqrt{\alpha_t}}\left(\mathbf{x}_t - \frac{\beta_t}{\sqrt{1-\bar{\alpha}_t}}\boldsymbol{\epsilon}\right)$$ + + + + +这个表达式揭示了一个优雅的事实：**反向过程的均值只需要知道添加的噪声 $\boldsymbol{\epsilon}$！** + + + +> **定义** +> 三种参数化的对比 + + + + 参数化 + 优点 + 缺点 + 使用场景 + + + 预测 $\boldsymbol{\mu}_\theta$ + 直接，无需转换 + 不同t的输出尺度差异大 + 几乎不用 + + + 预测 $\mathbf{x}_0$ + 语义清晰 + 高噪声时预测困难 + 某些条件生成任务 + + + 预测 $\boldsymbol{\epsilon}$ + 输出标准化，训练稳定 + 间接，需要转换 + 标准选择 + + + + + +### 3.3.3 方差的处理：固定 vs 可学习 + + + +DDPM的另一个简化是使用固定的方差 $\tilde{\beta}_t$。但这是最优的吗？ + + + + +# DDPM：固定方差（两种选择） +# 选择1：使用后验方差 +variance = (1 - alpha_bar_prev) / (1 - alpha_bar_t) * beta_t + +# 选择2：使用β_t（DDPM论文的选择） +variance = beta_t + +# 改进的DDPM：学习方差 +# 网络同时预测噪声和方差 +epsilon_pred, v_pred = model(x_t, t).chunk(2, dim=1) + +# 参数化方差（在对数空间插值） +min_log = torch.log(beta_t) +max_log = torch.log((1 - alpha_bar_prev) / (1 - alpha_bar_t) * beta_t) +log_variance = v_pred * max_log + (1 - v_pred) * min_log +variance = torch.exp(log_variance) + + + + +#### ⚠️ 实践经验 + + 尽管学习方差理论上更优（可以获得更好的似然），但在实践中： + + + + - 固定方差的DDPM已经能生成高质量图像 + - 学习方差增加了训练的复杂度 + - 对于大多数应用，固定方差是足够的 + - 如果追求最优似然（如压缩任务），才考虑学习方差 + + + + + + +练习 3.3：验证不同参数化的等价性 + +实现三种参数化方式，验证它们在数学上是等价的： + + + + - 给定相同的 $\mathbf{x}_t$、$\mathbf{x}_0$ 和 $t$ + - 计算真实的噪声 $\boldsymbol{\epsilon}$ + - 用三种方式计算 $\tilde{\boldsymbol{\mu}}_t$ + - 验证结果相同（在数值精度内） + +import torch + +# 设置 +batch_size = 4 +channels = 3 +size = 32 +t = 500 +T = 1000 + +# 初始化 +x_0 = torch.randn(batch_size, channels, size, size) +epsilon = torch.randn_like(x_0) + +# 计算alpha相关值 +betas = torch.linspace(0.0001, 0.02, T) +alphas = 1 - betas +alphas_bar = torch.cumprod(alphas, dim=0) +alpha_t = alphas[t] +alpha_bar_t = alphas_bar[t] +alpha_bar_prev = alphas_bar[t-1] +beta_t = betas[t] + +# 前向过程 +x_t = torch.sqrt(alpha_bar_t) * x_0 + torch.sqrt(1 - alpha_bar_t) * epsilon + +# 方式1：直接计算真实的后验均值 +mu_true = (torch.sqrt(alpha_bar_prev) * beta_t * x_0 + + torch.sqrt(alpha_t) * (1 - alpha_bar_prev) * x_t) / (1 - alpha_bar_t) + +# 方式2：通过预测x_0 +x_0_pred = x_0 # 假设完美预测 +mu_x0 = (torch.sqrt(alpha_bar_prev) * beta_t * x_0_pred + + torch.sqrt(alpha_t) * (1 - alpha_bar_prev) * x_t) / (1 - alpha_bar_t) + +# 方式3：通过预测噪声 +epsilon_pred = epsilon # 假设完美预测 +x_0_from_eps = (x_t - torch.sqrt(1 - alpha_bar_t) * epsilon_pred) / torch.sqrt(alpha_bar_t) +mu_eps = (torch.sqrt(alpha_bar_prev) * beta_t * x_0_from_eps + + torch.sqrt(alpha_t) * (1 - alpha_bar_prev) * x_t) / (1 - alpha_bar_t) + +# 或者直接用简化公式 +mu_eps_direct = (x_t - beta_t / torch.sqrt(1 - alpha_bar_t) * epsilon_pred) / torch.sqrt(alpha_t) + +# 验证 +print(f"方式1和方式2的差异: {(mu_true - mu_x0).abs().max():.6f}") +print(f"方式1和方式3的差异: {(mu_true - mu_eps).abs().max():.6f}") +print(f"方式1和方式3(直接)的差异: {(mu_true - mu_eps_direct).abs().max():.6f}") + +# 输出应该都接近0（在浮点精度范围内） + **关键洞察**：三种参数化在数学上等价，但训练动态不同。预测噪声之所以更稳定，是因为噪声 $\boldsymbol{\epsilon} \sim \mathcal{N}(0, \mathbf{I})$ 始终是标准化的，而 $\mathbf{x}_0$ 的分布可能很复杂。 + + + + + +## 3.4 训练目标：变分下界的简化 + + + +DDPM的另一个重要贡献是将复杂的变分下界（ELBO）简化为一个简单的去噪目标。这一节我们将详细推导这个过程。 + + + +### 3.4.1 完整的变分下界 + + + +我们的目标是最大化数据的对数似然 $\log p_\theta(\mathbf{x}_0)$。由于直接计算困难，我们优化其变分下界： + + + + + $$\log p_\theta(\mathbf{x}_0) \geq \mathbb{E}_q\left[\log \frac{p_\theta(\mathbf{x}_{0:T})}{q(\mathbf{x}_{1:T}|\mathbf{x}_0)}\right] = -L_{\text{VLB}}$$ + + + + +其中 $L_{\text{VLB}}$ 是变分下界损失。经过展开（使用马尔可夫性质），可以得到： + + + + + $$L_{\text{VLB}} = L_T + \sum_{t=2}^{T} L_{t-1} + L_0$$ + + + + +其中各项定义为： + + + +> **定义** +> 变分下界的三个组成部分 + + + + $$L_T = D_{\text{KL}}(q(\mathbf{x}_T|\mathbf{x}_0) \| p(\mathbf{x}_T))$$ + $$L_{t-1} = \mathbb{E}_q\left[D_{\text{KL}}(q(\mathbf{x}_{t-1}|\mathbf{x}_t, \mathbf{x}_0) \| p_\theta(\mathbf{x}_{t-1}|\mathbf{x}_t))\right]$$ + $$L_0 = \mathbb{E}_q\left[-\log p_\theta(\mathbf{x}_0|\mathbf{x}_1)\right]$$ + + + + + - $L_T$：先验匹配项，通常很小可以忽略（因为 $q(\mathbf{x}_T|\mathbf{x}_0) \approx \mathcal{N}(0, \mathbf{I})$） + - $L_{t-1}$：去噪匹配项，这是主要的优化目标 + - $L_0$：重建项，决定最终输出质量 + + + + + +关键在于如何处理 $L_{t-1}$ 项。由于我们知道 $q(\mathbf{x}_{t-1}|\mathbf{x}_t, \mathbf{x}_0)$ 的闭式解（见3.3.1节），且假设 $p_\theta$ 也是高斯分布，KL散度可以简化为： + + + + + $$L_{t-1} = \mathbb{E}_q\left[\frac{1}{2\sigma_t^2}\|\tilde{\boldsymbol{\mu}}_t(\mathbf{x}_t, \mathbf{x}_0) - \boldsymbol{\mu}_\theta(\mathbf{x}_t, t)\|^2\right] + C$$ + + + + +其中 $C$ 是与 $\theta$ 无关的常数。 + + + +### 3.4.2 简化的去噪目标 + + + +DDPM的关键洞察是：通过选择噪声预测参数化，可以将上述目标进一步简化。回忆3.3.2节的结果： + + + + + $$\tilde{\boldsymbol{\mu}}_t = \frac{1}{\sqrt{\alpha_t}}\left(\mathbf{x}_t - \frac{\beta_t}{\sqrt{1-\bar{\alpha}_t}}\boldsymbol{\epsilon}\right)$$ + + + + +如果我们参数化 $\boldsymbol{\mu}_\theta$ 为： + + + + + $$\boldsymbol{\mu}_\theta(\mathbf{x}_t, t) = \frac{1}{\sqrt{\alpha_t}}\left(\mathbf{x}_t - \frac{\beta_t}{\sqrt{1-\bar{\alpha}_t}}\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t)\right)$$ + + + + +那么 $L_{t-1}$ 可以简化为： + + + + + $$L_{t-1} = \mathbb{E}_{\mathbf{x}_0, \boldsymbol{\epsilon}}\left[\frac{\beta_t^2}{2\sigma_t^2\alpha_t(1-\bar{\alpha}_t)}\|\boldsymbol{\epsilon} - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t)\|^2\right]$$ + + + + +其中 $\mathbf{x}_t = \sqrt{\bar{\alpha}_t}\mathbf{x}_0 + \sqrt{1-\bar{\alpha}_t}\boldsymbol{\epsilon}$。 + + + + +#### 🎯 DDPM的简化训练目标 + + +Ho等人发现，忽略权重系数并对所有时间步求和，得到的简化目标效果更好： + + + + $$L_{\text{simple}} = \mathbb{E}_{t,\mathbf{x}_0,\boldsymbol{\epsilon}}\left[\|\boldsymbol{\epsilon} - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t)\|^2\right]$$ + + + +这就是著名的"简单损失"——只需要预测噪声！ + + + + +### 3.4.3 损失函数的加权策略 + + + +虽然简单损失效果很好，但不同时间步的重要性确实不同。后续研究提出了各种加权策略： + + + + +import torch +import matplotlib.pyplot as plt + +# 不同的损失加权策略 +def get_loss_weight(t, strategy='simple', snr_gamma=5.0): + """ + 计算时间步t的损失权重 + + 策略: + - simple: 所有时间步权重相同（DDPM原始） + - snr: 基于信噪比的加权 + - truncated_snr: 截断的SNR加权（防止极端值） + - importance: 基于重要性采样 + """ + if strategy == 'simple': + return 1.0 + + elif strategy == 'snr': + # 权重与信噪比成反比 + snr = alpha_bar[t] / (1 - alpha_bar[t]) + return 1.0 / (1.0 + snr) + + elif strategy == 'truncated_snr': + # Min-SNR-γ 加权（Hang et al., 2023） + snr = alpha_bar[t] / (1 - alpha_bar[t]) + return torch.minimum(snr, torch.tensor(snr_gamma)) / snr + + elif strategy == 'importance': + # 基于L_t系数的重要性加权 + return beta[t]**2 / (2 * sigma[t]**2 * alpha[t] * (1 - alpha_bar[t])) + +# 分析不同加权策略 +T = 1000 +t = torch.arange(T) +beta = torch.linspace(0.0001, 0.02, T) +alpha = 1 - beta +alpha_bar = torch.cumprod(alpha, dim=0) +sigma = beta # DDPM的选择 + +# 计算不同策略的权重 +strategies = ['simple', 'snr', 'truncated_snr', 'importance'] +weight_stats = {} + +for strategy in strategies: + weights = torch.tensor([get_loss_weight(i, strategy) for i in range(T)]) + weight_stats[strategy] = { + 'min': weights.min().item(), + 'max': weights.max().item(), + 'mean': weights.mean().item(), + 'std': weights.std().item() + } + +# 打印权重统计 +print("Loss weight statistics for different strategies:") +for strategy, stats in weight_stats.items(): + print(f"\n{strategy}:") + print(f" Min: {stats['min']:.6f}") + print(f" Max: {stats['max']:.6f}") + print(f" Mean: {stats['mean']:.6f}") + print(f" Std: {stats['std']:.6f}") + + + +> **定义** +> 加权策略对比 + + + + 策略 + 动机 + 效果 + 计算开销 + + + 简单 (Simple) + 简化训练 + 基准，效果已经不错 + 最低 + + + SNR加权 + 平衡不同噪声水平 + 改善高噪声区域 + 低 + + + Min-SNR-γ + 避免极端权重 + 目前最优 + 低 + + + 重要性采样 + 理论最优 + 实践中不稳定 + 中等 + + + + + +### 3.4.4 训练算法总结 + + + 综合以上推导，DDPM的训练算法极其简洁： + + + + +def train_ddpm(model, dataloader, num_epochs, T=1000): + """DDPM训练循环""" + optimizer = torch.optim.Adam(model.parameters(), lr=2e-4) + + # 预计算噪声调度相关值 + betas = linear_beta_schedule(T) + alphas = 1 - betas + alphas_bar = torch.cumprod(alphas, dim=0) + sqrt_alphas_bar = torch.sqrt(alphas_bar) + sqrt_one_minus_alphas_bar = torch.sqrt(1 - alphas_bar) + + for epoch in range(num_epochs): + for batch_idx, (x_0, _) in enumerate(dataloader): + batch_size = x_0.shape[0] + + # 随机采样时间步 + t = torch.randint(0, T, (batch_size,), device=x_0.device) + + # 采样噪声 + epsilon = torch.randn_like(x_0) + + # 前向扩散：计算x_t + x_t = (sqrt_alphas_bar[t, None, None, None] * x_0 + + sqrt_one_minus_alphas_bar[t, None, None, None] * epsilon) + + # 预测噪声 + epsilon_pred = model(x_t, t) + + # 计算损失 + loss = F.mse_loss(epsilon_pred, epsilon) + + # 反向传播 + optimizer.zero_grad() + loss.backward() + optimizer.step() + + if batch_idx % 100 == 0: + print(f'Epoch {epoch}, Batch {batch_idx}, Loss: {loss.item():.4f}') + + + + +练习 3.4：实现加权损失 + 修改上述训练代码，实现Min-SNR-γ加权策略： + + + + - 计算每个时间步的SNR + - 应用Min-SNR-γ加权（建议γ=5） + - 比较加权前后的训练曲线 + +def train_ddpm_weighted(model, dataloader, num_epochs, T=1000, snr_gamma=5.0): + """带Min-SNR加权的DDPM训练""" + optimizer = torch.optim.Adam(model.parameters(), lr=2e-4) + + # 预计算 + betas = linear_beta_schedule(T) + alphas = 1 - betas + alphas_bar = torch.cumprod(alphas, dim=0) + sqrt_alphas_bar = torch.sqrt(alphas_bar) + sqrt_one_minus_alphas_bar = torch.sqrt(1 - alphas_bar) + + # 预计算SNR和权重 + snr = alphas_bar / (1 - alphas_bar) + snr_clipped = torch.minimum(snr, torch.tensor(snr_gamma)) + loss_weights = snr_clipped / snr + + for epoch in range(num_epochs): + for batch_idx, (x_0, _) in enumerate(dataloader): + batch_size = x_0.shape[0] + + # 采样时间步 + t = torch.randint(0, T, (batch_size,), device=x_0.device) + + # 前向扩散 + epsilon = torch.randn_like(x_0) + x_t = (sqrt_alphas_bar[t, None, None, None] * x_0 + + sqrt_one_minus_alphas_bar[t, None, None, None] * epsilon) + + # 预测噪声 + epsilon_pred = model(x_t, t) + + # 计算加权损失 + mse_loss = (epsilon_pred - epsilon).pow(2).mean(dim=[1,2,3]) + weights = loss_weights[t] + loss = (weights * mse_loss).mean() + + # 反向传播 + optimizer.zero_grad() + loss.backward() + optimizer.step() + +# 关键改进： +# 1. 高SNR（低噪声）区域的权重被降低，避免过拟合细节 +# 2. 低SNR（高噪声）区域保持较高权重，确保结构学习 +# 3. γ参数控制截断程度，通常5-10效果较好 + **实践建议**：Min-SNR-γ加权在高分辨率图像生成中特别有效，可以显著改善生成质量。但对于低分辨率或简单数据集，简单损失可能已经足够。 + + + + + +## 3.5 采样算法：从理论到实践 + + + +训练好DDPM后，如何生成新的样本？这一节我们将详细介绍DDPM的采样算法，从标准的1000步采样到各种实用技巧。 + + + +### 3.5.1 标准DDPM采样 + + + +DDPM的采样过程是从纯噪声 $\mathbf{x}_T \sim \mathcal{N}(0, \mathbf{I})$ 开始，逐步去噪直到得到清晰的图像 $\mathbf{x}_0$。 + + + +> **定义** +> DDPM采样算法 + + +对于每一步 $t = T, T-1, ..., 1$： + + + + $$\mathbf{x}_{t-1} = \frac{1}{\sqrt{\alpha_t}}\left(\mathbf{x}_t - \frac{\beta_t}{\sqrt{1-\bar{\alpha}_t}}\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t)\right) + \sigma_t \mathbf{z}$$ + + + +其中： + + + + - $\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t)$ 是训练好的噪声预测网络 + - $\mathbf{z} \sim \mathcal{N}(0, \mathbf{I})$ 是采样噪声（当 $t > 1$ 时） + - $\sigma_t$ 是方差，DDPM使用 $\sigma_t = \beta_t$ + + + + + +完整的实现代码： + + + + +@torch.no_grad() +def ddpm_sample(model, shape, num_timesteps=1000, device='cuda'): + """ + DDPM标准采样算法 + + Args: + model: 训练好的噪声预测模型 + shape: 生成图像的形状，如 (batch_size, 3, 32, 32) + num_timesteps: 总时间步数 + device: 计算设备 + + Returns: + 生成的图像 x_0 + """ + # 预计算噪声调度 + betas = linear_beta_schedule(num_timesteps).to(device) + alphas = 1 - betas + alphas_bar = torch.cumprod(alphas, dim=0) + sqrt_alphas = torch.sqrt(alphas) + sqrt_one_minus_alphas_bar = torch.sqrt(1 - alphas_bar) + + # 从纯噪声开始 + x_t = torch.randn(shape, device=device) + + # 逐步去噪 + for t in reversed(range(num_timesteps)): + # 创建时间步张量 + t_tensor = torch.full((shape[0],), t, device=device, dtype=torch.long) + + # 预测噪声 + epsilon_pred = model(x_t, t_tensor) + + # 计算均值 + mean = (x_t - betas[t] / sqrt_one_minus_alphas_bar[t] * epsilon_pred) / sqrt_alphas[t] + + # 添加噪声（除了最后一步） + if t > 0: + noise = torch.randn_like(x_t) + std = torch.sqrt(betas[t]) # DDPM使用β_t作为方差 + x_t = mean + std * noise + else: + x_t = mean + + return x_t + + + +#### 采样过程的可视化 + + + 为了更好地理解采样过程，让我们可视化不同时间步的中间结果： + + + + +def get_sampling_trajectory(model, num_steps_to_show=10): + """获取DDPM采样过程的中间结果""" + # 采样并保存中间结果 + shape = (1, 3, 32, 32) + T = 1000 + + # 选择要展示的时间步 + steps_to_show = torch.linspace(T-1, 0, num_steps_to_show, dtype=torch.long) + intermediate_results = [] + + # 初始化 + x_t = torch.randn(shape, device='cuda') + betas = linear_beta_schedule(T).to('cuda') + alphas = 1 - betas + alphas_bar = torch.cumprod(alphas, dim=0) + + # 采样过程 + for t in reversed(range(T)): + t_tensor = torch.full((1,), t, device='cuda', dtype=torch.long) + + # 预测并更新 + epsilon_pred = model(x_t, t_tensor) + # ... (采样步骤同上) + + # 保存中间结果 + if t in steps_to_show: + # 将x_t映射到[0, 1]范围（用于可视化） + img = (x_t.clamp(-1, 1) + 1) / 2 + intermediate_results.append({ + 'timestep': t, + 'image': img.cpu() + }) + + return intermediate_results + +# 使用示例 +trajectory = get_sampling_trajectory(model, num_steps_to_show=10) +print(f"Saved {len(trajectory)} intermediate results") +for i, result in enumerate(trajectory): + print(f"Step {i}: t={result['timestep']}, shape={result['image'].shape}") + + + + +#### 采样过程的特点 + + + + - **前期（t ≈ 1000）**：主要恢复全局结构和大致形状 + - **中期（t ≈ 500）**：细化对象轮廓和主要特征 + - **后期（t ≈ 0）**：添加纹理细节和高频信息 + + + 这个过程类似于艺术家作画：先勾勒轮廓，再填充颜色，最后添加细节。 + + + + +#### 计算效率分析 + + + +标准DDPM采样的主要问题是速度慢。让我们分析一下计算成本： + + + + +def analyze_sampling_cost(model, batch_size=16, image_size=256): + """分析DDPM采样的计算成本""" + import time + + shape = (batch_size, 3, image_size, image_size) + T = 1000 + + # 测量单次前向传播时间 + x = torch.randn(shape, device='cuda') + t = torch.randint(0, T, (batch_size,), device='cuda') + + # 预热GPU + for _ in range(10): + _ = model(x, t) + torch.cuda.synchronize() + + # 计时 + start = time.time() + num_runs = 50 + for _ in range(num_runs): + _ = model(x, t) + torch.cuda.synchronize() + end = time.time() + + time_per_forward = (end - start) / num_runs + total_time = time_per_forward * T + + print(f"图像尺寸: {image_size}×{image_size}") + print(f"批次大小: {batch_size}") + print(f"单次前向传播: {time_per_forward*1000:.2f} ms") + print(f"完整采样 (1000步): {total_time:.2f} 秒") + print(f"每秒生成图像数: {batch_size/total_time:.3f}") + + # 内存使用估计 + model_params = sum(p.numel() for p in model.parameters()) * 4 / 1024**3 # GB + activation_memory = batch_size * 3 * image_size**2 * 4 * 50 / 1024**3 # 粗略估计 + print(f"\n内存使用:") + print(f"模型参数: {model_params:.2f} GB") + print(f"激活值 (估计): {activation_memory:.2f} GB") + + + +> **定义** +> 典型性能数据 + + + + 配置 + 单步时间 + 总采样时间 + 吞吐量 + + + 32×32, batch=64 + ~5ms + 5秒 + 12.8 图像/秒 + + + 256×256, batch=8 + ~50ms + 50秒 + 0.16 图像/秒 + + + 512×512, batch=4 + ~200ms + 200秒 + 0.02 图像/秒 + + + *基于RTX 3090，实际性能因模型架构而异 + + + + + +练习 3.5.1：实现采样进度条 + +修改DDPM采样函数，添加： + + + + - tqdm进度条显示采样进度 + - 可选的中间结果保存 + - EMA（指数移动平均）模型支持 + +from tqdm import tqdm + +@torch.no_grad() +def ddpm_sample_with_progress( + model, + shape, + num_timesteps=1000, + device='cuda', + use_ema=True, + ema_model=None, + save_intermediate=False, + save_steps=None +): + """增强版DDPM采样""" + # 选择模型 + if use_ema and ema_model is not None: + sample_model = ema_model + else: + sample_model = model + + sample_model.eval() + + # 预计算 + betas = linear_beta_schedule(num_timesteps).to(device) + alphas = 1 - betas + alphas_bar = torch.cumprod(alphas, dim=0) + sqrt_alphas = torch.sqrt(alphas) + sqrt_one_minus_alphas_bar = torch.sqrt(1 - alphas_bar) + + # 初始化 + x_t = torch.randn(shape, device=device) + intermediates = [] + + # 采样循环 + for t in tqdm(reversed(range(num_timesteps)), desc='Sampling', total=num_timesteps): + t_tensor = torch.full((shape[0],), t, device=device, dtype=torch.long) + + # 预测噪声 + epsilon_pred = sample_model(x_t, t_tensor) + + # 更新x_t + mean = (x_t - betas[t] / sqrt_one_minus_alphas_bar[t] * epsilon_pred) / sqrt_alphas[t] + + if t > 0: + noise = torch.randn_like(x_t) + std = torch.sqrt(betas[t]) + x_t = mean + std * noise + else: + x_t = mean + + # 保存中间结果 + if save_intermediate and save_steps is not None and t in save_steps: + intermediates.append({ + 't': t, + 'x_t': x_t.cpu().clone(), + 'pred_x_0': self._predict_x0_from_eps(x_t, t, epsilon_pred) + }) + + if save_intermediate: + return x_t, intermediates + else: + return x_t + +def _predict_x0_from_eps(x_t, t, epsilon_pred): + """从噪声预测恢复x_0（用于可视化）""" + return (x_t - sqrt_one_minus_alphas_bar[t] * epsilon_pred) / sqrt_alphas_bar[t] + **使用技巧**： + + + + - EMA模型通常生成质量更好，训练时应同时维护 + - 保存中间结果有助于调试和理解模型行为 + - 对于批量生成，考虑使用DataLoader风格的生成器以节省内存 + + + + + +### 3.5.2 采样的随机性控制 + + + +DDPM采样过程中的随机性来源于两个地方：初始噪声 $\mathbf{x}_T$ 和每步添加的噪声 $\mathbf{z}_t$。通过控制这些随机性，我们可以影响生成结果的多样性和质量。 + + + +#### 温度参数的引入 + + + +类似于其他生成模型，我们可以引入温度参数来控制采样的随机性： + + + + +def ddpm_sample_with_temperature( + model, + shape, + temperature=1.0, + noise_temperature=1.0, + num_timesteps=1000, + device='cuda' +): + """ + 带温度控制的DDPM采样 + + Args: + temperature: 控制初始噪声的温度 + noise_temperature: 控制每步噪声的温度 + """ + # 预计算（同前） + betas = linear_beta_schedule(num_timesteps).to(device) + alphas = 1 - betas + alphas_bar = torch.cumprod(alphas, dim=0) + + # 温度调整的初始噪声 + x_t = torch.randn(shape, device=device) * temperature + + for t in reversed(range(num_timesteps)): + t_tensor = torch.full((shape[0],), t, device=device, dtype=torch.long) + + # 预测噪声 + epsilon_pred = model(x_t, t_tensor) + + # 计算均值 + mean = (x_t - betas[t] / torch.sqrt(1 - alphas_bar[t]) * epsilon_pred) / torch.sqrt(alphas[t]) + + if t > 0: + # 温度调整的步进噪声 + noise = torch.randn_like(x_t) * noise_temperature + std = torch.sqrt(betas[t]) + x_t = mean + std * noise + else: + x_t = mean + + return x_t + + + +> **定义** +> 温度参数的效果 + + + + - **temperature 1.0**：增加初始随机性，生成更多样但可能质量较低的样本 + - **noise_temperature 1.0**：增加去噪随机性，可能产生更多细节但也可能引入伪影 + + + + + +#### 确定性采样：DDIM预览 + + + 一个有趣的观察是：如果我们完全去除步进噪声（设置 $\sigma_t = 0$），采样过程变成确定性的。这就是DDIM的核心思想： + + + + +def ddpm_deterministic_sample(model, shape, num_timesteps=1000, eta=0.0): + """ + 确定性或部分确定性采样 + eta=0: 完全确定性（DDIM） + eta=1: 标准DDPM（完全随机） + """ + x_t = torch.randn(shape, device='cuda') + + for t in reversed(range(num_timesteps)): + # 预测噪声 + epsilon_pred = model(x_t, t) + + # 预测x_0 + x_0_pred = (x_t - torch.sqrt(1 - alphas_bar[t]) * epsilon_pred) / torch.sqrt(alphas_bar[t]) + + if t > 0: + # 计算方向指向x_{t-1} + direction = torch.sqrt(1 - alphas_bar[t-1]) * epsilon_pred + + # 确定性部分 + x_t = torch.sqrt(alphas_bar[t-1]) * x_0_pred + direction + + # 随机部分（由eta控制） + if eta > 0: + noise = torch.randn_like(x_t) + variance = eta * betas[t] * (1 - alphas_bar[t-1]) / (1 - alphas_bar[t]) + x_t = x_t + torch.sqrt(variance) * noise + else: + x_t = x_0_pred + + return x_t + + + +#### 采样种子与可重复性 + + + 对于需要可重复结果的应用，控制随机种子至关重要： + + + + +class SeededSampler: + """可重复的采样器""" + def __init__(self, model, device='cuda'): + self.model = model + self.device = device + + def sample_with_seed(self, seed, shape, **kwargs): + """使用指定种子采样""" + # 保存当前随机状态 + cpu_state = torch.get_rng_state() + cuda_state = torch.cuda.get_rng_state(self.device) + + # 设置种子 + torch.manual_seed(seed) + torch.cuda.manual_seed(seed) + + # 采样 + result = ddpm_sample(self.model, shape, device=self.device, **kwargs) + + # 恢复随机状态 + torch.set_rng_state(cpu_state) + torch.cuda.set_rng_state(cuda_state, self.device) + + return result + + def sample_variations(self, base_seed, num_variations, shape, temperature_range=(0.8, 1.2)): + """生成同一种子的多个变体""" + variations = [] + + for i in range(num_variations): + # 使用相同的基础种子但不同的温度 + temp = np.linspace(temperature_range[0], temperature_range[1], num_variations)[i] + + torch.manual_seed(base_seed) + torch.cuda.manual_seed(base_seed) + + sample = ddpm_sample_with_temperature( + self.model, shape, + temperature=temp, + device=self.device + ) + variations.append(sample) + + return torch.stack(variations) + + + +#### 高级技巧：引导采样（Guided Sampling） + + + 我们可以在采样过程中加入额外的引导信号，这是条件生成的基础： + + + + +def guided_sample(model, shape, guidance_fn=None, guidance_scale=1.0): + """ + 带引导的采样 + guidance_fn: 计算引导梯度的函数 + guidance_scale: 引导强度 + """ + x_t = torch.randn(shape, device='cuda') + x_t.requires_grad = True + + for t in reversed(range(num_timesteps)): + # 标准DDPM更新 + with torch.no_grad(): + epsilon_pred = model(x_t, t) + mean = compute_mean(x_t, epsilon_pred, t) + std = torch.sqrt(betas[t]) + + # 计算引导梯度 + if guidance_fn is not None and t > 0: + # 计算引导损失 + guidance_loss = guidance_fn(x_t, t) + + # 计算梯度 + grad = torch.autograd.grad(guidance_loss, x_t)[0] + + # 应用引导（注意符号：我们要最小化损失） + mean = mean - guidance_scale * std**2 * grad + + # 更新x_t + if t > 0: + noise = torch.randn_like(x_t) + x_t = mean + std * noise + else: + x_t = mean + + x_t = x_t.detach().requires_grad_(True) + + return x_t.detach() + +# 示例：类别引导 +def classifier_guidance(x_t, t, classifier, target_class): + """使用分类器引导生成特定类别""" + logits = classifier(x_t, t) + log_prob = F.log_softmax(logits, dim=1) + return -log_prob[:, target_class].sum() # 负对数概率作为损失 + + + + +练习 3.5.2：探索温度参数的影响 + 实现一个实验，系统地探索不同温度参数对生成结果的影响： + + + + - 固定种子，改变temperature（0.5, 0.7, 1.0, 1.3, 1.5） + - 固定种子，改变noise_temperature（0, 0.5, 1.0, 1.5） + - 可视化结果并计算多样性指标（如平均像素方差） + +def temperature_ablation_study(model, seed=42): + """温度参数消融实验""" + shape = (1, 3, 32, 32) + + # 实验1：初始温度的影响 + init_temps = [0.5, 0.7, 1.0, 1.3, 1.5] + init_results = [] + + for temp in init_temps: + torch.manual_seed(seed) + torch.cuda.manual_seed(seed) + + sample = ddpm_sample_with_temperature( + model, shape, + temperature=temp, + noise_temperature=1.0 + ) + init_results.append(sample) + + # 实验2：噪声温度的影响 + noise_temps = [0.0, 0.5, 1.0, 1.5] + noise_results = [] + + for noise_temp in noise_temps: + torch.manual_seed(seed) + torch.cuda.manual_seed(seed) + + sample = ddpm_sample_with_temperature( + model, shape, + temperature=1.0, + noise_temperature=noise_temp + ) + noise_results.append(sample) + + # 分析结果 + results = { + 'init_temperature': {}, + 'noise_temperature': {} + } + + # 计算初始温度的影响 + print("初始温度对图像统计特性的影响:") + for temp, img in zip(init_temps, init_results): + stats = { + 'mean': img.mean().item(), + 'std': img.std().item(), + 'min': img.min().item(), + 'max': img.max().item() + } + results['init_temperature'][temp] = stats + print(f" T_init={temp}: mean={stats['mean']:.4f}, std={stats['std']:.4f}") + + # 计算噪声温度的影响 + print("\n噪声温度对图像统计特性的影响:") + for temp, img in zip(noise_temps, noise_results): + stats = { + 'mean': img.mean().item(), + 'std': img.std().item(), + 'min': img.min().item(), + 'max': img.max().item() + } + results['noise_temperature'][temp] = stats + print(f" T_noise={temp}: mean={stats['mean']:.4f}, std={stats['std']:.4f}") + + return results + +# 额外分析：多次采样的多样性 +def diversity_analysis(model, num_samples=100): + """分析不同温度设置下的样本多样性""" + shape = (num_samples, 3, 32, 32) + + # 标准采样 + samples_standard = ddpm_sample(model, shape) + + # 低温采样 + samples_low_temp = ddpm_sample_with_temperature( + model, shape, temperature=0.7, noise_temperature=0.7 + ) + + # 计算成对距离 + def pairwise_l2_distance(samples): + # 展平样本 + flat = samples.view(num_samples, -1) + # 计算成对L2距离 + distances = torch.cdist(flat, flat, p=2) + # 取上三角部分（避免重复） + mask = torch.triu(torch.ones_like(distances), diagonal=1).bool() + return distances[mask].mean().item() + + div_standard = pairwise_l2_distance(samples_standard) + div_low_temp = pairwise_l2_distance(samples_low_temp) + + print(f"标准采样的平均成对距离: {div_standard:.4f}") + print(f"低温采样的平均成对距离: {div_low_temp:.4f}") + print(f"多样性降低比例: {(1 - div_low_temp/div_standard)*100:.1f}%") + **关键发现**： + + + + - 降低初始温度会使生成结果更接近"平均"图像，减少极端情况 + - noise_temperature=0 会产生过度平滑的结果，丢失纹理细节 + - 适度降低温度（0.7-0.9）通常能提高感知质量，但会牺牲多样性 + - 对于特定应用，需要在质量和多样性之间找到平衡 + + + + + +### 3.5.3 常见问题与调试技巧 + + + +DDPM采样过程中可能遇到各种问题。本节总结常见问题及其解决方案，帮助你快速定位和修复问题。 + + + +#### 问题1：生成结果全是噪声 + + + +> **定义** +> 症状与原因 + + + + - **症状**：采样结果看起来像随机噪声，没有任何结构 + - **可能原因**： + + + 模型未正确加载或权重损坏 + - 噪声调度计算错误 + - 时间步编码错误 + - 输入归一化不匹配 + + + + + + + + + +# 调试步骤1：验证模型预测 +def debug_model_predictions(model, device='cuda'): + """检查模型在不同时间步的预测""" + # 创建测试输入 + x = torch.randn(1, 3, 32, 32, device=device) + + # 测试几个关键时间步 + test_timesteps = [0, 250, 500, 750, 999] + + for t in test_timesteps: + t_tensor = torch.tensor([t], device=device) + with torch.no_grad(): + pred = model(x, t_tensor) + + print(f"t={t}:") + print(f" Input stats: mean={x.mean():.4f}, std={x.std():.4f}") + print(f" Pred stats: mean={pred.mean():.4f}, std={pred.std():.4f}") + + # 预测应该接近标准正态分布 + if abs(pred.mean()) > 0.5 or abs(pred.std() - 1.0) > 0.5: + print(" ⚠️ 警告：预测统计量异常！") + +# 调试步骤2：验证噪声调度 +def debug_noise_schedule(num_timesteps=1000): + """检查噪声调度的合理性""" + betas = linear_beta_schedule(num_timesteps) + alphas = 1 - betas + alphas_bar = torch.cumprod(alphas, dim=0) + + print("噪声调度检查:") + print(f"β_0 = {betas[0]:.6f}, β_T = {betas[-1]:.6f}") + print(f"ᾱ_0 = {alphas_bar[0]:.6f}, ᾱ_T = {alphas_bar[-1]:.6f}") + + # 检查关键属性 + if alphas_bar[-1] > 0.01: + print("⚠️ 警告：ᾱ_T 太大，最终噪声水平不够") + if betas[0] > 0.01: + print("⚠️ 警告：β_0 太大，初始破坏太严重") + + # 检查单调性 + if not torch.all(alphas_bar[1:] + + + +#### 问题2：生成结果模糊或过度平滑 + + + + +##### 常见原因及解决方案 + + + + - **方差设置过小**：检查是否使用了过小的 $\sigma_t$ + - **提前停止采样**：确保完成所有1000步（或设定的步数） + - **模型过拟合到均值**：可能需要调整训练时的噪声调度 + - **数值精度问题**：使用FP16时某些操作可能损失精度 + + + + + + +```python +# 诊断过度平滑问题 +def diagnose_smoothness(model, num_samples=10): + """诊断生成结果的平滑度问题""" + samples = [] + + # 生成多个样本 + for _ in range(num_samples): + sample = ddpm_sample(model, (1, 3, 32, 32)) + samples.append(sample) + + samples = torch.cat(samples, dim=0) + + # 计算高频信息 + def compute_high_freq_energy(images): + # 使用Sobel滤波器检测边缘 + sobel_x = torch.tensor([[-1, 0, 1], [-2, 0, 2], [-1, 0, 1]], + dtype=torch.float32).view(1, 1, 3, 3) + sobel_y = torch.tensor([[-1, -2, -1], [0, 0, 0], [1, 2, 1]], + dtype=torch.float32).view(1, 1, 3, 3) + + # 转换为灰度 + gray = images.mean(dim=1, keepdim=True) + + # 计算梯度 + edges_x = F.conv2d(gray, sobel_x, padding=1) + edges_y = F.conv2d(gray, sobel_y, padding=1) + edges = torch.sqrt(edges_x**2 + edges_y**2) + + return edges.mean().item() + + # 与真实数据对比 + real_data = next(iter(train_loader))[0][:num_samples] + + gen_hf = compute_high_freq_energy(samples) + real_hf = compute_high_freq_energy(real_data) + + print(f"生成样本的高频能量: {gen_hf:.4f}") + print(f"真实数据的高频能量: {real_hf:.4f}") + print(f"比率: {gen_hf/real_hf:.2f}") + + if gen_hf/real_hf DDPM的主要性能瓶颈在于需要1000步迭代，每步都需要通过U-Net进行一次前向传播。典型的性能特征： + + + + - **预计算阶段**：约0.1秒，包括噪声调度的计算 + - **模型推理**：每步15-50ms（取决于模型大小和GPU），总计15-50秒 + - **更新计算**：每步1-2ms，相对可忽略 + + + + +**优化建议**： + + + + - 使用更小的模型架构（减少通道数或层数） + - 启用混合精度推理（torch.cuda.amp） + - 使用torch.compile()进行图优化（PyTorch 2.0+） + - 采用DDIM等快速采样方法（可减少到50步以下） + - 批量生成以提高GPU利用率 + + + + + +#### 问题4：内存溢出（OOM） + + + + +# 内存友好的批量采样 +def memory_efficient_batch_sampling(model, total_samples, batch_size=16, + image_shape=(3, 32, 32)): + """内存高效的批量采样""" + all_samples = [] + + # 分批生成 + num_batches = (total_samples + batch_size - 1) // batch_size + + for i in tqdm(range(num_batches), desc="Batch sampling"): + current_batch_size = min(batch_size, total_samples - i * batch_size) + shape = (current_batch_size,) + image_shape + + # 生成当前批次 + with torch.cuda.amp.autocast(): # 使用混合精度节省内存 + samples = ddpm_sample(model, shape) + + # 立即移到CPU以释放GPU内存 + all_samples.append(samples.cpu()) + + # 清理GPU缓存 + if i % 10 == 0: + torch.cuda.empty_cache() + + return torch.cat(all_samples, dim=0) + +# 诊断内存使用 +def diagnose_memory_usage(model, batch_sizes=[1, 2, 4, 8, 16]): + """诊断不同批次大小的内存使用""" + import gc + + for bs in batch_sizes: + torch.cuda.empty_cache() + gc.collect() + + try: + # 记录初始内存 + init_mem = torch.cuda.memory_allocated() / 1024**3 + + # 尝试采样 + shape = (bs, 3, 256, 256) # 使用较大尺寸测试 + _ = ddpm_sample(model, shape, num_timesteps=50) # 只测试50步 + + # 记录峰值内存 + peak_mem = torch.cuda.max_memory_allocated() / 1024**3 + + print(f"Batch size {bs}: 峰值内存 {peak_mem:.2f}GB " + f"(增加 {peak_mem - init_mem:.2f}GB)") + + except torch.cuda.OutOfMemoryError: + print(f"Batch size {bs}: OOM!") + break + finally: + torch.cuda.empty_cache() + + + +#### 可视化调试工具 + + + + +```python +def analyze_sampling_debug(model): + """分析采样过程用于调试""" + # 设置 + shape = (1, 3, 32, 32) + checkpoints = [999, 800, 600, 400, 200, 100, 50, 20, 10, 0] + + # 收集数据 + x_t = torch.randn(shape, device='cuda') + debug_data = { + 'x_t_history': [x_t.cpu()], + 'pred_x0_history': [], + 'noise_pred_history': [], + 'noise_stats': [] + } + + # 采样并记录 + betas = linear_beta_schedule(1000).cuda() + alphas = 1 - betas + alphas_bar = torch.cumprod(alphas, dim=0) + + for t in reversed(range(1000)): + t_tensor = torch.tensor([t], device='cuda') + + # 预测 + epsilon_pred = model(x_t, t_tensor) + + # 预测的x_0 + pred_x0 = (x_t - torch.sqrt(1 - alphas_bar[t]) * epsilon_pred) / torch.sqrt(alphas_bar[t]) + + # 更新 + mean = (x_t - betas[t] / torch.sqrt(1 - alphas_bar[t]) * epsilon_pred) / torch.sqrt(alphas[t]) + if t > 0: + noise = torch.randn_like(x_t) + x_t = mean + torch.sqrt(betas[t]) * noise + else: + x_t = mean + + # 记录检查点 + if t in checkpoints: + debug_data['x_t_history'].append(x_t.cpu()) + debug_data['pred_x0_history'].append(pred_x0.cpu()) + debug_data['noise_pred_history'].append(epsilon_pred.cpu()) + debug_data['noise_stats'].append({ + 't': t, + 'mean': epsilon_pred.mean().item(), + 'std': epsilon_pred.std().item(), + 'min': epsilon_pred.min().item(), + 'max': epsilon_pred.max().item() + }) + + # 打印分析结果 + print("采样过程调试分析:") + print("==================") + print("\n噪声预测统计:") + print("Timestep | Mean | Std | Min | Max") + print("-" * 55) + for stats in debug_data['noise_stats']: + print(f"{stats['t']:8d} | {stats['mean']:9.6f} | {stats['std']:9.6f} | {stats['min']:9.6f} | {stats['max']:9.6f}") + + # 检查x_0预测的稳定性 + print("\nx_0预测稳定性分析:") + for i, (t, x0) in enumerate(zip(checkpoints[:-1], debug_data['pred_x0_history'])): + x0_range = x0.max().item() - x0.min().item() + x0_clipped = (x0 1).sum().item() + total_pixels = x0.numel() + clip_ratio = x0_clipped / total_pixels + print(f"t={t:3d}: range={x0_range:.3f}, clipped pixels={clip_ratio:.1%}") + + return debug_data +``` + + + + + +练习 3.5.3：实现采样质量诊断工具 + 创建一个综合诊断工具，能够： + + + + - 自动检测常见的采样问题 + - 生成诊断报告 + - 提供具体的修复建议 + +class DDPMSamplingDiagnostics: + """DDPM采样综合诊断工具""" + + def __init__(self, model, device='cuda'): + self.model = model + self.device = device + self.diagnostics = {} + + def run_full_diagnostics(self, num_samples=5): + """运行完整诊断""" + print("=== DDPM采样诊断开始 ===\n") + + # 1. 模型基础检查 + self._check_model_basics() + + # 2. 噪声调度检查 + self._check_noise_schedule() + + # 3. 采样质量检查 + self._check_sampling_quality(num_samples) + + # 4. 性能检查 + self._check_performance() + + # 5. 生成报告 + self._generate_report() + + def _check_model_basics(self): + """检查模型基础设置""" + print("1. 检查模型基础设置...") + + # 检查模型是否在eval模式 + if self.model.training: + self.diagnostics['model_mode'] = 'WARNING: 模型在训练模式' + else: + self.diagnostics['model_mode'] = 'OK: 模型在评估模式' + + # 检查参数统计 + params = [] + for p in self.model.parameters(): + params.append(p.data.flatten()) + params = torch.cat(params) + + param_mean = params.mean().item() + param_std = params.std().item() + + if abs(param_mean) > 1.0 or param_std > 10.0: + self.diagnostics['param_stats'] = f'WARNING: 参数统计异常 (mean={param_mean:.3f}, std={param_std:.3f})' + else: + self.diagnostics['param_stats'] = 'OK: 参数统计正常' + + def _check_noise_schedule(self): + """检查噪声调度""" + print("2. 检查噪声调度...") + + betas = linear_beta_schedule(1000) + alphas_bar = torch.cumprod(1 - betas, dim=0) + + # 检查端点 + if alphas_bar[0] 0.01: + self.diagnostics['schedule_end'] = f'WARNING: α̅_T={alphas_bar[-1]:.4f} 太大' + else: + self.diagnostics['schedule_end'] = 'OK: 终点正常' + + def _check_sampling_quality(self, num_samples): + """检查采样质量""" + print(f"3. 检查采样质量 (生成{num_samples}个样本)...") + + samples = [] + for _ in range(num_samples): + sample = ddpm_sample(self.model, (1, 3, 32, 32), device=self.device) + samples.append(sample) + samples = torch.cat(samples) + + # 检查输出范围 + sample_min = samples.min().item() + sample_max = samples.max().item() + + if sample_min 3: + self.diagnostics['output_range'] = f'WARNING: 输出范围异常 [{sample_min:.2f}, {sample_max:.2f}]' + else: + self.diagnostics['output_range'] = 'OK: 输出范围正常' + + # 检查多样性 + if num_samples > 1: + diversity = samples.std(dim=0).mean().item() + if diversity 60: + self.diagnostics['performance'] = f'WARNING: 预计采样时间过长 ({total_time:.1f}秒)' + else: + self.diagnostics['performance'] = f'OK: 预计采样时间 {total_time:.1f}秒' + + def _generate_report(self): + """生成诊断报告""" + print("\n=== 诊断报告 ===") + + warnings = 0 + for key, value in self.diagnostics.items(): + if value.startswith('WARNING'): + print(f"❌ {value}") + warnings += 1 + else: + print(f"✅ {value}") + + print(f"\n总结: {len(self.diagnostics)}项检查, {warnings}个警告") + + if warnings > 0: + print("\n建议的修复步骤:") + if 'model_mode' in self.diagnostics and 'WARNING' in self.diagnostics['model_mode']: + print("- 调用 model.eval() 切换到评估模式") + if 'schedule_end' in self.diagnostics and 'WARNING' in self.diagnostics['schedule_end']: + print("- 增加总时间步数或调整beta_end") + if 'diversity' in self.diagnostics and 'WARNING' in self.diagnostics['diversity']: + print("- 检查模型是否过拟合或模式崩塌") + if 'performance' in self.diagnostics and 'WARNING' in self.diagnostics['performance']: + print("- 考虑使用DDIM或其他快速采样方法") + +# 使用示例 +diagnostics = DDPMSamplingDiagnostics(model) +diagnostics.run_full_diagnostics() + **诊断工具的扩展**：可以添加更多检查项，如： + + + + - 检查是否使用了EMA模型 + - 验证条件生成的正确性 + - 检测特定的视觉伪影（棋盘效应、色彩偏移等） + - 与真实数据分布的统计对比 + + + + + +## 3.6 完整实现：构建你的第一个DDPM + + +本节将把前面学到的所有概念整合成一个完整的DDPM实现。我们将构建一个可以在MNIST数据集上训练的完整系统。 + + + +### 3.6.1 模型架构 + + +首先，让我们实现一个适合DDPM的U-Net架构。这个架构需要： + + + + - 接受带噪声的图像 $x_t$ 作为输入 + - 接受时间步 $t$ 作为条件信息 + - 输出预测的噪声 $\epsilon_\theta(x_t, t)$ + + + + +import torch +import torch.nn as nn +import torch.nn.functional as F +import math + +class SinusoidalPositionalEmbedding(nn.Module): + """正弦位置编码，用于时间步嵌入""" + def __init__(self, dim): + super().__init__() + self.dim = dim + + def forward(self, time): + device = time.device + half_dim = self.dim // 2 + embeddings = math.log(10000) / (half_dim - 1) + embeddings = torch.exp(torch.arange(half_dim, device=device) * -embeddings) + embeddings = time[:, None] * embeddings[None, :] + embeddings = torch.cat((embeddings.sin(), embeddings.cos()), dim=-1) + return embeddings + +class ResidualBlock(nn.Module): + """带时间嵌入的残差块""" + def __init__(self, in_channels, out_channels, time_emb_dim, dropout=0.1): + super().__init__() + self.conv1 = nn.Conv2d(in_channels, out_channels, 3, padding=1) + self.conv2 = nn.Conv2d(out_channels, out_channels, 3, padding=1) + self.time_emb = nn.Linear(time_emb_dim, out_channels) + self.dropout = nn.Dropout(dropout) + self.norm1 = nn.GroupNorm(8, out_channels) + self.norm2 = nn.GroupNorm(8, out_channels) + self.shortcut = nn.Conv2d(in_channels, out_channels, 1) if in_channels != out_channels else nn.Identity() + + def forward(self, x, t): + h = self.conv1(x) + h = self.norm1(h) + h = F.silu(h) + + # 添加时间嵌入 + h = h + self.time_emb(F.silu(t))[:, :, None, None] + + h = self.conv2(h) + h = self.norm2(h) + h = F.silu(h) + h = self.dropout(h) + + return h + self.shortcut(x) + +class AttentionBlock(nn.Module): + """自注意力块""" + def __init__(self, channels, num_heads=4): + super().__init__() + self.num_heads = num_heads + self.norm = nn.GroupNorm(8, channels) + self.qkv = nn.Conv2d(channels, channels * 3, 1) + self.proj = nn.Conv2d(channels, channels, 1) + + def forward(self, x): + B, C, H, W = x.shape + h = self.norm(x) + qkv = self.qkv(h) + q, k, v = qkv.chunk(3, dim=1) + + # 重塑为多头格式 + q = q.view(B, self.num_heads, C // self.num_heads, H * W).transpose(2, 3) + k = k.view(B, self.num_heads, C // self.num_heads, H * W).transpose(2, 3) + v = v.view(B, self.num_heads, C // self.num_heads, H * W).transpose(2, 3) + + # 计算注意力 + scale = (C // self.num_heads) ** -0.5 + attn = torch.softmax(torch.matmul(q, k.transpose(-2, -1)) * scale, dim=-1) + out = torch.matmul(attn, v) + + # 重塑回原始格式 + out = out.transpose(2, 3).contiguous().view(B, C, H, W) + return x + self.proj(out) + + + + 架构设计要点 + + + - **时间嵌入**：使用正弦位置编码将离散时间步转换为连续表示 + - **残差连接**：每个块都包含残差连接，有助于梯度流动 + - **注意力机制**：在低分辨率特征图上使用自注意力，捕获长程依赖 + - **GroupNorm**：使用组归一化而非批归一化，更适合小批量训练 + + + + + +#### 轻量级DDPM U-Net + + 对于简单任务（如MNIST），可以使用更轻量的架构： + + + +class SimpleDDPMUNet(nn.Module): + """轻量级DDPM U-Net，适用于MNIST等简单数据集""" + def __init__(self, image_channels=1, n_channels=32, ch_mults=(1, 2, 2, 4), + n_blocks=2): + super().__init__() + + # 时间嵌入 + self.time_emb = nn.Sequential( + SinusoidalPositionalEmbedding(n_channels), + nn.Linear(n_channels, n_channels * 4), + nn.GELU(), + nn.Linear(n_channels * 4, n_channels * 4) + ) + + # 输入层 + self.conv_in = nn.Conv2d(image_channels, n_channels, 3, padding=1) + + # 下采样 + self.downs = nn.ModuleList() + chs = [n_channels] + now_ch = n_channels + + for i, mult in enumerate(ch_mults): + out_ch = n_channels * mult + for _ in range(n_blocks): + self.downs.append(ResidualBlock(now_ch, out_ch, n_channels * 4)) + now_ch = out_ch + chs.append(now_ch) + + if i 0: + self.ups.append(nn.ConvTranspose2d(now_ch, now_ch, 4, stride=2, padding=1)) + + # 输出层 + self.conv_out = nn.Sequential( + nn.GroupNorm(8, now_ch), + nn.SiLU(), + nn.Conv2d(now_ch, image_channels, 3, padding=1) + ) + + def forward(self, x, t): + # 获取时间嵌入 + t = self.time_emb(t) + + # 初始卷积 + h = self.conv_in(x) + + # 下采样 + hs = [h] + for layer in self.downs: + if isinstance(layer, ResidualBlock): + h = layer(h, t) + else: + h = layer(h) + hs.append(h) + + # 中间层 + for layer in self.middle: + h = layer(h, t) + + # 上采样 + for layer in self.ups: + if isinstance(layer, ResidualBlock): + h = layer(torch.cat([h, hs.pop()], dim=1), t) + else: + h = layer(h) + + # 输出 + return self.conv_out(h) + + + + +练习 3.6.1：模型参数计算 + 实现一个函数来计算U-Net模型的参数量，并比较不同配置的模型大小。 + +def count_parameters(model): + """计算模型参数量""" + return sum(p.numel() for p in model.parameters() if p.requires_grad) + +def compare_model_sizes(): + """比较不同模型配置的参数量""" + configs = [ + {"name": "Tiny", "n_channels": 16, "ch_mults": (1, 2, 2)}, + {"name": "Small", "n_channels": 32, "ch_mults": (1, 2, 2, 4)}, + {"name": "Base", "n_channels": 64, "ch_mults": (1, 2, 4, 8)}, + {"name": "Large", "n_channels": 128, "ch_mults": (1, 2, 4, 8)} + ] + + for config in configs: + model = SimpleDDPMUNet( + n_channels=config["n_channels"], + ch_mults=config["ch_mults"] + ) + params = count_parameters(model) + print(f"{config['name']}: {params:,} parameters ({params/1e6:.2f}M)") + +# 输出示例： +# Tiny: 461,729 parameters (0.46M) +# Small: 3,652,481 parameters (3.65M) +# Base: 35,742,785 parameters (35.74M) +# Large: 142,836,097 parameters (142.84M) + + + + + +### 3.6.2 训练循环 + + 现在让我们实现完整的DDPM训练循环。这个实现包含了前面章节介绍的所有关键组件。 + + + +import torch +import torch.optim as optim +from torch.utils.data import DataLoader +from torchvision import datasets, transforms +from tqdm import tqdm +import matplotlib.pyplot as plt +import numpy as np + +class DDPMTrainer: + """DDPM训练器""" + def __init__(self, model, device='cuda', num_timesteps=1000, + beta_start=1e-4, beta_end=0.02, loss_type='l2'): + self.model = model.to(device) + self.device = device + self.num_timesteps = num_timesteps + self.loss_type = loss_type + + # 设置噪声调度 + self.betas = torch.linspace(beta_start, beta_end, num_timesteps).to(device) + self.alphas = 1 - self.betas + self.alphas_bar = torch.cumprod(self.alphas, dim=0) + self.sqrt_alphas_bar = torch.sqrt(self.alphas_bar) + self.sqrt_one_minus_alphas_bar = torch.sqrt(1 - self.alphas_bar) + + # 用于采样的预计算值 + self.sqrt_recip_alphas = torch.sqrt(1.0 / self.alphas) + self.sqrt_alphas_bar_prev = torch.sqrt( + torch.cat([torch.tensor([1.0]).to(device), self.alphas_bar[:-1]]) + ) + self.sqrt_one_minus_alphas_bar_prev = torch.sqrt( + 1 - torch.cat([torch.tensor([1.0]).to(device), self.alphas_bar[:-1]]) + ) + self.posterior_variance = self.betas * (1.0 - self.alphas_bar_prev) / (1.0 - self.alphas_bar) + + def forward_diffusion(self, x_0, t, noise=None): + """前向扩散过程""" + if noise is None: + noise = torch.randn_like(x_0) + + sqrt_alphas_bar_t = self.sqrt_alphas_bar[t].view(-1, 1, 1, 1) + sqrt_one_minus_alphas_bar_t = self.sqrt_one_minus_alphas_bar[t].view(-1, 1, 1, 1) + + x_t = sqrt_alphas_bar_t * x_0 + sqrt_one_minus_alphas_bar_t * noise + return x_t, noise + + def compute_loss(self, x_0, t): + """计算训练损失""" + noise = torch.randn_like(x_0) + x_t, _ = self.forward_diffusion(x_0, t, noise) + noise_pred = self.model(x_t, t) + + if self.loss_type == 'l2': + loss = torch.nn.functional.mse_loss(noise_pred, noise) + elif self.loss_type == 'l1': + loss = torch.nn.functional.l1_loss(noise_pred, noise) + else: + raise ValueError(f"Unknown loss type: {self.loss_type}") + + return loss + + def train_step(self, batch, optimizer): + """单步训练""" + x_0 = batch[0].to(self.device) + batch_size = x_0.shape[0] + + # 随机采样时间步 + t = torch.randint(0, self.num_timesteps, (batch_size,), device=self.device) + + # 计算损失 + loss = self.compute_loss(x_0, t) + + # 反向传播 + optimizer.zero_grad() + loss.backward() + optimizer.step() + + return loss.item() + + @torch.no_grad() + def sample(self, num_samples, image_size=(1, 28, 28), return_trajectory=False): + """DDPM采样""" + self.model.eval() + + # 从纯噪声开始 + x_t = torch.randn(num_samples, *image_size, device=self.device) + + trajectory = [x_t.cpu()] if return_trajectory else None + + # 逐步去噪 + for t in tqdm(reversed(range(self.num_timesteps)), desc="Sampling"): + t_batch = torch.full((num_samples,), t, device=self.device, dtype=torch.long) + + # 预测噪声 + noise_pred = self.model(x_t, t_batch) + + # 计算均值 + beta_t = self.betas[t] + sqrt_one_minus_alpha_bar_t = self.sqrt_one_minus_alphas_bar[t] + sqrt_recip_alpha_t = self.sqrt_recip_alphas[t] + + mean = sqrt_recip_alpha_t * ( + x_t - beta_t / sqrt_one_minus_alpha_bar_t * noise_pred + ) + + # 添加噪声（除了最后一步） + if t > 0: + noise = torch.randn_like(x_t) + posterior_variance_t = self.posterior_variance[t] + x_t = mean + torch.sqrt(posterior_variance_t) * noise + else: + x_t = mean + + if return_trajectory and t % 100 == 0: + trajectory.append(x_t.cpu()) + + self.model.train() + + if return_trajectory: + return x_t, trajectory + return x_t + +def train_ddpm(model, train_loader, num_epochs=100, lr=2e-4, + device='cuda', save_interval=10): + """完整的DDPM训练流程""" + trainer = DDPMTrainer(model, device=device) + optimizer = optim.Adam(model.parameters(), lr=lr) + + # 训练历史 + losses = [] + + for epoch in range(num_epochs): + epoch_losses = [] + pbar = tqdm(train_loader, desc=f"Epoch {epoch+1}/{num_epochs}") + + for batch in pbar: + loss = trainer.train_step(batch, optimizer) + epoch_losses.append(loss) + pbar.set_postfix({'loss': f"{loss:.4f}"}) + + avg_loss = np.mean(epoch_losses) + losses.append(avg_loss) + print(f"Epoch {epoch+1}, Average Loss: {avg_loss:.4f}") + + # 定期生成样本 + if (epoch + 1) % save_interval == 0: + samples = trainer.sample(16) + save_samples(samples, epoch + 1) + + # 保存检查点 + torch.save({ + 'epoch': epoch, + 'model_state_dict': model.state_dict(), + 'optimizer_state_dict': optimizer.state_dict(), + 'loss': avg_loss, + }, f'ddpm_checkpoint_epoch_{epoch+1}.pt') + + return trainer, losses + +def save_samples(samples, epoch, save_dir='./samples'): + """保存生成的样本""" + import os + os.makedirs(save_dir, exist_ok=True) + + # 保存为PyTorch张量格式 + torch.save(samples, os.path.join(save_dir, f'samples_epoch_{epoch}.pt')) + + # 可选：保存为单独的图像文件 + if samples.shape[1] == 1: # 单通道图像 + from torchvision.utils import save_image + # 将值域从[-1, 1]映射到[0, 1] + samples_normalized = (samples + 1) / 2 + save_image(samples_normalized, + os.path.join(save_dir, f'grid_epoch_{epoch}.png'), + nrow=4, normalize=False) + + print(f"已保存 {len(samples)} 个样本到 {save_dir}") + + + +#### 使用示例：在MNIST上训练DDPM + + + +```python +# 准备数据集 +transform = transforms.Compose([ + transforms.ToTensor(), + transforms.Normalize((0.5,), (0.5,)) # 归一化到[-1, 1] +]) + +train_dataset = datasets.MNIST(root='./data', train=True, + download=True, transform=transform) +train_loader = DataLoader(train_dataset, batch_size=128, + shuffle=True, num_workers=4) + +# 创建模型 +model = SimpleDDPMUNet( + image_channels=1, + n_channels=32, + ch_mults=(1, 2, 2, 4), + n_blocks=2 +) + +# 训练模型 +trainer, losses = train_ddpm( + model=model, + train_loader=train_loader, + num_epochs=50, + lr=2e-4, + device='cuda' if torch.cuda.is_available() else 'cpu', + save_interval=10 +) + +# 生成新样本 +new_samples = trainer.sample(64, image_size=(1, 28, 28)) + +# 分析训练损失 +print("训练损失统计:") +print(f" 初始损失: {losses[0]:.4f}") +print(f" 最终损失: {losses[-1]:.4f}") +print(f" 最低损失: {min(losses):.4f} (Epoch {losses.index(min(losses)) + 1})") +print(f" 损失下降: {(losses[0] - losses[-1]) / losses[0] * 100:.1f}%") +``` + + + + + 训练技巧 + + + - **学习率调度**：使用余弦退火或线性衰减可以提升训练稳定性 + - **EMA**：使用指数移动平均（EMA）可以获得更稳定的生成质量 + - **梯度裁剪**：防止梯度爆炸，特别是在训练初期 + - **混合精度训练**：使用FP16可以加速训练并减少显存占用 + + + + + +#### 高级训练技术 + + + +```python +class EMA: + """指数移动平均""" + def __init__(self, model, decay=0.995): + self.model = model + self.decay = decay + self.shadow = {} + self.backup = {} + self.register() + + def register(self): + for name, param in self.model.named_parameters(): + if param.requires_grad: + self.shadow[name] = param.data.clone() + + def update(self): + for name, param in self.model.named_parameters(): + if param.requires_grad: + self.shadow[name] = self.decay * self.shadow[name] + \ + (1 - self.decay) * param.data + + def apply_shadow(self): + for name, param in self.model.named_parameters(): + if param.requires_grad: + self.backup[name] = param.data + param.data = self.shadow[name] + + def restore(self): + for name, param in self.model.named_parameters(): + if param.requires_grad: + param.data = self.backup[name] + self.backup = {} + +def train_ddpm_with_ema(model, train_loader, num_epochs=100): + """带EMA的DDPM训练""" + trainer = DDPMTrainer(model) + optimizer = optim.Adam(model.parameters(), lr=2e-4) + scheduler = optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max=num_epochs) + ema = EMA(model) + + scaler = torch.cuda.amp.GradScaler() # 混合精度训练 + + for epoch in range(num_epochs): + for batch in train_loader: + x_0 = batch[0].to(trainer.device) + batch_size = x_0.shape[0] + t = torch.randint(0, trainer.num_timesteps, (batch_size,), + device=trainer.device) + + # 混合精度训练 + with torch.cuda.amp.autocast(): + loss = trainer.compute_loss(x_0, t) + + optimizer.zero_grad() + scaler.scale(loss).backward() + + # 梯度裁剪 + scaler.unscale_(optimizer) + torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0) + + scaler.step(optimizer) + scaler.update() + + # 更新EMA + ema.update() + + scheduler.step() + + # 使用EMA权重生成样本 + if (epoch + 1) % 10 == 0: + ema.apply_shadow() + samples = trainer.sample(16) + save_samples(samples, epoch + 1) + ema.restore() + + return trainer, ema +``` + + + + + +练习 3.6.2：实现学习率预热 + 修改训练代码，添加学习率预热（warmup）功能，在训练初期逐渐增加学习率。 + +class WarmupCosineScheduler(optim.lr_scheduler._LRScheduler): + """带预热的余弦退火调度器""" + def __init__(self, optimizer, warmup_epochs, total_epochs, + warmup_lr=1e-5, base_lr=2e-4, min_lr=1e-6): + self.warmup_epochs = warmup_epochs + self.total_epochs = total_epochs + self.warmup_lr = warmup_lr + self.base_lr = base_lr + self.min_lr = min_lr + super().__init__(optimizer) + + def get_lr(self): + if self.last_epoch + + + + + +### 3.6.3 评估与可视化 + + 评估生成模型的质量是一个重要但富有挑战性的任务。本节介绍常用的评估指标和可视化方法。 + + +#### 常用评估指标 + + + 生成模型评估指标 + + + - **FID (Fréchet Inception Distance)**：衡量生成分布与真实分布的距离 + - **IS (Inception Score)**：评估生成样本的质量和多样性 + - **LPIPS**：感知相似度，更符合人类视觉感知 + - **Precision/Recall**：分别衡量质量和覆盖度 + + + + + +#### FID计算实现 + + + +import torch +import numpy as np +from scipy import linalg +from torchvision.models import inception_v3 +from torch.nn.functional import adaptive_avg_pool2d + +class FIDCalculator: + """FID (Fréchet Inception Distance) 计算器""" + def __init__(self, device='cuda'): + self.device = device + self.inception = inception_v3(pretrained=True, transform_input=False).to(device) + self.inception.eval() + # 移除最后的全连接层 + self.inception.fc = torch.nn.Identity() + + @torch.no_grad() + def extract_features(self, images): + """提取Inception特征""" + # 确保图像大小至少为299x299（Inception-v3要求） + if images.shape[2] + + + +#### Inception Score实现 + + + +```python +class InceptionScore: + """Inception Score计算器""" + def __init__(self, device='cuda'): + self.device = device + self.inception = inception_v3(pretrained=True, transform_input=False).to(device) + self.inception.eval() + + @torch.no_grad() + def compute_is(self, images, batch_size=32, splits=10): + """计算Inception Score + + Args: + images: 生成的图像张量 + batch_size: 批处理大小 + splits: 用于计算IS的分割数 + + Returns: + is_mean: IS均值 + is_std: IS标准差 + """ + # 获取预测 + preds = [] + for i in range(0, len(images), batch_size): + batch = images[i:i+batch_size].to(self.device) + + # 调整大小和通道 + if batch.shape[2] = num_samples: + break + real_samples = torch.cat(real_samples, dim=0)[:num_samples] + + # 计算FID + print("计算FID...") + fid_score = self.fid_calculator.compute_fid_from_samples( + real_samples, generated_samples, batch_size=batch_size + ) + + # 计算IS + print("计算Inception Score...") + is_mean, is_std = self.is_calculator.compute_is( + generated_samples, batch_size=batch_size + ) + + # 计算样本多样性 + diversity = self.compute_diversity(generated_samples) + + results = { + 'fid': fid_score, + 'is_mean': is_mean, + 'is_std': is_std, + 'diversity': diversity + } + + return results, generated_samples + + def compute_diversity(self, samples): + """计算样本多样性（使用LPIPS或简单的L2距离）""" + # 简化版：使用L2距离 + n_samples = min(1000, len(samples)) + indices = torch.randperm(len(samples))[:n_samples] + subset = samples[indices] + + # 计算两两之间的L2距离 + distances = [] + for i in range(n_samples): + for j in range(i+1, n_samples): + dist = torch.norm(subset[i] - subset[j], p=2) + distances.append(dist.item()) + + return np.mean(distances) + + def save_results(self, results, samples, save_path='evaluation_results.pt'): + """保存评估结果""" + # 保存样本和评估指标 + torch.save({ + 'samples': samples, + 'metrics': results, + 'timestamp': np.datetime64('now') + }, save_path) + + # 打印评估报告 + print("\n" + "="*50) + print("评估结果报告") + print("="*50) + print(f"FID Score: {results['fid']:.2f} (越低越好)") + print(f"Inception Score: {results['is_mean']:.2f} ± {results['is_std']:.2f} (越高越好)") + print(f"Diversity Score: {results['diversity']:.4f} (越高越好)") + print(f"\n结果已保存到: {save_path}") + + return results +``` + + + + +#### 使用示例 + + + +```python +# 创建评估器 +evaluator = DDPMEvaluator(trainer, test_loader) + +# 运行完整评估 +results, generated_samples = evaluator.evaluate(num_samples=5000) + +# 打印结果 +print(f"FID Score: {results['fid']:.2f}") +print(f"Inception Score: {results['is_mean']:.2f} ± {results['is_std']:.2f}") +print(f"Diversity Score: {results['diversity']:.4f}") + +# 保存结果 +evaluator.save_results(results, generated_samples) + +# 分析采样轨迹 +def analyze_sampling_trajectory(trainer, num_steps_show=10): + """分析采样轨迹""" + # 生成带轨迹的样本 + samples, trajectory = trainer.sample(4, return_trajectory=True) + + # 选择要显示的步骤 + total_steps = len(trajectory) + step_indices = np.linspace(0, total_steps-1, num_steps_show, dtype=int) + + print("\n采样轨迹分析:") + print("="*50) + print(f"总步数: {trainer.num_timesteps}") + print(f"轨迹采样点: {len(step_indices)}") + + # 分析每个阶段的统计特性 + for i, step_idx in enumerate(step_indices): + t = trainer.num_timesteps - step_idx * 100 if step_idx > 0 else trainer.num_timesteps + img_batch = trajectory[step_idx] + + stats = { + 'mean': img_batch.mean().item(), + 'std': img_batch.std().item(), + 'min': img_batch.min().item(), + 'max': img_batch.max().item() + } + + print(f"\n步骤 {i+1}/{num_steps_show} (t={t}):") + print(f" 均值: {stats['mean']:6.3f}, 标准差: {stats['std']:6.3f}") + print(f" 范围: [{stats['min']:6.3f}, {stats['max']:6.3f}]") + + return samples, trajectory + +# 分析采样轨迹 +final_samples, full_trajectory = analyze_sampling_trajectory(trainer) +``` + + + + + +练习 3.6.3：实现Precision和Recall指标 + 实现改进的Precision和Recall指标，分别衡量生成质量和模式覆盖度。 + +def compute_precision_recall(real_features, gen_features, k=3): + """计算改进的Precision和Recall + + 基于k-最近邻的方法： + - Precision: 生成样本中有多少落在真实数据的支撑集内 + - Recall: 真实数据的支撑集有多少被生成样本覆盖 + """ + from sklearn.neighbors import NearestNeighbors + + # 构建k-NN模型 + nbrs_real = NearestNeighbors(n_neighbors=k+1, metric='euclidean').fit(real_features) + nbrs_gen = NearestNeighbors(n_neighbors=k+1, metric='euclidean').fit(gen_features) + + # 计算真实样本的k-NN距离 + distances_real, _ = nbrs_real.kneighbors(real_features) + distances_real = distances_real[:, -1] # 第k个最近邻的距离 + + # 计算生成样本的k-NN距离 + distances_gen, _ = nbrs_gen.kneighbors(gen_features) + distances_gen = distances_gen[:, -1] + + # 计算Precision：生成样本到真实流形的距离 + distances_gen_to_real, _ = nbrs_real.kneighbors(gen_features, n_neighbors=1) + distances_gen_to_real = distances_gen_to_real[:, 0] + precision = np.mean(distances_gen_to_real + + + + + +## 3.7 DDPM的局限性与改进方向 + + 虽然DDPM在生成质量上取得了重大突破，但它仍存在一些重要的局限性。理解这些局限性有助于我们理解后续的改进方法。 + + +### 3.7.1 主要局限性 + + + + DDPM的核心问题 + + + - **采样速度慢** + + + 需要1000步迭代才能生成一张图像 + - 相比GAN的单次前向传播，效率差距巨大 + - 限制了实时应用的可能性 + + + + - **固定的噪声调度** + + + 线性β调度并非最优 + - 不同数据集可能需要不同的调度策略 + - 训练和采样必须使用相同的调度 + + + + - **固定的后验方差** + + + DDPM使用固定的后验方差 $\sigma_t^2 = \beta_t$ + - 这可能不是最优选择 + - 限制了模型的表达能力 + + + + - **计算资源需求高** + + + 训练需要大量GPU时间 + - 推理时的内存占用较大 + - 难以在边缘设备上部署 + + + + + + + + +### 3.7.2 性能分析 + + + + +def analyze_ddpm_performance(trainer, num_samples=100): + """分析DDPM的性能瓶颈""" + import time + + results = { + 'sampling_times': [], + 'memory_usage': [], + 'step_times': [] + } + + # 测试不同步数的采样时间 + for num_steps in [10, 50, 100, 500, 1000]: + # 修改采样步数 + original_steps = trainer.num_timesteps + trainer.num_timesteps = num_steps + + # 计时 + start_time = time.time() + samples = trainer.sample(num_samples, image_size=(1, 28, 28)) + end_time = time.time() + + sampling_time = end_time - start_time + results['sampling_times'].append({ + 'steps': num_steps, + 'total_time': sampling_time, + 'time_per_sample': sampling_time / num_samples, + 'time_per_step': sampling_time / (num_samples * num_steps) + }) + + trainer.num_timesteps = original_steps + + # 分析每步的时间分布 + with torch.profiler.profile( + activities=[torch.profiler.ProfilerActivity.CPU, + torch.profiler.ProfilerActivity.CUDA], + record_shapes=True + ) as prof: + trainer.sample(1, image_size=(1, 28, 28)) + + # 打印分析结果 + print("=== DDPM Performance Analysis ===") + print(f"\nSampling Time vs Steps:") + for result in results['sampling_times']: + print(f"Steps: {result['steps']:4d} | " + f"Total: {result['total_time']:6.2f}s | " + f"Per Sample: {result['time_per_sample']:6.4f}s | " + f"Per Step: {result['time_per_step']*1000:6.2f}ms") + + print(f"\nTop operations by time:") + print(prof.key_averages().table(sort_by="cuda_time_total", row_limit=10)) + + return results + +# 分析性能结果 +def analyze_performance_results(results): + """分析性能测试结果""" + steps = [r['steps'] for r in results['sampling_times']] + times = [r['time_per_sample'] for r in results['sampling_times']] + + print("\n性能分析报告:") + print("="*60) + print("步数 | 每样本时间(s) | 相对1000步加速比 | 质量影响") + print("-"*60) + + baseline_time = times[-1] # 1000步的时间 + for i, (step, time) in enumerate(zip(steps, times)): + speedup = baseline_time / time + quality_impact = "高" if step >= 500 else ("中" if step >= 100 else "低") + print(f"{step:8d} | {time:13.4f} | {speedup:15.1f}x | {quality_impact}") + + print("\n关键发现:") + print(f"- 从1000步减少到50步可获得 {baseline_time/times[1]:.1f}x 加速") + print(f"- 每步平均耗时: {times[-1]/1000*1000:.2f}ms") + print(f"- 主要瓶颈: U-Net前向传播") + + return results + + + +### 3.7.3 改进方向概览 + + + + 主要改进方向 + + + + 问题 + 改进方法 + 关键思想 + 相关章节 + + + + + 采样速度慢 + DDIM + 确定性采样，跳步 + 第8章 + + + 采样速度慢 + DPM-Solver + 高阶ODE求解器 + 第8章 + + + 固定噪声调度 + Improved DDPM + 余弦调度，学习方差 + 第8章 + + + 理论框架 + Score-based Models + 分数匹配视角 + 第4章 + + + 连续时间 + SDE/ODE + 连续时间框架 + 第5章 + + + 计算效率 + Latent Diffusion + 潜在空间扩散 + 第10章 + + + 一步生成 + Consistency Models + 自一致性映射 + 第14章 + + + + + + +### 3.7.4 实验：不同改进的效果 + + + + +```python +class ImprovedDDPMExperiments: + """实验不同的DDPM改进方法""" + + @staticmethod + def cosine_beta_schedule(num_timesteps, s=0.008): + """余弦噪声调度（Improved DDPM）""" + steps = num_timesteps + 1 + x = torch.linspace(0, num_timesteps, steps) + alphas_bar = torch.cos(((x / num_timesteps) + s) / (1 + s) * torch.pi * 0.5) ** 2 + alphas_bar = alphas_bar / alphas_bar[0] + betas = 1 - (alphas_bar[1:] / alphas_bar[:-1]) + return torch.clip(betas, 0.0001, 0.9999) + + @staticmethod + def learned_variance_output(model_output, num_channels): + """学习方差的模型输出（Improved DDPM）""" + # 模型输出两倍通道：前半部分是均值，后半部分是对数方差 + mean, log_variance = torch.split(model_output, num_channels, dim=1) + + # 参数化对数方差在[beta_t, beta_tilde_t]之间 + # log_variance = log(beta_t) + v * log(beta_tilde_t / beta_t) + # 其中v是模型预测的插值参数 + return mean, log_variance + + @staticmethod + def ddim_sampling_step(x_t, epsilon_pred, t, t_prev, alphas_bar, eta=0): + """DDIM采样步骤（可调节随机性）""" + alpha_bar_t = alphas_bar[t] + alpha_bar_t_prev = alphas_bar[t_prev] if t_prev >= 0 else 1.0 + + # 计算x_0的预测 + x_0_pred = (x_t - torch.sqrt(1 - alpha_bar_t) * epsilon_pred) / torch.sqrt(alpha_bar_t) + + # 计算方差 + sigma_t = eta * torch.sqrt((1 - alpha_bar_t_prev) / (1 - alpha_bar_t)) * \ + torch.sqrt(1 - alpha_bar_t / alpha_bar_t_prev) + + # 预测x_{t-1} + mean = torch.sqrt(alpha_bar_t_prev) * x_0_pred + \ + torch.sqrt(1 - alpha_bar_t_prev - sigma_t**2) * epsilon_pred + + if t_prev > 0: + noise = torch.randn_like(x_t) + x_t_prev = mean + sigma_t * noise + else: + x_t_prev = mean + + return x_t_prev + + @staticmethod + def compare_sampling_methods(model, device='cuda'): + """比较不同采样方法的效果""" + results = {} + + # 标准DDPM采样 + print("Testing standard DDPM sampling...") + start_time = time.time() + ddpm_samples = standard_ddpm_sample(model, num_samples=16, num_steps=1000) + ddpm_time = time.time() - start_time + results['ddpm'] = {'samples': ddpm_samples, 'time': ddpm_time} + + # DDIM采样（50步） + print("Testing DDIM sampling (50 steps)...") + start_time = time.time() + ddim_samples = ddim_sample(model, num_samples=16, num_steps=50, eta=0) + ddim_time = time.time() - start_time + results['ddim'] = {'samples': ddim_samples, 'time': ddim_time} + + # 带随机性的DDIM采样 + print("Testing stochastic DDIM (eta=0.5)...") + start_time = time.time() + stochastic_samples = ddim_sample(model, num_samples=16, num_steps=50, eta=0.5) + stochastic_time = time.time() - start_time + results['stochastic'] = {'samples': stochastic_samples, 'time': stochastic_time} + + return results +``` + + + + + +练习 3.7：实现简化版DDIM + 基于本章学到的DDPM知识，实现一个简化版的DDIM采样器，支持可变步数采样。 + +@torch.no_grad() +def simplified_ddim_sample(model, shape, num_inference_steps=50, + num_train_steps=1000, eta=0.0, device='cuda'): + """简化版DDIM采样实现 + + Args: + model: 训练好的噪声预测模型 + shape: 生成图像的形状 + num_inference_steps: 推理步数（= 0 else 1.0 + + # 预测x_0 + x_0_pred = (x_t - torch.sqrt(1 - alpha_bar_t) * epsilon_pred) / torch.sqrt(alpha_bar_t) + x_0_pred = torch.clamp(x_0_pred, -1, 1) # 数值稳定性 + + # 计算方差 + sigma_t = eta * torch.sqrt((1 - alpha_bar_t_prev) / (1 - alpha_bar_t)) * \ + torch.sqrt(1 - alpha_bar_t / alpha_bar_t_prev) if t_prev >= 0 else 0 + + # 计算均值 + mean = torch.sqrt(alpha_bar_t_prev) * x_0_pred + \ + torch.sqrt(1 - alpha_bar_t_prev - sigma_t**2) * epsilon_pred + + # 添加噪声 + if t_prev >= 0: + noise = torch.randn_like(x_t) if eta > 0 else 0 + x_t = mean + sigma_t * noise + else: + x_t = mean + + return x_t + +# 测试不同步数和eta值 +test_configs = [ + {'steps': 10, 'etas': [0.0, 0.3, 0.7, 1.0]}, + {'steps': 25, 'etas': [0.0, 0.3, 0.7, 1.0]}, + {'steps': 50, 'etas': [0.0, 0.3, 0.7, 1.0]} +] + +print("DDIM采样测试结果:") +print("="*60) +print("步数 | η值 | 采样时间(s) | 相对质量评估") +print("-"*60) + +for config in test_configs: + num_steps = config['steps'] + for eta in config['etas']: + import time + start = time.time() + samples = simplified_ddim_sample( + model, shape=(1, 1, 28, 28), + num_inference_steps=num_steps, + eta=eta + ) + elapsed = time.time() - start + + # 简单的质量评估（基于样本统计） + quality = "高" if samples.std() > 0.3 else ("中" if samples.std() > 0.2 else "低") + + print(f"{num_steps:4d} | {eta:4.1f} | {elapsed:11.4f} | {quality}") + +print("\n关键观察:") +print("- η=0 (确定性采样) 速度最快，质量稳定") +print("- η=1 (完全随机，等同于DDPM) 质量最高但速度慢") +print("- 步数减少显著提升速度，但可能影响质量") + + + + + + +## 本章小结 + + 在本章中，我们深入学习了DDPM（去噪扩散概率模型）的核心原理和实现细节： + + + +#### 主要收获 + + + + - **理论基础**：理解了前向扩散过程、反向去噪过程和变分下界的推导 + - **实践实现**：构建了完整的DDPM系统，包括U-Net架构、训练循环和采样算法 + - **评估方法**：学习了FID、IS等生成模型评估指标的计算和使用 + - **局限认识**：了解了DDPM的主要问题，为学习后续改进方法打下基础 + + + + +#### 关键要点 + + + + - DDPM通过逐步添加噪声和学习逆过程来生成数据 + - 训练目标简化为预测每一步添加的噪声 + - 采样过程需要多步迭代，这是主要的效率瓶颈 + - 模型质量高但推理速度慢，这推动了后续的众多改进 + + + + +#### 展望 + + +在接下来的章节中，我们将探索： + + + + - **第4章**：从分数匹配的角度重新理解扩散模型 + - **第5章**：连续时间框架下的SDE/ODE表述 + - **第8章**：DDIM等快速采样方法的原理与实现 + + + + +DDPM奠定了现代扩散模型的基础，理解它的原理对于掌握后续的高级技术至关重要。继续前进，让我们在下一章探索扩散模型的另一种视角——基于分数的生成模型！ \ No newline at end of file diff --git a/chapter4.html b/chapter4.html deleted file mode 100644 index 54c1445..0000000 --- a/chapter4.html +++ /dev/null @@ -1,2639 +0,0 @@ - - - - - - 第4章：基于分数的生成模型 - 扩散模型教程 - - - - - - - -
-
- ← 上一章 - 第4章 / 共14章 - 下一章 → -
- -

第4章：基于分数的生成模型

- -
- 基于分数的生成模型（Score-based Generative Models）提供了理解扩散模型的另一个重要视角。通过直接学习数据分布的分数函数（score function，即对数概率密度的梯度），我们可以构建强大的生成模型。本章将深入探讨分数匹配、Langevin动力学以及它们与扩散模型的深层联系。从NCSN到Score SDE，我们将看到分数模型如何与DDPM统一在同一框架下。 -
- -

4.1 分数函数的直觉与重要性

- -

4.1.1 什么是分数函数？

- -

分数函数（score function）是概率论和统计学中的一个基本概念，它定义为对数概率密度函数关于数据的梯度：

- -
- $$\nabla_x \log p(x) = \frac{\nabla_x p(x)}{p(x)}$$ -
- -

这个看似简单的定义蕴含着深刻的意义。让我们通过几个例子来理解它。

- -
-
例1：一维高斯分布
-

对于标准正态分布 $p(x) = \frac{1}{\sqrt{2\pi}} e^{-\frac{x^2}{2}}$：

- -
- $$\log p(x) = -\frac{x^2}{2} - \frac{1}{2}\log(2\pi)$$ -
- -

分数函数为：

-
- $$\nabla_x \log p(x) = -x$$ -
- -

注意这个结果的直观性：

-
    -
  • 当 $x > 0$ 时，分数为负，指向原点（概率更高的方向）
    • -
  • 当 $x < 0$ 时，分数为正，也指向原点
    • -
  • 分数的大小与偏离原点的距离成正比
    • -
-
- -
-
例2：多峰分布
-

考虑高斯混合模型 $p(x) = \frac{1}{2} \mathcal{N}(x; -2, 1) + \frac{1}{2} \mathcal{N}(x; 2, 1)$

- -

分数函数为：

-
- $$\nabla_x \log p(x) = \frac{p_1(x)(x+2) + p_2(x)(x-2)}{p_1(x) + p_2(x)}$$ -
- -

其中 $p_1(x) = \mathcal{N}(x; -2, 1)$，$p_2(x) = \mathcal{N}(x; 2, 1)$。

- -

这个分数函数的行为更复杂：

-
    -
  • 在两个峰值附近，分数指向各自的峰值
    • -
  • 在两峰之间存在一个"分水岭"，分数为零
    • -
  • 远离两峰的地方，分数指向最近的峰
    • -
-
- -
-

分数函数的关键性质

-
    -
  1. 无需归一化常数：计算 $\nabla_x \log p(x)$ 时，归一化常数的梯度为零，自动消失
    2. -
  2. 向量场解释：分数函数定义了一个向量场，指向概率增加最快的方向
    3. -
  3. 与能量的关系：如果定义能量函数 $E(x) = -\log p(x)$，则分数函数是负能量梯度
    4. -
  4. 积分为零：对于合理的分布，$\mathbb{E}_{x \sim p}[\nabla_x \log p(x)] = 0$
    5. -
-
- -

分数函数与概率密度的关系

- -

虽然从分数函数不能直接恢复概率密度（因为缺少归一化常数），但它包含了分布形状的完整信息：

- -
-
分数函数的充分性
-

如果两个概率分布 $p$ 和 $q$ 在几乎处处有相同的分数函数：

-
- $$\nabla_x \log p(x) = \nabla_x \log q(x) \quad \text{a.e.}$$ -
-

则 $p = q$（作为概率分布）。

-
- -
-
# 可视化分数函数
-import numpy as np
-import torch
-
-def visualize_score_function_1d():
-    """一维分布的分数函数可视化"""
-    x = torch.linspace(-5, 5, 1000)
-    
-    # 示例1：单峰高斯
-    gaussian_score = -x
-    
-    # 示例2：高斯混合
-    p1 = torch.exp(-0.5 * (x + 2)**2) / np.sqrt(2 * np.pi)
-    p2 = torch.exp(-0.5 * (x - 2)**2) / np.sqrt(2 * np.pi)
-    p_mixture = 0.5 * p1 + 0.5 * p2
-    
-    # 混合分布的分数（避免数值问题）
-    mixture_score = (0.5 * p1 * (-(x + 2)) + 0.5 * p2 * (-(x - 2))) / (p_mixture + 1e-8)
-    
-    return x, gaussian_score, mixture_score
-
-# 使用示例
-x, score_gaussian, score_mixture = visualize_score_function_1d()
-print(f"在x=0处：高斯分数={score_gaussian[500]:.3f}, 混合分数={score_mixture[500]:.3f}")
-print(f"在x=2处：高斯分数={score_gaussian[700]:.3f}, 混合分数={score_mixture[700]:.3f}")
-
- -

4.1.2 为什么分数函数重要？

- -

分数函数在机器学习和统计学中扮演着核心角色，其重要性体现在多个方面：

- -

1. 无需归一化常数

- -

许多复杂的概率模型（如马尔可夫随机场、能量模型）的归一化常数难以计算：

- -
- $$p(x) = \frac{1}{Z} \exp(-E(x)), \quad Z = \int \exp(-E(x)) dx$$ -
- -

但分数函数可以直接计算，无需知道 $Z$：

- -
- $$\nabla_x \log p(x) = -\nabla_x E(x)$$ -
- -
-
实例：Ising模型
-

在统计物理中的Ising模型中，系统能量为：

-
- $$E(x) = -J \sum_{\langle i,j \rangle} x_i x_j - h \sum_i x_i$$ -
-

其中 $x_i \in \{-1, +1\}$。配分函数 $Z$ 的计算是 #P-hard 问题，但能量的梯度（在连续松弛下）却很容易计算。

-
- -

2. 采样算法的基础

- -

分数函数是许多高效采样算法的核心，特别是基于梯度的马尔可夫链蒙特卡洛（MCMC）方法：

- -
-
Langevin动力学
-

给定目标分布 $p(x)$，以下随机微分方程的平稳分布是 $p(x)$：

-
- $$dx = \nabla_x \log p(x) dt + \sqrt{2} dW_t$$ -
-

这表明只需要分数函数就可以从分布中采样！

-
- -

3. 与优化的深刻联系

- -

分数函数连接了概率建模和优化理论：

- - - -

4. 在生成模型中的应用

- -

分数函数在现代生成模型中起着关键作用：

- -
-

扩散模型的两种视角

-
    -
  1. 去噪视角（DDPM）：学习在不同噪声水平下去除噪声
    2. -
  2. 分数匹配视角：学习不同时刻的分数函数 $\nabla_x \log p_t(x)$
    3. -
-

这两种视角在数学上是等价的！去噪函数和分数函数之间存在简单的线性关系。

-
- -

5. 理论优势

- -
-
Fisher信息与分数函数
-

Fisher信息矩阵定义为：

-
- $$\mathcal{I} = \mathbb{E}_{x \sim p}[\nabla_x \log p(x) \nabla_x \log p(x)^T]$$ -
-

它刻画了分布的"信息几何"，在：

-
    -
  • 参数估计的Cramér-Rao下界
    • -
  • 自然梯度下降
    • -
  • 信息几何和流形优化
    • -
-

中都起着核心作用。

-
- -
-
# 演示分数函数的各种应用
-import torch
-import torch.nn as nn
-
-class ScoreFunctionApplications:
-    """分数函数的应用演示"""
-    
-    @staticmethod
-    def langevin_sampling(score_fn, x_init, n_steps=1000, step_size=0.01):
-        """使用Langevin动力学采样
-        
-        Args:
-            score_fn: 分数函数 s(x) = ∇log p(x)
-            x_init: 初始点
-            n_steps: 采样步数
-            step_size: 步长
-        """
-        x = x_init.clone()
-        samples = [x.clone()]
-        
-        for _ in range(n_steps):
-            noise = torch.randn_like(x)
-            x = x + step_size * score_fn(x) + torch.sqrt(2 * step_size) * noise
-            samples.append(x.clone())
-            
-        return torch.stack(samples)
-    
-    @staticmethod
-    def mode_finding(score_fn, x_init, n_steps=100, step_size=0.1):
-        """使用分数函数寻找模式（局部最大值）
-        
-        通过梯度上升找到 ∇log p(x) = 0 的点
-        """
-        x = x_init.clone()
-        x.requires_grad_(True)
-        
-        for _ in range(n_steps):
-            score = score_fn(x)
-            x = x + step_size * score
-            
-            # 检查收敛
-            if torch.norm(score) < 1e-4:
-                break
-                
-        return x.detach()
-    
-    @staticmethod
-    def score_matching_loss(model, x, noise_level):
-        """分数匹配损失函数
-        
-        Args:
-            model: 神经网络，预测分数
-            x: 数据点
-            noise_level: 噪声水平 σ
-        """
-        # 添加噪声
-        noise = torch.randn_like(x)
-        x_noisy = x + noise_level * noise
-        
-        # 真实分数（对于高斯噪声）
-        true_score = -(x_noisy - x) / (noise_level ** 2)
-        
-        # 预测分数
-        pred_score = model(x_noisy, noise_level)
-        
-        # 分数匹配损失
-        loss = 0.5 * ((pred_score - true_score) ** 2).sum(dim=-1).mean()
-        
-        return loss
-
-# 使用示例
-score_app = ScoreFunctionApplications()
-
-# 定义一个简单的分数函数（标准高斯）
-def gaussian_score(x):
-    return -x
-
-# 从任意初始点采样
-x_init = torch.tensor([3.0, -2.0])
-samples = score_app.langevin_sampling(gaussian_score, x_init, n_steps=100)
-print(f"初始点: {x_init}")
-print(f"最终样本: {samples[-1]}")
-print(f"样本均值: {samples[-50:].mean(dim=0)}")  # 应接近 (0, 0)
-
- -

6. 计算效率

- -

在高维空间中，分数函数的计算和学习往往比直接学习概率密度更高效：

- - - -

4.1.3 分数函数的几何意义

- -

分数函数不仅是一个数学工具，它还有深刻的几何直觉。理解这些几何性质有助于我们更好地设计和分析基于分数的算法。

- -

1. 分数函数作为向量场

- -

分数函数 $\nabla_x \log p(x)$ 在每个点 $x$ 定义了一个向量，这些向量共同构成了一个向量场。这个向量场有特殊的性质：

- -
-

向量场的直观理解

-
    -
  • 方向：指向概率密度增长最快的方向
    • -
  • 大小：反映概率密度的变化率
    • -
  • 流线：沿着向量场的积分曲线从低概率区域流向高概率区域
    • -
-
- -
-
二维高斯分布的分数场
-

对于二维高斯分布 $\mathcal{N}(\mu, \Sigma)$，分数函数为：

-
- $$\nabla_x \log p(x) = -\Sigma^{-1}(x - \mu)$$ -
- -

几何特征：

-
    -
  • 所有向量都指向均值 $\mu$
    • -
  • 距离均值越远，向量越长
    • -
  • 等概率线（椭圆）与分数向量正交
    • -
  • 沿着主轴方向，收敛速度由特征值决定
    • -
-
- -

2. 分数函数与水平集

- -

概率密度的水平集（等概率面）与分数函数有密切关系：

- -
-
水平集的正交性
-

在任意点 $x$，分数函数 $\nabla_x \log p(x)$ 垂直于过该点的等概率面。

- -

证明草图：设 $S_c = \{x : p(x) = c\}$ 是水平集。在 $S_c$ 上的任意切向量 $v$ 满足：

-
- $$v \cdot \nabla p(x) = 0$$ -
-

因此：

-
- $$v \cdot \nabla \log p(x) = v \cdot \frac{\nabla p(x)}{p(x)} = 0$$ -
-
- -

3. 分数函数的散度与拉普拉斯算子

- -

分数函数的散度揭示了分布的局部几何：

- -
- $$\nabla \cdot (\nabla \log p(x)) = \nabla^2 \log p(x) = \frac{\nabla^2 p(x)}{p(x)} - \frac{\|\nabla p(x)\|^2}{p(x)^2}$$ -
- -
-

散度的几何含义

-
    -
  • 正散度：该点是"源"，概率向外扩散（通常在分布的谷底）
    • -
  • 负散度：该点是"汇"，概率向内聚集（通常在分布的峰值附近）
    • -
  • 零散度：平衡点，可能是鞍点
    • -
-
- -

4. 动力系统视角

- -

将分数函数视为动力系统 $\dot{x} = \nabla_x \log p(x)$ 的向量场，我们可以分析其稳定性：

- -
-
平衡点与稳定性
-
    -
  1. 平衡点：$\nabla_x \log p(x^*) = 0$ 对应概率密度的临界点
    2. -
  2. 稳定性：由Hessian矩阵 $H = \nabla^2 \log p(x^*)$ 决定 -
      -
    • $H \prec 0$（负定）：稳定吸引子，对应局部最大值
      • -
    • $H \succ 0$（正定）：不稳定排斥点，对应局部最小值
      • -
    • $H$ 不定：鞍点
      • -
    -
    3. -
-
- -
-
# 可视化分数函数的几何性质
-import torch
-import numpy as np
-
-def analyze_score_geometry(score_fn, x):
-    """分析给定点的分数函数几何性质"""
-    x = x.requires_grad_(True)
-    
-    # 计算分数
-    score = score_fn(x)
-    
-    # 计算散度（Laplacian of log p）
-    divergence = 0
-    for i in range(len(x)):
-        grad_i = torch.autograd.grad(score[i], x, 
-                                    retain_graph=True, 
-                                    create_graph=True)[0]
-        divergence += grad_i[i]
-    
-    # 计算Hessian（用于稳定性分析）
-    hessian = torch.zeros(len(x), len(x))
-    for i in range(len(x)):
-        for j in range(len(x)):
-            if j >= i:  # 利用对称性
-                hess_ij = torch.autograd.grad(score[i], x, 
-                                            retain_graph=True, 
-                                            create_graph=True)[0][j]
-                hessian[i, j] = hess_ij
-                hessian[j, i] = hess_ij
-    
-    # 特征值分析
-    eigenvalues, eigenvectors = torch.linalg.eigh(hessian)
-    
-    return {
-        'score': score.detach(),
-        'divergence': divergence.detach(),
-        'hessian': hessian.detach(),
-        'eigenvalues': eigenvalues.detach(),
-        'eigenvectors': eigenvectors.detach()
-    }
-
-# 示例：分析二维高斯混合的几何性质
-def gmm_score(x, means, weights):
-    """高斯混合模型的分数函数"""
-    scores = []
-    probs = []
-    
-    for i, (mean, weight) in enumerate(zip(means, weights)):
-        diff = x - mean
-        prob = weight * torch.exp(-0.5 * torch.sum(diff**2))
-        score = -diff
-        scores.append(prob * score)
-        probs.append(prob)
-    
-    total_prob = sum(probs)
-    total_score = sum(scores) / (total_prob + 1e-8)
-    
-    return total_score
-
-# 分析不同位置的几何性质
-means = [torch.tensor([-2.0, 0.0]), torch.tensor([2.0, 0.0])]
-weights = [0.5, 0.5]
-
-# 在峰值处
-x_peak = torch.tensor([-2.0, 0.0])
-geometry_peak = analyze_score_geometry(
-    lambda x: gmm_score(x, means, weights), x_peak
-)
-print(f"峰值处：散度 = {geometry_peak['divergence']:.3f}")
-print(f"特征值：{geometry_peak['eigenvalues']}")
-
-# 在鞍点处（两峰之间）
-x_saddle = torch.tensor([0.0, 0.0])
-geometry_saddle = analyze_score_geometry(
-    lambda x: gmm_score(x, means, weights), x_saddle
-)
-print(f"\\n鞍点处：散度 = {geometry_saddle['divergence']:.3f}")
-print(f"特征值：{geometry_saddle['eigenvalues']}")
-
- -

5. 分数函数的流形结构

- -

在高维空间中，数据往往集中在低维流形附近。分数函数能够捕捉这种流形结构：

- -
-

流形上的分数分解

-

在数据流形 $\mathcal{M}$ 附近，分数函数可以分解为：

-
- $$\nabla_x \log p(x) = \nabla_{\mathcal{M}} \log p(x) + \nabla_{\perp} \log p(x)$$ -
-
    -
  • 切向分量 $\nabla_{\mathcal{M}} \log p(x)$：沿着流形移动，探索数据分布
    • -
  • 法向分量 $\nabla_{\perp} \log p(x)$：将点拉回流形，去除噪声
    • -
-

这解释了为什么分数模型能够有效地进行去噪和生成。

-
- -

6. 与最优传输的联系

- -

分数函数还与最优传输理论有深刻联系：

- -
-
Fokker-Planck方程
-

考虑概率流 $\partial_t p_t + \nabla \cdot (p_t v_t) = 0$，其中 $v_t$ 是速度场。如果选择：

-
- $$v_t(x) = \nabla_x \log p_t(x)$$ -
-

则得到的是梯度流，它在某种意义下是"最优"的传输方式。

-
- -

4.2 分数匹配（Score Matching）

- -

4.2.1 朴素分数匹配的困难

- -

给定数据分布 $p_{data}(x)$ 的样本，我们希望学习一个模型 $s_\theta(x)$ 来逼近真实的分数函数 $\nabla_x \log p_{data}(x)$。最直接的想法是最小化：

- -
- $$\mathcal{L}_{naive}(\theta) = \mathbb{E}_{x \sim p_{data}}\left[\|s_\theta(x) - \nabla_x \log p_{data}(x)\|^2\right]$$ -
- -

但这个目标函数存在一个致命问题：我们不知道真实的分数函数 $\nabla_x \log p_{data}(x)$！

- -
-

朴素方法的困境

-

计算 $\nabla_x \log p_{data}(x)$ 需要知道 $p_{data}(x)$，但：

-
    -
  • 如果我们知道 $p_{data}(x)$，就不需要学习了
    • -
  • 即使用核密度估计等方法估计 $p_{data}(x)$，在高维空间中也会失效
    • -
  • 数值微分在高维空间中不稳定且计算昂贵
    • -
-

这似乎是一个无解的循环依赖！

-
- -

Hyvärinen的突破性发现

- -

2005年，Aapo Hyvärinen提出了一个巧妙的解决方案。他发现可以将上述损失函数改写为不依赖于真实分数的形式：

- -
-
分数匹配定理（Hyvärinen, 2005）
-

在适当的正则性条件下（$p(x)$ 在边界处趋于零），以下等式成立：

-
- $$\mathbb{E}_{x \sim p_{data}}\left[\|s_\theta(x) - \nabla_x \log p_{data}(x)\|^2\right] = \mathbb{E}_{x \sim p_{data}}\left[\text{tr}(\nabla_x s_\theta(x)) + \frac{1}{2}\|s_\theta(x)\|^2\right] + C$$ -
-

其中 $C$ 是不依赖于 $\theta$ 的常数，$\text{tr}(\nabla_x s_\theta(x))$ 是雅可比矩阵的迹。

-
- -

证明的关键思想

- -

证明使用了分部积分的技巧。让我们看一个简化的一维情况：

- -
-
一维情况的推导
-

考虑期望：

-
- $$\mathbb{E}_{x \sim p}[(s_\theta(x) - \nabla_x \log p(x))^2]$$ -
- -

展开后：

-
- $$= \mathbb{E}_{x \sim p}[s_\theta(x)^2] - 2\mathbb{E}_{x \sim p}[s_\theta(x) \nabla_x \log p(x)] + \mathbb{E}_{x \sim p}[(\nabla_x \log p(x))^2]$$ -
- -

关键是处理中间项。注意到 $\nabla_x \log p(x) = \frac{\nabla_x p(x)}{p(x)}$，所以：

-
- $$\mathbb{E}_{x \sim p}[s_\theta(x) \nabla_x \log p(x)] = \int s_\theta(x) \frac{\nabla_x p(x)}{p(x)} p(x) dx = \int s_\theta(x) \nabla_x p(x) dx$$ -
- -

使用分部积分（假设边界项为零）：

-
- $$\int s_\theta(x) \nabla_x p(x) dx = -\int \nabla_x s_\theta(x) p(x) dx = -\mathbb{E}_{x \sim p}[\nabla_x s_\theta(x)]$$ -
-
- -

实际的困难

- -

虽然Hyvärinen的分数匹配理论上解决了问题，但在实践中仍面临挑战：

- -
-

计算挑战

-
    -
  1. 雅可比矩阵的迹：计算 $\text{tr}(\nabla_x s_\theta(x))$ 需要 $d$ 次反向传播（$d$ 是数据维度） -
      -
    • 对于图像（$d \sim 10^6$），计算成本过高
      • -
    • 虽然有Hutchinson迹估计等技巧，但会引入额外的方差
      • -
    -
    2. - -
  2. 数值稳定性： -
      -
    • 在数据分布的低密度区域，分数可能非常大
      • -
    • 训练不稳定，容易发散
      • -
    -
    3. - -
  3. 边界条件： -
      -
    • 理论要求 $p(x) \to 0$ 当 $\|x\| \to \infty$
      • -
    • 实际数据可能不满足这个条件
      • -
    -
    4. -
-
- -
-
# 朴素分数匹配的实现（仅用于说明，实践中很少使用）
-import torch
-import torch.nn as nn
-
-def compute_score_matching_loss(model, x):
-    """计算分数匹配损失（朴素版本）
-    
-    Args:
-        model: 神经网络，输出分数估计 s_θ(x)
-        x: 批量数据点 [batch_size, dim]
-    
-    Returns:
-        loss: 分数匹配损失
-    """
-    x = x.requires_grad_(True)
-    score = model(x)
-    
-    # 计算雅可比矩阵的迹
-    # 注意：这需要 dim 次反向传播！
-    trace_jacobian = 0
-    for i in range(x.shape[1]):
-        # 计算 ∂s_i/∂x_i
-        grad_i = torch.autograd.grad(
-            score[:, i].sum(), x, 
-            create_graph=True, retain_graph=True
-        )[0][:, i]
-        trace_jacobian = trace_jacobian + grad_i
-    
-    # 分数匹配损失
-    loss = 0.5 * (score ** 2).sum(dim=1) + trace_jacobian
-    
-    return loss.mean()
-
-# 更高效的实现：使用Hutchinson迹估计
-def compute_score_matching_loss_hutchinson(model, x, n_hutchinson=1):
-    """使用Hutchinson迹估计的分数匹配损失
-    
-    Args:
-        model: 神经网络
-        x: 数据点
-        n_hutchinson: Hutchinson估计的采样数
-    """
-    x = x.requires_grad_(True)
-    score = model(x)
-    
-    # Hutchinson迹估计
-    trace_jacobian = 0
-    for _ in range(n_hutchinson):
-        # 随机向量 v ~ N(0, I)
-        v = torch.randn_like(x)
-        
-        # 计算 v^T ∇_x s(x) v
-        grad_v = torch.autograd.grad(
-            (score * v).sum(), x,
-            create_graph=True, retain_graph=True
-        )[0]
-        trace_jacobian = trace_jacobian + (grad_v * v).sum(dim=1)
-    
-    trace_jacobian = trace_jacobian / n_hutchinson
-    
-    # 损失
-    loss = 0.5 * (score ** 2).sum(dim=1) + trace_jacobian
-    
-    return loss.mean()
-
-# 演示为什么朴素方法困难
-print("朴素分数匹配的计算复杂度：")
-print(f"图像 (1024×1024×3): 需要 {1024*1024*3:,} 次反向传播！")
-print(f"即使是 MNIST (28×28): 也需要 {28*28} 次反向传播")
-print("\nHutchinson估计引入方差，需要权衡：")
-print("- 更多采样 → 更准确但更慢")
-print("- 更少采样 → 更快但方差大")
-
- -

为什么需要新方法？

- -

朴素分数匹配的这些困难促使研究者寻找更实用的方法：

- - - -

接下来我们将详细介绍这些更实用的方法。

- -

4.2.2 去噪分数匹配（Denoising Score Matching）

- -

去噪分数匹配（DSM）是Vincent (2011)提出的一个优雅的解决方案，它巧妙地避开了计算雅可比矩阵的问题。核心思想是：与其直接学习数据分布的分数，不如学习加噪数据分布的分数。

- -

核心思想

- -

给定干净数据 $x \sim p_{data}(x)$ 和噪声分布 $p_\sigma(\tilde{x}|x)$（通常是高斯噪声），定义加噪数据分布：

- -
- $$p_\sigma(\tilde{x}) = \int p_{data}(x) p_\sigma(\tilde{x}|x) dx$$ -
- -

去噪分数匹配的关键洞察是：加噪分布的分数函数可以用条件期望表示。

- -
-
去噪分数匹配定理
-

对于高斯噪声 $p_\sigma(\tilde{x}|x) = \mathcal{N}(\tilde{x}; x, \sigma^2 I)$，加噪分布的分数函数为：

-
- $$\nabla_{\tilde{x}} \log p_\sigma(\tilde{x}) = \mathbb{E}_{x \sim p(x|\tilde{x})}\left[\frac{x - \tilde{x}}{\sigma^2}\right]$$ -
-

这意味着分数函数指向"去噪"的方向！

-
- -

为什么这解决了问题？

- -

去噪分数匹配的损失函数为：

- -
- $$\mathcal{L}_{DSM}(\theta) = \mathbb{E}_{x \sim p_{data}} \mathbb{E}_{\tilde{x} \sim \mathcal{N}(x, \sigma^2 I)}\left[\left\|s_\theta(\tilde{x}, \sigma) - \frac{x - \tilde{x}}{\sigma^2}\right\|^2\right]$$ -
- -
-

DSM的优势

-
    -
  1. 无需计算雅可比矩阵：目标函数中的真实分数 $\frac{x - \tilde{x}}{\sigma^2}$ 是已知的！
    2. -
  2. 数值稳定：加噪使得分布更平滑，分数函数更稳定
    3. -
  3. 与去噪的联系：学习分数等价于学习去噪，这有直观的解释
    4. -
  4. 计算高效：只需要前向传播，没有额外的计算开销
    5. -
-
- -

多尺度去噪分数匹配

- -

单一噪声水平的DSM仍有局限：在低噪声时难以覆盖整个数据空间，在高噪声时丢失细节。Song & Ermon (2019)提出使用多个噪声水平：

- -
-
噪声调度的设计
-

选择一系列递增的噪声水平 $\{\sigma_i\}_{i=1}^L$，通常采用几何级数：

-
- $$\sigma_i = \sigma_{\min} \left(\frac{\sigma_{\max}}{\sigma_{\min}}\right)^{\frac{i-1}{L-1}}$$ -
- -

损失函数变为：

-
- $$\mathcal{L}(\theta) = \sum_{i=1}^L \lambda(\sigma_i) \mathbb{E}_{x, \tilde{x}}\left[\left\|s_\theta(\tilde{x}, \sigma_i) - \frac{x - \tilde{x}}{\sigma_i^2}\right\|^2\right]$$ -
- -

其中 $\lambda(\sigma_i)$ 是权重函数，常见选择包括：

-
    -
  • 均匀权重：$\lambda(\sigma) = 1$
    • -
  • 与噪声成比例：$\lambda(\sigma) = \sigma^2$
    • -
  • 平衡权重：$\lambda(\sigma) = \sigma$
    • -
-
- -
-
# 去噪分数匹配的实现
-import torch
-import torch.nn as nn
-import numpy as np
-
-class DenoisingScoreMatching:
-    """去噪分数匹配训练框架"""
-    
-    def __init__(self, sigma_min=0.01, sigma_max=50, num_scales=10):
-        """
-        Args:
-            sigma_min: 最小噪声标准差
-            sigma_max: 最大噪声标准差
-            num_scales: 噪声尺度数量
-        """
-        self.sigmas = torch.exp(
-            torch.linspace(
-                np.log(sigma_min), 
-                np.log(sigma_max), 
-                num_scales
-            )
-        )
-    
-    def get_noisy_data(self, x, sigma_idx=None):
-        """添加高斯噪声
-        
-        Args:
-            x: 干净数据 [batch_size, ...]
-            sigma_idx: 噪声级别索引（None表示随机选择）
-        
-        Returns:
-            x_noisy: 加噪数据
-            sigma: 使用的噪声标准差
-            target_score: 真实分数
-        """
-        batch_size = x.shape[0]
-        
-        # 选择噪声级别
-        if sigma_idx is None:
-            sigma_idx = torch.randint(0, len(self.sigmas), (batch_size,))
-        
-        sigma = self.sigmas[sigma_idx].view(batch_size, *([1] * (x.ndim - 1)))
-        sigma = sigma.to(x.device)
-        
-        # 添加噪声
-        noise = torch.randn_like(x)
-        x_noisy = x + sigma * noise
-        
-        # 真实分数：(x - x_noisy) / sigma^2
-        target_score = -(noise / sigma)  # 注意这里用noise/sigma而不是(x-x_noisy)/sigma^2
-        
-        return x_noisy, sigma.squeeze(), target_score
-    
-    def loss_fn(self, model, x):
-        """计算去噪分数匹配损失
-        
-        Args:
-            model: 分数模型 s_θ(x, σ)
-            x: 批量干净数据
-        
-        Returns:
-            loss: DSM损失
-            info: 额外信息用于日志
-        """
-        # 获取加噪数据和目标
-        x_noisy, sigma, target_score = self.get_noisy_data(x)
-        
-        # 模型预测
-        pred_score = model(x_noisy, sigma)
-        
-        # 计算损失（可以加权）
-        loss = 0.5 * ((pred_score - target_score) ** 2).sum(dim=tuple(range(1, x.ndim)))
-        
-        # 按噪声级别加权
-        loss_weights = sigma  # 或 sigma**2，或 1
-        weighted_loss = (loss * loss_weights).mean()
-        
-        info = {
-            'loss': weighted_loss.item(),
-            'mean_score_norm': pred_score.norm(dim=-1).mean().item(),
-            'mean_sigma': sigma.mean().item()
-        }
-        
-        return weighted_loss, info
-
-# 简单的分数网络示例
-class ScoreNet(nn.Module):
-    """条件分数网络 s_θ(x, σ)"""
-    
-    def __init__(self, data_dim, hidden_dim=128, embed_dim=128):
-        super().__init__()
-        
-        # 时间/噪声嵌入
-        self.embed = nn.Sequential(
-            nn.Linear(1, embed_dim),
-            nn.SiLU(),
-            nn.Linear(embed_dim, embed_dim)
-        )
-        
-        # 主网络
-        self.net = nn.Sequential(
-            nn.Linear(data_dim + embed_dim, hidden_dim),
-            nn.SiLU(),
-            nn.Linear(hidden_dim, hidden_dim),
-            nn.SiLU(),
-            nn.Linear(hidden_dim, hidden_dim),
-            nn.SiLU(),
-            nn.Linear(hidden_dim, data_dim)
-        )
-    
-    def forward(self, x, sigma):
-        """
-        Args:
-            x: 输入数据 [batch_size, data_dim]
-            sigma: 噪声标准差 [batch_size]
-        """
-        # 嵌入噪声级别
-        sigma_embed = self.embed(sigma.log().unsqueeze(-1))
-        
-        # 拼接并通过网络
-        h = torch.cat([x, sigma_embed], dim=-1)
-        score = self.net(h)
-        
-        # 按照理论，分数应该与1/sigma成比例
-        # 这里可以选择是否要显式建模这个关系
-        return score / sigma.unsqueeze(-1)
-
-# 使用示例
-dsm = DenoisingScoreMatching()
-model = ScoreNet(data_dim=2)
-optimizer = torch.optim.Adam(model.parameters(), lr=1e-3)
-
-# 生成一些2D数据用于演示
-x_data = torch.randn(100, 2) * 0.5 + torch.tensor([[2.0, 2.0]])
-
-# 训练步骤
-model.train()
-loss, info = dsm.loss_fn(model, x_data)
-loss.backward()
-optimizer.step()
-
-print(f"DSM Loss: {info['loss']:.4f}")
-print(f"Mean Score Norm: {info['mean_score_norm']:.4f}")
-print(f"Mean Sigma: {info['mean_sigma']:.4f}")
-
- -

理论保证

- -

去噪分数匹配不仅实用，还有坚实的理论基础：

- -
-
DSM的一致性
-

在适当的正则性条件下，最小化DSM损失等价于最小化以下KL散度：

-
- $$\min_\theta \text{KL}(p_\sigma(\tilde{x}) \| p_\theta(\tilde{x}))$$ -
-

其中 $p_\theta$ 是由分数函数 $s_\theta$ 诱导的分布。

-
- -

与DDPM的联系

- -

去噪分数匹配与DDPM有深刻的联系：

- -
-

统一视角

-

DDPM的去噪目标：

-
- $$\mathcal{L}_{DDPM} = \mathbb{E}\left[\|\epsilon - \epsilon_\theta(x_t, t)\|^2\right]$$ -
- -

通过变量替换 $s_\theta(x_t, t) = -\frac{\epsilon_\theta(x_t, t)}{\sqrt{1-\bar{\alpha}_t}}$，这等价于：

-
- $$\mathcal{L}_{DSM} = \mathbb{E}\left[\|s_\theta(x_t, t) - \nabla_{x_t} \log p_t(x_t)\|^2\right]$$ -
- -

因此，DDPM本质上就是在做去噪分数匹配！

-
- -

4.2.3 切片分数匹配（Sliced Score Matching）

- -

切片分数匹配（Sliced Score Matching, SSM）是Song et al. (2020)提出的另一个避免计算雅可比矩阵的方法。核心思想是将高维分数匹配问题投影到随机选择的一维方向上。

- -

基本思想

- -

对于任意单位向量 $v \in \mathbb{R}^d$（$\|v\| = 1$），定义投影分数：

- -
- $$s_v(x) = v^T \nabla_x \log p(x) = v^T s(x)$$ -
- -

这是分数函数在方向 $v$ 上的投影。关键观察是：如果我们知道所有方向上的投影，就能重构完整的分数函数。

- -
-
切片分数匹配定理
-

分数匹配目标可以重写为：

-
- $$\mathbb{E}_{x \sim p_{data}}\left[\|s_\theta(x) - \nabla_x \log p(x)\|^2\right] = \mathbb{E}_{x \sim p_{data}} \mathbb{E}_{v \sim \mathcal{N}(0,I)}\left[\left(v^T s_\theta(x) - v^T \nabla_x \log p(x)\right)^2\right]$$ -
- -

更重要的是，使用分部积分后：

-
- $$= \mathbb{E}_{x \sim p_{data}} \mathbb{E}_{v \sim \mathcal{N}(0,I)}\left[2 v^T \nabla_x (v^T s_\theta(x)) + (v^T s_\theta(x))^2\right] + C$$ -
- -

其中 $v^T \nabla_x (v^T s_\theta(x))$ 只需要计算一个方向导数，而不是完整的雅可比矩阵！

-
- -

计算优势

- -
-

为什么SSM更高效？

-
    -
  • 朴素分数匹配：需要计算 $d \times d$ 的雅可比矩阵的迹，需要 $O(d)$ 次反向传播
    • -
  • 切片分数匹配：只需要计算方向导数 $v^T \nabla_x (v^T s_\theta(x))$，只需要 $O(1)$ 次反向传播
    • -
  • 随机性：通过对多个随机方向 $v$ 求平均来降低方差
    • -
-
- -

实现细节

- -
-
# 切片分数匹配的实现
-import torch
-import torch.nn as nn
-
-def sliced_score_matching_loss(model, x, n_slices=1):
-    """计算切片分数匹配损失
-    
-    Args:
-        model: 分数模型 s_θ(x)
-        x: 数据点 [batch_size, dim]
-        n_slices: 每个样本使用的随机投影数
-    
-    Returns:
-        loss: SSM损失
-    """
-    batch_size = x.shape[0]
-    dim = x.shape[1]
-    
-    # 需要梯度来计算二阶导数
-    x = x.requires_grad_(True)
-    
-    # 计算分数
-    score = model(x)  # [batch_size, dim]
-    
-    # 初始化损失
-    loss = 0
-    
-    for _ in range(n_slices):
-        # 采样随机方向
-        v = torch.randn(batch_size, dim, device=x.device)
-        v = v / v.norm(dim=1, keepdim=True)  # 归一化
-        
-        # 计算投影分数 v^T s(x)
-        s_v = (score * v).sum(dim=1)  # [batch_size]
-        
-        # 计算方向导数 v^T ∇_x (v^T s(x))
-        grad_s_v = torch.autograd.grad(
-            s_v.sum(), x,
-            create_graph=True,
-            retain_graph=True
-        )[0]  # [batch_size, dim]
-        
-        # v^T ∇_x (v^T s(x))
-        tr_grad_s_v = (grad_s_v * v).sum(dim=1)  # [batch_size]
-        
-        # 累加损失：2 * tr_grad_s_v + s_v^2
-        loss = loss + (2 * tr_grad_s_v + s_v ** 2)
-    
-    # 平均over slices和batch
-    return loss.mean() / n_slices
-
-# 改进版：使用Hutchinson估计进一步优化
-def sliced_score_matching_loss_v2(model, x, n_slices=1):
-    """SSM的另一种实现，计算上等价但可能数值更稳定"""
-    
-    x = x.requires_grad_(True)
-    score = model(x)
-    
-    loss = 0
-    
-    for _ in range(n_slices):
-        # 随机投影向量
-        v = torch.randn_like(x)
-        v = v / v.norm(dim=1, keepdim=True)
-        
-        # 计算 v^T J_s v，其中 J_s 是分数的雅可比矩阵
-        # 这等价于计算 ∇_x (v^T s(x)) · v
-        v_dot_score = (score * v).sum(dim=1)
-        
-        # 直接计算二阶导数
-        grad2 = torch.autograd.grad(
-            outputs=v_dot_score,
-            inputs=x,
-            grad_outputs=torch.ones_like(v_dot_score),
-            create_graph=True,
-            retain_graph=True
-        )[0]
-        
-        # 方向二阶导数
-        tr_hessian = (grad2 * v).sum(dim=1)
-        
-        # SSM损失
-        loss = loss + (v_dot_score ** 2 + 2 * tr_hessian)
-    
-    return loss.mean() / n_slices
-
-# 结合去噪的切片分数匹配
-class SlicedDenoisingScoreMatching:
-    """结合切片技术和去噪技术"""
-    
-    def __init__(self, sigma_min=0.01, sigma_max=50, num_scales=10):
-        self.sigmas = torch.exp(
-            torch.linspace(np.log(sigma_min), np.log(sigma_max), num_scales)
-        )
-    
-    def loss_fn(self, model, x, n_slices=1):
-        """切片去噪分数匹配损失
-        
-        这结合了SSM的计算效率和DSM的稳定性
-        """
-        batch_size = x.shape[0]
-        
-        # 随机选择噪声级别
-        sigma_idx = torch.randint(0, len(self.sigmas), (batch_size,))
-        sigma = self.sigmas[sigma_idx].to(x.device)
-        
-        # 添加噪声
-        noise = torch.randn_like(x)
-        x_noisy = x + sigma.view(-1, 1) * noise
-        
-        # 模型预测
-        score_pred = model(x_noisy, sigma)
-        
-        # 真实分数
-        score_true = -noise / sigma.view(-1, 1)
-        
-        # 切片损失：不需要计算雅可比矩阵！
-        loss = 0
-        for _ in range(n_slices):
-            v = torch.randn_like(x)
-            v = v / v.norm(dim=1, keepdim=True)
-            
-            # 投影误差
-            proj_pred = (score_pred * v).sum(dim=1)
-            proj_true = (score_true * v).sum(dim=1)
-            
-            loss = loss + (proj_pred - proj_true) ** 2
-        
-        # 加权
-        weighted_loss = (loss * sigma).mean() / n_slices
-        
-        return weighted_loss
-
-# 演示使用
-print("切片分数匹配的计算效率比较：")
-print("设数据维度 d = 1000")
-print("- 朴素分数匹配：需要 1000 次反向传播")
-print("- 切片分数匹配（10个切片）：只需要 10 次反向传播")
-print("- 加速比：100x！")
-print("\n注意：SSM引入了额外的方差，需要更多的训练步数")
-
- -

理论分析

- -

切片分数匹配的收敛性和效率取决于几个因素：

- -
-
方差分析
-

设 $m$ 是每个样本使用的切片数，则SSM估计器的方差为：

-
- $$\text{Var}[\mathcal{L}_{SSM}] \approx \frac{1}{m} \text{Var}[\mathcal{L}_{SM}]$$ -
-

这意味着：

-
    -
  • 使用更多切片可以降低方差
    • -
  • 但计算成本线性增长
    • -
  • 实践中，$m = 1$ 到 $m = 10$ 通常就足够了
    • -
-
- -

实用建议

- -
-

什么时候使用SSM？

-
    -
  1. 高维数据：当 $d > 100$ 时，SSM的计算优势明显
    2. -
  2. 实时应用：需要快速训练时
    3. -
  3. 与DSM结合：可以同时使用去噪和切片技术
    4. -
  4. 注意事项： -
      -
    • SSM可能需要更多的训练迭代
      • -
    • 对于低维问题，朴素方法可能更稳定
      • -
    • 批量大小要足够大以降低方差
      • -
    -
    5. -
-
- -

与其他方法的比较

- -
-
分数匹配方法对比
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
方法计算复杂度稳定性适用场景
朴素SM$O(d)$ 反向传播高低维、小规模
去噪SM$O(1)$ 反向传播很高通用，特别是生成模型
切片SM$O(m)$ 反向传播中等高维、大规模
切片去噪SM$O(1)$ 反向传播高高维生成模型
-
- -

4.3 噪声条件分数网络（NCSN）

- -

4.3.1 多尺度噪声的动机

- -

噪声条件分数网络（Noise Conditional Score Networks, NCSN）是Song & Ermon (2019)提出的一个突破性方法。它解决了单一噪声水平分数匹配的根本限制。

- -

单一噪声水平的问题

- -

考虑在单一噪声水平 $\sigma$ 下学习分数函数。我们面临一个困境：

- -
-

噪声水平的两难选择

-
    -
  • 低噪声（$\sigma$ 小）： -
      -
    • ✓ 保留数据细节
      • -
    • ✗ 只覆盖数据流形附近的区域
      • -
    • ✗ 模式之间没有连接，采样困难
      • -
    -
    • -
  • 高噪声（$\sigma$ 大）： -
      -
    • ✓ 覆盖整个空间
      • -
    • ✓ 模式之间有连接
      • -
    • ✗ 丢失数据细节
      • -
    • ✗ 分数函数过于平滑
      • -
    -
    • -
-
- -
-
具体例子：二维混合高斯
-

考虑数据分布是两个分离的高斯分布：

-
- $$p_{data}(x) = \frac{1}{2}\mathcal{N}(x; [-5, 0], I) + \frac{1}{2}\mathcal{N}(x; [5, 0], I)$$ -
- -

不同噪声水平下的问题：

-
    -
  • $\sigma = 0.1$：两个模式完全分离，Langevin采样会困在一个模式中
    • -
  • $\sigma = 5.0$：两个模式混合成一个大的高斯，丢失了双峰结构
    • -
  • $\sigma = 1.0$：折中方案，但仍不理想
    • -
-
- -

多尺度方法的洞察

- -

NCSN的核心思想是使用一系列递增的噪声水平 $\{\sigma_i\}_{i=1}^L$，并学习所有噪声水平下的分数函数：

- -
- $$s_\theta(x, \sigma_i) \approx \nabla_x \log p_{\sigma_i}(x)$$ -
- -

其中 $p_{\sigma_i}(x) = \int p_{data}(x') \mathcal{N}(x; x', \sigma_i^2 I) dx'$。

- -
-
多尺度的优势
-
    -
  1. 全局到局部的探索：高噪声水平提供全局连通性，低噪声水平恢复局部细节
    2. -
  2. 平滑的过渡：相邻噪声水平之间的分布相似，便于学习和采样
    3. -
  3. 稳定的训练：每个噪声水平的分数函数都相对平滑
    4. -
  4. 退火采样：可以从高噪声逐步退火到低噪声，类似模拟退火
    5. -
-
- -

噪声调度的设计

- -

选择合适的噪声水平序列至关重要：

- -
-
# 不同的噪声调度策略
-import numpy as np
-import torch
-
-class NoiseSchedule:
-    """噪声调度的各种策略"""
-    
-    @staticmethod
-    def geometric(sigma_min=0.01, sigma_max=50.0, num_scales=10):
-        """几何级数：最常用，确保比例恒定
-        
-        σ_i = σ_min * (σ_max/σ_min)^((i-1)/(L-1))
-        """
-        return torch.exp(
-            torch.linspace(
-                np.log(sigma_min),
-                np.log(sigma_max),
-                num_scales
-            )
-        )
-    
-    @staticmethod
-    def linear(sigma_min=0.01, sigma_max=50.0, num_scales=10):
-        """线性间隔：简单但通常不是最优"""
-        return torch.linspace(sigma_min, sigma_max, num_scales)
-    
-    @staticmethod
-    def quadratic(sigma_min=0.01, sigma_max=50.0, num_scales=10):
-        """二次间隔：在低噪声区域更密集"""
-        t = torch.linspace(0, 1, num_scales)
-        return sigma_min + (sigma_max - sigma_min) * t**2
-    
-    @staticmethod
-    def cosine(sigma_min=0.01, sigma_max=50.0, num_scales=10):
-        """余弦调度：平滑过渡"""
-        t = torch.linspace(0, 1, num_scales)
-        return sigma_min + (sigma_max - sigma_min) * (1 - torch.cos(t * np.pi)) / 2
-    
-    @staticmethod
-    def adaptive(data_samples, num_scales=10, percentiles=[1, 99]):
-        """自适应调度：基于数据分布
-        
-        根据数据点之间的距离分布来选择噪声水平
-        """
-        # 计算数据点之间的成对距离
-        n = min(1000, len(data_samples))  # 采样以提高效率
-        idx = torch.randperm(len(data_samples))[:n]
-        samples = data_samples[idx]
-        
-        # 计算成对距离
-        dists = torch.cdist(samples, samples)
-        dists = dists[torch.triu(torch.ones_like(dists), diagonal=1).bool()]
-        
-        # 基于距离分布选择噪声水平
-        sigma_min = torch.quantile(dists, percentiles[0]/100)
-        sigma_max = torch.quantile(dists, percentiles[1]/100)
-        
-        return NoiseSchedule.geometric(sigma_min, sigma_max, num_scales)
-
-# 分析不同调度的特性
-def analyze_schedule(schedule_name, sigmas):
-    """分析噪声调度的特性"""
-    ratios = sigmas[1:] / sigmas[:-1]
-    
-    print(f"\n{schedule_name} Schedule:")
-    print(f"  Range: [{sigmas[0]:.3f}, {sigmas[-1]:.3f}]")
-    print(f"  Ratios: min={ratios.min():.3f}, max={ratios.max():.3f}, mean={ratios.mean():.3f}")
-    print(f"  First 3: {sigmas[:3].numpy()}")
-    print(f"  Last 3: {sigmas[-3:].numpy()}")
-
-# 比较不同调度
-num_scales = 10
-schedules = {
-    "Geometric": NoiseSchedule.geometric(num_scales=num_scales),
-    "Linear": NoiseSchedule.linear(num_scales=num_scales),
-    "Quadratic": NoiseSchedule.quadratic(num_scales=num_scales),
-    "Cosine": NoiseSchedule.cosine(num_scales=num_scales)
-}
-
-for name, sigmas in schedules.items():
-    analyze_schedule(name, sigmas)
-
- -

理论依据：退火重要性采样

- -

多尺度方法的理论基础来自于退火重要性采样（Annealed Importance Sampling, AIS）：

- -
-
退火采样的收敛性
-

设 $\{p_i\}_{i=0}^L$ 是一系列分布，满足：

-
    -
  • $p_0$ 容易采样（如标准高斯）
    • -
  • $p_L = p_{data}$ 是目标分布
    • -
  • 相邻分布"足够接近"：$D_{KL}(p_i \| p_{i+1}) < \epsilon$
    • -
-

则通过逐步采样和重要性重加权，可以高效地从 $p_{data}$ 采样。

-
- -

损失函数设计

- -

NCSN的损失函数需要考虑所有噪声水平：

- -
- $$\mathcal{L}(\theta) = \sum_{i=1}^L \lambda(\sigma_i) \mathbb{E}_{x \sim p_{data}} \mathbb{E}_{\tilde{x} \sim \mathcal{N}(x, \sigma_i^2 I)} \left[\left\|s_\theta(\tilde{x}, \sigma_i) + \frac{\tilde{x} - x}{\sigma_i^2}\right\|^2\right]$$ -
- -
-
权重函数 $\lambda(\sigma)$ 的选择
-

不同的权重策略会影响模型性能：

-
    -
  1. 均匀权重：$\lambda(\sigma) = 1/L$ -
      -
    • 简单直接
      • -
    • 可能对某些噪声水平欠拟合或过拟合
      • -
    -
    2. -
  2. 与噪声成比例：$\lambda(\sigma) = \sigma / \sum_j \sigma_j$ -
      -
    • 高噪声水平获得更多权重
      • -
    • 有助于全局结构的学习
      • -
    -
    3. -
  3. 与噪声平方成比例：$\lambda(\sigma) = \sigma^2 / \sum_j \sigma_j^2$ -
      -
    • 补偿不同噪声水平下的方差差异
      • -
    • Song & Ermon (2019) 的推荐选择
      • -
    -
    4. -
-
- -

实践考虑

- -
-

设计多尺度系统的要点

-
    -
  1. 噪声范围： -
      -
    • $\sigma_{max}$ 应该足够大，使得 $p_{\sigma_{max}} \approx \mathcal{N}(0, \sigma_{max}^2 I)$
      • -
    • $\sigma_{min}$ 应该足够小以保留数据细节，但不能太小导致数值不稳定
      • -
    -
    2. -
  2. 尺度数量： -
      -
    • 太少：相邻尺度差距大，退火效果差
      • -
    • 太多：计算成本高，可能过拟合
      • -
    • 典型选择：10-100个尺度
      • -
    -
    3. -
  3. 条件架构： -
      -
    • 网络必须能够根据噪声水平调整行为
      • -
    • 常用方法：FiLM conditioning、时间嵌入等
      • -
    -
    4. -
-
- -

4.3.2 NCSN架构设计

- -

设计一个有效的噪声条件分数网络需要考虑多个方面：网络如何处理不同尺度的输入、如何编码噪声水平信息，以及如何确保输出的正确尺度。

- -

核心设计原则

- -
-

NCSN架构的关键要求

-
    -
  1. 噪声条件化：网络必须根据噪声水平 $\sigma$ 调整其行为
    2. -
  2. 尺度等变性：分数函数具有特定的尺度关系：$\nabla_x \log p_\sigma(x) \propto 1/\sigma^2$
    3. -
  3. 多尺度特征：需要捕捉从粗到细的不同尺度特征
    4. -
  4. 计算效率：单个网络处理所有噪声水平
    5. -
-
- -

条件化机制

- -

有几种将噪声水平 $\sigma$ 融入网络的方法：

- -
-
1. 拼接方法（Concatenation）
-

最简单的方法是将噪声水平直接拼接到输入：

-
- $$s_\theta(x, \sigma) = f_\theta([x, \sigma \cdot \mathbf{1}])$$ -
-

其中 $\mathbf{1}$ 是与 $x$ 同维度的全1向量。

- -
    -
  • ✓ 简单直接
    • -
  • ✗ 可能不够灵活
    • -
  • ✗ 噪声信息可能在深层丢失
    • -
-
- -
-
2. FiLM条件化（Feature-wise Linear Modulation）
-

通过学习的缩放和偏移来调制特征：

-
- $$h' = \gamma(\sigma) \odot h + \beta(\sigma)$$ -
-

其中 $\gamma(\sigma)$ 和 $\beta(\sigma)$ 是从噪声水平学习的调制参数。

- -
    -
  • ✓ 更灵活的条件化
    • -
  • ✓ 可以应用于多个层
    • -
  • ✓ 保持特征的语义
    • -
-
- -
-
3. 位置编码方法（Positional Encoding）
-

借鉴Transformer的思想，使用正弦编码：

-
- $$\text{embed}(\sigma) = [\sin(2^0 \pi \sigma), \cos(2^0 \pi \sigma), ..., \sin(2^{L-1} \pi \sigma), \cos(2^{L-1} \pi \sigma)]$$ -
- -
    -
  • ✓ 能够表示连续的噪声水平
    • -
  • ✓ 具有良好的插值性质
    • -
  • ✓ 在Transformer架构中特别有效
    • -
-
- -
-
# NCSN架构实现
-import torch
-import torch.nn as nn
-import torch.nn.functional as F
-import numpy as np
-
-class SinusoidalEmbedding(nn.Module):
-    """正弦位置编码用于噪声水平"""
-    
-    def __init__(self, dim, scale=1.0):
-        super().__init__()
-        self.dim = dim
-        self.scale = scale
-    
-    def forward(self, x):
-        """
-        Args:
-            x: 噪声水平 [batch_size] 或 [batch_size, 1]
-        Returns:
-            嵌入 [batch_size, dim]
-        """
-        if x.dim() == 1:
-            x = x.unsqueeze(-1)
-        
-        half_dim = self.dim // 2
-        emb = np.log(10000) / half_dim
-        emb = torch.exp(-emb * torch.arange(half_dim, device=x.device))
-        emb = self.scale * x * emb
-        emb = torch.cat([torch.sin(emb), torch.cos(emb)], dim=-1)
-        
-        return emb
-
-class ConditionalInstanceNorm2d(nn.Module):
-    """条件实例归一化，用于FiLM"""
-    
-    def __init__(self, num_features, num_classes):
-        super().__init__()
-        self.num_features = num_features
-        self.norm = nn.InstanceNorm2d(num_features, affine=False)
-        
-        # 学习的调制参数
-        self.embed = nn.Linear(num_classes, num_features * 2)
-        self.embed.weight.data[:, :num_features].normal_(1, 0.02)  # gamma
-        self.embed.weight.data[:, num_features:].zero_()           # beta
-    
-    def forward(self, x, y):
-        """
-        Args:
-            x: 特征图 [batch_size, num_features, height, width]
-            y: 条件嵌入 [batch_size, num_classes]
-        """
-        out = self.norm(x)
-        gamma, beta = self.embed(y).chunk(2, dim=1)
-        gamma = gamma.view(-1, self.num_features, 1, 1)
-        beta = beta.view(-1, self.num_features, 1, 1)
-        
-        return gamma * out + beta
-
-class ResBlock(nn.Module):
-    """带条件化的残差块"""
-    
-    def __init__(self, in_channels, out_channels, embed_dim, dropout=0.1):
-        super().__init__()
-        self.in_channels = in_channels
-        self.out_channels = out_channels
-        
-        self.norm1 = ConditionalInstanceNorm2d(in_channels, embed_dim)
-        self.conv1 = nn.Conv2d(in_channels, out_channels, 3, padding=1)
-        
-        self.norm2 = ConditionalInstanceNorm2d(out_channels, embed_dim)
-        self.conv2 = nn.Conv2d(out_channels, out_channels, 3, padding=1)
-        
-        if in_channels != out_channels:
-            self.skip = nn.Conv2d(in_channels, out_channels, 1)
-        else:
-            self.skip = nn.Identity()
-        
-        self.dropout = nn.Dropout(dropout)
-    
-    def forward(self, x, embed):
-        """
-        Args:
-            x: 输入特征
-            embed: 噪声嵌入
-        """
-        h = self.norm1(x, embed)
-        h = F.silu(h)
-        h = self.conv1(h)
-        
-        h = self.norm2(h, embed)
-        h = F.silu(h)
-        h = self.dropout(h)
-        h = self.conv2(h)
-        
-        return h + self.skip(x)
-
-class NCSN(nn.Module):
-    """噪声条件分数网络"""
-    
-    def __init__(
-        self,
-        channels=3,
-        embed_dim=128,
-        channels_mult=[1, 2, 2, 2],
-        num_res_blocks=2,
-        dropout=0.1,
-        use_scale_shift_norm=True
-    ):
-        super().__init__()
-        
-        # 噪声嵌入
-        self.embed = nn.Sequential(
-            SinusoidalEmbedding(embed_dim),
-            nn.Linear(embed_dim, embed_dim * 4),
-            nn.SiLU(),
-            nn.Linear(embed_dim * 4, embed_dim * 4),
-            nn.SiLU(),
-            nn.Linear(embed_dim * 4, embed_dim)
-        )
-        
-        # U-Net编码器
-        self.conv_in = nn.Conv2d(channels, embed_dim, 3, padding=1)
-        
-        down_blocks = []
-        ch = embed_dim
-        for level, mult in enumerate(channels_mult):
-            for _ in range(num_res_blocks):
-                down_blocks.append(ResBlock(ch, mult * embed_dim, embed_dim, dropout))
-                ch = mult * embed_dim
-            if level != len(channels_mult) - 1:
-                down_blocks.append(nn.Conv2d(ch, ch, 3, stride=2, padding=1))
-        
-        self.down = nn.ModuleList(down_blocks)
-        
-        # 中间块
-        self.mid = nn.ModuleList([
-            ResBlock(ch, ch, embed_dim, dropout),
-            ResBlock(ch, ch, embed_dim, dropout)
-        ])
-        
-        # U-Net解码器
-        up_blocks = []
-        for level, mult in list(enumerate(channels_mult))[::-1]:
-            for _ in range(num_res_blocks + 1):
-                up_blocks.append(ResBlock(ch, mult * embed_dim, embed_dim, dropout))
-                ch = mult * embed_dim
-            if level != 0:
-                up_blocks.append(nn.ConvTranspose2d(ch, ch, 4, stride=2, padding=1))
-        
-        self.up = nn.ModuleList(up_blocks)
-        
-        # 输出层
-        self.norm_out = nn.GroupNorm(8, ch)
-        self.conv_out = nn.Conv2d(ch, channels, 3, padding=1)
-    
-    def forward(self, x, sigma):
-        """
-        Args:
-            x: 输入图像 [batch_size, channels, height, width]
-            sigma: 噪声水平 [batch_size]
-        
-        Returns:
-            分数估计 [batch_size, channels, height, width]
-        """
-        # 噪声嵌入
-        embed = self.embed(sigma.log())
-        
-        # 输入卷积
-        h = self.conv_in(x)
-        
-        # 下采样
-        hs = [h]
-        for layer in self.down:
-            if isinstance(layer, ResBlock):
-                h = layer(h, embed)
-            else:
-                h = layer(h)
-            hs.append(h)
-        
-        # 中间处理
-        for layer in self.mid:
-            h = layer(h, embed)
-        
-        # 上采样
-        for layer in self.up:
-            if isinstance(layer, ResBlock):
-                h = layer(torch.cat([h, hs.pop()], dim=1), embed)
-            else:
-                h = layer(h)
-        
-        # 输出
-        h = self.norm_out(h)
-        h = F.silu(h)
-        h = self.conv_out(h)
-        
-        # 重要：按照理论，分数应该与 1/sigma 成比例
-        # 但在实践中，我们让网络自己学习这个关系
-        return h
-
-# 轻量级版本用于演示
-class SimpleNCSN(nn.Module):
-    """简化的NCSN用于低维数据"""
-    
-    def __init__(self, data_dim, hidden_dim=128, embed_dim=32):
-        super().__init__()
-        
-        self.embed = SinusoidalEmbedding(embed_dim)
-        
-        self.net = nn.Sequential(
-            nn.Linear(data_dim + embed_dim, hidden_dim),
-            nn.SiLU(),
-            nn.Linear(hidden_dim, hidden_dim),
-            nn.SiLU(),
-            nn.Linear(hidden_dim, hidden_dim),
-            nn.SiLU(),
-            nn.Linear(hidden_dim, data_dim)
-        )
-    
-    def forward(self, x, sigma):
-        sigma_embed = self.embed(sigma)
-        h = torch.cat([x, sigma_embed], dim=-1)
-        return self.net(h) / sigma.unsqueeze(-1)
-
-# 测试架构
-def test_ncsn():
-    model = SimpleNCSN(data_dim=2)
-    x = torch.randn(10, 2)
-    sigma = torch.rand(10) * 10
-    score = model(x, sigma)
-    
-    print(f"输入形状: {x.shape}")
-    print(f"噪声水平: {sigma[:3]}")
-    print(f"分数输出形状: {score.shape}")
-    print(f"分数尺度: {score.abs().mean():.3f}")
-
-test_ncsn()
-
- -

架构设计考虑

- -
-

最佳实践

-
    -
  1. 归一化层的选择： -
      -
    • GroupNorm通常比BatchNorm更稳定
      • -
    • 条件InstanceNorm适合图像生成
      • -
    • LayerNorm适合Transformer架构
      • -
    -
    2. - -
  2. 激活函数： -
      -
    • SiLU (Swish) 通常优于ReLU
      • -
    • 平滑的激活函数有助于分数估计
      • -
    -
    3. - -
  3. 残差连接： -
      -
    • 深度网络必需
      • -
    • 有助于梯度流动
      • -
    • 稳定训练
      • -
    -
    4. - -
  4. 输出尺度： -
      -
    • 理论上分数 $\propto 1/\sigma$
      • -
    • 可以显式建模或让网络学习
      • -
    • 注意数值稳定性
      • -
    -
    5. -
-
- -

与其他架构的比较

- -
-
架构演进
-

从NCSN到后续工作的架构改进：

-
    -
  • NCSN (2019)：RefineNet架构，实例归一化
    • -
  • NCSN++ (2020)：改进的U-Net，GroupNorm，自注意力
    • -
  • DDPM (2020)：简化的U-Net，时间嵌入
    • -
  • Score SDE (2021)：统一框架，更灵活的架构选择
    • -
-
- -

4.3.3 退火Langevin动力学

- -

退火Langevin动力学（Annealed Langevin Dynamics, ALD）是NCSN用于生成样本的核心算法。它结合了Langevin MCMC和模拟退火的思想，通过逐步降低噪声水平来生成高质量样本。

- -

基础Langevin动力学

- -

回顾标准的Langevin动力学，对于目标分布 $p(x)$：

- -
- $$x_{t+1} = x_t + \frac{\epsilon}{2} \nabla_x \log p(x_t) + \sqrt{\epsilon} z_t, \quad z_t \sim \mathcal{N}(0, I)$$ -
- -

其中 $\epsilon$ 是步长。当 $\epsilon \to 0$ 且迭代次数 $\to \infty$ 时，这个马尔可夫链收敛到 $p(x)$。

- -

退火策略

- -

ALD的关键创新是使用一系列递减的噪声水平 $\{\sigma_i\}_{i=1}^L$，在每个噪声水平运行Langevin动力学：

- -
-
退火Langevin动力学算法
-
    -
  1. 初始化：$x_0 \sim \mathcal{N}(0, \sigma_1^2 I)$
    2. -
  2. 对于每个噪声水平 $\sigma_i$，$i = 1, ..., L$： -
      -
    1. 运行 $T$ 步Langevin更新： -
      - $$x_{t+1} = x_t + \epsilon_i s_\theta(x_t, \sigma_i) + \sqrt{2\epsilon_i} z_t$$ -
      -
      2. -
    2. 使用最后一步的样本作为下一个噪声水平的初始值
      3. -
    -
    3. -
  3. 返回最终样本 $x$
    4. -
-
- -
-

为什么退火有效？

-
    -
  1. 全局探索 → 局部细化： -
      -
    • 高噪声水平：探索整个空间，跨越模式
      • -
    • 低噪声水平：细化局部结构，恢复细节
      • -
    -
    2. -
  2. 平滑过渡：相邻噪声水平的分布相似，采样链保持连续性
    3. -
  3. 避免局部最小值：类似模拟退火，早期的高温阶段帮助逃离局部陷阱
    4. -
-
- -

步长选择

- -

步长 $\epsilon_i$ 的选择对算法性能至关重要：

- -
-
最优步长（理论）
-

对于噪声水平 $\sigma_i$，理论最优步长为：

-
- $$\epsilon_i^* = \frac{c \sigma_i^2}{|\Sigma|^{1/d}}$$ -
-

其中 $c$ 是常数，$|\Sigma|$ 是数据协方差矩阵的行列式，$d$ 是维度。

- -

实践中常用的简化：

-
- $$\epsilon_i = \epsilon \cdot \min(1, \sigma_i^2 / \sigma_L^2)$$ -
-
- -
-
# 退火Langevin动力学实现
-import torch
-import numpy as np
-from tqdm import tqdm
-
-class AnnealedLangevinSampler:
-    """退火Langevin动力学采样器"""
-    
-    def __init__(
-        self,
-        score_model,
-        sigmas,
-        epsilon=2e-5,
-        T=100,
-        denoise=True,
-        device='cuda'
-    ):
-        """
-        Args:
-            score_model: 训练好的分数模型
-            sigmas: 噪声水平序列（降序）
-            epsilon: 基础步长
-            T: 每个噪声水平的Langevin步数
-            denoise: 是否在最后一步去噪
-        """
-        self.score_model = score_model
-        self.sigmas = sigmas.to(device)
-        self.epsilon = epsilon
-        self.T = T
-        self.denoise = denoise
-        self.device = device
-    
-    def get_epsilon(self, sigma):
-        """自适应步长"""
-        # Song & Ermon (2019) 的建议
-        return self.epsilon * (sigma / self.sigmas[-1]) ** 2
-    
-    @torch.no_grad()
-    def sample(self, batch_size, shape, show_progress=True):
-        """生成样本
-        
-        Args:
-            batch_size: 批量大小
-            shape: 数据形状（不包括batch维度）
-            show_progress: 是否显示进度条
-        
-        Returns:
-            samples: 生成的样本
-            trajectory: 采样轨迹（可选）
-        """
-        # 初始化：从高斯噪声开始
-        x = torch.randn(batch_size, *shape, device=self.device)
-        x = x * self.sigmas[0]
-        
-        trajectory = [x.clone()]
-        
-        # 退火过程
-        sigma_levels = tqdm(self.sigmas, desc="Annealing") if show_progress else self.sigmas
-        
-        for i, sigma in enumerate(sigma_levels):
-            # 当前噪声水平的步长
-            epsilon_i = self.get_epsilon(sigma)
-            
-            # 在当前噪声水平运行T步Langevin
-            for t in range(self.T):
-                # 计算分数
-                score = self.score_model(x, sigma.expand(batch_size))
-                
-                # Langevin更新
-                noise = torch.randn_like(x)
-                x = x + epsilon_i * score + np.sqrt(2 * epsilon_i) * noise
-            
-            trajectory.append(x.clone())
-        
-        # 可选的最后去噪步骤
-        if self.denoise:
-            # 使用最小噪声水平再做一次预测
-            score = self.score_model(x, self.sigmas[-1].expand(batch_size))
-            x = x + self.sigmas[-1] ** 2 * score
-        
-        return x, trajectory
-    
-    @torch.no_grad()
-    def sample_with_initialization(self, x_init, start_sigma_idx=0):
-        """从特定初始值和噪声水平开始采样
-        
-        用于图像编辑、插值等任务
-        """
-        batch_size = x_init.shape[0]
-        x = x_init.clone()
-        
-        # 从指定的噪声水平开始
-        for i in range(start_sigma_idx, len(self.sigmas)):
-            sigma = self.sigmas[i]
-            epsilon_i = self.get_epsilon(sigma)
-            
-            for t in range(self.T):
-                score = self.score_model(x, sigma.expand(batch_size))
-                noise = torch.randn_like(x)
-                x = x + epsilon_i * score + np.sqrt(2 * epsilon_i) * noise
-        
-        return x
-
-# 改进的采样器：使用预测-校正方法
-class PredictorCorrectorSampler(AnnealedLangevinSampler):
-    """预测-校正采样器（Song et al., 2021）"""
-    
-    def __init__(self, *args, corrector_steps=1, snr=0.16, **kwargs):
-        super().__init__(*args, **kwargs)
-        self.corrector_steps = corrector_steps
-        self.snr = snr  # 信噪比
-    
-    @torch.no_grad()
-    def sample(self, batch_size, shape, show_progress=True):
-        """使用预测-校正方法采样"""
-        x = torch.randn(batch_size, *shape, device=self.device)
-        x = x * self.sigmas[0]
-        
-        sigma_levels = tqdm(
-            enumerate(self.sigmas[:-1]), 
-            total=len(self.sigmas)-1,
-            desc="PC Sampling"
-        ) if show_progress else enumerate(self.sigmas[:-1])
-        
-        for i, sigma in sigma_levels:
-            sigma_next = self.sigmas[i + 1]
-            
-            # 预测步骤（大步跳跃）
-            score = self.score_model(x, sigma.expand(batch_size))
-            x_mean = x + (sigma ** 2 - sigma_next ** 2) * score
-            noise = torch.randn_like(x)
-            x = x_mean + torch.sqrt(sigma_next ** 2 - 0) * noise
-            
-            # 校正步骤（Langevin MCMC）
-            for _ in range(self.corrector_steps):
-                score = self.score_model(x, sigma_next.expand(batch_size))
-                noise = torch.randn_like(x)
-                epsilon = self.snr * sigma_next ** 2
-                x = x + epsilon * score + torch.sqrt(2 * epsilon) * noise
-        
-        return x, None
-
-# 实用工具函数
-def interpolate_samples(x1, x2, sampler, num_steps=10):
-    """在潜在空间中插值两个样本"""
-    alphas = torch.linspace(0, 1, num_steps)
-    interpolated = []
-    
-    for alpha in alphas:
-        # 球面线性插值（保持范数）
-        x_interp = slerp(x1, x2, alpha)
-        
-        # 从中间噪声水平开始去噪
-        start_idx = len(sampler.sigmas) // 2
-        x_denoised = sampler.sample_with_initialization(
-            x_interp, start_sigma_idx=start_idx
-        )
-        interpolated.append(x_denoised)
-    
-    return torch.stack(interpolated)
-
-def slerp(x1, x2, alpha):
-    """球面线性插值"""
-    x1_norm = x1 / x1.norm(dim=-1, keepdim=True)
-    x2_norm = x2 / x2.norm(dim=-1, keepdim=True)
-    
-    omega = torch.acos((x1_norm * x2_norm).sum(dim=-1, keepdim=True).clamp(-1, 1))
-    
-    return (torch.sin((1 - alpha) * omega) / torch.sin(omega)) * x1 + \
-           (torch.sin(alpha * omega) / torch.sin(omega)) * x2
-
-# 使用示例
-print("退火Langevin动力学示例：")
-print("1. 基础采样器：使用固定步长和T步Langevin")
-print("2. 自适应步长：根据噪声水平调整步长")
-print("3. 预测-校正：更快的采样，更好的质量")
-print("4. 条件采样：从部分噪声开始，用于编辑任务")
-
- -

收敛性分析

- -
-
退火Langevin的收敛保证
-

在适当条件下，ALD算法有以下保证：

-
    -
  1. 单个噪声水平：对于固定的 $\sigma_i$，Langevin动力学以速率 $O(\epsilon)$ 收敛到 $p_{\sigma_i}$
    2. -
  2. 退火过程：如果相邻分布足够接近（$D_{KL}(p_{\sigma_i} \| p_{\sigma_{i+1}}) < \delta$），则最终样本近似来自 $p_{data}$
    3. -
  3. 误差界：总误差由单步误差和退火误差组成： -
    - $$D_{KL}(q \| p_{data}) \leq \sum_{i=1}^L O(\epsilon_i T) + \sum_{i=1}^{L-1} D_{KL}(p_{\sigma_i} \| p_{\sigma_{i+1}})$$ -
    -
    4. -
-
- -

实践技巧

- -
-

提高采样质量的技巧

-
    -
  1. 步数分配： -
      -
    • 在中等噪声水平使用更多步数
      • -
    • 最高和最低噪声水平可以用较少步数
      • -
    -
    2. - -
  2. 最后的去噪步： -
    - $$x_{final} = x + \sigma_{min}^2 \nabla_x \log p_{\sigma_{min}}(x)$$ -
    -

    这一步通常能显著提升视觉质量

    -
    3. - -
  3. 温度调节： -
      -
    • 降低温度（减小噪声）：更确定但可能缺乏多样性
      • -
    • 提高温度（增大噪声）：更多样但可能质量下降
      • -
    -
    4. - -
  4. 早停策略： -
      -
    • 不一定要运行到最小噪声
      • -
    • 在适当的噪声水平停止可能得到更好的感知质量
      • -
    -
    5. -
-
- -

与其他采样方法的比较

- -
-
采样方法对比
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
方法速度质量特点
退火Langevin慢高理论保证，稳定
DDIM快高确定性，可逆
预测-校正中等很高平衡速度和质量
DPM-Solver很快高高阶ODE求解器
-
- -

4.4 Langevin动力学与采样

- -

4.4.1 Langevin方程的基础

- -

Langevin方程最初由法国物理学家Paul Langevin在1908年提出，用于描述布朗运动。在机器学习中，Langevin动力学成为了一种强大的采样方法，特别适合基于梯度的采样。

- -

物理起源

- -

考虑一个在势能场 $U(x)$ 中运动的粒子，受到两种力的作用：

- - -

过阻尼Langevin方程（忽略惯性项）为：

- -
- $$\frac{dx}{dt} = -\nabla U(x) + \sqrt{2\beta^{-1}} \eta(t)$$ -
- -

其中 $\beta = 1/(k_B T)$ 是逆温度，$\eta(t)$ 是白噪声（满足 $\langle \eta(t) \rangle = 0$，$\langle \eta(t)\eta(t') \rangle = \delta(t-t')$）。

- -

概率论视角

- -

从概率论角度，如果我们想从分布 $p(x) \propto \exp(-U(x))$ 采样，注意到：

- -
- $$\nabla \log p(x) = -\nabla U(x)$$ -
- -

因此Langevin方程可以重写为：

- -
- $$dx = \nabla \log p(x) dt + \sqrt{2} dW_t$$ -
- -

这是一个随机微分方程（SDE），其中 $W_t$ 是标准布朗运动。

- -
-
Fokker-Planck方程
-

Langevin SDE对应的概率密度演化由Fokker-Planck方程描述：

-
- $$\frac{\partial p_t}{\partial t} = -\nabla \cdot (p_t \nabla \log p) + \Delta p_t = \nabla \cdot (\nabla p_t + p_t \nabla \log p)$$ -
- -

稳态解（$\partial p_t/\partial t = 0$）满足：

-
- $$\nabla p_{\infty} + p_{\infty} \nabla \log p = 0$$ -
- -

这给出 $p_{\infty} = p$，即目标分布！

-
- -

离散化方案

- -

为了数值实现，需要离散化SDE。最常用的是Euler-Maruyama方法：

- -
- $$x_{k+1} = x_k + \epsilon \nabla \log p(x_k) + \sqrt{2\epsilon} z_k, \quad z_k \sim \mathcal{N}(0, I)$$ -
- -

其中 $\epsilon$ 是步长。这个更新规则有两个解释：

- -
-

两种视角的统一

-
    -
  1. 梯度上升 + 噪声：在对数概率上做梯度上升，加上探索性噪声
    2. -
  2. MCMC：这是Metropolis-adjusted Langevin algorithm (MALA)的特例（当接受率为1时）
    3. -
-

这两种视角解释了为什么Langevin动力学既能找到高概率区域，又能正确采样。

-
- -
-
# Langevin动力学的基础实现
-import torch
-import numpy as np
-
-class LangevinDynamics:
-    """基础Langevin动力学采样器"""
-    
-    def __init__(self, score_fn, step_size=0.01, noise_scale=1.0):
-        """
-        Args:
-            score_fn: 分数函数 ∇log p(x)
-            step_size: 步长 ε
-            noise_scale: 噪声缩放（温度控制）
-        """
-        self.score_fn = score_fn
-        self.step_size = step_size
-        self.noise_scale = noise_scale
-    
-    def step(self, x):
-        """单步Langevin更新"""
-        score = self.score_fn(x)
-        noise = torch.randn_like(x)
-        
-        x_new = x + self.step_size * score + \
-                np.sqrt(2 * self.step_size * self.noise_scale) * noise
-        
-        return x_new
-    
-    def sample(self, x_init, num_steps, return_trajectory=False):
-        """运行Langevin动力学
-        
-        Args:
-            x_init: 初始点
-            num_steps: 步数
-            return_trajectory: 是否返回整个轨迹
-        
-        Returns:
-            最终样本或整个轨迹
-        """
-        x = x_init.clone()
-        trajectory = [x.clone()] if return_trajectory else None
-        
-        for _ in range(num_steps):
-            x = self.step(x)
-            if return_trajectory:
-                trajectory.append(x.clone())
-        
-        return trajectory if return_trajectory else x
-
-# Metropolis-adjusted Langevin Algorithm (MALA)
-class MALA:
-    """带Metropolis-Hastings校正的Langevin算法"""
-    
-    def __init__(self, log_prob_fn, score_fn, step_size=0.01):
-        self.log_prob_fn = log_prob_fn
-        self.score_fn = score_fn
-        self.step_size = step_size
-    
-    def proposal(self, x):
-        """Langevin提议分布"""
-        score = self.score_fn(x)
-        noise = torch.randn_like(x)
-        
-        mean = x + self.step_size * score
-        x_prop = mean + np.sqrt(2 * self.step_size) * noise
-        
-        return x_prop, mean
-    
-    def log_proposal_ratio(self, x_new, x_old):
-        """计算提议分布的比率 q(x_old|x_new) / q(x_new|x_old)"""
-        # 前向提议: x_old -> x_new
-        score_old = self.score_fn(x_old)
-        mean_forward = x_old + self.step_size * score_old
-        
-        # 反向提议: x_new -> x_old  
-        score_new = self.score_fn(x_new)
-        mean_backward = x_new + self.step_size * score_new
-        
-        # 高斯提议的对数比率
-        log_q_backward = -0.5 * torch.sum((x_old - mean_backward)**2) / (2 * self.step_size)
-        log_q_forward = -0.5 * torch.sum((x_new - mean_forward)**2) / (2 * self.step_size)
-        
-        return log_q_backward - log_q_forward
-    
-    def step(self, x):
-        """MALA的一步"""
-        # Langevin提议
-        x_prop, _ = self.proposal(x)
-        
-        # Metropolis-Hastings接受率
-        log_alpha = self.log_prob_fn(x_prop) - self.log_prob_fn(x) + \
-                   self.log_proposal_ratio(x_prop, x)
-        
-        # 接受或拒绝
-        if torch.rand(1) < torch.exp(torch.clamp(log_alpha, max=0)):
-            return x_prop, True
-        else:
-            return x, False
-
-# 理论分析工具
-def analyze_langevin_convergence(score_fn, true_samples, num_steps=10000, 
-                                step_sizes=[0.001, 0.01, 0.1]):
-    """分析不同步长下的收敛性"""
-    results = {}
-    
-    for step_size in step_sizes:
-        ld = LangevinDynamics(score_fn, step_size)
-        
-        # 从随机初始点开始
-        x_init = torch.randn_like(true_samples[0]) * 3
-        trajectory = ld.sample(x_init, num_steps, return_trajectory=True)
-        
-        # 计算与真实分布的距离
-        final_samples = trajectory[-1000:]  # 最后1000个样本
-        
-        # 简单的分布距离度量（实践中可用MMD等）
-        mean_error = torch.norm(
-            torch.stack(final_samples).mean(0) - true_samples.mean(0)
-        )
-        
-        results[step_size] = {
-            'mean_error': mean_error.item(),
-            'final_sample': trajectory[-1],
-            'acceptance_rate': 1.0  # 纯Langevin总是接受
-        }
-    
-    return results
-
-# 演示：二维高斯混合的例子
-def demo_langevin():
-    # 定义目标分布：二维高斯混合
-    means = torch.tensor([[-2., 0.], [2., 0.]])
-    
-    def log_prob(x):
-        """对数概率（未归一化）"""
-        log_probs = []
-        for mean in means:
-            log_probs.append(
-                -0.5 * torch.sum((x - mean)**2, dim=-1)
-            )
-        return torch.logsumexp(torch.stack(log_probs), dim=0)
-    
-    def score_fn(x):
-        """分数函数（对数概率的梯度）"""
-        x = x.requires_grad_(True)
-        log_p = log_prob(x)
-        score = torch.autograd.grad(log_p.sum(), x)[0]
-        return score.detach()
-    
-    # 测试Langevin动力学
-    print("Langevin动力学演示：")
-    ld = LangevinDynamics(score_fn, step_size=0.1)
-    
-    # 多链并行
-    x_init = torch.randn(100, 2) * 3
-    samples = ld.sample(x_init, num_steps=1000)
-    
-    print(f"初始位置统计: 均值={x_init.mean(0)}, 标准差={x_init.std(0)}")
-    print(f"最终位置统计: 均值={samples.mean(0)}, 标准差={samples.std(0)}")
-    print(f"期望的模式位置: {means}")
-
-demo_langevin()
-
- -

收敛性质

- -
-
Langevin动力学的收敛定理
-

在适当的正则性条件下（如对数凹分布），离散Langevin动力学有以下性质：

- -
    -
  1. 偏差-方差权衡： -
      -
    • 小步长：小偏差，慢收敛
      • -
    • 大步长：大偏差，可能不稳定
      • -
    -
    2. - -
  2. 收敛速率：对于 $m$-强凸势能，以步长 $\epsilon < 1/L$（$L$ 是Lipschitz常数）： -
    - $$W_2(\mu_k, \pi) \leq e^{-\epsilon m k} W_2(\mu_0, \pi) + O(\epsilon)$$ -
    - 其中 $W_2$ 是Wasserstein距离。 -
    3. - -
  3. 稳态误差：离散化引入的稳态偏差为 $O(\epsilon)$
    4. -
-
- -

实用考虑

- -
-

优化Langevin采样的技巧

-
    -
  1. 预处理： -
      -
    • 使用预条件矩阵：$x_{k+1} = x_k + \epsilon M \nabla \log p(x_k) + \sqrt{2\epsilon M} z_k$
      • -
    • $M$ 可以是协方差矩阵的逆或其近似
      • -
    -
    2. - -
  2. 自适应步长： -
      -
    • 根据局部曲率调整步长
      • -
    • 使用Robbins-Monro类型的递减步长
      • -
    -
    3. - -
  3. 方差减少： -
      -
    • 控制变量方法
      • -
    • 使用历史信息（如SAGA类型的更新）
      • -
    -
    4. - -
  4. 并行化： -
      -
    • 多链并行
      • -
    • 异步更新
      • -
    -
    5. -
-
- -

4.4.2 离散化与数值稳定性

- [内容待补充] - -

4.4.3 采样算法实现

- [内容待补充] - -

4.5 分数模型与扩散模型的统一

- -

4.5.1 两种观点的等价性

- [内容待补充] - -

4.5.2 SDE框架下的统一

- [内容待补充] - -

4.5.3 实践中的差异与选择

- [内容待补充] - -

4.6 实现：训练分数模型

- -

4.6.1 数据预处理与噪声调度

- [内容待补充] - -

4.6.2 损失函数与优化

- [内容待补充] - -

4.6.3 评估与可视化

- [内容待补充] - -

4.7 高级主题

- -

4.7.1 分数模型的理论性质

- [内容待补充] - -

4.7.2 改进的采样技术

- [内容待补充] - -

4.7.3 条件分数模型

- [内容待补充] - -

4.8 练习题

- -
-
练习 4.1：分数函数的性质
-

证明以下性质：

-
    -
  1. 对于高斯分布 $p(x) = \mathcal{N}(x; \mu, \Sigma)$，证明分数函数为 $\nabla_x \log p(x) = -\Sigma^{-1}(x - \mu)$
    2. -
  2. 证明 $\mathbb{E}_{x \sim p}[\nabla_x \log p(x)] = 0$（提示：使用分部积分）
    3. -
  3. 对于能量函数 $E(x) = \frac{1}{2}x^T A x + b^T x + c$，求对应的分数函数
    4. -
- - -
-

解答：

-
    -
  1. 高斯分布： - $$\log p(x) = -\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu) + C$$ - $$\nabla_x \log p(x) = -\Sigma^{-1}(x-\mu)$$ -
    2. -
  2. 期望为零： - $$\mathbb{E}[\nabla_x \log p(x)] = \int p(x) \frac{\nabla p(x)}{p(x)} dx = \int \nabla p(x) dx = \nabla \int p(x) dx = \nabla 1 = 0$$ -
    3. -
  3. 二次能量函数： - $$p(x) \propto \exp(-E(x))$$ - $$\nabla_x \log p(x) = -\nabla_x E(x) = -(Ax + b)$$ -
    4. -
-
-
- -
-
练习 4.2：实现去噪分数匹配
-

为二维数据实现一个完整的去噪分数匹配训练流程：

-
    -
  1. 生成"瑞士卷"（Swiss roll）数据集
    2. -
  2. 实现多尺度去噪分数匹配损失
    3. -
  3. 训练一个简单的MLP作为分数网络
    4. -
  4. 使用退火Langevin动力学生成新样本
    5. -
- - -
- 
# 完整实现框架
-import torch
-import torch.nn as nn
-import numpy as np
-from sklearn.datasets import make_swiss_roll
-
-# 1. 生成数据
-def generate_swiss_roll(n_samples=1000):
-    X, _ = make_swiss_roll(n_samples, noise=0.1)
-    X = X[:, [0, 2]]  # 使用x和z坐标
-    return torch.tensor(X, dtype=torch.float32)
-
-# 2. 分数网络
-class ScoreNet(nn.Module):
-    def __init__(self, dim=2, hidden_dim=128):
-        super().__init__()
-        self.net = nn.Sequential(
-            nn.Linear(dim + 1, hidden_dim),  # +1 for time/sigma
-            nn.ReLU(),
-            nn.Linear(hidden_dim, hidden_dim),
-            nn.ReLU(),
-            nn.Linear(hidden_dim, dim)
-        )
-    
-    def forward(self, x, sigma):
-        t = sigma.log().view(-1, 1)
-        h = torch.cat([x, t], dim=1)
-        return self.net(h) / sigma.view(-1, 1)
-
-# 3. 训练循环
-def train_dsm(model, data, sigmas, num_epochs=1000):
-    optimizer = torch.optim.Adam(model.parameters(), lr=1e-3)
-    
-    for epoch in range(num_epochs):
-        # 随机批次
-        idx = torch.randint(0, len(data), (128,))
-        x = data[idx]
-        
-        # 随机噪声水平
-        sigma_idx = torch.randint(0, len(sigmas), (len(x),))
-        sigma = sigmas[sigma_idx]
-        
-        # 添加噪声
-        noise = torch.randn_like(x)
-        x_noisy = x + sigma.view(-1, 1) * noise
-        
-        # 预测分数
-        score_pred = model(x_noisy, sigma)
-        
-        # 损失
-        loss = ((score_pred + noise/sigma.view(-1, 1))**2).mean()
-        
-        optimizer.zero_grad()
-        loss.backward()
-        optimizer.step()
-
-# 4. 采样
-def sample_ald(model, sigmas, num_samples=100):
-    x = torch.randn(num_samples, 2) * sigmas[0]
-    
-    for sigma in sigmas:
-        for _ in range(100):  # T steps per sigma
-            score = model(x, sigma.expand(num_samples))
-            noise = torch.randn_like(x)
-            step_size = 0.1 * (sigma/sigmas[-1])**2
-            x = x + step_size * score + np.sqrt(2*step_size) * noise
-    
-    return x
-
-
- -
-
练习 4.3：分析NCSN的多尺度效应
-

实验分析不同噪声调度对NCSN性能的影响：

-
    -
  1. 实现几何、线性、余弦三种噪声调度
    2. -
  2. 在相同数据上训练三个模型
    3. -
  3. 比较它们的收敛速度和生成质量
    4. -
  4. 可视化不同噪声水平下的分数场
    5. -
-
- -
-
练习 4.4：从分数模型到扩散模型
-

推导并验证分数模型与DDPM的等价性：

-
    -
  1. 从DDPM的训练目标出发，推导其与分数匹配的关系
    2. -
  2. 实现一个统一的框架，可以在两种参数化之间转换
    3. -
  3. 验证两种方法在相同设置下产生相同的结果
    4. -
-
- -
-

本章小结

-

在本章中，我们从分数函数的角度深入理解了生成模型，建立了分数模型与扩散模型之间的桥梁：

- -

主要收获

-
    -
  • 分数函数基础：理解了分数函数的定义、性质和几何意义
    • -
  • 分数匹配技术：掌握了去噪分数匹配、切片分数匹配等实用方法
    • -
  • NCSN架构：学习了多尺度噪声的设计和条件化网络架构
    • -
  • Langevin动力学：深入理解了基于分数的采样算法
    • -
  • 统一视角：看到了分数模型和扩散模型的内在联系
    • -
- -

关键要点

-
    -
  1. 分数函数 $\nabla_x \log p(x)$ 提供了无需归一化常数的概率建模方法
    2. -
  2. 去噪分数匹配巧妙地避开了直接计算雅可比矩阵的难题
    3. -
  3. 多尺度方法解决了单一噪声水平的局限性
    4. -
  4. 退火Langevin动力学提供了理论保证的采样方法
    5. -
  5. 分数匹配与DDPM在数学上是等价的，只是参数化不同
    6. -
- -

与DDPM的对比

- - - - - - - - - - - - - - - - - - - - - - - - - - -
方面DDPM分数模型
核心思想学习去噪学习分数函数
参数化预测噪声 $\epsilon$预测分数 $\nabla \log p$
理论基础变分推断分数匹配
采样方法祖先采样Langevin动力学
- -

展望

-

基于本章的知识，我们为后续学习打下了坚实基础：

-
    -
  • 第5章：将离散时间推广到连续时间，学习SDE/ODE框架
    • -
  • 第6章：探索流匹配等新方法，进一步统一生成模型
    • -
  • 第8章：基于分数函数的理解，开发更快的采样算法
    • -
- -

分数视角不仅提供了理解扩散模型的新方式，还启发了许多改进和扩展。在下一章，我们将进入连续时间的世界，看看如何用随机微分方程统一描述所有这些方法！

-
-
- - \ No newline at end of file diff --git a/chapter4.md b/chapter4.md new file mode 100644 index 0000000..6e27900 --- /dev/null +++ b/chapter4.md @@ -0,0 +1,2956 @@ +[← 上一章](chapter3.md) + 第4章 / 共14章 + [下一章 →](chapter5.md) + + + +# 第4章：基于分数的生成模型 + + + + 基于分数的生成模型（Score-based Generative Models）提供了理解扩散模型的另一个重要视角。通过直接学习数据分布的分数函数（score function，即对数概率密度的梯度），我们可以构建强大的生成模型。本章将深入探讨分数匹配、Langevin动力学以及它们与扩散模型的深层联系。从NCSN到Score SDE，我们将看到分数模型如何与DDPM统一在同一框架下。 + + + +## 4.1 分数函数的直觉与重要性 + + + +### 4.1.1 什么是分数函数？ + + + +分数函数（score function）是概率论和统计学中的一个基本概念，它定义为对数概率密度函数关于数据的梯度： + + + + $$\nabla_x \log p(x) = \frac{\nabla_x p(x)}{p(x)}$$ + + + +这个看似简单的定义蕴含着深刻的意义。让我们通过几个例子来理解它。 + + + + 例1：一维高斯分布 + +对于标准正态分布 $p(x) = \frac{1}{\sqrt{2\pi}} e^{-\frac{x^2}{2}}$： + + + + $$\log p(x) = -\frac{x^2}{2} - \frac{1}{2}\log(2\pi)$$ + + + +分数函数为： + + + $$\nabla_x \log p(x) = -x$$ + + + +注意这个结果的直观性： + + + + - 当 $x > 0$ 时，分数为负，指向原点（概率更高的方向） + - 当 $x + + + +### 4.1.2 为什么分数函数重要？ + + + 分数函数在机器学习和统计学中扮演着核心角色，其重要性体现在多个方面： + + + +#### 1. 无需归一化常数 + + + +许多复杂的概率模型（如马尔可夫随机场、能量模型）的归一化常数难以计算： + + + + $$p(x) = \frac{1}{Z} \exp(-E(x)), \quad Z = \int \exp(-E(x)) dx$$ + + + +但分数函数可以直接计算，无需知道 $Z$： + + + + $$\nabla_x \log p(x) = -\nabla_x E(x)$$ + + + + 实例：Ising模型 + +在统计物理中的Ising模型中，系统能量为： + + + $$E(x) = -J \sum_{\langle i,j \rangle} x_i x_j - h \sum_i x_i$$ + + +其中 $x_i \in \{-1, +1\}$。配分函数 $Z$ 的计算是 #P-hard 问题，但能量的梯度（在连续松弛下）却很容易计算。 + + + + +#### 2. 采样算法的基础 + + + +分数函数是许多高效采样算法的核心，特别是基于梯度的马尔可夫链蒙特卡洛（MCMC）方法： + + + + Langevin动力学 + +给定目标分布 $p(x)$，以下随机微分方程的平稳分布是 $p(x)$： + + + $$dx = \nabla_x \log p(x) dt + \sqrt{2} dW_t$$ + + +这表明只需要分数函数就可以从分布中采样！ + + + + +#### 3. 与优化的深刻联系 + + + +分数函数连接了概率建模和优化理论： + + + + + - **梯度上升**：沿着分数函数的方向移动，相当于在对数概率上做梯度上升 + - **模式寻找**：分数函数为零的点对应分布的局部极值（峰或谷） + - **能量最小化**：最大化概率等价于最小化能量，分数函数给出下降方向 + + + + +#### 4. 在生成模型中的应用 + + + +分数函数在现代生成模型中起着关键作用： + + + + +#### 扩散模型的两种视角 + + + + - **去噪视角（DDPM）**：学习在不同噪声水平下去除噪声 + - **分数匹配视角**：学习不同时刻的分数函数 $\nabla_x \log p_t(x)$ + + + +这两种视角在数学上是等价的！去噪函数和分数函数之间存在简单的线性关系。 + + + + +#### 5. 理论优势 + + + + Fisher信息与分数函数 + +Fisher信息矩阵定义为： + + + $$\mathcal{I} = \mathbb{E}_{x \sim p}[\nabla_x \log p(x) \nabla_x \log p(x)^T]$$ + + +它刻画了分布的"信息几何"，在： + + + + - 参数估计的Cramér-Rao下界 + - 自然梯度下降 + - 信息几何和流形优化 + + + +中都起着核心作用。 + + + + + +# 演示分数函数的各种应用 +import torch +import torch.nn as nn + +class ScoreFunctionApplications: + """分数函数的应用演示""" + + @staticmethod + def langevin_sampling(score_fn, x_init, n_steps=1000, step_size=0.01): + """使用Langevin动力学采样 + + Args: + score_fn: 分数函数 s(x) = ∇log p(x) + x_init: 初始点 + n_steps: 采样步数 + step_size: 步长 + """ + x = x_init.clone() + samples = [x.clone()] + + for _ in range(n_steps): + noise = torch.randn_like(x) + x = x + step_size * score_fn(x) + torch.sqrt(2 * step_size) * noise + samples.append(x.clone()) + + return torch.stack(samples) + + @staticmethod + def mode_finding(score_fn, x_init, n_steps=100, step_size=0.1): + """使用分数函数寻找模式（局部最大值） + + 通过梯度上升找到 ∇log p(x) = 0 的点 + """ + x = x_init.clone() + x.requires_grad_(True) + + for _ in range(n_steps): + score = score_fn(x) + x = x + step_size * score + + # 检查收敛 + if torch.norm(score) + + + +#### 6. 计算效率 + + + 在高维空间中，分数函数的计算和学习往往比直接学习概率密度更高效： + + + + + - **局部信息**：分数函数只需要局部梯度信息，不需要全局积分 + - **可并行化**：不同数据点的分数可以独立计算 + - **梯度友好**：神经网络天然适合学习梯度形式的函数 + + + + +### 4.1.3 分数函数的几何意义 + + + +分数函数不仅是一个数学工具，它还有深刻的几何直觉。理解这些几何性质有助于我们更好地设计和分析基于分数的算法。 + + + +#### 1. 分数函数作为向量场 + + + +分数函数 $\nabla_x \log p(x)$ 在每个点 $x$ 定义了一个向量，这些向量共同构成了一个向量场。这个向量场有特殊的性质： + + + + +#### 向量场的直观理解 + + + + - **方向**：指向概率密度增长最快的方向 + - **大小**：反映概率密度的变化率 + - **流线**：沿着向量场的积分曲线从低概率区域流向高概率区域 + + + + + + 二维高斯分布的分数场 + +对于二维高斯分布 $\mathcal{N}(\mu, \Sigma)$，分数函数为： + + + $$\nabla_x \log p(x) = -\Sigma^{-1}(x - \mu)$$ + + + +几何特征： + + + + - 所有向量都指向均值 $\mu$ + - 距离均值越远，向量越长 + - 等概率线（椭圆）与分数向量正交 + - 沿着主轴方向，收敛速度由特征值决定 + + + + + +#### 2. 分数函数与水平集 + + + +概率密度的水平集（等概率面）与分数函数有密切关系： + + + + 水平集的正交性 + +在任意点 $x$，分数函数 $\nabla_x \log p(x)$ 垂直于过该点的等概率面。 + + + +**证明草图**：设 $S_c = \{x : p(x) = c\}$ 是水平集。在 $S_c$ 上的任意切向量 $v$ 满足： + + + $$v \cdot \nabla p(x) = 0$$ + + +因此： + + + $$v \cdot \nabla \log p(x) = v \cdot \frac{\nabla p(x)}{p(x)} = 0$$ + + + + +#### 3. 分数函数的散度与拉普拉斯算子 + + + +分数函数的散度揭示了分布的局部几何： + + + + $$\nabla \cdot (\nabla \log p(x)) = \nabla^2 \log p(x) = \frac{\nabla^2 p(x)}{p(x)} - \frac{\|\nabla p(x)\|^2}{p(x)^2}$$ + + + + +#### 散度的几何含义 + + + + - **正散度**：该点是"源"，概率向外扩散（通常在分布的谷底） + - **负散度**：该点是"汇"，概率向内聚集（通常在分布的峰值附近） + - **零散度**：平衡点，可能是鞍点 + + + + + +#### 4. 动力系统视角 + + + +将分数函数视为动力系统 $\dot{x} = \nabla_x \log p(x)$ 的向量场，我们可以分析其稳定性： + + + + 平衡点与稳定性 + + + - **平衡点**：$\nabla_x \log p(x^*) = 0$ 对应概率密度的临界点 + - **稳定性**：由Hessian矩阵 $H = \nabla^2 \log p(x^*)$ 决定 + + + $H \prec 0$（负定）：稳定吸引子，对应局部最大值 + - $H \succ 0$（正定）：不稳定排斥点，对应局部最小值 + - $H$ 不定：鞍点 + + + + + + + + + +# 可视化分数函数的几何性质 +import torch +import numpy as np + +def analyze_score_geometry(score_fn, x): + """分析给定点的分数函数几何性质""" + x = x.requires_grad_(True) + + # 计算分数 + score = score_fn(x) + + # 计算散度（Laplacian of log p） + divergence = 0 + for i in range(len(x)): + grad_i = torch.autograd.grad(score[i], x, + retain_graph=True, + create_graph=True)[0] + divergence += grad_i[i] + + # 计算Hessian（用于稳定性分析） + hessian = torch.zeros(len(x), len(x)) + for i in range(len(x)): + for j in range(len(x)): + if j >= i: # 利用对称性 + hess_ij = torch.autograd.grad(score[i], x, + retain_graph=True, + create_graph=True)[0][j] + hessian[i, j] = hess_ij + hessian[j, i] = hess_ij + + # 特征值分析 + eigenvalues, eigenvectors = torch.linalg.eigh(hessian) + + return { + 'score': score.detach(), + 'divergence': divergence.detach(), + 'hessian': hessian.detach(), + 'eigenvalues': eigenvalues.detach(), + 'eigenvectors': eigenvectors.detach() + } + +# 示例：分析二维高斯混合的几何性质 +def gmm_score(x, means, weights): + """高斯混合模型的分数函数""" + scores = [] + probs = [] + + for i, (mean, weight) in enumerate(zip(means, weights)): + diff = x - mean + prob = weight * torch.exp(-0.5 * torch.sum(diff**2)) + score = -diff + scores.append(prob * score) + probs.append(prob) + + total_prob = sum(probs) + total_score = sum(scores) / (total_prob + 1e-8) + + return total_score + +# 分析不同位置的几何性质 +means = [torch.tensor([-2.0, 0.0]), torch.tensor([2.0, 0.0])] +weights = [0.5, 0.5] + +# 在峰值处 +x_peak = torch.tensor([-2.0, 0.0]) +geometry_peak = analyze_score_geometry( + lambda x: gmm_score(x, means, weights), x_peak +) +print(f"峰值处：散度 = {geometry_peak['divergence']:.3f}") +print(f"特征值：{geometry_peak['eigenvalues']}") + +# 在鞍点处（两峰之间） +x_saddle = torch.tensor([0.0, 0.0]) +geometry_saddle = analyze_score_geometry( + lambda x: gmm_score(x, means, weights), x_saddle +) +print(f"\\n鞍点处：散度 = {geometry_saddle['divergence']:.3f}") +print(f"特征值：{geometry_saddle['eigenvalues']}") + + + +#### 5. 分数函数的流形结构 + + + 在高维空间中，数据往往集中在低维流形附近。分数函数能够捕捉这种流形结构： + + + + +#### 流形上的分数分解 + + +在数据流形 $\mathcal{M}$ 附近，分数函数可以分解为： + + + $$\nabla_x \log p(x) = \nabla_{\mathcal{M}} \log p(x) + \nabla_{\perp} \log p(x)$$ + + + + - **切向分量** $\nabla_{\mathcal{M}} \log p(x)$：沿着流形移动，探索数据分布 + - **法向分量** $\nabla_{\perp} \log p(x)$：将点拉回流形，去除噪声 + + + +这解释了为什么分数模型能够有效地进行去噪和生成。 + + + + +#### 6. 与最优传输的联系 + + + +分数函数还与最优传输理论有深刻联系： + + + + Fokker-Planck方程 + +考虑概率流 $\partial_t p_t + \nabla \cdot (p_t v_t) = 0$，其中 $v_t$ 是速度场。如果选择： + + + $$v_t(x) = \nabla_x \log p_t(x)$$ + + +则得到的是梯度流，它在某种意义下是"最优"的传输方式。 + + + + +## 4.2 分数匹配（Score Matching） + + + +### 4.2.1 朴素分数匹配的困难 + + + +给定数据分布 $p_{data}(x)$ 的样本，我们希望学习一个模型 $s_\theta(x)$ 来逼近真实的分数函数 $\nabla_x \log p_{data}(x)$。最直接的想法是最小化： + + + + $$\mathcal{L}_{naive}(\theta) = \mathbb{E}_{x \sim p_{data}}\left[\|s_\theta(x) - \nabla_x \log p_{data}(x)\|^2\right]$$ + + + +但这个目标函数存在一个致命问题：**我们不知道真实的分数函数** $\nabla_x \log p_{data}(x)$！ + + + + +#### 朴素方法的困境 + + +计算 $\nabla_x \log p_{data}(x)$ 需要知道 $p_{data}(x)$，但： + + + + - 如果我们知道 $p_{data}(x)$，就不需要学习了 + - 即使用核密度估计等方法估计 $p_{data}(x)$，在高维空间中也会失效 + - 数值微分在高维空间中不稳定且计算昂贵 + + + +这似乎是一个无解的循环依赖！ + + + + +#### Hyvärinen的突破性发现 + + + +2005年，Aapo Hyvärinen提出了一个巧妙的解决方案。他发现可以将上述损失函数改写为不依赖于真实分数的形式： + + + + 分数匹配定理（Hyvärinen, 2005） + +在适当的正则性条件下（$p(x)$ 在边界处趋于零），以下等式成立： + + + $$\mathbb{E}_{x \sim p_{data}}\left[\|s_\theta(x) - \nabla_x \log p_{data}(x)\|^2\right] = \mathbb{E}_{x \sim p_{data}}\left[\text{tr}(\nabla_x s_\theta(x)) + \frac{1}{2}\|s_\theta(x)\|^2\right] + C$$ + + +其中 $C$ 是不依赖于 $\theta$ 的常数，$\text{tr}(\nabla_x s_\theta(x))$ 是雅可比矩阵的迹。 + + + + +#### 证明的关键思想 + + + +证明使用了分部积分的技巧。让我们看一个简化的一维情况： + + + + 一维情况的推导 + +考虑期望： + + + $$\mathbb{E}_{x \sim p}[(s_\theta(x) - \nabla_x \log p(x))^2]$$ + + + +展开后： + + + $$= \mathbb{E}_{x \sim p}[s_\theta(x)^2] - 2\mathbb{E}_{x \sim p}[s_\theta(x) \nabla_x \log p(x)] + \mathbb{E}_{x \sim p}[(\nabla_x \log p(x))^2]$$ + + + +关键是处理中间项。注意到 $\nabla_x \log p(x) = \frac{\nabla_x p(x)}{p(x)}$，所以： + + + $$\mathbb{E}_{x \sim p}[s_\theta(x) \nabla_x \log p(x)] = \int s_\theta(x) \frac{\nabla_x p(x)}{p(x)} p(x) dx = \int s_\theta(x) \nabla_x p(x) dx$$ + + + +使用分部积分（假设边界项为零）： + + + $$\int s_\theta(x) \nabla_x p(x) dx = -\int \nabla_x s_\theta(x) p(x) dx = -\mathbb{E}_{x \sim p}[\nabla_x s_\theta(x)]$$ + + + + +#### 实际的困难 + + + +虽然Hyvärinen的分数匹配理论上解决了问题，但在实践中仍面临挑战： + + + + +#### 计算挑战 + + + + - **雅可比矩阵的迹**：计算 $\text{tr}(\nabla_x s_\theta(x))$ 需要 $d$ 次反向传播（$d$ 是数据维度） + + + 对于图像（$d \sim 10^6$），计算成本过高 + - 虽然有Hutchinson迹估计等技巧，但会引入额外的方差 + + + + + - **数值稳定性**： + + + 在数据分布的低密度区域，分数可能非常大 + - 训练不稳定，容易发散 + + + + + - **边界条件**： + + + 理论要求 $p(x) \to 0$ 当 $\|x\| \to \infty$ + - 实际数据可能不满足这个条件 + + + + + + + + + +# 朴素分数匹配的实现（仅用于说明，实践中很少使用） +import torch +import torch.nn as nn + +def compute_score_matching_loss(model, x): + """计算分数匹配损失（朴素版本） + + Args: + model: 神经网络，输出分数估计 s_θ(x) + x: 批量数据点 [batch_size, dim] + + Returns: + loss: 分数匹配损失 + """ + x = x.requires_grad_(True) + score = model(x) + + # 计算雅可比矩阵的迹 + # 注意：这需要 dim 次反向传播！ + trace_jacobian = 0 + for i in range(x.shape[1]): + # 计算 ∂s_i/∂x_i + grad_i = torch.autograd.grad( + score[:, i].sum(), x, + create_graph=True, retain_graph=True + )[0][:, i] + trace_jacobian = trace_jacobian + grad_i + + # 分数匹配损失 + loss = 0.5 * (score ** 2).sum(dim=1) + trace_jacobian + + return loss.mean() + +# 更高效的实现：使用Hutchinson迹估计 +def compute_score_matching_loss_hutchinson(model, x, n_hutchinson=1): + """使用Hutchinson迹估计的分数匹配损失 + + Args: + model: 神经网络 + x: 数据点 + n_hutchinson: Hutchinson估计的采样数 + """ + x = x.requires_grad_(True) + score = model(x) + + # Hutchinson迹估计 + trace_jacobian = 0 + for _ in range(n_hutchinson): + # 随机向量 v ~ N(0, I) + v = torch.randn_like(x) + + # 计算 v^T ∇_x s(x) v + grad_v = torch.autograd.grad( + (score * v).sum(), x, + create_graph=True, retain_graph=True + )[0] + trace_jacobian = trace_jacobian + (grad_v * v).sum(dim=1) + + trace_jacobian = trace_jacobian / n_hutchinson + + # 损失 + loss = 0.5 * (score ** 2).sum(dim=1) + trace_jacobian + + return loss.mean() + +# 演示为什么朴素方法困难 +print("朴素分数匹配的计算复杂度：") +print(f"图像 (1024×1024×3): 需要 {1024*1024*3:,} 次反向传播！") +print(f"即使是 MNIST (28×28): 也需要 {28*28} 次反向传播") +print("\nHutchinson估计引入方差，需要权衡：") +print("- 更多采样 → 更准确但更慢") +print("- 更少采样 → 更快但方差大") + + + +#### 为什么需要新方法？ + + + 朴素分数匹配的这些困难促使研究者寻找更实用的方法： + + + + + - **去噪分数匹配**（Denoising Score Matching）：通过添加噪声避免计算雅可比矩阵 + - **切片分数匹配**（Sliced Score Matching）：将高维问题投影到一维 + - **有限差分分数匹配**（Finite Difference Score Matching）：使用数值微分近似 + + + + +接下来我们将详细介绍这些更实用的方法。 + + + +### 4.2.2 去噪分数匹配（Denoising Score Matching） + + + +去噪分数匹配（DSM）是Vincent (2011)提出的一个优雅的解决方案，它巧妙地避开了计算雅可比矩阵的问题。核心思想是：与其直接学习数据分布的分数，不如学习加噪数据分布的分数。 + + + +#### 核心思想 + + + +给定干净数据 $x \sim p_{data}(x)$ 和噪声分布 $p_\sigma(\tilde{x}|x)$（通常是高斯噪声），定义加噪数据分布： + + + + $$p_\sigma(\tilde{x}) = \int p_{data}(x) p_\sigma(\tilde{x}|x) dx$$ + + + +去噪分数匹配的关键洞察是：**加噪分布的分数函数可以用条件期望表示**。 + + + + 去噪分数匹配定理 + +对于高斯噪声 $p_\sigma(\tilde{x}|x) = \mathcal{N}(\tilde{x}; x, \sigma^2 I)$，加噪分布的分数函数为： + + + $$\nabla_{\tilde{x}} \log p_\sigma(\tilde{x}) = \mathbb{E}_{x \sim p(x|\tilde{x})}\left[\frac{x - \tilde{x}}{\sigma^2}\right]$$ + + +这意味着分数函数指向"去噪"的方向！ + + + + +#### 为什么这解决了问题？ + + + +去噪分数匹配的损失函数为： + + + + $$\mathcal{L}_{DSM}(\theta) = \mathbb{E}_{x \sim p_{data}} \mathbb{E}_{\tilde{x} \sim \mathcal{N}(x, \sigma^2 I)}\left[\left\|s_\theta(\tilde{x}, \sigma) - \frac{x - \tilde{x}}{\sigma^2}\right\|^2\right]$$ + + + + +#### DSM的优势 + + + + - **无需计算雅可比矩阵**：目标函数中的真实分数 $\frac{x - \tilde{x}}{\sigma^2}$ 是已知的！ + - **数值稳定**：加噪使得分布更平滑，分数函数更稳定 + - **与去噪的联系**：学习分数等价于学习去噪，这有直观的解释 + - **计算高效**：只需要前向传播，没有额外的计算开销 + + + + + +#### 多尺度去噪分数匹配 + + + +单一噪声水平的DSM仍有局限：在低噪声时难以覆盖整个数据空间，在高噪声时丢失细节。Song & Ermon (2019)提出使用多个噪声水平： + + + + 噪声调度的设计 + +选择一系列递增的噪声水平 $\{\sigma_i\}_{i=1}^L$，通常采用几何级数： + + + $$\sigma_i = \sigma_{\min} \left(\frac{\sigma_{\max}}{\sigma_{\min}}\right)^{\frac{i-1}{L-1}}$$ + + + +损失函数变为： + + + $$\mathcal{L}(\theta) = \sum_{i=1}^L \lambda(\sigma_i) \mathbb{E}_{x, \tilde{x}}\left[\left\|s_\theta(\tilde{x}, \sigma_i) - \frac{x - \tilde{x}}{\sigma_i^2}\right\|^2\right]$$ + + + +其中 $\lambda(\sigma_i)$ 是权重函数，常见选择包括： + + + + - 均匀权重：$\lambda(\sigma) = 1$ + - 与噪声成比例：$\lambda(\sigma) = \sigma^2$ + - 平衡权重：$\lambda(\sigma) = \sigma$ + + + + + + +# 去噪分数匹配的实现 +import torch +import torch.nn as nn +import numpy as np + +class DenoisingScoreMatching: + """去噪分数匹配训练框架""" + + def __init__(self, sigma_min=0.01, sigma_max=50, num_scales=10): + """ + Args: + sigma_min: 最小噪声标准差 + sigma_max: 最大噪声标准差 + num_scales: 噪声尺度数量 + """ + self.sigmas = torch.exp( + torch.linspace( + np.log(sigma_min), + np.log(sigma_max), + num_scales + ) + ) + + def get_noisy_data(self, x, sigma_idx=None): + """添加高斯噪声 + + Args: + x: 干净数据 [batch_size, ...] + sigma_idx: 噪声级别索引（None表示随机选择） + + Returns: + x_noisy: 加噪数据 + sigma: 使用的噪声标准差 + target_score: 真实分数 + """ + batch_size = x.shape[0] + + # 选择噪声级别 + if sigma_idx is None: + sigma_idx = torch.randint(0, len(self.sigmas), (batch_size,)) + + sigma = self.sigmas[sigma_idx].view(batch_size, *([1] * (x.ndim - 1))) + sigma = sigma.to(x.device) + + # 添加噪声 + noise = torch.randn_like(x) + x_noisy = x + sigma * noise + + # 真实分数：(x - x_noisy) / sigma^2 + target_score = -(noise / sigma) # 注意这里用noise/sigma而不是(x-x_noisy)/sigma^2 + + return x_noisy, sigma.squeeze(), target_score + + def loss_fn(self, model, x): + """计算去噪分数匹配损失 + + Args: + model: 分数模型 s_θ(x, σ) + x: 批量干净数据 + + Returns: + loss: DSM损失 + info: 额外信息用于日志 + """ + # 获取加噪数据和目标 + x_noisy, sigma, target_score = self.get_noisy_data(x) + + # 模型预测 + pred_score = model(x_noisy, sigma) + + # 计算损失（可以加权） + loss = 0.5 * ((pred_score - target_score) ** 2).sum(dim=tuple(range(1, x.ndim))) + + # 按噪声级别加权 + loss_weights = sigma # 或 sigma**2，或 1 + weighted_loss = (loss * loss_weights).mean() + + info = { + 'loss': weighted_loss.item(), + 'mean_score_norm': pred_score.norm(dim=-1).mean().item(), + 'mean_sigma': sigma.mean().item() + } + + return weighted_loss, info + +# 简单的分数网络示例 +class ScoreNet(nn.Module): + """条件分数网络 s_θ(x, σ)""" + + def __init__(self, data_dim, hidden_dim=128, embed_dim=128): + super().__init__() + + # 时间/噪声嵌入 + self.embed = nn.Sequential( + nn.Linear(1, embed_dim), + nn.SiLU(), + nn.Linear(embed_dim, embed_dim) + ) + + # 主网络 + self.net = nn.Sequential( + nn.Linear(data_dim + embed_dim, hidden_dim), + nn.SiLU(), + nn.Linear(hidden_dim, hidden_dim), + nn.SiLU(), + nn.Linear(hidden_dim, hidden_dim), + nn.SiLU(), + nn.Linear(hidden_dim, data_dim) + ) + + def forward(self, x, sigma): + """ + Args: + x: 输入数据 [batch_size, data_dim] + sigma: 噪声标准差 [batch_size] + """ + # 嵌入噪声级别 + sigma_embed = self.embed(sigma.log().unsqueeze(-1)) + + # 拼接并通过网络 + h = torch.cat([x, sigma_embed], dim=-1) + score = self.net(h) + + # 按照理论，分数应该与1/sigma成比例 + # 这里可以选择是否要显式建模这个关系 + return score / sigma.unsqueeze(-1) + +# 使用示例 +dsm = DenoisingScoreMatching() +model = ScoreNet(data_dim=2) +optimizer = torch.optim.Adam(model.parameters(), lr=1e-3) + +# 生成一些2D数据用于演示 +x_data = torch.randn(100, 2) * 0.5 + torch.tensor([[2.0, 2.0]]) + +# 训练步骤 +model.train() +loss, info = dsm.loss_fn(model, x_data) +loss.backward() +optimizer.step() + +print(f"DSM Loss: {info['loss']:.4f}") +print(f"Mean Score Norm: {info['mean_score_norm']:.4f}") +print(f"Mean Sigma: {info['mean_sigma']:.4f}") + + + +#### 理论保证 + + + 去噪分数匹配不仅实用，还有坚实的理论基础： + + + + DSM的一致性 + +在适当的正则性条件下，最小化DSM损失等价于最小化以下KL散度： + + + $$\min_\theta \text{KL}(p_\sigma(\tilde{x}) \| p_\theta(\tilde{x}))$$ + + +其中 $p_\theta$ 是由分数函数 $s_\theta$ 诱导的分布。 + + + + +#### 与DDPM的联系 + + + +去噪分数匹配与DDPM有深刻的联系： + + + + +#### 统一视角 + + +DDPM的去噪目标： + + + $$\mathcal{L}_{DDPM} = \mathbb{E}\left[\|\epsilon - \epsilon_\theta(x_t, t)\|^2\right]$$ + + + +通过变量替换 $s_\theta(x_t, t) = -\frac{\epsilon_\theta(x_t, t)}{\sqrt{1-\bar{\alpha}_t}}$，这等价于： + + + $$\mathcal{L}_{DSM} = \mathbb{E}\left[\|s_\theta(x_t, t) - \nabla_{x_t} \log p_t(x_t)\|^2\right]$$ + + + +因此，**DDPM本质上就是在做去噪分数匹配**！ + + + + +### 4.2.3 切片分数匹配（Sliced Score Matching） + + + +切片分数匹配（Sliced Score Matching, SSM）是Song et al. (2020)提出的另一个避免计算雅可比矩阵的方法。核心思想是将高维分数匹配问题投影到随机选择的一维方向上。 + + + +#### 基本思想 + + + +对于任意单位向量 $v \in \mathbb{R}^d$（$\|v\| = 1$），定义投影分数： + + + + $$s_v(x) = v^T \nabla_x \log p(x) = v^T s(x)$$ + + + +这是分数函数在方向 $v$ 上的投影。关键观察是：如果我们知道所有方向上的投影，就能重构完整的分数函数。 + + + + 切片分数匹配定理 + +分数匹配目标可以重写为： + + + $$\mathbb{E}_{x \sim p_{data}}\left[\|s_\theta(x) - \nabla_x \log p(x)\|^2\right] = \mathbb{E}_{x \sim p_{data}} \mathbb{E}_{v \sim \mathcal{N}(0,I)}\left[\left(v^T s_\theta(x) - v^T \nabla_x \log p(x)\right)^2\right]$$ + + + +更重要的是，使用分部积分后： + + + $$= \mathbb{E}_{x \sim p_{data}} \mathbb{E}_{v \sim \mathcal{N}(0,I)}\left[2 v^T \nabla_x (v^T s_\theta(x)) + (v^T s_\theta(x))^2\right] + C$$ + + + +其中 $v^T \nabla_x (v^T s_\theta(x))$ 只需要计算一个方向导数，而不是完整的雅可比矩阵！ + + + + +#### 计算优势 + + + + +#### 为什么SSM更高效？ + + + + - **朴素分数匹配**：需要计算 $d \times d$ 的雅可比矩阵的迹，需要 $O(d)$ 次反向传播 + - **切片分数匹配**：只需要计算方向导数 $v^T \nabla_x (v^T s_\theta(x))$，只需要 $O(1)$ 次反向传播 + - **随机性**：通过对多个随机方向 $v$ 求平均来降低方差 + + + + + +#### 实现细节 + + + + +# 切片分数匹配的实现 +import torch +import torch.nn as nn + +def sliced_score_matching_loss(model, x, n_slices=1): + """计算切片分数匹配损失 + + Args: + model: 分数模型 s_θ(x) + x: 数据点 [batch_size, dim] + n_slices: 每个样本使用的随机投影数 + + Returns: + loss: SSM损失 + """ + batch_size = x.shape[0] + dim = x.shape[1] + + # 需要梯度来计算二阶导数 + x = x.requires_grad_(True) + + # 计算分数 + score = model(x) # [batch_size, dim] + + # 初始化损失 + loss = 0 + + for _ in range(n_slices): + # 采样随机方向 + v = torch.randn(batch_size, dim, device=x.device) + v = v / v.norm(dim=1, keepdim=True) # 归一化 + + # 计算投影分数 v^T s(x) + s_v = (score * v).sum(dim=1) # [batch_size] + + # 计算方向导数 v^T ∇_x (v^T s(x)) + grad_s_v = torch.autograd.grad( + s_v.sum(), x, + create_graph=True, + retain_graph=True + )[0] # [batch_size, dim] + + # v^T ∇_x (v^T s(x)) + tr_grad_s_v = (grad_s_v * v).sum(dim=1) # [batch_size] + + # 累加损失：2 * tr_grad_s_v + s_v^2 + loss = loss + (2 * tr_grad_s_v + s_v ** 2) + + # 平均over slices和batch + return loss.mean() / n_slices + +# 改进版：使用Hutchinson估计进一步优化 +def sliced_score_matching_loss_v2(model, x, n_slices=1): + """SSM的另一种实现，计算上等价但可能数值更稳定""" + + x = x.requires_grad_(True) + score = model(x) + + loss = 0 + + for _ in range(n_slices): + # 随机投影向量 + v = torch.randn_like(x) + v = v / v.norm(dim=1, keepdim=True) + + # 计算 v^T J_s v，其中 J_s 是分数的雅可比矩阵 + # 这等价于计算 ∇_x (v^T s(x)) · v + v_dot_score = (score * v).sum(dim=1) + + # 直接计算二阶导数 + grad2 = torch.autograd.grad( + outputs=v_dot_score, + inputs=x, + grad_outputs=torch.ones_like(v_dot_score), + create_graph=True, + retain_graph=True + )[0] + + # 方向二阶导数 + tr_hessian = (grad2 * v).sum(dim=1) + + # SSM损失 + loss = loss + (v_dot_score ** 2 + 2 * tr_hessian) + + return loss.mean() / n_slices + +# 结合去噪的切片分数匹配 +class SlicedDenoisingScoreMatching: + """结合切片技术和去噪技术""" + + def __init__(self, sigma_min=0.01, sigma_max=50, num_scales=10): + self.sigmas = torch.exp( + torch.linspace(np.log(sigma_min), np.log(sigma_max), num_scales) + ) + + def loss_fn(self, model, x, n_slices=1): + """切片去噪分数匹配损失 + + 这结合了SSM的计算效率和DSM的稳定性 + """ + batch_size = x.shape[0] + + # 随机选择噪声级别 + sigma_idx = torch.randint(0, len(self.sigmas), (batch_size,)) + sigma = self.sigmas[sigma_idx].to(x.device) + + # 添加噪声 + noise = torch.randn_like(x) + x_noisy = x + sigma.view(-1, 1) * noise + + # 模型预测 + score_pred = model(x_noisy, sigma) + + # 真实分数 + score_true = -noise / sigma.view(-1, 1) + + # 切片损失：不需要计算雅可比矩阵！ + loss = 0 + for _ in range(n_slices): + v = torch.randn_like(x) + v = v / v.norm(dim=1, keepdim=True) + + # 投影误差 + proj_pred = (score_pred * v).sum(dim=1) + proj_true = (score_true * v).sum(dim=1) + + loss = loss + (proj_pred - proj_true) ** 2 + + # 加权 + weighted_loss = (loss * sigma).mean() / n_slices + + return weighted_loss + +# 演示使用 +print("切片分数匹配的计算效率比较：") +print("设数据维度 d = 1000") +print("- 朴素分数匹配：需要 1000 次反向传播") +print("- 切片分数匹配（10个切片）：只需要 10 次反向传播") +print("- 加速比：100x！") +print("\n注意：SSM引入了额外的方差，需要更多的训练步数") + + + +#### 理论分析 + + + 切片分数匹配的收敛性和效率取决于几个因素： + + + + 方差分析 + +设 $m$ 是每个样本使用的切片数，则SSM估计器的方差为： + + + $$\text{Var}[\mathcal{L}_{SSM}] \approx \frac{1}{m} \text{Var}[\mathcal{L}_{SM}]$$ + + +这意味着： + + + + - 使用更多切片可以降低方差 + - 但计算成本线性增长 + - 实践中，$m = 1$ 到 $m = 10$ 通常就足够了 + + + + + +#### 实用建议 + + + + +#### 什么时候使用SSM？ + + + + - **高维数据**：当 $d > 100$ 时，SSM的计算优势明显 + - **实时应用**：需要快速训练时 + - **与DSM结合**：可以同时使用去噪和切片技术 + - **注意事项**： + + + SSM可能需要更多的训练迭代 + - 对于低维问题，朴素方法可能更稳定 + - 批量大小要足够大以降低方差 + + + + + + + + +#### 与其他方法的比较 + + + + 分数匹配方法对比 + + + 方法 + 计算复杂度 + 稳定性 + 适用场景 + + + 朴素SM + $O(d)$ 反向传播 + 高 + 低维、小规模 + + + 去噪SM + $O(1)$ 反向传播 + 很高 + 通用，特别是生成模型 + + + 切片SM + $O(m)$ 反向传播 + 中等 + 高维、大规模 + + + 切片去噪SM + $O(1)$ 反向传播 + 高 + 高维生成模型 + + + + + +## 4.3 噪声条件分数网络（NCSN） + + + +### 4.3.1 多尺度噪声的动机 + + + +噪声条件分数网络（Noise Conditional Score Networks, NCSN）是Song & Ermon (2019)提出的一个突破性方法。它解决了单一噪声水平分数匹配的根本限制。 + + + +#### 单一噪声水平的问题 + + + +考虑在单一噪声水平 $\sigma$ 下学习分数函数。我们面临一个困境： + + + + +#### 噪声水平的两难选择 + + + + - **低噪声（$\sigma$ 小）**： + + + ✓ 保留数据细节 + - ✗ 只覆盖数据流形附近的区域 + - ✗ 模式之间没有连接，采样困难 + + + + - **高噪声（$\sigma$ 大）**： + + + ✓ 覆盖整个空间 + - ✓ 模式之间有连接 + - ✗ 丢失数据细节 + - ✗ 分数函数过于平滑 + + + + + + + + + 具体例子：二维混合高斯 + +考虑数据分布是两个分离的高斯分布： + + + $$p_{data}(x) = \frac{1}{2}\mathcal{N}(x; [-5, 0], I) + \frac{1}{2}\mathcal{N}(x; [5, 0], I)$$ + + + +不同噪声水平下的问题： + + + + - **$\sigma = 0.1$**：两个模式完全分离，Langevin采样会困在一个模式中 + - **$\sigma = 5.0$**：两个模式混合成一个大的高斯，丢失了双峰结构 + - **$\sigma = 1.0$**：折中方案，但仍不理想 + + + + + +#### 多尺度方法的洞察 + + + +NCSN的核心思想是使用一系列递增的噪声水平 $\{\sigma_i\}_{i=1}^L$，并学习所有噪声水平下的分数函数： + + + + $$s_\theta(x, \sigma_i) \approx \nabla_x \log p_{\sigma_i}(x)$$ + + + +其中 $p_{\sigma_i}(x) = \int p_{data}(x') \mathcal{N}(x; x', \sigma_i^2 I) dx'$。 + + + + 多尺度的优势 + + + - **全局到局部的探索**：高噪声水平提供全局连通性，低噪声水平恢复局部细节 + - **平滑的过渡**：相邻噪声水平之间的分布相似，便于学习和采样 + - **稳定的训练**：每个噪声水平的分数函数都相对平滑 + - **退火采样**：可以从高噪声逐步退火到低噪声，类似模拟退火 + + + + + +#### 噪声调度的设计 + + + +选择合适的噪声水平序列至关重要： + + + + +# 不同的噪声调度策略 +import numpy as np +import torch + +class NoiseSchedule: + """噪声调度的各种策略""" + + @staticmethod + def geometric(sigma_min=0.01, sigma_max=50.0, num_scales=10): + """几何级数：最常用，确保比例恒定 + + σ_i = σ_min * (σ_max/σ_min)^((i-1)/(L-1)) + """ + return torch.exp( + torch.linspace( + np.log(sigma_min), + np.log(sigma_max), + num_scales + ) + ) + + @staticmethod + def linear(sigma_min=0.01, sigma_max=50.0, num_scales=10): + """线性间隔：简单但通常不是最优""" + return torch.linspace(sigma_min, sigma_max, num_scales) + + @staticmethod + def quadratic(sigma_min=0.01, sigma_max=50.0, num_scales=10): + """二次间隔：在低噪声区域更密集""" + t = torch.linspace(0, 1, num_scales) + return sigma_min + (sigma_max - sigma_min) * t**2 + + @staticmethod + def cosine(sigma_min=0.01, sigma_max=50.0, num_scales=10): + """余弦调度：平滑过渡""" + t = torch.linspace(0, 1, num_scales) + return sigma_min + (sigma_max - sigma_min) * (1 - torch.cos(t * np.pi)) / 2 + + @staticmethod + def adaptive(data_samples, num_scales=10, percentiles=[1, 99]): + """自适应调度：基于数据分布 + + 根据数据点之间的距离分布来选择噪声水平 + """ + # 计算数据点之间的成对距离 + n = min(1000, len(data_samples)) # 采样以提高效率 + idx = torch.randperm(len(data_samples))[:n] + samples = data_samples[idx] + + # 计算成对距离 + dists = torch.cdist(samples, samples) + dists = dists[torch.triu(torch.ones_like(dists), diagonal=1).bool()] + + # 基于距离分布选择噪声水平 + sigma_min = torch.quantile(dists, percentiles[0]/100) + sigma_max = torch.quantile(dists, percentiles[1]/100) + + return NoiseSchedule.geometric(sigma_min, sigma_max, num_scales) + +# 分析不同调度的特性 +def analyze_schedule(schedule_name, sigmas): + """分析噪声调度的特性""" + ratios = sigmas[1:] / sigmas[:-1] + + print(f"\n{schedule_name} Schedule:") + print(f" Range: [{sigmas[0]:.3f}, {sigmas[-1]:.3f}]") + print(f" Ratios: min={ratios.min():.3f}, max={ratios.max():.3f}, mean={ratios.mean():.3f}") + print(f" First 3: {sigmas[:3].numpy()}") + print(f" Last 3: {sigmas[-3:].numpy()}") + +# 比较不同调度 +num_scales = 10 +schedules = { + "Geometric": NoiseSchedule.geometric(num_scales=num_scales), + "Linear": NoiseSchedule.linear(num_scales=num_scales), + "Quadratic": NoiseSchedule.quadratic(num_scales=num_scales), + "Cosine": NoiseSchedule.cosine(num_scales=num_scales) +} + +for name, sigmas in schedules.items(): + analyze_schedule(name, sigmas) + + + +#### 理论依据：退火重要性采样 + + + 多尺度方法的理论基础来自于退火重要性采样（Annealed Importance Sampling, AIS）： + + + + 退火采样的收敛性 + +设 $\{p_i\}_{i=0}^L$ 是一系列分布，满足： + + + + - $p_0$ 容易采样（如标准高斯） + - $p_L = p_{data}$ 是目标分布 + - 相邻分布"足够接近"：$D_{KL}(p_i \| p_{i+1}) 简单直接 + - 可能对某些噪声水平欠拟合或过拟合 + + + + - **与噪声成比例**：$\lambda(\sigma) = \sigma / \sum_j \sigma_j$ + + + 高噪声水平获得更多权重 + - 有助于全局结构的学习 + + + + - **与噪声平方成比例**：$\lambda(\sigma) = \sigma^2 / \sum_j \sigma_j^2$ + + + 补偿不同噪声水平下的方差差异 + - Song & Ermon (2019) 的推荐选择 + + + + + + + + +#### 实践考虑 + + + + +#### 设计多尺度系统的要点 + + + + - **噪声范围**： + + + $\sigma_{max}$ 应该足够大，使得 $p_{\sigma_{max}} \approx \mathcal{N}(0, \sigma_{max}^2 I)$ + - $\sigma_{min}$ 应该足够小以保留数据细节，但不能太小导致数值不稳定 + + + + - **尺度数量**： + + + 太少：相邻尺度差距大，退火效果差 + - 太多：计算成本高，可能过拟合 + - 典型选择：10-100个尺度 + + + + - **条件架构**： + + + 网络必须能够根据噪声水平调整行为 + - 常用方法：FiLM conditioning、时间嵌入等 + + + + + + + + +### 4.3.2 NCSN架构设计 + + + +设计一个有效的噪声条件分数网络需要考虑多个方面：网络如何处理不同尺度的输入、如何编码噪声水平信息，以及如何确保输出的正确尺度。 + + + +#### 核心设计原则 + + + + +#### NCSN架构的关键要求 + + + + - **噪声条件化**：网络必须根据噪声水平 $\sigma$ 调整其行为 + - **尺度等变性**：分数函数具有特定的尺度关系：$\nabla_x \log p_\sigma(x) \propto 1/\sigma^2$ + - **多尺度特征**：需要捕捉从粗到细的不同尺度特征 + - **计算效率**：单个网络处理所有噪声水平 + + + + + +#### 条件化机制 + + + +有几种将噪声水平 $\sigma$ 融入网络的方法： + + + + 1. 拼接方法（Concatenation） + +最简单的方法是将噪声水平直接拼接到输入： + + + $$s_\theta(x, \sigma) = f_\theta([x, \sigma \cdot \mathbf{1}])$$ + + +其中 $\mathbf{1}$ 是与 $x$ 同维度的全1向量。 + + + + + - ✓ 简单直接 + - ✗ 可能不够灵活 + - ✗ 噪声信息可能在深层丢失 + + + + + + 2. FiLM条件化（Feature-wise Linear Modulation） + +通过学习的缩放和偏移来调制特征： + + + $$h' = \gamma(\sigma) \odot h + \beta(\sigma)$$ + + +其中 $\gamma(\sigma)$ 和 $\beta(\sigma)$ 是从噪声水平学习的调制参数。 + + + + + - ✓ 更灵活的条件化 + - ✓ 可以应用于多个层 + - ✓ 保持特征的语义 + + + + + + 3. 位置编码方法（Positional Encoding） + +借鉴Transformer的思想，使用正弦编码： + + + $$\text{embed}(\sigma) = [\sin(2^0 \pi \sigma), \cos(2^0 \pi \sigma), ..., \sin(2^{L-1} \pi \sigma), \cos(2^{L-1} \pi \sigma)]$$ + + + + + - ✓ 能够表示连续的噪声水平 + - ✓ 具有良好的插值性质 + - ✓ 在Transformer架构中特别有效 + + + + + + +# NCSN架构实现 +import torch +import torch.nn as nn +import torch.nn.functional as F +import numpy as np + +class SinusoidalEmbedding(nn.Module): + """正弦位置编码用于噪声水平""" + + def __init__(self, dim, scale=1.0): + super().__init__() + self.dim = dim + self.scale = scale + + def forward(self, x): + """ + Args: + x: 噪声水平 [batch_size] 或 [batch_size, 1] + Returns: + 嵌入 [batch_size, dim] + """ + if x.dim() == 1: + x = x.unsqueeze(-1) + + half_dim = self.dim // 2 + emb = np.log(10000) / half_dim + emb = torch.exp(-emb * torch.arange(half_dim, device=x.device)) + emb = self.scale * x * emb + emb = torch.cat([torch.sin(emb), torch.cos(emb)], dim=-1) + + return emb + +class ConditionalInstanceNorm2d(nn.Module): + """条件实例归一化，用于FiLM""" + + def __init__(self, num_features, num_classes): + super().__init__() + self.num_features = num_features + self.norm = nn.InstanceNorm2d(num_features, affine=False) + + # 学习的调制参数 + self.embed = nn.Linear(num_classes, num_features * 2) + self.embed.weight.data[:, :num_features].normal_(1, 0.02) # gamma + self.embed.weight.data[:, num_features:].zero_() # beta + + def forward(self, x, y): + """ + Args: + x: 特征图 [batch_size, num_features, height, width] + y: 条件嵌入 [batch_size, num_classes] + """ + out = self.norm(x) + gamma, beta = self.embed(y).chunk(2, dim=1) + gamma = gamma.view(-1, self.num_features, 1, 1) + beta = beta.view(-1, self.num_features, 1, 1) + + return gamma * out + beta + +class ResBlock(nn.Module): + """带条件化的残差块""" + + def __init__(self, in_channels, out_channels, embed_dim, dropout=0.1): + super().__init__() + self.in_channels = in_channels + self.out_channels = out_channels + + self.norm1 = ConditionalInstanceNorm2d(in_channels, embed_dim) + self.conv1 = nn.Conv2d(in_channels, out_channels, 3, padding=1) + + self.norm2 = ConditionalInstanceNorm2d(out_channels, embed_dim) + self.conv2 = nn.Conv2d(out_channels, out_channels, 3, padding=1) + + if in_channels != out_channels: + self.skip = nn.Conv2d(in_channels, out_channels, 1) + else: + self.skip = nn.Identity() + + self.dropout = nn.Dropout(dropout) + + def forward(self, x, embed): + """ + Args: + x: 输入特征 + embed: 噪声嵌入 + """ + h = self.norm1(x, embed) + h = F.silu(h) + h = self.conv1(h) + + h = self.norm2(h, embed) + h = F.silu(h) + h = self.dropout(h) + h = self.conv2(h) + + return h + self.skip(x) + +class NCSN(nn.Module): + """噪声条件分数网络""" + + def __init__( + self, + channels=3, + embed_dim=128, + channels_mult=[1, 2, 2, 2], + num_res_blocks=2, + dropout=0.1, + use_scale_shift_norm=True + ): + super().__init__() + + # 噪声嵌入 + self.embed = nn.Sequential( + SinusoidalEmbedding(embed_dim), + nn.Linear(embed_dim, embed_dim * 4), + nn.SiLU(), + nn.Linear(embed_dim * 4, embed_dim * 4), + nn.SiLU(), + nn.Linear(embed_dim * 4, embed_dim) + ) + + # U-Net编码器 + self.conv_in = nn.Conv2d(channels, embed_dim, 3, padding=1) + + down_blocks = [] + ch = embed_dim + for level, mult in enumerate(channels_mult): + for _ in range(num_res_blocks): + down_blocks.append(ResBlock(ch, mult * embed_dim, embed_dim, dropout)) + ch = mult * embed_dim + if level != len(channels_mult) - 1: + down_blocks.append(nn.Conv2d(ch, ch, 3, stride=2, padding=1)) + + self.down = nn.ModuleList(down_blocks) + + # 中间块 + self.mid = nn.ModuleList([ + ResBlock(ch, ch, embed_dim, dropout), + ResBlock(ch, ch, embed_dim, dropout) + ]) + + # U-Net解码器 + up_blocks = [] + for level, mult in list(enumerate(channels_mult))[::-1]: + for _ in range(num_res_blocks + 1): + up_blocks.append(ResBlock(ch, mult * embed_dim, embed_dim, dropout)) + ch = mult * embed_dim + if level != 0: + up_blocks.append(nn.ConvTranspose2d(ch, ch, 4, stride=2, padding=1)) + + self.up = nn.ModuleList(up_blocks) + + # 输出层 + self.norm_out = nn.GroupNorm(8, ch) + self.conv_out = nn.Conv2d(ch, channels, 3, padding=1) + + def forward(self, x, sigma): + """ + Args: + x: 输入图像 [batch_size, channels, height, width] + sigma: 噪声水平 [batch_size] + + Returns: + 分数估计 [batch_size, channels, height, width] + """ + # 噪声嵌入 + embed = self.embed(sigma.log()) + + # 输入卷积 + h = self.conv_in(x) + + # 下采样 + hs = [h] + for layer in self.down: + if isinstance(layer, ResBlock): + h = layer(h, embed) + else: + h = layer(h) + hs.append(h) + + # 中间处理 + for layer in self.mid: + h = layer(h, embed) + + # 上采样 + for layer in self.up: + if isinstance(layer, ResBlock): + h = layer(torch.cat([h, hs.pop()], dim=1), embed) + else: + h = layer(h) + + # 输出 + h = self.norm_out(h) + h = F.silu(h) + h = self.conv_out(h) + + # 重要：按照理论，分数应该与 1/sigma 成比例 + # 但在实践中，我们让网络自己学习这个关系 + return h + +# 轻量级版本用于演示 +class SimpleNCSN(nn.Module): + """简化的NCSN用于低维数据""" + + def __init__(self, data_dim, hidden_dim=128, embed_dim=32): + super().__init__() + + self.embed = SinusoidalEmbedding(embed_dim) + + self.net = nn.Sequential( + nn.Linear(data_dim + embed_dim, hidden_dim), + nn.SiLU(), + nn.Linear(hidden_dim, hidden_dim), + nn.SiLU(), + nn.Linear(hidden_dim, hidden_dim), + nn.SiLU(), + nn.Linear(hidden_dim, data_dim) + ) + + def forward(self, x, sigma): + sigma_embed = self.embed(sigma) + h = torch.cat([x, sigma_embed], dim=-1) + return self.net(h) / sigma.unsqueeze(-1) + +# 测试架构 +def test_ncsn(): + model = SimpleNCSN(data_dim=2) + x = torch.randn(10, 2) + sigma = torch.rand(10) * 10 + score = model(x, sigma) + + print(f"输入形状: {x.shape}") + print(f"噪声水平: {sigma[:3]}") + print(f"分数输出形状: {score.shape}") + print(f"分数尺度: {score.abs().mean():.3f}") + +test_ncsn() + + + +#### 架构设计考虑 + + + + +#### 最佳实践 + + + + - **归一化层的选择**： + + + GroupNorm通常比BatchNorm更稳定 + - 条件InstanceNorm适合图像生成 + - LayerNorm适合Transformer架构 + + + + + - **激活函数**： + + + SiLU (Swish) 通常优于ReLU + - 平滑的激活函数有助于分数估计 + + + + + - **残差连接**： + + + 深度网络必需 + - 有助于梯度流动 + - 稳定训练 + + + + + - **输出尺度**： + + + 理论上分数 $\propto 1/\sigma$ + - 可以显式建模或让网络学习 + - 注意数值稳定性 + + + + + + + + +#### 与其他架构的比较 + + + + 架构演进 + 从NCSN到后续工作的架构改进： + + + + - **NCSN (2019)**：RefineNet架构，实例归一化 + - **NCSN++ (2020)**：改进的U-Net，GroupNorm，自注意力 + - **DDPM (2020)**：简化的U-Net，时间嵌入 + - **Score SDE (2021)**：统一框架，更灵活的架构选择 + + + + + +### 4.3.3 退火Langevin动力学 + + + +退火Langevin动力学（Annealed Langevin Dynamics, ALD）是NCSN用于生成样本的核心算法。它结合了Langevin MCMC和模拟退火的思想，通过逐步降低噪声水平来生成高质量样本。 + + + +#### 基础Langevin动力学 + + + +回顾标准的Langevin动力学，对于目标分布 $p(x)$： + + + + $$x_{t+1} = x_t + \frac{\epsilon}{2} \nabla_x \log p(x_t) + \sqrt{\epsilon} z_t, \quad z_t \sim \mathcal{N}(0, I)$$ + + + +其中 $\epsilon$ 是步长。当 $\epsilon \to 0$ 且迭代次数 $\to \infty$ 时，这个马尔可夫链收敛到 $p(x)$。 + + + +#### 退火策略 + + + +ALD的关键创新是使用一系列递减的噪声水平 $\{\sigma_i\}_{i=1}^L$，在每个噪声水平运行Langevin动力学： + + + + 退火Langevin动力学算法 + + + - 初始化：$x_0 \sim \mathcal{N}(0, \sigma_1^2 I)$ + - 对于每个噪声水平 $\sigma_i$，$i = 1, ..., L$： + + + 运行 $T$ 步Langevin更新： + + $$x_{t+1} = x_t + \epsilon_i s_\theta(x_t, \sigma_i) + \sqrt{2\epsilon_i} z_t$$ + + + - 使用最后一步的样本作为下一个噪声水平的初始值 + + + + - 返回最终样本 $x$ + + + + + + +#### 为什么退火有效？ + + + + - **全局探索 → 局部细化**： + + + 高噪声水平：探索整个空间，跨越模式 + - 低噪声水平：细化局部结构，恢复细节 + + + + - **平滑过渡**：相邻噪声水平的分布相似，采样链保持连续性 + - **避免局部最小值**：类似模拟退火，早期的高温阶段帮助逃离局部陷阱 + + + + + +#### 步长选择 + + + +步长 $\epsilon_i$ 的选择对算法性能至关重要： + + + + 最优步长（理论） + +对于噪声水平 $\sigma_i$，理论最优步长为： + + + $$\epsilon_i^* = \frac{c \sigma_i^2}{|\Sigma|^{1/d}}$$ + + +其中 $c$ 是常数，$|\Sigma|$ 是数据协方差矩阵的行列式，$d$ 是维度。 + + + +实践中常用的简化： + + + $$\epsilon_i = \epsilon \cdot \min(1, \sigma_i^2 / \sigma_L^2)$$ + + + + + +# 退火Langevin动力学实现 +import torch +import numpy as np +from tqdm import tqdm + +class AnnealedLangevinSampler: + """退火Langevin动力学采样器""" + + def __init__( + self, + score_model, + sigmas, + epsilon=2e-5, + T=100, + denoise=True, + device='cuda' + ): + """ + Args: + score_model: 训练好的分数模型 + sigmas: 噪声水平序列（降序） + epsilon: 基础步长 + T: 每个噪声水平的Langevin步数 + denoise: 是否在最后一步去噪 + """ + self.score_model = score_model + self.sigmas = sigmas.to(device) + self.epsilon = epsilon + self.T = T + self.denoise = denoise + self.device = device + + def get_epsilon(self, sigma): + """自适应步长""" + # Song & Ermon (2019) 的建议 + return self.epsilon * (sigma / self.sigmas[-1]) ** 2 + + @torch.no_grad() + def sample(self, batch_size, shape, show_progress=True): + """生成样本 + + Args: + batch_size: 批量大小 + shape: 数据形状（不包括batch维度） + show_progress: 是否显示进度条 + + Returns: + samples: 生成的样本 + trajectory: 采样轨迹（可选） + """ + # 初始化：从高斯噪声开始 + x = torch.randn(batch_size, *shape, device=self.device) + x = x * self.sigmas[0] + + trajectory = [x.clone()] + + # 退火过程 + sigma_levels = tqdm(self.sigmas, desc="Annealing") if show_progress else self.sigmas + + for i, sigma in enumerate(sigma_levels): + # 当前噪声水平的步长 + epsilon_i = self.get_epsilon(sigma) + + # 在当前噪声水平运行T步Langevin + for t in range(self.T): + # 计算分数 + score = self.score_model(x, sigma.expand(batch_size)) + + # Langevin更新 + noise = torch.randn_like(x) + x = x + epsilon_i * score + np.sqrt(2 * epsilon_i) * noise + + trajectory.append(x.clone()) + + # 可选的最后去噪步骤 + if self.denoise: + # 使用最小噪声水平再做一次预测 + score = self.score_model(x, self.sigmas[-1].expand(batch_size)) + x = x + self.sigmas[-1] ** 2 * score + + return x, trajectory + + @torch.no_grad() + def sample_with_initialization(self, x_init, start_sigma_idx=0): + """从特定初始值和噪声水平开始采样 + + 用于图像编辑、插值等任务 + """ + batch_size = x_init.shape[0] + x = x_init.clone() + + # 从指定的噪声水平开始 + for i in range(start_sigma_idx, len(self.sigmas)): + sigma = self.sigmas[i] + epsilon_i = self.get_epsilon(sigma) + + for t in range(self.T): + score = self.score_model(x, sigma.expand(batch_size)) + noise = torch.randn_like(x) + x = x + epsilon_i * score + np.sqrt(2 * epsilon_i) * noise + + return x + +# 改进的采样器：使用预测-校正方法 +class PredictorCorrectorSampler(AnnealedLangevinSampler): + """预测-校正采样器（Song et al., 2021）""" + + def __init__(self, *args, corrector_steps=1, snr=0.16, **kwargs): + super().__init__(*args, **kwargs) + self.corrector_steps = corrector_steps + self.snr = snr # 信噪比 + + @torch.no_grad() + def sample(self, batch_size, shape, show_progress=True): + """使用预测-校正方法采样""" + x = torch.randn(batch_size, *shape, device=self.device) + x = x * self.sigmas[0] + + sigma_levels = tqdm( + enumerate(self.sigmas[:-1]), + total=len(self.sigmas)-1, + desc="PC Sampling" + ) if show_progress else enumerate(self.sigmas[:-1]) + + for i, sigma in sigma_levels: + sigma_next = self.sigmas[i + 1] + + # 预测步骤（大步跳跃） + score = self.score_model(x, sigma.expand(batch_size)) + x_mean = x + (sigma ** 2 - sigma_next ** 2) * score + noise = torch.randn_like(x) + x = x_mean + torch.sqrt(sigma_next ** 2 - 0) * noise + + # 校正步骤（Langevin MCMC） + for _ in range(self.corrector_steps): + score = self.score_model(x, sigma_next.expand(batch_size)) + noise = torch.randn_like(x) + epsilon = self.snr * sigma_next ** 2 + x = x + epsilon * score + torch.sqrt(2 * epsilon) * noise + + return x, None + +# 实用工具函数 +def interpolate_samples(x1, x2, sampler, num_steps=10): + """在潜在空间中插值两个样本""" + alphas = torch.linspace(0, 1, num_steps) + interpolated = [] + + for alpha in alphas: + # 球面线性插值（保持范数） + x_interp = slerp(x1, x2, alpha) + + # 从中间噪声水平开始去噪 + start_idx = len(sampler.sigmas) // 2 + x_denoised = sampler.sample_with_initialization( + x_interp, start_sigma_idx=start_idx + ) + interpolated.append(x_denoised) + + return torch.stack(interpolated) + +def slerp(x1, x2, alpha): + """球面线性插值""" + x1_norm = x1 / x1.norm(dim=-1, keepdim=True) + x2_norm = x2 / x2.norm(dim=-1, keepdim=True) + + omega = torch.acos((x1_norm * x2_norm).sum(dim=-1, keepdim=True).clamp(-1, 1)) + + return (torch.sin((1 - alpha) * omega) / torch.sin(omega)) * x1 + \ + (torch.sin(alpha * omega) / torch.sin(omega)) * x2 + +# 使用示例 +print("退火Langevin动力学示例：") +print("1. 基础采样器：使用固定步长和T步Langevin") +print("2. 自适应步长：根据噪声水平调整步长") +print("3. 预测-校正：更快的采样，更好的质量") +print("4. 条件采样：从部分噪声开始，用于编辑任务") + + + +#### 收敛性分析 + + + + 退火Langevin的收敛保证 + 在适当条件下，ALD算法有以下保证： + + + + - **单个噪声水平**：对于固定的 $\sigma_i$，Langevin动力学以速率 $O(\epsilon)$ 收敛到 $p_{\sigma_i}$ + - **退火过程**：如果相邻分布足够接近（$D_{KL}(p_{\sigma_i} \| p_{\sigma_{i+1}}) 在中等噪声水平使用更多步数 + - 最高和最低噪声水平可以用较少步数 + + + + + - **最后的去噪步**： + + $$x_{final} = x + \sigma_{min}^2 \nabla_x \log p_{\sigma_{min}}(x)$$ + + +这一步通常能显著提升视觉质量 + + + + - **温度调节**： + + + 降低温度（减小噪声）：更确定但可能缺乏多样性 + - 提高温度（增大噪声）：更多样但可能质量下降 + + + + + - **早停策略**： + + + 不一定要运行到最小噪声 + - 在适当的噪声水平停止可能得到更好的感知质量 + + + + + + + + +#### 与其他采样方法的比较 + + + + 采样方法对比 + + + 方法 + 速度 + 质量 + 特点 + + + 退火Langevin + 慢 + 高 + 理论保证，稳定 + + + DDIM + 快 + 高 + 确定性，可逆 + + + 预测-校正 + 中等 + 很高 + 平衡速度和质量 + + + DPM-Solver + 很快 + 高 + 高阶ODE求解器 + + + + + +## 4.4 Langevin动力学与采样 + + + +### 4.4.1 Langevin方程的基础 + + + +Langevin方程最初由法国物理学家Paul Langevin在1908年提出，用于描述布朗运动。在机器学习中，Langevin动力学成为了一种强大的采样方法，特别适合基于梯度的采样。 + + + +#### 物理起源 + + + +考虑一个在势能场 $U(x)$ 中运动的粒子，受到两种力的作用： + + + + - **确定性力**：$-\nabla U(x)$（势能的负梯度） + - **随机力**：热噪声，建模为白噪声 + + + + +过阻尼Langevin方程（忽略惯性项）为： + + + + $$\frac{dx}{dt} = -\nabla U(x) + \sqrt{2\beta^{-1}} \eta(t)$$ + + + +其中 $\beta = 1/(k_B T)$ 是逆温度，$\eta(t)$ 是白噪声（满足 $\langle \eta(t) \rangle = 0$，$\langle \eta(t)\eta(t') \rangle = \delta(t-t')$）。 + + + +#### 概率论视角 + + + +从概率论角度，如果我们想从分布 $p(x) \propto \exp(-U(x))$ 采样，注意到： + + + + $$\nabla \log p(x) = -\nabla U(x)$$ + + + +因此Langevin方程可以重写为： + + + + $$dx = \nabla \log p(x) dt + \sqrt{2} dW_t$$ + + + +这是一个随机微分方程（SDE），其中 $W_t$ 是标准布朗运动。 + + + + Fokker-Planck方程 + +Langevin SDE对应的概率密度演化由Fokker-Planck方程描述： + + + $$\frac{\partial p_t}{\partial t} = -\nabla \cdot (p_t \nabla \log p) + \Delta p_t = \nabla \cdot (\nabla p_t + p_t \nabla \log p)$$ + + + +稳态解（$\partial p_t/\partial t = 0$）满足： + + + $$\nabla p_{\infty} + p_{\infty} \nabla \log p = 0$$ + + + +这给出 $p_{\infty} = p$，即目标分布！ + + + + +#### 离散化方案 + + + +为了数值实现，需要离散化SDE。最常用的是Euler-Maruyama方法： + + + + $$x_{k+1} = x_k + \epsilon \nabla \log p(x_k) + \sqrt{2\epsilon} z_k, \quad z_k \sim \mathcal{N}(0, I)$$ + + + +其中 $\epsilon$ 是步长。这个更新规则有两个解释： + + + + +#### 两种视角的统一 + + + + - **梯度上升 + 噪声**：在对数概率上做梯度上升，加上探索性噪声 + - **MCMC**：这是Metropolis-adjusted Langevin algorithm (MALA)的特例（当接受率为1时） + + + +这两种视角解释了为什么Langevin动力学既能找到高概率区域，又能正确采样。 + + + + + +# Langevin动力学的基础实现 +import torch +import numpy as np + +class LangevinDynamics: + """基础Langevin动力学采样器""" + + def __init__(self, score_fn, step_size=0.01, noise_scale=1.0): + """ + Args: + score_fn: 分数函数 ∇log p(x) + step_size: 步长 ε + noise_scale: 噪声缩放（温度控制） + """ + self.score_fn = score_fn + self.step_size = step_size + self.noise_scale = noise_scale + + def step(self, x): + """单步Langevin更新""" + score = self.score_fn(x) + noise = torch.randn_like(x) + + x_new = x + self.step_size * score + \ + np.sqrt(2 * self.step_size * self.noise_scale) * noise + + return x_new + + def sample(self, x_init, num_steps, return_trajectory=False): + """运行Langevin动力学 + + Args: + x_init: 初始点 + num_steps: 步数 + return_trajectory: 是否返回整个轨迹 + + Returns: + 最终样本或整个轨迹 + """ + x = x_init.clone() + trajectory = [x.clone()] if return_trajectory else None + + for _ in range(num_steps): + x = self.step(x) + if return_trajectory: + trajectory.append(x.clone()) + + return trajectory if return_trajectory else x + +# Metropolis-adjusted Langevin Algorithm (MALA) +class MALA: + """带Metropolis-Hastings校正的Langevin算法""" + + def __init__(self, log_prob_fn, score_fn, step_size=0.01): + self.log_prob_fn = log_prob_fn + self.score_fn = score_fn + self.step_size = step_size + + def proposal(self, x): + """Langevin提议分布""" + score = self.score_fn(x) + noise = torch.randn_like(x) + + mean = x + self.step_size * score + x_prop = mean + np.sqrt(2 * self.step_size) * noise + + return x_prop, mean + + def log_proposal_ratio(self, x_new, x_old): + """计算提议分布的比率 q(x_old|x_new) / q(x_new|x_old)""" + # 前向提议: x_old -> x_new + score_old = self.score_fn(x_old) + mean_forward = x_old + self.step_size * score_old + + # 反向提议: x_new -> x_old + score_new = self.score_fn(x_new) + mean_backward = x_new + self.step_size * score_new + + # 高斯提议的对数比率 + log_q_backward = -0.5 * torch.sum((x_old - mean_backward)**2) / (2 * self.step_size) + log_q_forward = -0.5 * torch.sum((x_new - mean_forward)**2) / (2 * self.step_size) + + return log_q_backward - log_q_forward + + def step(self, x): + """MALA的一步""" + # Langevin提议 + x_prop, _ = self.proposal(x) + + # Metropolis-Hastings接受率 + log_alpha = self.log_prob_fn(x_prop) - self.log_prob_fn(x) + \ + self.log_proposal_ratio(x_prop, x) + + # 接受或拒绝 + if torch.rand(1) + + + +#### 收敛性质 + + + + Langevin动力学的收敛定理 + 在适当的正则性条件下（如对数凹分布），离散Langevin动力学有以下性质： + + + + + - **偏差-方差权衡**： + + + 小步长：小偏差，慢收敛 + - 大步长：大偏差，可能不稳定 + + + + + - **收敛速率**：对于 $m$-强凸势能，以步长 $\epsilon 使用预条件矩阵：$x_{k+1} = x_k + \epsilon M \nabla \log p(x_k) + \sqrt{2\epsilon M} z_k$ + - $M$ 可以是协方差矩阵的逆或其近似 + + + + + - **自适应步长**： + + + 根据局部曲率调整步长 + - 使用Robbins-Monro类型的递减步长 + + + + + - **方差减少**： + + + 控制变量方法 + - 使用历史信息（如SAGA类型的更新） + + + + + - **并行化**： + + + 多链并行 + - 异步更新 + + + + + + + + +### 4.4.2 离散化与数值稳定性 + + [内容待补充] + + +### 4.4.3 采样算法实现 + + [内容待补充] + + +## 4.5 分数模型与扩散模型的统一 + + + +### 4.5.1 两种观点的等价性 + + [内容待补充] + + +### 4.5.2 SDE框架下的统一 + + [内容待补充] + + +### 4.5.3 实践中的差异与选择 + + [内容待补充] + + +## 4.6 实现：训练分数模型 + + + +### 4.6.1 数据预处理与噪声调度 + + [内容待补充] + + +### 4.6.2 损失函数与优化 + + [内容待补充] + + +### 4.6.3 评估与可视化 + + [内容待补充] + + +## 4.7 高级主题 + + + +### 4.7.1 分数模型的理论性质 + + [内容待补充] + + +### 4.7.2 改进的采样技术 + + [内容待补充] + + +### 4.7.3 条件分数模型 + + [内容待补充] + + +## 4.8 练习题 + + + + +练习 4.1：分数函数的性质 + +证明以下性质： + + + + - 对于高斯分布 $p(x) = \mathcal{N}(x; \mu, \Sigma)$，证明分数函数为 $\nabla_x \log p(x) = -\Sigma^{-1}(x - \mu)$ + - 证明 $\mathbb{E}_{x \sim p}[\nabla_x \log p(x)] = 0$（提示：使用分部积分） + - 对于能量函数 $E(x) = \frac{1}{2}x^T A x + b^T x + c$，求对应的分数函数 + +**解答：** + + + + - 高斯分布： + $$\log p(x) = -\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu) + C$$ + $$\nabla_x \log p(x) = -\Sigma^{-1}(x-\mu)$$ + + - 期望为零： + $$\mathbb{E}[\nabla_x \log p(x)] = \int p(x) \frac{\nabla p(x)}{p(x)} dx = \int \nabla p(x) dx = \nabla \int p(x) dx = \nabla 1 = 0$$ + + - 二次能量函数： + $$p(x) \propto \exp(-E(x))$$ + $$\nabla_x \log p(x) = -\nabla_x E(x) = -(Ax + b)$$ + + + + + + +练习 4.2：实现去噪分数匹配 + +为二维数据实现一个完整的去噪分数匹配训练流程： + + + + - 生成"瑞士卷"（Swiss roll）数据集 + - 实现多尺度去噪分数匹配损失 + - 训练一个简单的MLP作为分数网络 + - 使用退火Langevin动力学生成新样本 + +# 完整实现框架 +import torch +import torch.nn as nn +import numpy as np +from sklearn.datasets import make_swiss_roll + +# 1. 生成数据 +def generate_swiss_roll(n_samples=1000): + X, _ = make_swiss_roll(n_samples, noise=0.1) + X = X[:, [0, 2]] # 使用x和z坐标 + return torch.tensor(X, dtype=torch.float32) + +# 2. 分数网络 +class ScoreNet(nn.Module): + def __init__(self, dim=2, hidden_dim=128): + super().__init__() + self.net = nn.Sequential( + nn.Linear(dim + 1, hidden_dim), # +1 for time/sigma + nn.ReLU(), + nn.Linear(hidden_dim, hidden_dim), + nn.ReLU(), + nn.Linear(hidden_dim, dim) + ) + + def forward(self, x, sigma): + t = sigma.log().view(-1, 1) + h = torch.cat([x, t], dim=1) + return self.net(h) / sigma.view(-1, 1) + +# 3. 训练循环 +def train_dsm(model, data, sigmas, num_epochs=1000): + optimizer = torch.optim.Adam(model.parameters(), lr=1e-3) + + for epoch in range(num_epochs): + # 随机批次 + idx = torch.randint(0, len(data), (128,)) + x = data[idx] + + # 随机噪声水平 + sigma_idx = torch.randint(0, len(sigmas), (len(x),)) + sigma = sigmas[sigma_idx] + + # 添加噪声 + noise = torch.randn_like(x) + x_noisy = x + sigma.view(-1, 1) * noise + + # 预测分数 + score_pred = model(x_noisy, sigma) + + # 损失 + loss = ((score_pred + noise/sigma.view(-1, 1))**2).mean() + + optimizer.zero_grad() + loss.backward() + optimizer.step() + +# 4. 采样 +def sample_ald(model, sigmas, num_samples=100): + x = torch.randn(num_samples, 2) * sigmas[0] + + for sigma in sigmas: + for _ in range(100): # T steps per sigma + score = model(x, sigma.expand(num_samples)) + noise = torch.randn_like(x) + step_size = 0.1 * (sigma/sigmas[-1])**2 + x = x + step_size * score + np.sqrt(2*step_size) * noise + + return x + + + + + + 练习 4.3：分析NCSN的多尺度效应 + 实验分析不同噪声调度对NCSN性能的影响： + + + + - 实现几何、线性、余弦三种噪声调度 + - 在相同数据上训练三个模型 + - 比较它们的收敛速度和生成质量 + - 可视化不同噪声水平下的分数场 + + + + + + 练习 4.4：从分数模型到扩散模型 + +推导并验证分数模型与DDPM的等价性： + + + + - 从DDPM的训练目标出发，推导其与分数匹配的关系 + - 实现一个统一的框架，可以在两种参数化之间转换 + - 验证两种方法在相同设置下产生相同的结果 + + + + + + +## 本章小结 + + +在本章中，我们从分数函数的角度深入理解了生成模型，建立了分数模型与扩散模型之间的桥梁： + + + +#### 主要收获 + + + + - **分数函数基础**：理解了分数函数的定义、性质和几何意义 + - **分数匹配技术**：掌握了去噪分数匹配、切片分数匹配等实用方法 + - **NCSN架构**：学习了多尺度噪声的设计和条件化网络架构 + - **Langevin动力学**：深入理解了基于分数的采样算法 + - **统一视角**：看到了分数模型和扩散模型的内在联系 + + + + +#### 关键要点 + + + + - 分数函数 $\nabla_x \log p(x)$ 提供了无需归一化常数的概率建模方法 + - 去噪分数匹配巧妙地避开了直接计算雅可比矩阵的难题 + - 多尺度方法解决了单一噪声水平的局限性 + - 退火Langevin动力学提供了理论保证的采样方法 + - 分数匹配与DDPM在数学上是等价的，只是参数化不同 + + + + +#### 与DDPM的对比 + + + + 方面 + DDPM + 分数模型 + + + 核心思想 + 学习去噪 + 学习分数函数 + + + 参数化 + 预测噪声 $\epsilon$ + 预测分数 $\nabla \log p$ + + + 理论基础 + 变分推断 + 分数匹配 + + + 采样方法 + 祖先采样 + Langevin动力学 + + + + +#### 展望 + + +基于本章的知识，我们为后续学习打下了坚实基础： + + + + - **第5章**：将离散时间推广到连续时间，学习SDE/ODE框架 + - **第6章**：探索流匹配等新方法，进一步统一生成模型 + - **第8章**：基于分数函数的理解，开发更快的采样算法 + + + + +分数视角不仅提供了理解扩散模型的新方式，还启发了许多改进和扩展。在下一章，我们将进入连续时间的世界，看看如何用随机微分方程统一描述所有这些方法！ \ No newline at end of file diff --git a/chapter4_updated.md b/chapter4_updated.md new file mode 100644 index 0000000..32a1c0b --- /dev/null +++ b/chapter4_updated.md @@ -0,0 +1,438 @@ +[← 上一章](chapter3.md) | 第4章 / 共14章 | [下一章 →](chapter5.md) + +# 第4章：基于分数的生成模型 + +基于分数的生成模型（Score-based Generative Models）提供了理解扩散模型的另一个重要视角。通过直接学习数据分布的分数函数（score function，即对数概率密度的梯度），我们可以构建强大的生成模型。本章将深入探讨分数匹配、Langevin动力学以及它们与扩散模型的深层联系。从NCSN到Score SDE，我们将看到分数模型如何与DDPM统一在同一框架下。 + +## 4.1 分数函数的直觉与重要性 + +### 4.1.1 什么是分数函数？ + +分数函数（score function）是概率论和统计学中的一个基本概念，它定义为对数概率密度函数关于数据的梯度： + +$$\nabla_x \log p(x) = \frac{\nabla_x p(x)}{p(x)}$$ + +这个看似简单的定义蕴含着深刻的意义。让我们通过几个例子来理解它。 + +**例1：一维高斯分布** + +对于标准正态分布 $p(x) = \frac{1}{\sqrt{2\pi}} e^{-\frac{x^2}{2}}$： + +$$\log p(x) = -\frac{x^2}{2} - \frac{1}{2}\log(2\pi)$$ + +分数函数为： +$$\nabla_x \log p(x) = -x$$ + +注意这个结果的直观性： +- 当 $x > 0$ 时，分数为负，指向原点（概率更高的方向） +- 当 $x < 0$ 时，分数为正，同样指向原点 +- 分数的大小与偏离原点的距离成正比 + +**🔬 研究线索：** 分数函数的这种"指向高概率区域"的性质是否总是成立？考虑多峰分布的情况，分数函数在鞍点附近的行为如何？这涉及到动力系统理论中的稳定性分析。 + +### 4.1.2 为什么分数函数重要？ + +分数函数在机器学习和统计学中扮演着核心角色，其重要性体现在多个方面： + +#### 1. 无需归一化常数 + +许多复杂的概率模型（如马尔可夫随机场、能量模型）的归一化常数难以计算： + +$$p(x) = \frac{1}{Z} \exp(-E(x)), \quad Z = \int \exp(-E(x)) dx$$ + +但分数函数可以直接计算，无需知道 $Z$： + +$$\nabla_x \log p(x) = -\nabla_x E(x)$$ + +**实例：Ising模型** + +在统计物理中的Ising模型中，系统能量为： +$$E(x) = -J \sum_{\langle i,j \rangle} x_i x_j - h \sum_i x_i$$ + +其中 $x_i \in \{-1, +1\}$。配分函数 $Z$ 的计算是 #P-hard 问题，但能量的梯度（在连续松弛下）却很容易计算。 + +**💡 开放问题：** 如何设计高效的分数函数估计器，使其在高维空间中仍然准确？当前的神经网络架构是否最优？考虑引入物理约束或对称性。 + +#### 2. 采样算法的基础 + +分数函数直接告诉我们如何在概率分布中"爬山"： + +$$x_{t+1} = x_t + \epsilon \nabla_x \log p(x_t) + \sqrt{2\epsilon} \xi_t$$ + +其中 $\xi_t \sim \mathcal{N}(0, I)$。这就是著名的Langevin动力学。 + +**⚡ 实现挑战：** Langevin采样在高维空间收敛极慢。如何设计自适应步长？如何处理多尺度问题？预条件器的选择至关重要，可以考虑使用 `torch.optim.LBFGS` 中的Hessian近似思想。 + +### 4.1.3 分数函数的几何意义 + +从几何角度看，分数函数定义了数据流形上的一个向量场。这个向量场有着优美的性质： + +**性质1：梯度流的不动点** +$$\nabla_x \log p(x^*) = 0 \Leftrightarrow x^* \text{ 是 } p(x) \text{ 的局部极值点}$$ + +**性质2：体积收缩** +分数函数的散度反映了概率密度的局部曲率： +$$\nabla \cdot (\nabla \log p(x)) = \nabla^2 \log p(x) + \|\nabla \log p(x)\|^2$$ + +**🌟 理论缺口：** 分数函数的全局几何性质还未被完全理解。特别是在流形上的分数函数理论仍在发展中。这与最优传输理论有深刻联系，但具体的联系仍需探索。 + +
+练习 4.1：探索分数函数的性质 + +1. 证明对于指数族分布 $p(x) = h(x)\exp(\eta^T T(x) - A(\eta))$，分数函数具有特殊形式。 + +2. **开放探索**：考虑混合高斯分布 $p(x) = \sum_i \pi_i \mathcal{N}(x; \mu_i, \Sigma_i)$。 + - 分析分数函数在不同区域的行为 + - 什么条件下会出现"分数坍塌"（score collapse）？ + - 如何设计对这种现象鲁棒的学习算法？ + +**研究思路**： +- 从动力系统角度分析相空间的结构 +- 考虑引入正则化项来避免数值不稳定 +- 探索与最优传输的联系 + +
+ +## 4.2 分数匹配：学习未知分布的分数 + +### 4.2.1 经典分数匹配 + +给定数据分布 $p_{data}(x)$ 的样本，如何学习其分数函数？Hyvärinen (2005) 提出了分数匹配（Score Matching）方法。 + +**基本思想**：最小化模型分数与真实分数的差异 +$$\mathcal{L}_{SM} = \mathbb{E}_{p_{data}}\left[\frac{1}{2}\|\nabla_x \log p_{model}(x) - \nabla_x \log p_{data}(x)\|^2\right]$$ + +但这里有个问题：我们不知道 $\nabla_x \log p_{data}(x)$！ + +**Hyvärinen的天才洞察**：通过分部积分，可以得到一个等价的目标函数，不需要真实分数： + +$$\mathcal{L}_{SM} = \mathbb{E}_{p_{data}}\left[\text{tr}(\nabla_x^2 \log p_{model}(x)) + \frac{1}{2}\|\nabla_x \log p_{model}(x)\|^2\right] + \text{const}$$ + +**🔬 研究线索：** 分数匹配的这种"隐式"特性是否可以推广到其他问题？考虑在因果推断、强化学习中的应用。隐式方法避免了直接估计难以处理的量，这个思想值得深入探索。 + +### 4.2.2 去噪分数匹配（Denoising Score Matching） + +计算Hessian矩阵的迹 `torch.autograd.functional.hessian` 在高维情况下代价高昂。Vincent (2011) 提出了一个巧妙的替代方案： + +**核心思想**：向数据添加噪声，然后学习去噪 +$$\tilde{x} = x + \sigma \epsilon, \quad \epsilon \sim \mathcal{N}(0, I)$$ + +去噪分数匹配目标： +$$\mathcal{L}_{DSM} = \mathbb{E}_{p_{data}(x)}\mathbb{E}_{\epsilon}\left[\frac{1}{2}\|s_\theta(\tilde{x}, \sigma) + \frac{\epsilon}{\sigma}\|^2\right]$$ + +**关键洞察**：这个目标函数在学习"如何去噪"，而去噪方向正是分数函数的方向！ + +**💡 开放问题：** +1. 最优的噪声调度是什么？当前的线性或几何调度是否最优？ +2. 能否设计自适应的噪声调度，根据局部几何自动调整？ +3. 非高斯噪声（如Laplace噪声）会带来什么优势？ + +### 4.2.3 基于切片的分数匹配（Sliced Score Matching） + +**⚡ 实现挑战：** 计算高维Hessian的另一种方法是使用随机投影： + +$$\mathcal{L}_{SSM} = \mathbb{E}_{p_{data}}\mathbb{E}_{v \sim \mathcal{N}(0,I)}\left[v^T\nabla_x^2 \log p_{model}(x)v + \frac{1}{2}(v^T\nabla_x \log p_{model}(x))^2\right]$$ + +这只需要计算方向导数，可以用 `torch.autograd.grad` 高效实现。但投影会损失信息，如何选择最优的投影方向仍是开放问题。 + +
+练习 4.2：实现与分析不同的分数匹配方法 + +1. 实现三种分数匹配方法，比较它们在2D数据上的表现。 + +2. **开放探索**：设计新的分数匹配方法 + - 考虑使用对抗训练来匹配分数 + - 探索基于最优传输的分数匹配 + - 研究在流形上的分数匹配 + +**研究思路**： +- 分析不同方法的方差-偏差权衡 +- 考虑计算效率与估计精度的平衡 +- 探索与其他无监督学习方法的联系 + +
+ +## 4.3 噪声条件分数网络（NCSN） + +### 4.3.1 多尺度去噪分数匹配 + +Song & Ermon (2019) 的关键创新是引入多个噪声尺度： + +$$\{\sigma_i\}_{i=1}^L, \quad \sigma_1 > \sigma_2 > \cdots > \sigma_L$$ + +**动机**： +- 大噪声帮助覆盖整个空间，避免模式遗漏 +- 小噪声帮助精确建模细节 +- 不同尺度提供了"课程学习"效果 + +**🌟 理论缺口：** 噪声尺度的选择缺乏严格的理论指导。当前主要依赖经验和网格搜索。能否从信息论或最优控制角度推导最优调度？ + +### 4.3.2 退火Langevin动力学 + +NCSN使用退火策略进行采样： + +``` +对于每个噪声级别 σ_i: + 运行 T 步 Langevin 动力学 + 逐渐减小步长 +``` + +**💡 开放问题：** +1. 如何自动确定每个噪声级别的迭代次数？ +2. 能否设计连续的退火过程而非离散级别？ +3. 如何处理采样过程中的metastability？ + +### 4.3.3 架构设计考虑 + +NCSN使用带条件的U-Net架构： +- 输入：带噪声的数据 + 噪声级别 +- 输出：该噪声级别下的分数估计 + +**⚡ 实现挑战：** +- 不同噪声级别的分数尺度差异巨大，如何归一化？ +- 是否应该为不同噪声级别使用不同的网络？ +- 如何在网络中有效编码噪声级别信息？使用 `torch.nn.Embedding` 还是连续编码？ + +
+练习 4.3：探索NCSN的改进 + +1. 实现基础NCSN并分析其在不同数据分布上的表现。 + +2. **开放探索**：改进NCSN + - 设计自适应的噪声调度算法 + - 探索非欧几里德空间（如球面、双曲空间）上的NCSN + - 研究NCSN与谱方法的结合 + +**研究思路**： +- 从优化理论角度分析收敛性 +- 考虑引入物理先验（如能量守恒） +- 探索与神经ODE的联系 + +
+ +## 4.4 Langevin动力学与采样 + +### 4.4.1 连续时间Langevin动力学 + +Langevin方程描述了布朗粒子在势场中的运动： + +$$dX_t = \nabla \log p(X_t)dt + \sqrt{2}dW_t$$ + +这个SDE的平稳分布正是 $p(x)$。 + +**🔬 研究线索：** Langevin动力学与物理学中的涨落-耗散定理有深刻联系。能否利用这种联系设计更高效的采样算法？考虑引入"记忆"效应或非马尔可夫动力学。 + +### 4.4.2 离散化与误差分析 + +Euler-Maruyama离散化： +$$x_{k+1} = x_k + \epsilon s_\theta(x_k) + \sqrt{2\epsilon}\xi_k$$ + +**关键问题**： +- 离散化误差如何累积？ +- 如何选择步长 $\epsilon$？ +- 何时停止迭代？ + +**🌟 理论缺口：** 非凸情况下的收敛性分析仍不完整。特别是： +1. 有限时间内的混合时间界 +2. 非光滑分数函数的影响 +3. 离散化对不变测度的影响 + +### 4.4.3 加速采样技术 + +标准Langevin采样很慢，几种加速技术： + +1. **预条件Langevin动力学** + $$dX_t = G(X_t)\nabla \log p(X_t)dt + \sqrt{2G(X_t)}dW_t$$ + + 其中 $G(x)$ 是预条件矩阵。 + +2. **动量方法（Hamiltonian Monte Carlo）** + 引入动量变量，利用哈密顿动力学。 + +3. **并行链** + 运行多个温度的Markov链，交换状态。 + +**💡 开放问题：** +- 如何自动设计最优预条件器？ +- 能否利用神经网络学习加速采样？ +- 如何在保持正确性的同时最大化并行效率？ + +
+练习 4.4：Langevin采样的深入研究 + +1. 实现不同的Langevin采样变体，比较效率。 + +2. **开放探索**：新型采样算法 + - 设计基于最优传输的采样路径 + - 探索量子启发的采样算法 + - 研究在离散空间上的"Langevin"动力学 + +**研究思路**： +- 分析不同算法的偏差-方差权衡 +- 考虑自适应和在线学习策略 +- 探索与强化学习的联系（采样作为决策过程） + +
+ +## 4.5 统一视角：Score-Based Models与Diffusion Models + +### 4.5.1 DDPM作为特殊的分数模型 + +关键发现：DDPM的去噪目标等价于分数匹配！ + +DDPM学习： +$$\mathbb{E}[\|\epsilon - \epsilon_\theta(x_t, t)\|^2]$$ + +而加噪数据的分数函数： +$$\nabla_{x_t} \log p_t(x_t) = -\frac{\epsilon}{\sqrt{1-\bar{\alpha}_t}}$$ + +因此DDPM实际上在学习（重新缩放的）分数函数。 + +**🔬 研究线索：** 这种等价性是巧合还是有更深层的原因？考虑从信息几何或最优传输角度理解这种联系。 + +### 4.5.2 连续时间框架 + +Song et al. (2021) 提出了统一的SDE框架： + +前向SDE： +$$dx = f(x,t)dt + g(t)dW_t$$ + +对应的反向SDE： +$$dx = [f(x,t) - g(t)^2\nabla_x \log p_t(x)]dt + g(t)d\bar{W}_t$$ + +不同选择的 $f$ 和 $g$ 对应不同的模型： +- VP-SDE (Variance Preserving) +- VE-SDE (Variance Exploding) +- sub-VP-SDE + +**💡 开放问题：** +1. 什么样的SDE选择是最优的？ +2. 能否自适应地学习SDE系数？ +3. 非线性SDE会带来什么优势？ + +### 4.5.3 概率流ODE + +每个SDE都有对应的概率流ODE： +$$dx = [f(x,t) - \frac{1}{2}g(t)^2\nabla_x \log p_t(x)]dt$$ + +这个ODE： +- 具有相同的边际分布 +- 但是确定性的 +- 可以用于精确似然计算 + +**⚡ 实现挑战：** +- ODE求解器的选择（`torchdiffeq.odeint` 的不同方法） +- 如何权衡精度与速度？ +- 如何处理刚性ODE？ + +
+练习 4.5：探索统一框架 + +1. 实现不同的SDE并比较它们的特性。 + +2. **开放探索**：扩展统一框架 + - 设计新的SDE族 + - 探索非欧几里德空间上的扩散 + - 研究带约束的扩散过程 + +**研究思路**： +- 从几何角度理解不同SDE的含义 +- 考虑引入自适应或学习的SDE系数 +- 探索与最优控制的联系 + +
+ +## 4.6 高级主题与前沿研究 + +### 4.6.1 条件分数模型 + +给定条件 $y$，如何建模 $p(x|y)$ 的分数？ + +**方法1：直接建模** +$$s_\theta(x, y, t) \approx \nabla_x \log p_t(x|y)$$ + +**方法2：分类器引导** +$$\nabla_x \log p(x|y) = \nabla_x \log p(x) + \nabla_x \log p(y|x)$$ + +**🌟 理论缺口：** +- 两种方法的理论比较尚不完整 +- 如何处理高维或结构化的条件？ +- 组合性条件生成仍是挑战 + +### 4.6.2 流形上的分数模型 + +现实数据常位于低维流形上，如何在流形上定义分数函数？ + +**挑战**： +- 需要流形的局部坐标系 +- 切空间上的分数函数定义 +- 测地线vs欧氏距离 + +**💡 开放问题：** +- 如何学习未知流形的几何？ +- 能否设计流形感知的神经网络架构？ +- 如何处理拓扑变化？ + +### 4.6.3 分数模型的理论基础 + +**未解决的理论问题**： + +1. **样本复杂度**：需要多少样本才能学好分数函数？ +2. **逼近误差**：神经网络的表达能力限制 +3. **优化景观**：分数匹配的优化是否是良性的？ + +**🔬 研究线索：** 这些问题与统计学习理论、逼近理论和优化理论都有联系。特别是与神经切线核(NTK)理论的联系值得探索。 + +
+综合练习：设计你的分数生成模型 + +基于本章所学，设计一个新的分数生成模型： + +1. **问题设定**：选择一个具有挑战性的生成任务 + - 如：图上的分子生成、3D点云生成、时间序列生成 + +2. **方法设计**： + - 如何定义合适的分数函数？ + - 采用什么训练策略？ + - 如何设计高效的采样算法？ + +3. **理论分析**： + - 你的方法有什么理论保证？ + - 与现有方法相比有什么优势？ + +4. **开放研究方向**： + - 识别你的方法中的理论缺口 + - 提出可能的改进方向 + - 设计验证实验 + +**研究思路**： +- 从应用需求出发，识别现有方法的不足 +- 考虑跨学科的思想借鉴 +- 注重理论与实践的结合 + +
+ +## 本章小结 + +在本章中，我们深入探讨了基于分数的生成模型： + +**核心概念**： +- 分数函数作为概率分布的局部几何信息 +- 分数匹配技术绕过归一化常数的计算 +- Langevin动力学提供原理性的采样方法 +- 与扩散模型的深刻联系 + +**关键洞察**： +- 去噪与分数估计的等价性 +- 多尺度建模的重要性 +- 连续时间框架的统一视角 + +**开放问题与研究方向**： +- 高效的分数函数学习与采样 +- 非欧几里德空间的扩展 +- 理论基础的完善 +- 与其他机器学习范式的结合 + +分数模型不仅是强大的生成模型，更提供了理解概率分布的新视角。随着理论的发展和计算能力的提升，我们期待看到更多突破性的进展。 + +下一章，我们将进入连续时间的世界，探讨PDE/SDE视角下的扩散模型，看看微分方程如何为生成建模提供新的工具。 \ No newline at end of file diff --git a/chapter5.html b/chapter5.html deleted file mode 100644 index d99c118..0000000 --- a/chapter5.html +++ /dev/null @@ -1,4722 +0,0 @@ - - - - - - 第5章：连续时间扩散模型 (PDE/SDE) - 扩散模型教程 - - - - - - - -
-
- ← 上一章 - 第5章 / 共14章 - 下一章 → -
- -

第5章：连续时间扩散模型 (PDE/SDE)

- -
- 到目前为止，我们学习的扩散模型都是在离散时间步上定义的。但如果我们让时间步数趋于无穷，会发生什么？答案是：我们得到了随机微分方程（SDE）！Song等人在2021年的工作"Score-Based Generative Modeling through Stochastic Differential Equations"统一了之前的所有方法，并开启了连续时间建模的新纪元。本章将深入探讨SDE框架，以及相关的概率流ODE和Fokker-Planck方程。 -
- -

5.1 从离散到连续：极限过程

- -

5.1.1 离散扩散过程的回顾

- -

在前面的章节中，我们学习了离散时间的扩散模型。让我们回顾其核心结构，为理解连续时间做准备。

- -

DDPM的前向过程

- -

DDPM定义了一个马尔可夫链，逐步向数据添加噪声：

- -
- $$q(x_t | x_{t-1}) = \mathcal{N}(x_t; \sqrt{1-\beta_t} x_{t-1}, \beta_t I)$$ -
- -

其中 $\beta_t$ 是预定义的噪声调度。通过重参数化技巧，我们可以直接从 $x_0$ 采样 $x_t$：

- -
- $$x_t = \sqrt{\bar{\alpha}_t} x_0 + \sqrt{1-\bar{\alpha}_t} \epsilon, \quad \epsilon \sim \mathcal{N}(0, I)$$ -
- -

其中 $\alpha_t = 1 - \beta_t$，$\bar{\alpha}_t = \prod_{s=1}^t \alpha_s$。

- -

关键观察：小步长近似

- -
-

离散步长的含义

-

当 $\beta_t$ 很小时，前向过程可以理解为：

-
- $$x_t = x_{t-1} - \frac{\beta_t}{2} x_{t-1} + \sqrt{\beta_t} z_{t-1}, \quad z_{t-1} \sim \mathcal{N}(0, I)$$ -
- -

这看起来像是一个离散化的方程：

-
    -
  • 漂移项：$-\frac{\beta_t}{2} x_{t-1}$（向原点收缩）
    • -
  • 扩散项：$\sqrt{\beta_t} z_{t-1}$（添加随机性）
    • -
-
- -

Score-based模型的视角

- -

在NCSN中，我们考虑不同噪声水平下的分布：

- -
- $$p_\sigma(x) = \int p_{data}(x') \mathcal{N}(x; x', \sigma^2 I) dx'$$ -
- -

如果我们让 $\sigma$ 随时间连续变化，$\sigma(t)$，会发生什么？

- -
-
离散与连续的对应
- - - - - - - - - - - - - - - - - - - - - - - - - - -
离散时间连续时间含义
$t \in \{0, 1, ..., T\}$$t \in [0, T]$时间变量
$x_t - x_{t-1}$$dx_t$无穷小变化
$\beta_t$$\beta(t)dt$噪声强度
$z_t \sim \mathcal{N}(0, I)$$dW_t$布朗运动增量
-
- -
-
# 可视化离散步长的影响
-import torch
-import numpy as np
-
-def discrete_diffusion_path(x0, betas, return_all=True):
-    """模拟离散扩散路径"""
-    x = x0.clone()
-    path = [x.clone()]
-    
-    for beta in betas:
-        # 前向扩散步
-        noise = torch.randn_like(x)
-        x = np.sqrt(1 - beta) * x + np.sqrt(beta) * noise
-        
-        if return_all:
-            path.append(x.clone())
-    
-    return torch.stack(path) if return_all else x
-
-# 比较不同步数的路径
-def compare_discretizations(x0, T=1.0, num_steps_list=[10, 50, 1000]):
-    """比较不同离散化的效果"""
-    paths = {}
-    
-    for num_steps in num_steps_list:
-        # 线性噪声调度
-        betas = torch.linspace(0.0001, 0.02, num_steps)
-        
-        # 调整到相同的总噪声量
-        betas = betas * T / num_steps
-        
-        path = discrete_diffusion_path(x0, betas)
-        paths[num_steps] = path
-    
-    # 分析路径的统计性质
-    for num_steps, path in paths.items():
-        final_mean = path[-1].mean()
-        final_std = path[-1].std()
-        print(f"步数={num_steps:4d}: 最终均值={final_mean:.3f}, 标准差={final_std:.3f}")
-    
-    return paths
-
-# 演示
-x0 = torch.randn(1000, 2)  # 1000个2D点
-paths = compare_discretizations(x0)
-print("\n观察：随着步数增加，离散路径趋于某个极限过程")
-
- -

为什么需要连续时间？

- -
-

连续时间的优势

-
    -
  1. 理论优雅：可以使用强大的SDE理论工具
    2. -
  2. 灵活采样：可以在任意时刻停止或评估
    3. -
  3. 数值方法：可以使用高阶ODE/SDE求解器
    4. -
  4. 统一框架：不同的离散模型成为同一SDE的不同离散化
    5. -
-
- -

5.1.2 时间步趋于无穷的极限

- -

现在让我们严格地推导当时间步数趋于无穷时会发生什么。这个过程揭示了SDE的自然出现。

- -

极限过程的设置

- -

考虑将时间区间 $[0, T]$ 分成 $N$ 份，每份长度 $\Delta t = T/N$。在离散设置中：

- -
- $$x_{k+1} = \sqrt{1 - \beta_k} x_k + \sqrt{\beta_k} z_k, \quad z_k \sim \mathcal{N}(0, I)$$ -
- -

为了保持合理的扩散速度，我们需要让 $\beta_k = \tilde{\beta}(t_k) \Delta t$，其中 $\tilde{\beta}(t)$ 是连续函数。

- -
-
关键洞察：Taylor展开
-

当 $\Delta t \to 0$ 时，我们可以展开：

-
- $$\sqrt{1 - \tilde{\beta}(t)\Delta t} = 1 - \frac{\tilde{\beta}(t)}{2}\Delta t + O((\Delta t)^2)$$ -
- -

因此离散更新变为：

-
- $$x_{k+1} - x_k = -\frac{\tilde{\beta}(t_k)}{2} x_k \Delta t + \sqrt{\tilde{\beta}(t_k)\Delta t} z_k$$ -
-
- -

布朗运动的出现

- -

关键观察：$\sqrt{\Delta t} z_k$ 在极限下收敛到布朗运动的增量！

- -
-

从离散噪声到布朗运动

-

定义 $W_N(t) = \sum_{k=0}^{\lfloor t/\Delta t \rfloor} \sqrt{\Delta t} z_k$，则：

-
    -
  • $\mathbb{E}[W_N(t)] = 0$
    • -
  • $\mathbb{E}[W_N(t)^2] = t$
    • -
  • 增量独立且正态分布
    • -
-

根据Donsker定理，$W_N(t) \xrightarrow{d} W(t)$（标准布朗运动）。

-
- -

SDE的导出

- -

取极限 $N \to \infty$（即 $\Delta t \to 0$），我们得到：

- -
- $$dx_t = -\frac{\tilde{\beta}(t)}{2} x_t dt + \sqrt{\tilde{\beta}(t)} dW_t$$ -
- -

更一般地，我们可以写成：

- -
- $$dx_t = f(x_t, t) dt + g(t) dW_t$$ -
- -

其中 $f(x_t, t) = -\frac{\tilde{\beta}(t)}{2} x_t$ 是漂移系数，$g(t) = \sqrt{\tilde{\beta}(t)}$ 是扩散系数。

- -
-
具体例子：VP (Variance Preserving) SDE
-

DDPM的连续时间极限给出VP-SDE：

-
- $$dx = -\frac{1}{2}\beta(t)x dt + \sqrt{\beta(t)} dW_t$$ -
- -

其中 $\beta(t)$ 是连续的噪声调度函数。常见选择：

-
    -
  • 线性：$\beta(t) = \beta_{\min} + t(\beta_{\max} - \beta_{\min})$
    • -
  • 余弦：$\beta(t) = \pi \sin^2(\frac{t}{T} \cdot \frac{\pi}{2})$
    • -
-
- -
-
# 数值验证：离散过程收敛到SDE
-import torch
-import numpy as np
-from scipy.stats import kstest
-
-class DiscreteToSDE:
-    """验证离散过程收敛到SDE的数值实验"""
-    
-    def __init__(self, beta_fn, T=1.0):
-        self.beta_fn = beta_fn
-        self.T = T
-    
-    def discrete_evolution(self, x0, N):
-        """离散扩散过程"""
-        dt = self.T / N
-        x = x0.clone()
-        
-        for k in range(N):
-            t = k * dt
-            beta_dt = self.beta_fn(t) * dt
-            
-            # 离散更新
-            noise = torch.randn_like(x)
-            x = np.sqrt(1 - beta_dt) * x + np.sqrt(beta_dt) * noise
-        
-        return x
-    
-    def sde_solution(self, x0, t):
-        """VP-SDE的解析解（当beta为常数时）"""
-        # 对于一般的beta(t)，需要数值积分
-        # 这里简化为常数情况
-        beta_avg = self.beta_fn(self.T/2)  # 近似
-        
-        mean_factor = np.exp(-0.5 * beta_avg * t)
-        var_factor = 1 - np.exp(-beta_avg * t)
-        
-        mean = mean_factor * x0
-        std = np.sqrt(var_factor)
-        
-        return mean, std
-    
-    def test_convergence(self, x0, N_values=[10, 50, 100, 500, 1000]):
-        """测试收敛性"""
-        n_samples = 10000
-        x0_batch = x0.repeat(n_samples, 1)
-        
-        results = {}
-        
-        for N in N_values:
-            # 运行离散过程
-            x_final = self.discrete_evolution(x0_batch, N)
-            
-            # 理论分布
-            mean_theory, std_theory = self.sde_solution(x0, self.T)
-            
-            # 比较统计量
-            mean_empirical = x_final.mean(dim=0)
-            std_empirical = x_final.std(dim=0)
-            
-            # KS检验（对第一个维度）
-            x_normalized = (x_final[:, 0] - mean_theory[0]) / std_theory
-            ks_stat, p_value = kstest(x_normalized.numpy(), 'norm')
-            
-            results[N] = {
-                'mean_error': torch.norm(mean_empirical - mean_theory).item(),
-                'std_error': torch.norm(std_empirical - std_theory).item(),
-                'ks_stat': ks_stat,
-                'p_value': p_value
-            }
-        
-        return results
-
-# 运行实验
-def demonstrate_convergence():
-    # 定义beta函数
-    beta_fn = lambda t: 0.1 + 10 * t  # 线性调度
-    
-    # 初始点
-    x0 = torch.tensor([1.0, -0.5])
-    
-    # 测试收敛
-    tester = DiscreteToSDE(beta_fn)
-    results = tester.test_convergence(x0)
-    
-    print("离散过程 → SDE 收敛性分析")
-    print("="*60)
-    print(f"{'N':>6} | {'均值误差':>10} | {'标准差误差':>10} | {'KS统计量':>10} | {'p值':>10}")
-    print("-"*60)
-    
-    for N, res in results.items():
-        print(f"{N:6d} | {res['mean_error']:10.6f} | {res['std_error']:10.6f} | "
-              f"{res['ks_stat']:10.6f} | {res['p_value']:10.6f}")
-    
-    print("\n结论：随着N增加，离散过程的分布收敛到SDE的理论分布")
-
-demonstrate_convergence()
-
- -

数学严格性

- -
-
收敛定理（简化版）
-

设离散过程 $\{X^N_k\}$ 由以下递归定义：

-
- $$X^N_{k+1} = X^N_k + f(X^N_k, t_k)\Delta t + g(t_k)\sqrt{\Delta t} Z_k$$ -
- -

在适当的正则性条件下（Lipschitz连续性等），当 $N \to \infty$ 时：

-
- $$X^N_{\lfloor t/\Delta t \rfloor} \xrightarrow{d} X_t$$ -
- -

其中 $X_t$ 是SDE的解：$dX_t = f(X_t, t)dt + g(t)dW_t$。

-
- -

5.1.3 SDE的直观理解

- -

随机微分方程（SDE）初看起来可能很抽象，但它描述的是一个非常自然的现象：带有随机扰动的动力系统。让我们通过多个角度来建立直观理解。

- -

粒子运动的视角

- -
-

布朗运动的发现

-

1827年，植物学家Robert Brown观察到花粉在水中的无规则运动。Einstein在1905年解释了这一现象：

-
    -
  • 花粉受到水分子的随机碰撞
    • -
  • 宏观运动 = 确定性漂移 + 随机扰动
    • -
  • 这正是SDE描述的内容！
    • -
-
- -

SDE的一般形式 $dx_t = f(x_t, t)dt + g(t)dW_t$ 可以理解为：

- -
-
物理类比
- - - - - - - - - - - - - - - - - - - - - -
SDE项物理含义在扩散模型中
$f(x_t, t)dt$确定性力（如重力、摩擦）向噪声分布的漂移
$g(t)dW_t$随机碰撞（热运动）注入的高斯噪声
$x_t$粒子位置数据点的状态
-
- -

信号处理的视角

- -

在信号处理中，SDE描述了信号如何被噪声逐渐破坏：

- -
- $$\text{带噪信号}(t) = \text{衰减} \cdot \text{原始信号}(t) + \text{累积噪声}(t)$$ -
- -

这正对应于扩散模型的前向过程：清晰图像逐渐变成噪声。

- -

概率演化的视角

- -
-
从点到分布
-

SDE不仅描述单个粒子的轨迹，更重要的是描述概率分布的演化：

-
    -
  • $x_0$ 开始是一个确定的点（或某个初始分布）
    • -
  • 随着时间推移，不确定性增加
    • -
  • $p(x_t|x_0)$ 变得越来越分散
    • -
  • 最终收敛到某个稳态分布（如标准正态）
    • -
-
- -
-
# 可视化SDE的直观含义
-import torch
-import numpy as np
-
-class SDEVisualization:
-    """通过模拟展示SDE的不同方面"""
-    
-    def __init__(self, drift_fn, diffusion_fn):
-        """
-        Args:
-            drift_fn: f(x, t) - 漂移函数
-            diffusion_fn: g(t) - 扩散系数函数
-        """
-        self.f = drift_fn
-        self.g = diffusion_fn
-    
-    def simulate_paths(self, x0, T, dt=0.01, n_paths=100):
-        """模拟多条SDE路径"""
-        n_steps = int(T / dt)
-        paths = torch.zeros(n_paths, n_steps + 1, x0.shape[-1])
-        paths[:, 0] = x0
-        
-        for i in range(n_steps):
-            t = i * dt
-            x = paths[:, i]
-            
-            # Euler-Maruyama方法
-            drift = self.f(x, t) * dt
-            diffusion = self.g(t) * np.sqrt(dt) * torch.randn_like(x)
-            
-            paths[:, i + 1] = x + drift + diffusion
-        
-        return paths
-    
-    def analyze_distribution_evolution(self, x0, T, checkpoints=[0.1, 0.5, 1.0, 2.0]):
-        """分析分布随时间的演化"""
-        print("分布演化分析")
-        print("="*50)
-        
-        for t in checkpoints:
-            if t > T:
-                continue
-                
-            # 模拟到时刻t
-            paths = self.simulate_paths(x0, t, n_paths=10000)
-            final_x = paths[:, -1]
-            
-            # 统计量
-            mean = final_x.mean(dim=0)
-            std = final_x.std(dim=0)
-            
-            print(f"t = {t:.1f}:")
-            print(f"  均值: {mean.numpy()}")
-            print(f"  标准差: {std.numpy()}")
-            print(f"  数据范围: [{final_x.min():.2f}, {final_x.max():.2f}]")
-            print()
-
-# 示例1：Ornstein-Uhlenbeck过程（均值回归）
-def ou_drift(x, t, theta=1.0, mu=0.0):
-    """OU过程的漂移：回归到均值mu"""
-    return theta * (mu - x)
-
-def constant_diffusion(t, sigma=1.0):
-    """常数扩散系数"""
-    return sigma
-
-print("示例1: Ornstein-Uhlenbeck过程（金融中的均值回归模型）")
-print("-"*50)
-ou_sde = SDEVisualization(ou_drift, constant_diffusion)
-x0 = torch.tensor([5.0])  # 从远离均值的点开始
-ou_sde.analyze_distribution_evolution(x0, T=5.0)
-
-# 示例2：扩散模型的VP-SDE
-def vp_drift(x, t, beta_min=0.1, beta_max=20.0):
-    """VP-SDE的漂移"""
-    beta_t = beta_min + t * (beta_max - beta_min)
-    return -0.5 * beta_t * x
-
-def vp_diffusion(t, beta_min=0.1, beta_max=20.0):
-    """VP-SDE的扩散系数"""
-    beta_t = beta_min + t * (beta_max - beta_min)
-    return np.sqrt(beta_t)
-
-print("\n示例2: VP-SDE（扩散模型）")
-print("-"*50)
-vp_sde = SDEVisualization(vp_drift, vp_diffusion)
-x0 = torch.randn(2)  # 2D随机初始点
-vp_sde.analyze_distribution_evolution(x0, T=1.0)
-
- -

几何视角：流形上的随机游走

- -

在高维空间中，SDE可以理解为数据流形上的随机游走：

- -
-

数据流形的破坏与重建

-
    -
  1. 前向SDE：将数据从低维流形"推离"到整个高维空间
    2. -
  2. 反向SDE：学习如何将散布的点"拉回"到原始流形
    3. -
  3. 分数函数：在每个点指示回到流形的方向
    4. -
-
- -

控制论视角：噪声作为正则化

- -
-
为什么要加噪声？
-

添加噪声看似是破坏信息，但实际上有多个好处：

-
    -
  • 覆盖支撑集：确保模型见过所有可能的输入
    • -
  • 平滑优化景观：避免分数函数的奇异性
    • -
  • 连接数据点：在数据点之间建立概率路径
    • -
  • 隐式正则化：防止模型记忆训练数据
    • -
-
- -

信息论视角：熵的增加与减少

- -
-
熵的演化
-

前向SDE增加熵（不确定性），反向SDE减少熵：

-
- $$H[p_t] = H[p_0] + \int_0^t \mathbb{E}_{p_s}\left[\frac{|g(s)|^2}{2}\right] ds$$ -
-

这解释了为什么：

-
    -
  • 前向过程最终收敛到最大熵分布（高斯分布）
    • -
  • 反向过程需要学习分数函数来"注入"信息
    • -
-
- -
-
# 演示信息论视角
-def entropy_evolution_demo():
-    """展示熵随时间的变化"""
-    import torch.distributions as dist
-    
-    # 初始分布：混合高斯（低熵）
-    mix_weights = torch.tensor([0.3, 0.7])
-    components = [
-        dist.Normal(-2.0, 0.5),
-        dist.Normal(2.0, 0.5)
-    ]
-    
-    def estimate_entropy(samples):
-        """估计样本的差分熵（使用KDE）"""
-        # 简化：使用高斯核密度估计
-        n = len(samples)
-        h = 1.06 * samples.std() * (n ** (-1/5))  # Silverman's rule
-        
-        # 计算每个点的密度
-        densities = []
-        for x in samples[:100]:  # 子采样以加速
-            kde = torch.exp(-0.5 * ((samples - x) / h) ** 2) / (h * np.sqrt(2 * np.pi))
-            density = kde.mean()
-            densities.append(density)
-        
-        # 熵 = -E[log p(x)]
-        log_densities = torch.log(torch.tensor(densities) + 1e-10)
-        entropy = -log_densities.mean()
-        return entropy.item()
-    
-    # 模拟扩散过程
-    t_values = [0, 0.1, 0.5, 1.0, 2.0]
-    n_samples = 5000
-    
-    print("熵的演化（扩散过程）")
-    print("="*40)
-    
-    for t in t_values:
-        # 采样初始分布
-        component_idx = torch.multinomial(mix_weights, n_samples, replacement=True)
-        samples = torch.zeros(n_samples)
-        for i, comp in enumerate(components):
-            mask = component_idx == i
-            samples[mask] = comp.sample((mask.sum(),))
-        
-        # 应用扩散（简化：直接加噪声）
-        noise_scale = np.sqrt(1 - np.exp(-t))  # 对应VP-SDE
-        signal_scale = np.exp(-t/2)
-        
-        diffused_samples = signal_scale * samples + noise_scale * torch.randn_like(samples)
-        
-        # 估计熵
-        entropy = estimate_entropy(diffused_samples)
-        
-        # 理论最大熵（标准正态分布）
-        max_entropy = 0.5 * np.log(2 * np.pi * np.e)
-        
-        print(f"t = {t:.1f}: 熵 ≈ {entropy:.3f} (最大熵 = {max_entropy:.3f})")
-    
-    print("\n观察：熵单调增加，趋向于高斯分布的最大熵")
-
-entropy_evolution_demo()
-
- -

实践指南：选择SDE的艺术

- -
-

不同SDE的特点

- - - - - - - - - - - - - - - - - - - - - -
SDE类型特点适用场景
VP-SDE方差保持，信号逐渐衰减图像生成（DDPM类）
VE-SDE方差爆炸，信号保持分数匹配（NCSN类）
sub-VP-SDE介于两者之间通用框架
-
- -

5.2 前向SDE：连续时间的扩散过程

- -

5.2.1 SDE的一般形式

- -

现在让我们系统地研究用于扩散模型的SDE。我们将看到，不同的SDE选择对应于不同的离散扩散模型。

- -

扩散SDE的标准形式

- -

用于生成建模的前向SDE通常具有以下形式：

- -
- $$dx = f(x, t) dt + g(t) dW_t$$ -
- -

其中：

- - -
-

为什么g(t)是标量？

-

在大多数扩散模型中，我们假设噪声在各个维度上是独立同分布的。这简化了理论分析和实际实现。更一般的情况下，$g(t)$ 可以是矩阵值函数。

-
- -

边缘分布的演化

- -

给定初始分布 $p_0(x) = p_{data}(x)$，SDE诱导了一个时变的边缘分布 $p_t(x)$。我们希望：

- -
-
设计目标
-
    -
  1. 覆盖数据分布：$p_0(x) = p_{data}(x)$
    2. -
  2. 收敛到已知分布：$p_T(x) \approx \pi(x)$，其中 $\pi$ 是易于采样的先验分布
    3. -
  3. 平滑过渡：$p_t$ 随 $t$ 连续变化
    4. -
  4. 可逆性：存在反向SDE从 $p_T$ 回到 $p_0$
    5. -
-
- -

三种经典SDE家族

- -

Song等人(2021)总结了三种主要的SDE家族：

- -
-
1. Variance Exploding (VE) SDE
-
- $$dx = \sqrt{\frac{d[\sigma^2(t)]}{dt}} dW_t$$ -
-

特点：

-
    -
  • 没有漂移项（$f(x,t) = 0$）
    • -
  • 方差随时间增加：$\mathbb{E}[||x_t||^2] = ||x_0||^2 + \sigma^2(t)$
    • -
  • 对应于NCSN中的噪声注入过程
    • -
-
- -
-
2. Variance Preserving (VP) SDE
-
- $$dx = -\frac{1}{2}\beta(t)x dt + \sqrt{\beta(t)} dW_t$$ -
-

特点：

-
    -
  • 线性漂移项使信号衰减
    • -
  • 在适当的 $\beta(t)$ 下，方差保持接近常数
    • -
  • 对应于DDPM的连续时间扩展
    • -
-
- -
-
3. Sub-VP SDE
-
- $$dx = -\frac{1}{2}\beta(t)x dt + \sqrt{\beta(t)(1-e^{-2\int_0^t \beta(s)ds})} dW_t$$ -
-

特点：

-
    -
  • 漂移项与VP-SDE相同
    • -
  • 扩散系数被调整以确保良好的收敛性质
    • -
  • 提供更灵活的框架
    • -
-
- -
-
# 实现三种SDE家族
-import torch
-import numpy as np
-from abc import ABC, abstractmethod
-
-class SDE(ABC):
-    """SDE基类"""
-    
-    def __init__(self, T=1.0):
-        self.T = T
-    
-    @abstractmethod
-    def drift(self, x, t):
-        """漂移系数 f(x,t)"""
-        pass
-    
-    @abstractmethod
-    def diffusion(self, t):
-        """扩散系数 g(t)"""
-        pass
-    
-    @abstractmethod
-    def marginal_prob(self, x0, t):
-        """边缘分布 p(x_t|x_0) 的均值和标准差"""
-        pass
-    
-    def sample_trajectory(self, x0, n_steps=1000):
-        """使用Euler-Maruyama方法采样轨迹"""
-        dt = self.T / n_steps
-        trajectory = [x0]
-        x = x0.clone()
-        
-        for i in range(n_steps):
-            t = i * dt
-            drift = self.drift(x, t) * dt
-            diffusion = self.diffusion(t) * np.sqrt(dt) * torch.randn_like(x)
-            x = x + drift + diffusion
-            trajectory.append(x.clone())
-        
-        return torch.stack(trajectory)
-
-class VESDE(SDE):
-    """Variance Exploding SDE"""
-    
-    def __init__(self, sigma_min=0.01, sigma_max=50.0, T=1.0):
-        super().__init__(T)
-        self.sigma_min = sigma_min
-        self.sigma_max = sigma_max
-    
-    def sigma(self, t):
-        """噪声调度函数"""
-        return self.sigma_min * (self.sigma_max / self.sigma_min) ** (t / self.T)
-    
-    def drift(self, x, t):
-        return torch.zeros_like(x)
-    
-    def diffusion(self, t):
-        sigma_t = self.sigma(t)
-        # d\sigma^2/dt = 2\sigma d\sigma/dt
-        return sigma_t * np.sqrt(2 * np.log(self.sigma_max / self.sigma_min) / self.T)
-    
-    def marginal_prob(self, x0, t):
-        sigma_t = self.sigma(t)
-        mean = x0
-        std = sigma_t
-        return mean, std
-
-class VPSDE(SDE):
-    """Variance Preserving SDE"""
-    
-    def __init__(self, beta_min=0.1, beta_max=20.0, T=1.0):
-        super().__init__(T)
-        self.beta_min = beta_min
-        self.beta_max = beta_max
-    
-    def beta(self, t):
-        """线性噪声调度"""
-        return self.beta_min + (self.beta_max - self.beta_min) * t / self.T
-    
-    def drift(self, x, t):
-        return -0.5 * self.beta(t) * x
-    
-    def diffusion(self, t):
-        return np.sqrt(self.beta(t))
-    
-    def marginal_prob(self, x0, t):
-        # 线性SDE的解析解
-        log_mean_coeff = -0.25 * t**2 * (self.beta_max - self.beta_min) / self.T - 0.5 * t * self.beta_min
-        mean = torch.exp(log_mean_coeff) * x0
-        std = torch.sqrt(1 - torch.exp(2 * log_mean_coeff))
-        return mean, std
-
-class SubVPSDE(SDE):
-    """Sub-VP SDE"""
-    
-    def __init__(self, beta_min=0.1, beta_max=20.0, T=1.0):
-        super().__init__(T)
-        self.beta_min = beta_min
-        self.beta_max = beta_max
-    
-    def beta(self, t):
-        return self.beta_min + (self.beta_max - self.beta_min) * t / self.T
-    
-    def drift(self, x, t):
-        return -0.5 * self.beta(t) * x
-    
-    def diffusion(self, t):
-        # 简化：使用近似积分
-        integral = 0.5 * t**2 * (self.beta_max - self.beta_min) / self.T + t * self.beta_min
-        return np.sqrt(self.beta(t) * (1 - np.exp(-2 * integral)))
-    
-    def marginal_prob(self, x0, t):
-        # 与VP-SDE相同的边缘均值
-        log_mean_coeff = -0.25 * t**2 * (self.beta_max - self.beta_min) / self.T - 0.5 * t * self.beta_min
-        mean = torch.exp(log_mean_coeff) * x0
-        # 但标准差不同
-        integral = 0.5 * t**2 * (self.beta_max - self.beta_min) / self.T + t * self.beta_min
-        std = torch.sqrt(1 - torch.exp(-integral))
-        return mean, std
-
-# 比较不同SDE的性质
-def compare_sdes():
-    """比较三种SDE的边缘分布"""
-    x0 = torch.randn(2)  # 2D初始点
-    
-    sdes = {
-        'VE-SDE': VESDE(),
-        'VP-SDE': VPSDE(),
-        'Sub-VP': SubVPSDE()
-    }
-    
-    t_values = torch.linspace(0, 1.0, 5)
-    
-    print("不同SDE的边缘分布演化")
-    print("="*70)
-    print(f"{'SDE类型':^10} | {'t':^5} | {'均值范数':^12} | {'标准差':^12} | {'信噪比':^12}")
-    print("-"*70)
-    
-    for name, sde in sdes.items():
-        for t in t_values:
-            mean, std = sde.marginal_prob(x0, t)
-            mean_norm = torch.norm(mean)
-            snr = mean_norm / (std + 1e-8)  # 信噪比
-            
-            print(f"{name:^10} | {t:5.2f} | {mean_norm:12.6f} | {std:12.6f} | {snr:12.6f}")
-        print("-"*70)
-
-compare_sdes()
-
- -

从ODE视角理解SDE

- -
-
确定性 vs 随机性
-

SDE可以看作是ODE加上随机扰动：

-
- $$\underbrace{dx = f(x,t)dt}_{\text{ODE部分}} + \underbrace{g(t)dW_t}_{\text{随机扰动}}$$ -
- -

这种分解有助于：

-
    -
  • 理解概率流ODE（去除随机项后的确定性动力学）
    • -
  • 设计数值求解器（借鉴ODE方法）
    • -
  • 分析稳定性和收敛性
    • -
-
- -

选择SDE的实用指南

- -
-

如何选择适合的SDE？

-
    -
  1. VE-SDE： -
      -
    • 适合高分辨率图像
      • -
    • 保留原始信号结构
      • -
    • 但最终分布难以控制
      • -
    -
    2. -
  2. VP-SDE： -
      -
    • 最终收敛到标准正态
      • -
    • 理论分析更简单
      • -
    • 与DDPM兼容
      • -
    -
    3. -
  3. Sub-VP-SDE： -
      -
    • 更灵活的框架
      • -
    • 可以调节收敛速度
      • -
    • 数值稳定性更好
      • -
    -
    4. -
-
- -

5.2.2 常见的SDE选择

- -

在实践中，选择合适的SDE至关重要。不同的选择会影响模型的训练稳定性、生成质量和采样效率。让我们深入探讨实际应用中的SDE设计。

- -

噪声调度的设计

- -

SDE的核心是噪声调度函数，它控制着扩散过程的速度和特性。

- -
-
常见的噪声调度
-
    -
  1. 线性调度（Linear Schedule） -
    $$\beta(t) = \beta_{\text{min}} + t(\beta_{\text{max}} - \beta_{\text{min}})$$
    -
      -
    • 简单直观
      • -
    • DDPM的原始选择
      • -
    • 可能在开始时太快，结束时太慢
      • -
    -
    2. - -
  2. 余弦调度（Cosine Schedule） -
    $$\bar{\alpha}(t) = \cos\left(\frac{t/T + s}{1 + s} \cdot \frac{\pi}{2}\right)^2$$
    -
      -
    • 由Nichol & Dhariwal (2021)提出
      • -
    • 在整个过程中更均匀地破坏信息
      • -
    • 特别适合高分辨率图像
      • -
    -
    3. - -
  3. 二次调度（Quadratic Schedule） -
    $$\beta(t) = \beta_{\text{min}} + (\beta_{\text{max}} - \beta_{\text{min}})t^2$$
    -
      -
    • 开始时缓慢，后期加速
      • -
    • 保留更多的早期信息
      • -
    -
    4. -
-
- -
-
# 实现和比较不同的噪声调度
-import torch
-import numpy as np
-
-class NoiseSchedule:
-    """噪声调度的基类"""
-    
-    def __init__(self, T=1.0):
-        self.T = T
-    
-    def beta(self, t):
-        """返回时刻t的beta值"""
-        raise NotImplementedError
-    
-    def alpha_bar(self, t):
-        """返回累积alpha值"""
-        # 对于连续时间，需要积分
-        # 这里使用数值近似
-        n_steps = 1000
-        dt = t / n_steps
-        alpha_bar = 1.0
-        
-        for i in range(n_steps):
-            t_i = i * dt
-            alpha_bar *= (1 - self.beta(t_i) * dt)
-        
-        return alpha_bar
-    
-    def snr(self, t):
-        """信噪比 (Signal-to-Noise Ratio)"""
-        alpha_bar = self.alpha_bar(t)
-        return alpha_bar / (1 - alpha_bar + 1e-8)
-
-class LinearSchedule(NoiseSchedule):
-    """线性噪声调度"""
-    
-    def __init__(self, beta_min=0.0001, beta_max=0.02, T=1.0):
-        super().__init__(T)
-        self.beta_min = beta_min
-        self.beta_max = beta_max
-    
-    def beta(self, t):
-        return self.beta_min + (t / self.T) * (self.beta_max - self.beta_min)
-
-class CosineSchedule(NoiseSchedule):
-    """余弦噪声调度"""
-    
-    def __init__(self, s=0.008, T=1.0):
-        super().__init__(T)
-        self.s = s
-    
-    def alpha_bar(self, t):
-        # 直接定义alpha_bar而不是beta
-        return np.cos((t / self.T + self.s) / (1 + self.s) * np.pi / 2) ** 2
-    
-    def beta(self, t):
-        # 从alpha_bar推导beta
-        dt = 1e-5
-        alpha_bar_t = self.alpha_bar(t)
-        alpha_bar_t_dt = self.alpha_bar(min(t + dt, self.T))
-        
-        # beta = 1 - alpha_t = 1 - alpha_bar_t / alpha_bar_{t-1}
-        return 1 - alpha_bar_t_dt / (alpha_bar_t + 1e-8)
-
-class QuadraticSchedule(NoiseSchedule):
-    """二次噪声调度"""
-    
-    def __init__(self, beta_min=0.0001, beta_max=0.02, T=1.0):
-        super().__init__(T)
-        self.beta_min = beta_min
-        self.beta_max = beta_max
-    
-    def beta(self, t):
-        return self.beta_min + (t / self.T) ** 2 * (self.beta_max - self.beta_min)
-
-# 比较不同调度的特性
-def compare_schedules():
-    """可视化和比较不同的噪声调度"""
-    schedules = {
-        'Linear': LinearSchedule(),
-        'Cosine': CosineSchedule(),
-        'Quadratic': QuadraticSchedule()
-    }
-    
-    t_values = np.linspace(0, 1.0, 11)
-    
-    print("噪声调度比较")
-    print("="*80)
-    print(f"{'Schedule':^10} | {'t':^5} | {'beta(t)':^10} | {'alpha_bar(t)':^12} | {'SNR':^10} | {'log10(SNR)':^10}")
-    print("-"*80)
-    
-    for name, schedule in schedules.items():
-        for t in t_values:
-            beta_t = schedule.beta(t)
-            alpha_bar_t = schedule.alpha_bar(t)
-            snr_t = schedule.snr(t)
-            log_snr = np.log10(snr_t + 1e-10)
-            
-            print(f"{name:^10} | {t:5.2f} | {beta_t:10.6f} | {alpha_bar_t:12.6f} | {snr_t:10.2f} | {log_snr:10.2f}")
-        print("-"*80)
-    
-    # 分析关键指标
-    print("\n关键观察：")
-    print("1. Linear: SNR下降最快，可能导致早期信息丢失过快")
-    print("2. Cosine: SNR下降更均匀，在中间阶段保留更多信息")
-    print("3. Quadratic: 早期保留最多信息，后期快速下降")
-
-compare_schedules()
-
- -

离散化与连续时间的对应

- -
-
从离散到连续的映射
-

给定离散扩散模型的参数 $\{\beta_i\}_{i=1}^T$，如何构造对应的连续SDE？

- -
    -
  1. 时间映射：将离散步骤 $i \in \{1, ..., T\}$ 映射到连续时间 $t \in [0, 1]$： -
    $$t = i/T$$
    -
    2. - -
  2. 插值beta函数： -
    $$\beta(t) = T \cdot \beta_{\lfloor tT \rfloor}$$
    - 需要乘以T来保持正确的时间尺度。 -
    3. - -
  3. 验证等价性：确保离散采样和SDE模拟给出相似的边缘分布。
    4. -
-
- -

特殊SDE设计

- -
-
1. 保持数据范围的SDE
-

对于图像数据（通常在[-1, 1]范围内），我们可能希望设计保持这个范围的SDE：

- -
- $$dx = -\frac{\beta(t)}{2}(x - \tanh(x))dt + \sqrt{\beta(t)} dW_t$$ -
- -

这里的非线性漂移项 $\tanh(x)$ 在边界附近提供"推力"，防止样本逃离有效范围。

-
- -
-
2. 条件SDE
-

对于条件生成，我们可以修改SDE以包含条件信息 $y$：

- -
- $$dx = f(x, t, y)dt + g(t)dW_t$$ -
- -

常见选择：

-
    -
  • 条件漂移：$f(x, t, y) = -\frac{\beta(t)}{2}x + h(y, t)$
    • -
  • 条件扩散：$g(t, y) = \sqrt{\beta(t)} \cdot \sigma(y)$
    • -
-
- -
-
# 特殊SDE的实现
-class BoundedSDE(SDE):
-    """保持数据在有界范围内的SDE"""
-    
-    def __init__(self, beta_fn, bounds=(-1, 1), T=1.0):
-        super().__init__(T)
-        self.beta_fn = beta_fn
-        self.lower, self.upper = bounds
-        self.range = self.upper - self.lower
-    
-    def drift(self, x, t):
-        beta_t = self.beta_fn(t)
-        # 归一化到[-1, 1]
-        x_norm = 2 * (x - self.lower) / self.range - 1
-        # 非线性漂移
-        drift_norm = -0.5 * beta_t * (x_norm - torch.tanh(x_norm))
-        # 转换回原始范围
-        return drift_norm * self.range / 2
-    
-    def diffusion(self, t):
-        return np.sqrt(self.beta_fn(t))
-
-class ConditionalVPSDE(SDE):
-    """条件VP-SDE"""
-    
-    def __init__(self, beta_min=0.1, beta_max=20.0, condition_dim=128, T=1.0):
-        super().__init__(T)
-        self.beta_min = beta_min
-        self.beta_max = beta_max
-        self.condition_dim = condition_dim
-        
-        # 条件编码器（简化示例）
-        self.condition_encoder = torch.nn.Sequential(
-            torch.nn.Linear(condition_dim, 256),
-            torch.nn.ReLU(),
-            torch.nn.Linear(256, 1)
-        )
-    
-    def beta(self, t):
-        return self.beta_min + (self.beta_max - self.beta_min) * t / self.T
-    
-    def drift(self, x, t, condition=None):
-        base_drift = -0.5 * self.beta(t) * x
-        
-        if condition is not None:
-            # 条件调制
-            with torch.no_grad():
-                modulation = self.condition_encoder(condition)
-                base_drift = base_drift * (1 + 0.1 * modulation)
-        
-        return base_drift
-    
-    def diffusion(self, t, condition=None):
-        base_diffusion = np.sqrt(self.beta(t))
-        
-        if condition is not None:
-            # 条件可以影响噪声强度
-            return base_diffusion
-        
-        return base_diffusion
-
-# 测试特殊SDE
-def test_special_sdes():
-    """测试特殊设计的SDE"""
-    print("\n特殊SDE测试")
-    print("="*60)
-    
-    # 1. 有界SDE
-    print("1. 有界SDE（保持数据在[-1, 1]内）")
-    beta_fn = lambda t: 0.1 + 10 * t
-    bounded_sde = BoundedSDE(beta_fn, bounds=(-1, 1))
-    
-    # 测试边界行为
-    x_boundary = torch.tensor([0.9, -0.9, 0.0])
-    drift = bounded_sde.drift(x_boundary, 0.5)
-    print(f"边界点的漂移: {drift.numpy()}")
-    print("观察：接近边界的点有向内的漂移\n")
-    
-    # 2. 条件SDE
-    print("2. 条件SDE")
-    cond_sde = ConditionalVPSDE()
-    
-    # 不同条件下的漂移
-    x = torch.randn(3)
-    t = 0.5
-    
-    # 无条件
-    drift_uncond = cond_sde.drift(x, t, condition=None)
-    
-    # 有条件
-    condition = torch.randn(128)
-    drift_cond = cond_sde.drift(x, t, condition=condition)
-    
-    print(f"无条件漂移: {drift_uncond.numpy()}")
-    print(f"有条件漂移: {drift_cond.numpy()}")
-    print(f"差异: {(drift_cond - drift_uncond).numpy()}")
-
-test_special_sdes()
-
- -

实用建议：如何选择和调试SDE

- -
-

SDE设计清单

-
    -
  1. 检查信噪比曲线 -
      -
    • log SNR应该从正值（高信号）单调下降到负值（高噪声）
      • -
    • 下降速度影响信息保留和生成质量的平衡
      • -
    -
    2. - -
  2. 验证最终分布 -
      -
    • $p_T(x)$应该接近先验分布（如标准正态）
      • -
    • 可以通过蒙特卡罗模拟验证
      • -
    -
    3. - -
  3. 测试数值稳定性 -
      -
    • 确保drift和diffusion项在整个时间范围内有界
      • -
    • 避免在t=0或t=T附近出现数值问题
      • -
    -
    4. - -
  4. 考虑计算效率 -
      -
    • 简单的函数形式（如线性）计算更快
      • -
    • 复杂的调度可能提供更好的质量但增加计算成本
      • -
    -
    5. -
-
- -
-
经验法则
-
    -
  • 低分辨率图像：线性调度通常足够
    • -
  • 高分辨率图像：余弦调度表现更好
    • -
  • 非图像数据：可能需要专门设计的SDE
    • -
  • 条件生成：考虑让条件影响噪声调度
    • -
-
- -

5.2.3 边缘分布的演化

- -

理解边缘分布 $p_t(x)$ 如何随时间演化是掌握扩散模型的关键。这不仅关系到理论分析，更直接影响到实际的训练和采样。

- -

边缘分布的定义

- -
-
边缘分布
-

给定SDE $dx_t = f(x_t, t)dt + g(t)dW_t$ 和初始分布 $p_0(x)$，边缘分布定义为：

-
- $$p_t(x) = \int p(x_t = x | x_0) p_0(x_0) dx_0$$ -
- -

其中 $p(x_t | x_0)$ 是转移核（transition kernel），描述了从 $x_0$ 到 $x_t$ 的概率转移。

-
- -

线性SDE的解析解

- -

对于线性SDE（如VP-SDE），我们可以得到边缘分布的显式解。

- -
-
以VP-SDE为例
-

对于 $dx = -\frac{1}{2}\beta(t)x dt + \sqrt{\beta(t)} dW_t$，转移核为：

-
- $$p(x_t | x_0) = \mathcal{N}(x_t; \sqrt{\bar{\alpha}(t)} x_0, (1-\bar{\alpha}(t))I)$$ -
- -

其中：

-
- $$\bar{\alpha}(t) = \exp\left(-\int_0^t \beta(s) ds\right)$$ -
- -

这个结果告诉我们：

-
    -
  • 均值随时间指数衰减
    • -
  • 方差逐渐增加到接近1
    • -
  • 最终分布接近标准正态
    • -
-
- -
-
# 可视化边缘分布的演化
-import torch
-import numpy as np
-from scipy import stats
-
-class MarginalDistribution:
-    """计算和分析SDE的边缘分布"""
-    
-    def __init__(self, sde):
-        self.sde = sde
-    
-    def sample_marginal(self, x0, t, n_samples=1000):
-        """通过蒙特卡罗采样边缘分布"""
-        if hasattr(self.sde, 'marginal_prob'):
-            # 如果有解析解，直接使用
-            mean, std = self.sde.marginal_prob(x0, t)
-            samples = mean + std * torch.randn(n_samples, *x0.shape)
-        else:
-            # 否则通过模拟
-            samples = []
-            for _ in range(n_samples):
-                trajectory = self.sde.sample_trajectory(x0, n_steps=100)
-                samples.append(trajectory[-1])
-            samples = torch.stack(samples)
-        
-        return samples
-    
-    def analyze_evolution(self, x0, time_points):
-        """分析边缘分布随时间的变化"""
-        results = []
-        
-        for t in time_points:
-            samples = self.sample_marginal(x0, t, n_samples=5000)
-            
-            # 统计量
-            mean = samples.mean(dim=0)
-            std = samples.std(dim=0)
-            
-            # 峰度和偏度（用于检测非高斯性）
-            kurtosis = ((samples - mean) ** 4).mean() / (std ** 4) - 3
-            skewness = ((samples - mean) ** 3).mean() / (std ** 3)
-            
-            # KL散度（与标准正态的距离）
-            # 简化：使用moment matching估计
-            kl_div = 0.5 * (mean.norm()**2 + std.norm()**2 - std.log().sum() - len(mean))
-            
-            results.append({
-                't': t,
-                'mean': mean.numpy(),
-                'std': std.numpy(), 
-                'kurtosis': kurtosis.item(),
-                'skewness': skewness.item(),
-                'kl_to_normal': kl_div.item()
-            })
-        
-        return results
-
-# 演示不同SDE的边缘分布演化
-def demonstrate_marginal_evolution():
-    """演示不同SDE的边缘分布演化"""
-    # 初始化不同SDE
-    from functools import partial
-    
-    # 重新定义简单的SDE类以避免循环引用
-    class SimpleVPSDE:
-        def __init__(self, beta_min=0.1, beta_max=20.0, T=1.0):
-            self.beta_min = beta_min
-            self.beta_max = beta_max
-            self.T = T
-        
-        def marginal_prob(self, x0, t):
-            log_mean_coeff = -0.25 * t**2 * (self.beta_max - self.beta_min) / self.T - 0.5 * t * self.beta_min
-            mean = torch.exp(log_mean_coeff) * x0
-            std = torch.sqrt(1 - torch.exp(2 * log_mean_coeff))
-            return mean, std
-    
-    class SimpleVESDE:
-        def __init__(self, sigma_min=0.01, sigma_max=50.0, T=1.0):
-            self.sigma_min = sigma_min
-            self.sigma_max = sigma_max
-            self.T = T
-        
-        def marginal_prob(self, x0, t):
-            sigma_t = self.sigma_min * (self.sigma_max / self.sigma_min) ** (t / self.T)
-            mean = x0
-            std = sigma_t
-            return mean, std
-    
-    # 初始化
-    x0 = torch.tensor([1.0, -0.5])  # 2D初始点
-    time_points = [0.0, 0.1, 0.3, 0.5, 0.7, 0.9, 1.0]
-    
-    sdes = {
-        'VP-SDE': SimpleVPSDE(),
-        'VE-SDE': SimpleVESDE()
-    }
-    
-    print("边缘分布演化分析")
-    print("="*90)
-    
-    for sde_name, sde in sdes.items():
-        print(f"\n{sde_name}：")
-        print("-"*90)
-        print(f"{'t':^5} | {'均值范数':^12} | {'标准差':^12} | {'峰度':^10} | {'偏度':^10} | {'KL散度':^12}")
-        print("-"*90)
-        
-        analyzer = MarginalDistribution(sde)
-        results = analyzer.analyze_evolution(x0, time_points)
-        
-        for res in results:
-            mean_norm = np.linalg.norm(res['mean'])
-            std_avg = np.mean(res['std'])
-            
-            print(f"{res['t']:5.2f} | {mean_norm:12.6f} | {std_avg:12.6f} | "
-                  f"{res['kurtosis']:10.4f} | {res['skewness']:10.4f} | {res['kl_to_normal']:12.6f}")
-    
-    print("\n关键观察：")
-    print("1. VP-SDE: 均值逐渐衰减到零，标准差趋近于1")
-    print("2. VE-SDE: 均值保持不变，标准差爆炸式增长")
-    print("3. 两者的峰度和偏度都接近零，说明分布接近高斯")
-
-demonstrate_marginal_evolution()
-
- -

Fokker-Planck方程：密度演化的PDE

- -

边缘分布的演化可以用Fokker-Planck方程（也称为Kolmogorov前向方程）来描述：

- -
-
Fokker-Planck方程
-

对于SDE $dx = f(x,t)dt + g(t)dW_t$，概率密度 $p_t(x)$ 满足：

-
- $$\frac{\partial p_t(x)}{\partial t} = -\nabla \cdot (f(x,t)p_t(x)) + \frac{g(t)^2}{2} \Delta p_t(x)$$ -
- -

其中：

-
    -
  • $\nabla \cdot$ 是散度算子
    • -
  • $\Delta$ 是拉普拉斯算子
    • -
  • 第一项是漂移项（传输）
    • -
  • 第二项是扩散项（平滑）
    • -
-
- -

分数函数与边缘分布

- -

分数函数 $\nabla \log p_t(x)$ 在扩散模型中扮演着核心角色。它描述了概率密度增长最快的方向。

- -
-

分数函数的性质

-
    -
  1. 梯度流：$\nabla \log p_t(x)$ 指向高概率区域
    2. -
  2. 归一化：不需要知道归一化常数
    3. -
  3. 光滑性：随着噪声增加，分数函数变得更平滑
    4. -
  4. 可学习性：可以用神经网络近似
    5. -
-
- -
-
特殊情况：高斯分布
-

对于高斯分布 $p(x) = \mathcal{N}(x; \mu, \Sigma)$：

-
- $$\nabla \log p(x) = -\Sigma^{-1}(x - \mu)$$ -
- -

这是一个线性函数，指向均值点！

-
- -
-
# 分析分数函数随时间的变化
-class ScoreFunctionAnalysis:
-    """分析分数函数的演化"""
-    
-    def __init__(self, sde):
-        self.sde = sde
-    
-    def analytical_score(self, x, x0, t):
-        """计算解析分数函数（仅适用于线性SDE）"""
-        if hasattr(self.sde, 'marginal_prob'):
-            mean, std = self.sde.marginal_prob(x0, t)
-            # 对于高斯分布：score = -(x - mean) / std^2
-            score = -(x - mean) / (std ** 2 + 1e-8)
-            return score
-        else:
-            raise NotImplementedError("需要解析边缘分布")
-    
-    def score_magnitude_analysis(self, x0, t_values, x_test_points):
-        """分析分数函数的幅度"""
-        results = []
-        
-        for t in t_values:
-            scores = []
-            for x in x_test_points:
-                score = self.analytical_score(x, x0, t)
-                scores.append(torch.norm(score).item())
-            
-            results.append({
-                't': t,
-                'mean_magnitude': np.mean(scores),
-                'max_magnitude': np.max(scores),
-                'min_magnitude': np.min(scores)
-            })
-        
-        return results
-
-# 演示分数函数的演化
-def demonstrate_score_evolution():
-    """演示分数函数随时间的变化"""
-    # 使用VP-SDE
-    class SimpleVPSDE:
-        def __init__(self, beta_min=0.1, beta_max=20.0, T=1.0):
-            self.beta_min = beta_min
-            self.beta_max = beta_max
-            self.T = T
-        
-        def marginal_prob(self, x0, t):
-            log_mean_coeff = -0.25 * t**2 * (self.beta_max - self.beta_min) / self.T - 0.5 * t * self.beta_min
-            mean = torch.exp(log_mean_coeff) * x0
-            std = torch.sqrt(1 - torch.exp(2 * log_mean_coeff))
-            return mean, std
-    
-    sde = SimpleVPSDE()
-    analyzer = ScoreFunctionAnalysis(sde)
-    
-    # 设置
-    x0 = torch.tensor([1.0])
-    t_values = [0.1, 0.3, 0.5, 0.7, 0.9]
-    x_test_points = [torch.tensor([x]) for x in np.linspace(-3, 3, 20)]
-    
-    print("\n分数函数幅度分析")
-    print("="*60)
-    print(f"{'t':^5} | {'平均幅度':^12} | {'最大幅度':^12} | {'最小幅度':^12}")
-    print("-"*60)
-    
-    results = analyzer.score_magnitude_analysis(x0, t_values, x_test_points)
-    
-    for res in results:
-        print(f"{res['t']:5.2f} | {res['mean_magnitude']:12.6f} | "
-              f"{res['max_magnitude']:12.6f} | {res['min_magnitude']:12.6f}")
-    
-    print("\n观察：")
-    print("1. 随着t增加，分数函数的幅度逐渐减小")
-    print("2. 这反映了分布变得更加平坦（接近均匀分布）")
-    print("3. 在噪声很大时，分数函数几乎为零")
-
-demonstrate_score_evolution()
-
- -

实际应用：训练时的边缘分布

- -
-

训练时的采样策略

-

在训练扩散模型时，我们需要：

-
    -
  1. 采样时间 $t \sim \mathcal{U}[0, T]$
    2. -
  2. 采样数据点 $x_0 \sim p_{data}$
    3. -
  3. 根据 $p(x_t|x_0)$ 生成噪声样本 $x_t$
    4. -
  4. 训练模型预测噪声或分数
    5. -
- -

边缘分布的解析形式使得第3步变得非常高效！

-
- -
-
重要性采样
-

不同的时间点对学习的难度不同。我们可以使用重要性采样：

- -
- $$p(t) \propto \mathbb{E}_{x_0, x_t}[||\nabla_{x_t} \log p(x_t|x_0)||^2]$$ -
- -

这使得模型更多地关注"难"的时间点。

-
- -

5.3 反向时间SDE：去噪过程

- -

5.3.1 Anderson定理

- -

Anderson定理是扩散模型理论的基石之一。它告诉我们，任何满足一定条件的前向SDE都存在一个对应的反向时间SDE，而这正是生成过程的数学基础。

- -

定理的背景

- -

在物理学中，时间反演（time reversal）是一个重要概念。对于确定性系统，时间反演通常很简单。但对于随机过程，情况就复杂得多。Anderson在1982年的工作回答了这个问题。

- -
-
Anderson定理（简化版）
-

考虑前向SDE：

-
- $$dx = f(x, t) dt + g(t) dW_t, \quad t \in [0, T]$$ -
- -

定义反向时间 $\tau = T - t$，则存在反向SDE：

-
- $$dx = [f(x, T-\tau) - g(T-\tau)^2 \nabla_x \log p_{T-\tau}(x)] d\tau + g(T-\tau) d\bar{W}_\tau$$ -
- -

其中：

-
    -
  • $\bar{W}_\tau$ 是关于反向时间的布朗运动
    • -
  • $p_t(x)$ 是前向过程在时刻 $t$ 的边缘分布
    • -
  • $\nabla_x \log p_t(x)$ 是分数函数
    • -
-
- -

直观理解

- -
-

为什么需要分数函数？

-

反向过程不仅仅是前向过程的"倒带"。关键差异在于：

-
    -
  1. 信息不对称：前向过程丢失信息，反向过程需要恢复信息
    2. -
  2. 概率流：反向过程需要知道"哪里来的概率更高"
    3. -
  3. 分数作为指引：$\nabla \log p_t(x)$ 正好指向高概率方向
    4. -
-
- -
-
一个简单的例子：Ornstein-Uhlenbeck过程
-

考虑前向OU过程：

-
- $$dx = -\theta x dt + \sigma dW_t$$ -
- -

其稳态分布为 $\mathcal{N}(0, \frac{\sigma^2}{2\theta})$。分数函数为：

-
- $$\nabla \log p_{\infty}(x) = -\frac{2\theta}{\sigma^2} x$$ -
- -

因此反向SDE为：

-
- $$dx = \left[-\theta x - \sigma^2 \cdot \left(-\frac{2\theta}{\sigma^2} x\right)\right] d\tau + \sigma d\bar{W}_\tau = \theta x d\tau + \sigma d\bar{W}_\tau$$ -
- -

注意漂移项的符号变了！

-
- -
-
# 验证Anderson定理
-import torch
-import numpy as np
-
-class SDEReversal:
-    """验证和演示时间反演SDE"""
-    
-    def __init__(self, forward_drift, forward_diffusion, score_fn):
-        """
-        Args:
-            forward_drift: f(x, t) - 前向漂移
-            forward_diffusion: g(t) - 前向扩散
-            score_fn: \nabla log p_t(x) - 分数函数
-        """
-        self.f = forward_drift
-        self.g = forward_diffusion
-        self.score = score_fn
-    
-    def reverse_drift(self, x, t, T):
-        """计算反向SDE的漂移项"""
-        # 时间变换
-tau = t
-        forward_time = T - tau
-        
-        # Anderson公式
-        f_reverse = self.f(x, forward_time) - self.g(forward_time)**2 * self.score(x, forward_time)
-        
-        return f_reverse
-    
-    def simulate_forward_backward(self, x0, T, n_steps=100):
-        """模拟前向和反向过程"""
-        dt = T / n_steps
-        
-        # 前向过程
-        forward_path = [x0]
-        x = x0.clone()
-        
-        for i in range(n_steps):
-            t = i * dt
-            drift = self.f(x, t) * dt
-            diffusion = self.g(t) * np.sqrt(dt) * torch.randn_like(x)
-            x = x + drift + diffusion
-            forward_path.append(x.clone())
-        
-        # 反向过程
-        reverse_path = [x]
-        
-        for i in range(n_steps):
-            tau = i * dt
-            drift = self.reverse_drift(x, tau, T) * dt
-            diffusion = self.g(T - tau) * np.sqrt(dt) * torch.randn_like(x)
-            x = x + drift + diffusion
-            reverse_path.append(x.clone())
-        
-        return torch.stack(forward_path), torch.stack(reverse_path)
-
-# 示例：VP-SDE的时间反演
-def demonstrate_vp_sde_reversal():
-    """演示VP-SDE的时间反演"""
-    # VP-SDE参数
-    beta_min, beta_max = 0.1, 20.0
-    T = 1.0
-    
-    def beta(t):
-        return beta_min + (beta_max - beta_min) * t / T
-    
-    def forward_drift(x, t):
-        return -0.5 * beta(t) * x
-    
-    def forward_diffusion(t):
-        return np.sqrt(beta(t))
-    
-    def score_fn(x, t):
-        # 对于VP-SDE，边缘分布是高斯的
-        # p_t(x|x_0) = N(x; sqrt(alpha_bar_t) * x_0, (1 - alpha_bar_t) * I)
-        # 但我们需要边缘分数 \nabla log p_t(x)
-        # 这在实践中是通过神经网络学习的
-        # 这里用一个简化的近似
-        alpha_bar = np.exp(-0.5 * beta_min * t - 0.25 * (beta_max - beta_min) * t**2 / T)
-        return -x / (1 - alpha_bar + 1e-8)
-    
-    # 创建反演器
-    reverser = SDEReversal(forward_drift, forward_diffusion, score_fn)
-    
-    # 模拟
-    x0 = torch.randn(2)  # 2D初始点
-    forward_path, reverse_path = reverser.simulate_forward_backward(x0, T, n_steps=100)
-    
-    # 分析结果
-    print("时间反演SDE分析")
-    print("="*60)
-    print(f"初始点: {x0.numpy()}")
-    print(f"前向终点: {forward_path[-1].numpy()}")
-    print(f"反向终点: {reverse_path[-1].numpy()}")
-    print(f"\n前向过程统计:")
-    print(f"  初始范数: {torch.norm(forward_path[0]).item():.3f}")
-    print(f"  终点范数: {torch.norm(forward_path[-1]).item():.3f}")
-    print(f"\n反向过程统计:")
-    print(f"  初始范数: {torch.norm(reverse_path[0]).item():.3f}")
-    print(f"  终点范数: {torch.norm(reverse_path[-1]).item():.3f}")
-    
-    # 路径对比
-    forward_norms = [torch.norm(x).item() for x in forward_path]
-    reverse_norms = [torch.norm(x).item() for x in reverse_path]
-    
-    print(f"\n路径分析:")
-    print(f"前向路径范数变化: {forward_norms[0]:.3f} → {forward_norms[-1]:.3f}")
-    print(f"反向路径范数变化: {reverse_norms[0]:.3f} → {reverse_norms[-1]:.3f}")
-    print("\n注意: 由于随机性，反向过程不会完美回到原点，")
-    print("但会回到同样的分布！")
-
-demonstrate_vp_sde_reversal()
-
- -

数学严格性

- -
-
存在性条件
-

Anderson定理成立需要以下条件：

-
    -
  1. 正则性：$f(x,t)$ 和 $g(t)$ 满足Lipschitz条件
    2. -
  2. 非退化性：$g(t) > 0$ 对所有 $t \in [0,T]$
    3. -
  3. 分数存在：$\nabla \log p_t(x)$ 存在且满足适当的增长条件
    4. -
-
- -

与其他理论的联系

- -
-

联系与应用

-
    -
  1. Jarzynski等式：在非平衡统计物理中的应用
    2. -
  2. 最优传输：Schrödinger bridge问题的特例
    3. -
  3. 信息论：与信息熵的增减相关
    4. -
  4. BSDE：反向SDE可以看作一类特殊的BSDE
    5. -
-
- -
-
实践意义
-

Anderson定理对扩散模型的重要性：

-
    -
  • 理论保证：确保了反向过程的存在性
    • -
  • 学习目标：明确了需要学习的是分数函数
    • -
  • 采样算法：提供了从噪声生成数据的数学公式
    • -
  • 理论分析：可以分析生成过程的性质
    • -
-
- -

5.3.2 反向SDE的推导

- -

反向SDE是扩散模型的核心，它告诉我们如何从噪声生成数据。这个推导虽然技术性较强，但其物理直觉非常清晰。

- -

时间反演的基本想法

- -
-

直觉：电影倒放

-

想象你录制了墨水在水中扩散的过程：

-
    -
  • 正向播放：墨水从一点扩散到整个水体
    • -
  • 反向播放：分散的墨水神奇地聚集回一点
    • -
-

反向SDE就是找到这个"倒放过程"的数学描述。

-
- -

Anderson定理的应用

- -

根据Anderson定理，如果前向过程是：

- -
- $$dx = f(x, t)dt + g(t)dw$$ -
- -

那么反向过程（时间从T到0）是：

- -
- $$dx = \left[f(x, t) - g(t)^2 \nabla_x \log p_t(x)\right]dt + g(t)d\bar{w}$$ -
- -

其中$\bar{w}$是反向布朗运动。

- -

关键洞察：分数函数的作用

- -
-
为什么需要分数函数？
-

比较前向和反向SDE，唯一的区别是多了一项：$-g(t)^2 \nabla_x \log p_t(x)$

-

这项的作用是：

-
    -
  • 补偿扩散：抵消随机项带来的扩散效应
    • -
  • 指引方向：指向概率密度增加的方向
    • -
  • 时变修正：随时间调整"拉回"的强度
    • -
-
- -

推导步骤（简化版）

- -
-
关键步骤
-
    -
  1. 考虑联合分布：$(x_t, t)$的演化
    2. -
  2. 应用Fokker-Planck方程：得到$p_t(x)$的演化
    3. -
  3. 时间反演：令$\tau = T - t$
    4. -
  4. 匹配系数：使反向过程的FP方程与原方程一致
    5. -
-
- -

具体例子：VP-SDE的反向过程

- -

对于VP-SDE（方差保持）：

- -
- $$dx = -\frac{1}{2}\beta(t)x dt + \sqrt{\beta(t)}dw$$ -
- -

其反向SDE是：

- -
- $$dx = \left[-\frac{1}{2}\beta(t)x - \beta(t)\nabla_x \log p_t(x)\right]dt + \sqrt{\beta(t)}d\bar{w}$$ -
- -
-
# 验证反向SDE的正确性
-import torch
-import torch.nn as nn
-
-class ReverseSDE:
-    """反向SDE的数值验证"""
-    
-    def __init__(self, beta_schedule):
-        """
-        Args:
-            beta_schedule: 函数，返回时刻t的beta(t)
-        """
-        self.beta = beta_schedule
-    
-    def forward_marginal(self, x0, t):
-        """计算前向过程的边缘分布 p(x_t|x_0)"""
-        # 对于VP-SDE，有解析解
-        alpha_bar = torch.exp(-0.5 * self.integral_beta(t))
-        mean = alpha_bar * x0
-        var = 1 - alpha_bar**2
-        return mean, var
-    
-    def integral_beta(self, t):
-        """计算 ∫_0^t beta(s) ds"""
-        # 简单起见，假设beta(t) = beta_min + t*(beta_max - beta_min)
-        beta_min, beta_max = 0.1, 20.0
-        return beta_min * t + 0.5 * (beta_max - beta_min) * t**2
-    
-    def score_function(self, xt, x0, t):
-        """计算真实的分数函数（用于验证）"""
-        mean, var = self.forward_marginal(x0, t)
-        score = -(xt - mean) / var
-        return score
-    
-    def verify_reverse_sde(self, x0, T=1.0, dt=0.01):
-        """验证反向SDE确实能恢复x0"""
-        print("验证反向SDE")
-        print("="*50)
-        
-        # 1. 前向过程：x0 -> xT
-        t = 0
-        x = x0.clone()
-        trajectory_forward = [x.clone()]
-        
-        while t < T:
-            beta_t = self.beta(t)
-            drift = -0.5 * beta_t * x
-            diffusion = torch.sqrt(beta_t * dt) * torch.randn_like(x)
-            x = x + drift * dt + diffusion
-            t += dt
-            trajectory_forward.append(x.clone())
-        
-        xT = x
-        print(f"前向过程完成: x0 = {x0.numpy():.3f} -> xT = {xT.numpy():.3f}")
-        
-        # 2. 反向过程：xT -> x0
-        t = T
-        x = xT.clone()
-        trajectory_reverse = [x.clone()]
-        
-        while t > dt:
-            beta_t = self.beta(t)
-            # 使用真实分数（实际中需要学习）
-            score = self.score_function(x, x0, t)
-            
-            # 反向SDE
-            drift = -0.5 * beta_t * x - beta_t * score
-            diffusion = torch.sqrt(beta_t * dt) * torch.randn_like(x)
-            x = x + drift * dt + diffusion
-            t -= dt
-            trajectory_reverse.append(x.clone())
-        
-        x0_recovered = x
-        print(f"反向过程完成: xT = {xT.numpy():.3f} -> x0_recovered = {x0_recovered.numpy():.3f}")
-        print(f"恢复误差: {torch.abs(x0 - x0_recovered).item():.4f}")
-        
-        # 3. 分析轨迹
-        forward_std = torch.stack(trajectory_forward).std()
-        reverse_std = torch.stack(trajectory_reverse).std()
-        print(f"\n轨迹分析:")
-        print(f"前向轨迹标准差: {forward_std:.3f} (扩散)")
-        print(f"反向轨迹标准差: {reverse_std:.3f} (聚集)")
-        
-        return trajectory_forward, trajectory_reverse
-
-# 测试
-def beta_schedule(t, beta_min=0.1, beta_max=20.0):
-    """线性beta调度"""
-    return beta_min + t * (beta_max - beta_min)
-
-reverse_sde = ReverseSDE(beta_schedule)
-x0 = torch.tensor([2.0])
-reverse_sde.verify_reverse_sde(x0)
-
- -

物理类比：势能场中的粒子

- -
-

分数函数作为"力"

-

反向SDE可以理解为粒子在势能场中的运动：

-
    -
  • 原始漂移项 $f(x,t)$：外加的确定性力
    • -
  • 分数修正项 $-g^2\nabla\log p$：势能场的梯度力
    • -
  • 随机项 $g(t)d\bar{w}$：热运动
    • -
-

分数函数创造了一个"势能井"，将粒子拉向数据分布的高概率区域。

-
- -

实用考虑

- -
-
实现反向SDE的挑战
-
    -
  1. 分数估计：需要神经网络学习$\nabla\log p_t(x)$
    2. -
  2. 数值稳定性：小的$dt$带来大的计算成本
    3. -
  3. 边界条件：$t=0$附近需要特殊处理
    4. -
  4. 随机性控制：如何平衡确定性和随机性
    5. -
-
- -
-
# 实用的反向采样器
-class PracticalReverseSDESampler:
-    """实际使用的反向SDE采样器"""
-    
-    def __init__(self, score_model, beta_schedule):
-        self.score_model = score_model
-        self.beta = beta_schedule
-    
-    def sample(self, shape, T=1.0, dt=0.01, device='cpu'):
-        """从噪声生成样本"""
-        # 初始化为高斯噪声
-        x = torch.randn(shape, device=device)
-        
-        # 时间步
-        timesteps = torch.linspace(T, dt, int(T/dt), device=device)
-        
-        for t in timesteps:
-            # 估计分数
-            with torch.no_grad():
-                score = self.score_model(x, t)
-            
-            # 计算系数
-            beta_t = self.beta(t)
-            drift_coeff = -0.5 * beta_t
-            score_coeff = -beta_t
-            noise_coeff = torch.sqrt(beta_t * dt)
-            
-            # 反向SDE更新
-            drift = drift_coeff * x + score_coeff * score
-            noise = torch.randn_like(x)
-            
-            x = x + drift * dt + noise_coeff * noise
-            
-            # 可选：动态调整步长或使用高阶求解器
-            if t < 0.1:  # 接近t=0时减小步长
-                dt = dt * 0.5
-        
-        return x
-
- -

总结：反向SDE的意义

- -
-
核心要点
-
    -
  • 反向SDE = 前向SDE + 分数修正
    • -
  • 分数函数是连接前向和反向过程的桥梁
    • -
  • 物理直觉：从无序到有序需要"信息注入"
    • -
  • 计算挑战：准确估计分数函数是关键
    • -
-
- -

5.3.3 分数函数的作用

- -

分数函数 $\nabla_x \log p_t(x)$ 是连续时间扩散模型的核心。它不仅是数学上的必需品，更有深刻的几何和物理意义。

- -

几何意义：指向高概率区域

- -
-

梯度上升的视角

-

分数函数指向概率密度增加最快的方向：

-
    -
  • 在低概率区域，它指向高概率区域
    • -
  • 在概率峰值附近，它的幅度较小
    • -
  • 它定义了概率景观上的"最陡上升路径"
    • -
-
- -

动力学意义：时变的引导

- -

分数函数在不同时刻扮演不同角色：

- -
-
时间演化的三个阶段
-
    -
  1. 早期（$t \approx 0$）： -
      -
    • 数据分布还很清晰
      • -
    • 分数函数提供精确的局部结构信息
      • -
    • 主要作用：保持数据的精细特征
      • -
    -
    2. -
  2. 中期（$0 < t < T$）： -
      -
    • 数据结构部分模糊
      • -
    • 分数函数引导全局结构的形成
      • -
    • 主要作用：建立大尺度的模式
      • -
    -
    3. -
  3. 后期（$t \approx T$）： -
      -
    • 接近纯噪声分布
      • -
    • 分数函数提供初始的方向指引
      • -
    • 主要作用：从噪声中"点燃"生成过程
      • -
    -
    4. -
-
- -

信息论意义：负熵流

- -
-
分数函数与信息
-

从信息论角度看，分数函数代表了"信息梯度"：

-
    -
  • 前向过程：信息逐渐丢失，熵增加
    • -
  • 反向过程：分数函数注入信息，熵减少
    • -
  • 平衡点：分数函数恰好补偿扩散造成的信息损失
    • -
-
- -

与其他概念的联系

- -
-

1. 与Stein分数的关系

-

分数函数满足Stein恒等式：

-
- $$\mathbb{E}_{p_t}[\nabla_x \log p_t(x)] = 0$$ -
-

这保证了分数函数的"平衡性"——它不会整体偏向某个方向。

-
- -
-

2. 与最优传输的关系

-

在某些条件下，分数函数定义了从$p_t$到$p_0$的最优传输映射的速度场。这建立了扩散模型与最优传输理论的桥梁。

-
- -
-

3. 与能量模型的关系

-

如果定义能量函数$E_t(x) = -\log p_t(x)$，则：

-
- $$\nabla_x \log p_t(x) = -\nabla_x E_t(x)$$ -
-

分数函数就是能量函数的负梯度，指向能量下降的方向。

-
- -

实践中的重要性

- -
-
为什么学习分数函数？
-
    -
  1. 参数化简单： -
      -
    • 不需要归一化常数
      • -
    • 可以用标准神经网络表示
      • -
    • 训练目标明确（去噪任务）
      • -
    -
    2. -
  2. 局部性质： -
      -
    • 只需要局部信息
      • -
    • 不需要全局积分
      • -
    • 计算效率高
      • -
    -
    3. -
  3. 稳定性好： -
      -
    • 梯度匹配是稳定的优化问题
      • -
    • 避免了密度估计的数值问题
      • -
    • 适合高维数据
      • -
    -
    4. -
-
- -

分数函数的多尺度特性

- -
-
跨尺度的信息编码
-

分数函数在不同噪声水平下编码不同尺度的信息：

-
    -
  • 低噪声：编码精细纹理、边缘等高频信息
    • -
  • 中等噪声：编码物体形状、整体结构
    • -
  • 高噪声：编码全局布局、大尺度模式
    • -
-

这种多尺度特性使得扩散模型能够生成具有丰富细节的高质量样本。

-
- -

总结：分数函数的核心地位

- -
-
关键认识
-

分数函数是扩散模型的"灵魂"：

-
    -
  • 它编码了数据分布的所有信息
    • -
  • 它连接了前向扩散和反向生成
    • -
  • 它统一了多个理论视角（SDE、ODE、能量模型）
    • -
  • 它提供了实用的参数化和训练方法
    • -
-

理解分数函数就是理解扩散模型的关键。

-
- -

5.4 概率流ODE：确定性的替代

- -

5.4.1 从SDE到ODE

- -

一个令人惊讶的发现是：每个SDE都有一个对应的ODE，它们产生相同的边缘分布演化。这个ODE被称为概率流ODE（Probability Flow ODE）。

- -

核心思想：去除随机性

- -
-

从随机到确定

-

SDE包含两部分：

-
    -
  • 确定性漂移：$f(x,t)dt$
    • -
  • 随机扩散：$g(t)dw$
    • -
-

概率流ODE通过修改漂移项来补偿随机项的效果，使得整体演化变成确定性的。

-
- -

概率流ODE的形式

- -

对于前向SDE：

-
- $$dx = f(x,t)dt + g(t)dw$$ -
- -

对应的概率流ODE是：

-
- $$\frac{dx}{dt} = f(x,t) - \frac{1}{2}g(t)^2\nabla_x \log p_t(x)$$ -
- -
-
关键性质
-
    -
  • ODE是确定性的——给定初始条件，轨迹唯一确定
    • -
  • 边缘分布相同——$p_t(x)$的演化与SDE一致
    • -
  • 可逆性——可以精确地前向和反向求解
    • -
-
- -

直观理解：流场视角

- -
-
流体动力学类比
-

可以把概率流ODE理解为不可压缩流体的流动：

-
    -
  • 流体元素：概率质量的小块
    • -
  • 速度场：$v(x,t) = f(x,t) - \frac{1}{2}g(t)^2\nabla\log p_t$
    • -
  • 流线：ODE的解轨迹
    • -
  • 守恒律：概率总量守恒
    • -
-
- -

为什么这个ODE有效？

- -

概率流ODE的设计基于以下观察：

- -
-

Fokker-Planck方程的分解

-

SDE对应的Fokker-Planck方程可以写成：

-
- $$\frac{\partial p_t}{\partial t} = -\nabla \cdot (p_t v_{total})$$ -
-

其中总速度场：

-
- $$v_{total} = \underbrace{f(x,t)}_{\text{漂移}} - \underbrace{\frac{1}{2}g(t)^2\nabla\log p_t}_{\text{扩散修正}}$$ -
-
- -

SDE vs ODE：轨迹的差异

- -
-
两种演化方式的对比
- - - - - - - - - - - - - - - - - - - - - - - - - - -
特性SDE概率流ODE
轨迹性质随机、不可预测确定性、可预测
计算复杂度需要多次采样单次求解即可
可逆性统计意义上可逆精确可逆
适用场景生成多样性样本图像编辑、插值
-
- -

概率流ODE的优势

- -
-
为什么使用ODE？
-
    -
  1. 精确编码： -
      -
    • 可以将数据精确编码为潜在表示
      • -
    • 支持语义操作和编辑
      • -
    -
    2. -
  2. 数值稳定性： -
      -
    • 可以使用高阶ODE求解器
      • -
    • 自适应步长控制
      • -
    -
    3. -
  3. 理论分析： -
      -
    • 更容易分析收敛性
      • -
    • 可以研究流形结构
      • -
    -
    4. -
-
- -

与神经ODE的联系

- -
-

统一框架

-

概率流ODE可以看作一种特殊的神经ODE：

-
    -
  • 状态：数据点 $x$
    • -
  • 时间：噪声水平 $t$
    • -
  • 动力学：由分数函数参数化
    • -
-

这建立了扩散模型与连续深度模型之间的桥梁。

-
- -

5.4.2 概率流的性质

- -

概率流ODE具有一系列优美的数学性质，这些性质使它成为理解和应用扩散模型的重要工具。

- -

1. 体积保持性（Liouville定理）

- -
-
概率质量守恒
-

概率流保持相空间的体积元：

-
- $$\nabla \cdot v(x,t) = 0$$ -
-

其中 $v(x,t) = f(x,t) - \frac{1}{2}g(t)^2\nabla\log p_t(x)$ 是速度场。

-

这意味着：

-
    -
  • 流动是不可压缩的
    • -
  • 局部概率密度沿流线保持不变
    • -
  • 拓扑性质得以保持
    • -
-
- -

2. 双射性与可逆性

- -
-

一一对应关系

-

概率流ODE建立了以下双射：

-
    -
  • $\phi_t: \mathcal{X}_0 \rightarrow \mathcal{X}_t$（前向流）
    • -
  • $\phi_t^{-1}: \mathcal{X}_t \rightarrow \mathcal{X}_0$（反向流）
    • -
-

每个数据点 $x_0$ 对应唯一的噪声表示 $x_T$，反之亦然。

-
- -

3. 最优传输视角

- -
-
动态最优传输
-

在某些条件下，概率流ODE给出了从 $p_0$ 到 $p_T$ 的最优传输路径：

-
    -
  • 路径最短：在适当的度量下，流线是测地线
    • -
  • 能量最优：最小化传输成本
    • -
  • 保持结构：相邻点保持相邻
    • -
-
- -

4. 连续性与正则性

- -
-
光滑演化
-

如果分数函数 $\nabla\log p_t(x)$ 满足适当的正则性条件，则：

-
    -
  1. 解的存在唯一性：给定初值，ODE有唯一解
    2. -
  2. 连续依赖性：解连续依赖于初始条件
    3. -
  3. 时间可逆性：可以精确地前向和后向求解
    4. -
-
- -

5. 与Wasserstein梯度流的关系

- -
-

能量泛函的梯度流

-

概率流ODE可以理解为某个能量泛函的Wasserstein梯度流：

-
- $$\frac{\partial p_t}{\partial t} = \nabla \cdot \left(p_t \nabla \frac{\delta \mathcal{F}[p_t]}{\delta p_t}\right)$$ -
-

其中 $\mathcal{F}[p]$ 是适当选择的能量泛函。

-
- -

6. 信息几何性质

- -
-
Fisher信息的演化
-

沿着概率流，Fisher信息矩阵的演化遵循特定规律：

-
    -
  • 信息损失：前向流中Fisher信息单调递减
    • -
  • 度量保持：某些几何结构得以保持
    • -
  • 自然梯度：流动方向与自然梯度相关
    • -
-
- -

7. 数值性质

- -
-
计算优势
- - - - - - - - - - - - - - - - - - - - - -
性质含义
Lipschitz连续性数值稳定，可用标准ODE求解器
自适应步长可根据局部误差调整步长
高阶方法适用Runge-Kutta等方法有效
并行化友好批量样本可并行处理
-
- -

8. 语义插值性质

- -
-

平滑的语义过渡

-

概率流ODE的轨迹提供了自然的插值路径：

-
    -
  • 两个数据点之间的插值通过其噪声表示的线性插值实现
    • -
  • 插值路径反映了数据流形的几何结构
    • -
  • 中间状态保持语义连贯性
    • -
-
- -

应用价值

- -
-
实际应用中的重要性
-
    -
  1. 精确反演：可以精确重构原始数据
    2. -
  2. 潜在空间操作：在噪声空间进行语义编辑
    3. -
  3. 概率估计：通过变换公式计算似然
    4. -
  4. 轨迹分析：研究生成过程的动力学
    5. -
-
- -

5.4.3 ODE vs SDE：权衡与选择

- -

在实际应用中，选择使用SDE还是概率流ODE需要考虑多个因素。每种方法都有其优势和局限性。

- -

生成质量对比

- -
-
质量-多样性权衡
- - - - - - - - - - - - - - - - - - - - - - - - - - -
方面SDEODE
样本质量通常更高，随机性有助于避免局部缺陷可能陷入次优路径
多样性自然产生多样化样本确定性导致多样性受限
模式覆盖更好地覆盖所有模式可能错过某些模式
细节保真度随机噪声可能模糊细节精确轨迹保持细节
-
- -

计算效率分析

- -
-

速度与精度的平衡

-

SDE的计算特点：

-
    -
  • 需要固定的小步长（通常1000步）
    • -
  • 每步需要生成随机噪声
    • -
  • 难以使用自适应步长
    • -
  • 并行化效率高
    • -
-

ODE的计算特点：

-
    -
  • 可使用高阶求解器（如RK45）
    • -
  • 自适应步长大幅减少NFE
    • -
  • 通常只需100-200次函数评估
    • -
  • 数值误差可控
    • -
-
- -

应用场景适配

- -
-
选择指南
-

适合使用SDE的场景：

-
    -
  1. 纯生成任务：需要高质量、多样化的样本
    2. -
  2. 数据增强：随机性带来的变化是优势
    3. -
  3. 对抗鲁棒性：随机性增强模型鲁棒性
    4. -
  4. 探索性应用：需要发现新的样本模式
    5. -
-

适合使用ODE的场景：

-
    -
  1. 图像编辑：需要精确的编码-解码
    2. -
  2. 插值任务：生成中间过渡状态
    3. -
  3. 反演重构：从噪声恢复原始输入
    4. -
  4. 可解释性研究：分析生成轨迹
    5. -
-
- -

混合策略

- -
-
结合两者优势
-

实践中常用的混合策略：

-
    -
  1. 分段切换： -
      -
    • 早期阶段（高噪声）使用ODE快速去噪
      • -
    • 后期阶段（低噪声）使用SDE精细化
      • -
    -
    2. -
  2. 温度调节： -
      -
    • 引入温度参数 $\tau$ 控制随机性
      • -
    • $dx = f dt + \tau \cdot g dw$
      • -
    • $\tau=0$ 退化为ODE，$\tau=1$ 为标准SDE
      • -
    -
    3. -
  3. 条件切换： -
      -
    • 根据当前状态的置信度动态选择
      • -
    • 高置信区域用ODE，低置信区域用SDE
      • -
    -
    4. -
-
- -

数值稳定性考虑

- -
-

数值挑战与解决方案

-

SDE的数值挑战：

-
    -
  • 步长过大导致数值爆炸
    • -
  • 累积误差难以控制
    • -
  • 需要仔细选择离散化方案
    • -
-

ODE的数值挑战：

-
    -
  • 刚性问题需要隐式求解器
    • -
  • 分数函数的数值误差会累积
    • -
  • 需要监控局部截断误差
    • -
-
- -

理论保证对比

- -
-
收敛性分析
- - - - - - - - - - - - - - - - - - - - - -
理论性质SDEODE
收敛阶弱收敛 O(√dt)可达高阶 O(dt^p)
误差界概率意义上的界确定性误差界
长时间行为遍历性保证轨迹稳定性
-
- -

实践建议

- -
-
最佳实践总结
-
    -
  1. 默认选择：对于大多数生成任务，SDE仍是首选
    2. -
  2. 速度优先：当推理速度关键时，考虑ODE
    3. -
  3. 精度要求：需要精确控制时使用ODE
    4. -
  4. 实验验证：具体选择应基于实际效果
    5. -
  5. 混合使用：不同阶段可以使用不同方法
    6. -
-
- -

5.5 Fokker-Planck方程：密度视角

- -

5.5.1 从粒子到密度

- -

Fokker-Planck方程提供了扩散过程的另一个视角：从跟踪单个粒子转向描述整体概率密度的演化。这是理解扩散模型的关键数学工具。

- -

两种描述方式的对偶性

- -
-

微观 vs 宏观

- - - - - - - - - - - - - - - - - -
SDE（微观）Fokker-Planck（宏观）
描述单个粒子的随机轨迹描述概率密度的确定性演化
$dx_t = f(x_t,t)dt + g(t)dw_t$$\frac{\partial p}{\partial t} = -\nabla \cdot (fp) + \frac{g^2}{2}\Delta p$
随机微分方程偏微分方程
-
- -

Fokker-Planck方程的推导直觉

- -
-
守恒律视角
-

Fokker-Planck方程本质上是概率的守恒律：

-
- $$\frac{\partial p}{\partial t} + \nabla \cdot J = 0$$ -
-

其中概率流 $J$ 包含两部分：

-
    -
  • 漂移流：$J_{drift} = f(x,t)p(x,t)$
    • -
  • 扩散流：$J_{diff} = -\frac{g(t)^2}{2}\nabla p(x,t)$
    • -
-
- -

标准形式与物理意义

- -

对于一般的SDE，Fokker-Planck方程为：

- -
- $$\frac{\partial p(x,t)}{\partial t} = -\sum_i \frac{\partial}{\partial x_i}[f_i(x,t)p(x,t)] + \frac{1}{2}\sum_{i,j}\frac{\partial^2}{\partial x_i \partial x_j}[g_{ij}(t)p(x,t)]$$ -
- -
-
各项的物理解释
-
    -
  • 时间导数项 $\frac{\partial p}{\partial t}$：密度的局部变化率
    • -
  • 对流项 $-\nabla \cdot (fp)$：由确定性漂移引起的概率流动
    • -
  • 扩散项 $\frac{g^2}{2}\Delta p$：由随机涨落引起的概率扩散
    • -
-
- -

特殊情况：线性Fokker-Planck方程

- -

对于扩散模型中常见的线性SDE：

-
- $$dx = -\frac{\beta(t)}{2}x dt + \sqrt{\beta(t)}dw$$ -
- -

对应的Fokker-Planck方程是：

-
- $$\frac{\partial p}{\partial t} = \frac{\beta(t)}{2}\nabla \cdot (xp) + \frac{\beta(t)}{2}\Delta p$$ -
- -
-

解的高斯性

-

线性Fokker-Planck方程的一个重要性质是：如果初始分布是高斯的，那么任意时刻的分布都保持高斯形式。这解释了为什么扩散模型的前向过程最终收敛到高斯分布。

-
- -

与热方程的联系

- -
-
扩散作为热传导
-

在纯扩散情况下（$f=0$），Fokker-Planck方程退化为热方程：

-
- $$\frac{\partial p}{\partial t} = D\Delta p$$ -
-

这建立了以下类比：

-
    -
  • 概率密度 ↔ 温度分布
    • -
  • 扩散系数 ↔ 热导率
    • -
  • 概率流 ↔ 热流
    • -
-
- -

稳态与平衡分布

- -
-
长时间行为
-

当 $t \to \infty$ 时，系统趋向稳态：$\frac{\partial p}{\partial t} = 0$

-

稳态分布 $p_\infty(x)$ 满足：

-
- $$\nabla \cdot (f p_\infty) = \frac{g^2}{2}\Delta p_\infty$$ -
-

对于扩散模型，这通常是标准高斯分布 $\mathcal{N}(0,I)$。

-
- -

边界条件的重要性

- -
-

自然边界条件

-

在 $\mathbb{R}^d$ 上，通常采用自然边界条件：

-
    -
  • $p(x,t) \to 0$ 当 $|x| \to \infty$
    • -
  • $\int_{\mathbb{R}^d} p(x,t)dx = 1$（概率守恒）
    • -
-

这些条件确保了物理意义和数学良定性。

-
- -

数值求解的挑战

- -
-
维数灾难
-

直接求解Fokker-Planck方程面临严重的维数灾难：

-
    -
  • 对于 $d$ 维问题，计算复杂度为 $O(N^d)$
    • -
  • 存储需求随维数指数增长
    • -
  • 高维空间中的数值格式不稳定
    • -
-

这就是为什么扩散模型选择通过学习分数函数来间接求解。

-
- -

5.5.2 Fokker-Planck方程的推导

- -

Fokker-Planck方程的推导展示了随机过程与偏微分方程之间的深刻联系。这里我们从直观到严格，逐步推导这个方程。

- -

方法一：从Chapman-Kolmogorov方程出发

- -
-
基本思路
-

考虑转移概率密度 $p(x,t|x_0,t_0)$，它满足Chapman-Kolmogorov方程：

-
- $$p(x,t+\Delta t|x_0,t_0) = \int p(x,t+\Delta t|y,t)p(y,t|x_0,t_0)dy$$ -
-

对小时间步 $\Delta t$，展开转移核并取极限即可得到Fokker-Planck方程。

-
- -

方法二：Itô公式方法（更直观）

- -

这是理解Fokker-Planck方程的现代方法：

- -
-

核心步骤

-
    -
  1. 考虑测试函数：对任意光滑函数 $\phi(x)$，计算期望值的演化
    2. -
  2. 应用Itô公式： -
    - $$d\phi(x_t) = \nabla\phi \cdot dx_t + \frac{1}{2}\text{Tr}(\nabla^2\phi \cdot d\langle x\rangle_t)$$ -
    -
    3. -
  3. 取期望：利用 $\mathbb{E}[dw_t] = 0$
    4. -
  4. 分部积分：将作用在 $\phi$ 上的算子转移到 $p$ 上
    5. -
-
- -

详细推导：一维情况

- -
-
从SDE到Fokker-Planck
-

设一维SDE为：$dx_t = f(x_t,t)dt + g(t)dw_t$

- -

步骤1：对测试函数 $\phi(x)$ 应用Itô公式

-
- $$d\phi(x_t) = \phi'(x_t)dx_t + \frac{1}{2}\phi''(x_t)(dx_t)^2$$ -
- -

步骤2：计算二次变分 $(dx_t)^2 = g(t)^2dt$

- -

步骤3：代入并取期望

-
- $$\frac{d}{dt}\mathbb{E}[\phi(x_t)] = \mathbb{E}[f(x_t,t)\phi'(x_t) + \frac{g(t)^2}{2}\phi''(x_t)]$$ -
- -

步骤4：用密度函数表示期望

-
- $$\frac{d}{dt}\int \phi(x)p(x,t)dx = \int \left[f(x,t)\phi'(x) + \frac{g(t)^2}{2}\phi''(x)\right]p(x,t)dx$$ -
- -

步骤5：分部积分

-
- $$\int \phi(x)\frac{\partial p}{\partial t}dx = \int \phi(x)\left[-\frac{\partial}{\partial x}(f p) + \frac{g^2}{2}\frac{\partial^2 p}{\partial x^2}\right]dx$$ -
- -

由于 $\phi$ 任意，得到Fokker-Planck方程。

-
- -

高维推广

- -
-
多维Fokker-Planck方程
-

对于 $d$ 维SDE：$dx_i = f_i(x,t)dt + \sum_j g_{ij}(t)dw_j$

-

Fokker-Planck方程为：

-
- $$\frac{\partial p}{\partial t} = -\sum_i \frac{\partial}{\partial x_i}(f_i p) + \frac{1}{2}\sum_{i,j}\frac{\partial^2}{\partial x_i \partial x_j}(D_{ij}p)$$ -
-

其中扩散矩阵 $D_{ij} = \sum_k g_{ik}g_{jk}$。

-
- -

反向Fokker-Planck方程

- -
-

时间反演

-

对于反向SDE，对应的Fokker-Planck方程（也称为Kolmogorov反向方程）是：

-
- $$-\frac{\partial p}{\partial t} = f \cdot \nabla p + \frac{g^2}{2}\Delta p$$ -
-

注意时间导数的符号变化，这反映了时间反演的本质。

-
- -

与分数函数的关系

- -
-
分数函数的出现
-

Fokker-Planck方程可以重写为：

-
- $$\frac{\partial p}{\partial t} = -\nabla \cdot \left[p\left(f - \frac{g^2}{2}\nabla \log p\right)\right] - \frac{g^2}{2}\Delta p$$ -
-

这里自然出现了分数函数 $\nabla \log p$，暗示了它在扩散过程中的核心作用。

-
- -

物理解释：概率流的分解

- -
-
流的物理图像
-

Fokker-Planck方程描述了两种概率流的竞争：

-
    -
  • 确定性流：由漂移 $f(x,t)$ 驱动，可以聚集或分散概率
    • -
  • 扩散流：总是使概率分散，趋向均匀分布
    • -
-

扩散模型巧妙地平衡这两种流，实现数据与噪声之间的可逆转换。

-
- -

数学性质

- -
-

重要性质

-
    -
  1. 线性性：Fokker-Planck方程对 $p$ 是线性的
    2. -
  2. 保正性：如果初值 $p_0 \geq 0$，则 $p_t \geq 0$ 对所有 $t$ 成立
    3. -
  3. 质量守恒：$\int p(x,t)dx = 1$ 对所有 $t$ 成立
    4. -
  4. 最大值原理：密度的最大值不会增加（纯扩散情况）
    5. -
-
- -

5.5.3 与分数函数的联系

- -

Fokker-Planck方程与分数函数之间存在深刻的联系。这种联系不仅是数学上的巧合，更揭示了扩散模型的核心机制。

- -

分数函数在Fokker-Planck方程中的出现

- -
-
概率流的分解
-

Fokker-Planck方程可以写成流的形式：

-
- $$\frac{\partial p}{\partial t} = -\nabla \cdot J$$ -
-

其中总概率流 $J$ 可以分解为：

-
- $$J = \underbrace{fp}_{\text{漂移流}} - \underbrace{\frac{g^2}{2}\nabla p}_{\text{扩散流}} = p\left(f - \frac{g^2}{2}\nabla \log p\right)$$ -
-

这里自然出现了分数函数 $\nabla \log p$。

-
- -

分数函数的物理意义

- -
-

三种解释

-
    -
  1. 热力学力：分数函数代表将系统推向平衡态的"力"
    2. -
  2. 信息梯度：指向信息含量增加的方向
    3. -
  3. 最可能路径：在给定约束下的最可能演化方向
    4. -
-
- -

稳态条件与分数函数

- -
-
平衡态的特征
-

在稳态（$\frac{\partial p}{\partial t} = 0$）时，概率流必须为零：

-
- $$J = p\left(f - \frac{g^2}{2}\nabla \log p\right) = 0$$ -
-

这给出稳态条件：

-
- $$f(x) = \frac{g^2}{2}\nabla \log p_{\infty}(x)$$ -
-

即漂移必须恰好平衡扩散引起的概率流出。

-
- -

分数函数与熵产生

- -
-
熵的演化
-

相对熵（KL散度）的时间导数为：

-
- $$\frac{d}{dt}D_{KL}(p_t \| p_{\infty}) = -\int p_t |\nabla \log p_t - \nabla \log p_{\infty}|^2 dx \leq 0$$ -
-

这表明：

-
    -
  • 分数函数的差异驱动系统向平衡态演化
    • -
  • 演化速率正比于分数函数差的平方
    • -
  • 当且仅当 $p_t = p_{\infty}$ 时演化停止
    • -
-
- -

反向过程中分数函数的作用

- -
-

时间反演的关键

-

考虑前向Fokker-Planck方程：

-
- $$\frac{\partial p}{\partial t} = -\nabla \cdot (fp) + \frac{g^2}{2}\Delta p$$ -
-

对应的反向Fokker-Planck方程需要额外的分数项：

-
- $$\frac{\partial p}{\partial \tau} = -\nabla \cdot \left[\left(-f + g^2\nabla \log p\right)p\right] + \frac{g^2}{2}\Delta p$$ -
-

分数函数 $\nabla \log p$ 提供了反向演化所需的"信息"。

-
- -

分数匹配与Fokker-Planck方程

- -
-
学习目标的等价性
-

扩散模型的训练可以从两个角度理解：

-
    -
  1. 分数匹配：最小化 $\mathbb{E}_{p_t}[|\nabla \log p_t - s_\theta|^2]$
    2. -
  2. 密度演化：使神经网络参数化的流满足Fokker-Planck方程
    3. -
-

这两个目标在数学上是等价的。

-
- -

变分视角：最小作用量原理

- -
-
Onsager-Machlup泛函
-

扩散过程的路径概率可以用作用量表示：

-
- $$S[x] = \int_0^T \left[\frac{|\dot{x} - f|^2}{2g^2} - \frac{1}{2}\nabla \cdot f\right]dt$$ -
-

分数函数通过Fokker-Planck方程进入这个作用量，决定了最可能的演化路径。

-
- -

计算优势

- -
-

为什么学习分数而非密度

-
    -
  1. 局部性：分数函数只需要局部信息，而密度需要全局归一化
    2. -
  2. 维数可扩展：分数匹配避免了高维空间的积分
    3. -
  3. 数值稳定：梯度估计比密度估计更稳定
    4. -
  4. 训练简单：去噪任务提供了自然的训练信号
    5. -
-
- -

总结：分数函数的中心地位

- -
-
统一视角
-

分数函数 $\nabla \log p$ 是连接多个概念的桥梁：

-
    -
  • SDE视角：使反向过程成为可能
    • -
  • PDE视角：出现在Fokker-Planck方程中
    • -
  • ODE视角：定义概率流的速度场
    • -
  • 优化视角：提供了可学习的参数化
    • -
  • 几何视角：是概率流形上的切向量
    • -
-

理解这些联系是掌握连续时间扩散模型的关键。

-
- -

5.6 统一框架：Score SDE

- -

5.6.1 VP-SDE、VE-SDE和sub-VP-SDE

- -

Score SDE框架统一了各种扩散模型，将它们表示为不同的SDE选择。这里介绍三种主要的SDE类型及其特点。

- -

VP-SDE（Variance Preserving）

- -
-
方差保持SDE
-

VP-SDE对应于DDPM，其形式为：

-
- $$dx = -\frac{1}{2}\beta(t)x dt + \sqrt{\beta(t)}dw$$ -
-

其中 $\beta(t)$ 是噪声调度函数。

-

关键性质：

-
    -
  • 保持信号和噪声的总方差近似为1
    • -
  • 边缘分布：$p(x_t|x_0) = \mathcal{N}(\sqrt{\bar{\alpha}_t}x_0, (1-\bar{\alpha}_t)I)$
    • -
  • 终态分布：$p(x_T) \approx \mathcal{N}(0, I)$
    • -
-
- -

VE-SDE（Variance Exploding）

- -
-
方差爆炸SDE
-

VE-SDE对应于NCSN/SMLD，其形式为：

-
- $$dx = \sqrt{\frac{d[\sigma^2(t)]}{dt}}dw$$ -
-

其中 $\sigma(t)$ 是递增的噪声水平函数。

-

关键性质：

-
    -
  • 没有漂移项，纯扩散过程
    • -
  • 边缘分布：$p(x_t|x_0) = \mathcal{N}(x_0, \sigma^2(t)I)$
    • -
  • 方差随时间单调增加至无穷
    • -
-
- -

sub-VP-SDE

- -
-
次方差保持SDE
-

sub-VP-SDE是VP-SDE的连续时间极限：

-
- $$dx = -\frac{1}{2}\beta(t)x dt + \sqrt{\beta(t)(1-e^{-2\int_0^t \beta(s)ds})}dw$$ -
-

关键性质：

-
    -
  • 更精确地保持离散DDPM的边缘分布
    • -
  • 扩散系数依赖于历史
    • -
  • 数值稳定性更好
    • -
-
- -

三种SDE的比较

- -
-
特性对比
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
特性VP-SDEVE-SDEsub-VP-SDE
漂移项线性无线性
扩散系数$\sqrt{\beta(t)}$$\sqrt{\dot{\sigma}^2(t)}$状态依赖
终态分布$\mathcal{N}(0,I)$$\mathcal{N}(0,\sigma_T^2 I)$$\mathcal{N}(0,I)$
计算效率高最高中等
-
- -

噪声调度的选择

- -
-

常用的噪声调度

-

VP-SDE的β调度：

-
    -
  • 线性：$\beta(t) = \beta_{min} + t(\beta_{max} - \beta_{min})$
    • -
  • 余弦：$\beta(t) = \beta_{max} \cdot \sin^2(\frac{\pi t}{2T})$
    • -
  • 改进线性：考虑信噪比的平滑变化
    • -
-

VE-SDE的σ调度：

-
    -
  • 几何级数：$\sigma_i = \sigma_{min} \cdot (\sigma_{max}/\sigma_{min})^{i/N}$
    • -
  • 多项式：$\sigma(t) = \sigma_{min} + t^p(\sigma_{max} - \sigma_{min})$
    • -
-
- -

选择指南

- -
-
何时使用哪种SDE
-
    -
  1. VP-SDE： -
      -
    • 标准选择，适合大多数任务
      • -
    • 训练稳定，理论完善
      • -
    • 与DDPM兼容
      • -
    -
    2. -
  2. VE-SDE： -
      -
    • 需要精确控制噪声水平
      • -
    • 多尺度建模
      • -
    • 计算效率要求高
      • -
    -
    3. -
  3. sub-VP-SDE： -
      -
    • 需要精确匹配离散模型
      • -
    • 理论研究
      • -
    • 高精度要求
      • -
    -
    4. -
-
- -

统一视角的优势

- -
-
Score SDE框架的贡献
-
    -
  • 理论统一：不同方法只是SDE的不同选择
    • -
  • 灵活设计：可以设计新的SDE形式
    • -
  • 统一训练：相同的分数匹配目标
    • -
  • 统一采样：通用的求解器（如PC采样器）
    • -
-
- -

5.6.2 离散模型作为SDE的特例

- -

一个深刻的洞察是：所有离散时间的扩散模型都可以看作连续SDE的数值离散化。这个视角不仅统一了理论，还指导了算法改进。

- -

DDPM与VP-SDE的对应关系

- -
-
从离散到连续
-

DDPM的前向过程：

-
- $$x_t = \sqrt{\alpha_t}x_{t-1} + \sqrt{1-\alpha_t}\epsilon_t$$ -
-

当时间步 $\Delta t \to 0$ 时，设 $\alpha_t = 1 - \beta_t\Delta t$，可得：

-
- $$\frac{x_t - x_{t-1}}{\Delta t} \approx -\frac{\beta_t}{2}x_t + \frac{\sqrt{\beta_t}}{\sqrt{\Delta t}}\epsilon_t$$ -
-

这正是VP-SDE的Euler-Maruyama离散化。

-
- -

NCSN与VE-SDE的对应关系

- -
-

多尺度噪声的连续化

-

NCSN使用离散的噪声水平 $\{\sigma_i\}_{i=1}^L$，每个水平对应一个加噪分布：

-
- $$p_{\sigma_i}(x|x_0) = \mathcal{N}(x_0, \sigma_i^2 I)$$ -
-

当 $L \to \infty$ 且噪声水平连续化时，得到VE-SDE：

-
- $$dx = \sqrt{\frac{d\sigma^2(t)}{dt}}dw$$ -
-
- -

离散化误差分析

- -
-
数值格式的影响
- - - - - - - - - - - - - - - - - - - - - -
离散化方法局部误差特点
Euler-Maruyama$O(\Delta t)$简单但精度低
Heun方法$O(\Delta t^2)$需要两次函数评估
随机Runge-Kutta$O(\Delta t^{3/2})$高精度但复杂
-
- -

时间步的选择

- -
-
离散步数与连续时间
-

离散模型的步数 $T$ 与连续时间的关系：

-
    -
  • DDPM：通常 $T=1000$，对应连续时间 $[0,1]$
    • -
  • 改进DDPM：$T=4000$，更好地逼近连续极限
    • -
  • 连续模型：$T \to \infty$，完全连续
    • -
-

步数越多，离散模型越接近连续SDE，但计算成本也越高。

-
- -

训练目标的统一

- -
-

分数匹配的一致性

-

无论是离散还是连续模型，训练目标都是分数匹配：

-
    -
  • DDPM：$\mathcal{L} = \mathbb{E}_{t,x_0,\epsilon}[\|\epsilon - \epsilon_\theta(x_t, t)\|^2]$
    • -
  • Score SDE：$\mathcal{L} = \mathbb{E}_{t,x_0,x_t}[\|s_\theta(x_t, t) - \nabla \log p_{t|0}(x_t|x_0)\|^2]$
    • -
-

两者通过关系 $\epsilon = -\sigma_t \nabla \log p_{t|0}$ 联系起来。

-
- -

采样算法的继承

- -
-
从离散到连续的算法迁移
-
    -
  1. DDPM采样 → SDE求解器： -
      -
    • 祖先采样 → Euler-Maruyama方法
      • -
    • DDIM → 概率流ODE
      • -
    -
    2. -
  2. 加速技巧： -
      -
    • 步长调整在连续框架下更自然
      • -
    • 自适应求解器可以自动选择步长
      • -
    -
    3. -
-
- -

连续视角的优势

- -
-
为什么采用连续框架？
-
    -
  1. 理论优势： -
      -
    • 更清晰的数学结构
      • -
    • 丰富的SDE/PDE理论可用
      • -
    • 更容易分析收敛性
      • -
    -
    2. -
  2. 算法优势： -
      -
    • 可以使用成熟的ODE/SDE求解器
      • -
    • 自适应时间步长
      • -
    • 高阶数值方法
      • -
    -
    3. -
  3. 灵活性： -
      -
    • 容易设计新的SDE
      • -
    • 可以在不同SDE之间转换
      • -
    • 统一的训练和采样框架
      • -
    -
    4. -
-
- -

实践指南

- -
-

何时使用离散vs连续

-
    -
  • 使用离散模型： -
      -
    • 已有成熟的离散实现
      • -
    • 固定步数的应用场景
      • -
    • 需要与现有DDPM代码兼容
      • -
    -
    • -
  • 使用连续模型： -
      -
    • 需要灵活的时间步长
      • -
    • 追求理论优雅性
      • -
    • 探索新的模型设计
      • -
    -
    • -
-
- -

5.6.3 新的可能性

- -

Score SDE框架不仅统一了现有方法，更重要的是开启了设计新型扩散模型的大门。这里探讨一些令人兴奋的新方向。

- -

设计新的SDE

- -
-
超越标准选择
-

除了VP-SDE和VE-SDE，我们可以设计具有特殊性质的新SDE：

-
    -
  1. 自适应SDE： -
    - $$dx = f(x,t,\text{SNR}(x))dt + g(t,\text{SNR}(x))dw$$ -
    -

    根据局部信噪比调整扩散速率

    -
    2. -
  2. 各向异性SDE： -
    - $$dx = f(x,t)dt + G(x,t)dw$$ -
    -

    $G$是状态依赖的扩散矩阵，不同方向扩散速率不同

    -
    3. -
  3. 非线性SDE： -
    - $$dx = -\nabla V(x)dt + \sqrt{2T(t)}dw$$ -
    -

    引入势能函数$V(x)$，实现特定的稳态分布

    -
    4. -
-
- -

混合采样策略

- -
-

SDE-ODE混合

-

在生成过程的不同阶段使用不同的动力学：

-
    -
  • 初始阶段（高噪声）：使用ODE快速确定大致结构
    • -
  • 中间阶段：使用SDE增加多样性
    • -
  • 最终阶段（低噪声）：再次使用ODE精确细节
    • -
-

这种策略结合了两者的优势：速度、质量和多样性。

-
- -

条件生成的新方法

- -
-
通过修改SDE实现条件生成
-
    -
  1. 引导漂移： -
    - $$dx = [f(x,t) + \lambda\nabla\log p(y|x)]dt + g(t)dw$$ -
    -

    在漂移项中加入条件信息

    -
    2. -
  2. 条件扩散： -
    - $$dx = f(x,t)dt + g(t,y)dw$$ -
    -

    扩散系数依赖于条件$y$

    -
    3. -
  3. 约束SDE： -

    在流形上定义SDE，自动满足某些约束

    -
    4. -
-
- -

加速采样的创新

- -
-
新型求解器设计
-
    -
  • 预测-校正方法： -
      -
    1. 预测步：使用高阶ODE求解器
      2. -
    2. 校正步：使用少量Langevin动力学步骤
      3. -
    -
    • -
  • 自适应时间重参数化： -

    在关键区域（如$t \approx 0$）使用更密集的时间步

    -
    • -
  • 学习型求解器： -

    使用神经网络学习最优的离散化方案

    -
    • -
-
- -

多模态扩散

- -
-

不同模态的联合建模

-

设计处理多种数据类型的统一SDE：

-
    -
  • 图像-文本联合SDE：不同模态使用不同的扩散速率
    • -
  • 层次化SDE：粗粒度和细粒度特征的分层扩散
    • -
  • 图结构SDE：在图上定义的扩散过程
    • -
-
- -

理论创新方向

- -
-
推动理论边界
-
    -
  1. 最优传输视角： -
      -
    • 设计最小化传输成本的SDE
      • -
    • 学习数据流形间的最优映射
      • -
    -
    2. -
  2. 信息几何： -
      -
    • 在概率流形上设计测地线SDE
      • -
    • 利用Fisher信息优化扩散路径
      • -
    -
    3. -
  3. 控制论方法： -
      -
    • 将生成过程视为最优控制问题
      • -
    • 学习最优的控制策略
      • -
    -
    4. -
-
- -

实际应用的新可能

- -
-
突破性应用
-
    -
  1. 科学计算： -
      -
    • 分子动力学模拟
      • -
    • 量子系统建模
      • -
    • 气候模型
      • -
    -
    2. -
  2. 逆问题求解： -
      -
    • 医学成像重建
      • -
    • 地震波反演
      • -
    • 超分辨率
      • -
    -
    3. -
  3. 生成式设计： -
      -
    • 材料设计
      • -
    • 药物发现
      • -
    • 建筑设计
      • -
    -
    4. -
-
- -

未来展望

- -
-

连续时间框架的潜力

-

Score SDE框架为扩散模型开辟了广阔的研究空间：

-
    -
  • 理论深度：与数学物理的深度连接还有待挖掘
    • -
  • 算法创新：新的数值方法和优化技术
    • -
  • 应用广度：从图像生成到科学计算的全方位应用
    • -
  • 硬件协同：为专用硬件设计的SDE
    • -
-

这个框架不仅是技术工具，更是理解生成模型的新范式。

-
- -

5.7 数值方法与实现

- -

5.7.1 SDE的数值解法

- -

准确高效地求解SDE是实现扩散模型的关键。这里介绍主要的数值方法及其在扩散模型中的应用。

- -

Euler-Maruyama方法

- -
-
最基本的SDE求解器
-

对于SDE：$dx = f(x,t)dt + g(t)dw$

-

Euler-Maruyama离散化为：

-
- $$x_{n+1} = x_n + f(x_n, t_n)\Delta t + g(t_n)\sqrt{\Delta t}\cdot z_n$$ -
-

其中 $z_n \sim \mathcal{N}(0, I)$。

-

特点：

-
    -
  • 实现简单，计算效率高
    • -
  • 强收敛阶：$O(\sqrt{\Delta t})$
    • -
  • 弱收敛阶：$O(\Delta t)$
    • -
  • 对于线性SDE是精确的
    • -
-
- -

Heun方法（改进Euler）

- -
-

预测-校正方法

-

Heun方法通过两步提高精度：

-
    -
  1. 预测步： -
    - $$\tilde{x}_{n+1} = x_n + f(x_n, t_n)\Delta t + g(t_n)\sqrt{\Delta t}\cdot z_n$$ -
    -
    2. -
  2. 校正步： -
    - $$x_{n+1} = x_n + \frac{1}{2}[f(x_n, t_n) + f(\tilde{x}_{n+1}, t_{n+1})]\Delta t + g(t_n)\sqrt{\Delta t}\cdot z_n$$ -
    -
    3. -
-

弱收敛阶提高到 $O(\Delta t^2)$。

-
- -

随机Runge-Kutta方法

- -
-
高阶方法
-

类似于确定性ODE的Runge-Kutta方法，但需要考虑随机积分：

-
    -
  • 阶数选择：通常使用1.5阶或2.5阶方法
    • -
  • 计算成本：每步需要多次函数评估
    • -
  • 稳定性：对刚性问题更稳定
    • -
-

适用于需要高精度的场景，但计算成本较高。

-
- -

指数积分器

- -
-
利用线性结构
-

对于具有线性漂移的SDE（如VP-SDE）：

-
- $$dx = -\frac{\beta(t)}{2}x dt + \sqrt{\beta(t)}dw$$ -
-

可以精确积分线性部分：

-
- $$x_{n+1} = e^{-\frac{1}{2}\int_{t_n}^{t_{n+1}}\beta(s)ds} x_n + \text{随机项}$$ -
-

优势：

-
    -
  • 对线性部分是精确的
    • -
  • 数值稳定性好
    • -
  • 适合大步长
    • -
-
- -

自适应步长方法

- -
-

动态调整时间步

-

根据局部误差估计自动调整步长：

-
    -
  1. 误差估计：比较不同阶数方法的结果
    2. -
  2. 步长控制： -
    - $$\Delta t_{new} = \Delta t_{old} \cdot \left(\frac{\text{容差}}{\text{误差估计}}\right)^{1/p}$$ -
    -
    3. -
  3. 拒绝机制：误差过大时重新计算
    4. -
-

在扩散模型中，通常在 $t \approx 0$ 附近需要更小的步长。

-
- -

反向SDE的特殊处理

- -
-
数值挑战与解决方案
-

挑战：

-
    -
  • 分数函数在 $t \approx 0$ 附近可能很大
    • -
  • 数值误差累积
    • -
  • 需要处理边界条件
    • -
-

解决方案：

-
    -
  • 时间重缩放：使用 $\tau = \log(t)$ 等变换
    • -
  • 截断技巧：在很小的 $t_{min}$ 停止
    • -
  • 方差缩放：调整最后几步的噪声强度
    • -
-
- -

并行化策略

- -
-
提高计算效率
-
    -
  1. 批量并行： -
      -
    • 同时处理多个样本
      • -
    • 共享分数函数计算
      • -
    -
    2. -
  2. 时间并行： -
      -
    • Parareal算法
      • -
    • 多重打靶法
      • -
    -
    3. -
  3. GPU优化： -
      -
    • 向量化随机数生成
      • -
    • 融合核函数
      • -
    -
    4. -
-
- -

实践建议

- -
-

选择合适的求解器

- - - - - - - - - - - - - - - - - - - - - - - - - - -
场景推荐方法原因
快速原型Euler-Maruyama简单易实现
生产部署自适应Heun精度与效率平衡
高质量生成高阶RK + 自适应最高精度
线性SDE指数积分器利用特殊结构
-
- -

5.7.2 ODE求解器的应用

- -

概率流ODE为扩散模型带来了确定性采样的可能。这里介绍如何有效地使用ODE求解器，以及相关的技巧和挑战。

- -

标准ODE求解器

- -
-
经典方法在扩散模型中的应用
-

概率流ODE的一般形式：

-
- $$\frac{dx}{dt} = f(x,t) - \frac{1}{2}g(t)^2 s_\theta(x,t)$$ -
-

常用求解器：

-
    -
  • RK45：自适应步长的4/5阶Runge-Kutta
    • -
  • DOP853：8阶Dormand-Prince方法
    • -
  • LSODA：自动刚性检测
    • -
  • Radau：隐式方法，适合刚性问题
    • -
-
- -

DDIM作为ODE求解器

- -
-

从离散到连续的视角

-

DDIM可以理解为概率流ODE的特殊离散化：

-
    -
  1. DDIM更新规则： -
    - $$x_{t-1} = \sqrt{\bar{\alpha}_{t-1}}\left(\frac{x_t - \sqrt{1-\bar{\alpha}_t}\epsilon_\theta(x_t,t)}{\sqrt{\bar{\alpha}_t}}\right) + \sqrt{1-\bar{\alpha}_{t-1}}\epsilon_\theta(x_t,t)$$ -
    -
    2. -
  2. 对应的ODE：VP-SDE的概率流ODE
    3. -
  3. 优势：专门为扩散模型设计，数值性质好
    4. -
-
- -

DPM-Solver系列

- -
-
专用高阶求解器
-

DPM-Solver利用扩散ODE的特殊结构：

-
    -
  • 指数积分：精确处理线性部分
    • -
  • 多步方法：利用历史信息提高精度
    • -
  • 阶数：1阶到3阶版本
    • -
-

关键创新：

-
    -
  1. 变量变换：$\lambda_t = \log(\alpha_t/\sigma_t)$
    2. -
  2. 线性多步公式
    3. -
  3. 解析系数计算
    4. -
-
- -

自适应步长策略

- -
-
智能时间步选择
-

误差控制：

-
    -
  • 局部截断误差估计
    • -
  • 嵌入式Runge-Kutta对
    • -
  • Richardson外推
    • -
-

步长调整：

-
- $$h_{new} = h_{old} \cdot \min\left(f_{max}, \max\left(f_{min}, f_{safe}\left(\frac{\epsilon_{tol}}{\epsilon_{est}}\right)^{1/(p+1)}\right)\right)$$ -
-

其中 $f_{safe} \approx 0.9$ 是安全因子。

-
- -

时间重参数化技巧

- -
-

改善数值性质

-

通过时间变换改善ODE的条件数：

-
    -
  1. 对数时间：$\tau = \log(t)$ -
      -
    • 在 $t \approx 0$ 附近展开时间
      • -
    • 避免奇异性
      • -
    -
    2. -
  2. 信噪比参数化：$\tau = \log(\text{SNR}(t))$ -
      -
    • 均匀化不同时刻的重要性
      • -
    • 改善收敛性
      • -
    -
    3. -
  3. 学习的时间表： -
      -
    • 神经网络学习最优时间映射
      • -
    • 适应具体任务
      • -
    -
    4. -
-
- -

刚性问题的处理

- -
-
数值稳定性挑战
-

刚性的来源：

-
    -
  • 分数函数的大梯度
    • -
  • 多尺度动力学
    • -
  • 接近数据流形时的快速变化
    • -
-

解决方法：

-
    -
  • 隐式方法：向后Euler、Radau
    • -
  • 半隐式方法：IMEX方案
    • -
  • 预条件技术：改善条件数
    • -
-
- -

快速ODE采样技巧

- -
-
加速策略
-
    -
  1. 渐进式采样： -
      -
    • 先用大步长生成粗略结果
      • -
    • 在关键区域细化
      • -
    -
    2. -
  2. 并行ODE求解： -
      -
    • 多重打靶法
      • -
    • 时间分解
      • -
    -
    3. -
  3. 知识蒸馏： -
      -
    • 学习少步求解器
      • -
    • 直接预测跳跃
      • -
    -
    4. -
-
- -

质量评估指标

- -
-

如何评价ODE求解质量

-
    -
  • 轨迹误差：与高精度参考解比较
    • -
  • 不变量保持：检查概率守恒
    • -
  • 生成质量：FID、IS等感知指标
    • -
  • 计算效率：NFE（函数评估次数）
    • -
-
- -

实用建议

- -
-
最佳实践
-
    -
  1. 初始实验：从DDIM或DPM-Solver开始
    2. -
  2. 精度需求高：使用自适应RK45
    3. -
  3. 速度优先：固定步长的专用求解器
    4. -
  4. 调试技巧： -
      -
    • 可视化ODE轨迹
      • -
    • 监控局部误差
      • -
    • 检查数值稳定性
      • -
    -
    5. -
-
- -

5.7.3 实现细节与技巧

- -

成功实现连续时间扩散模型需要注意许多细节。这里分享一些实践中的关键技巧和常见陷阱。

- -

时间编码的实现

- -
-
连续时间的神经网络输入
-

时间嵌入方法：

-
    -
  1. 正弦编码： -
    - $$\text{emb}(t) = [\sin(2^0 \pi t), \cos(2^0 \pi t), ..., \sin(2^{L-1} \pi t), \cos(2^{L-1} \pi t)]$$ -
    -
    2. -
  2. 学习的嵌入： -
      -
    • MLP将标量 $t$ 映射到高维向量
      • -
    • 更灵活但需要更多参数
      • -
    -
    3. -
  3. 傅里叶特征： -
      -
    • 随机频率的正弦基函数
      • -
    • 理论保证的表达能力
      • -
    -
    4. -
-
- -

分数参数化选择

- -
-

不同参数化的权衡

-

分数函数可以通过不同方式参数化：

-
    -
  • 直接预测分数：$s_\theta(x,t) = \nabla \log p_t(x)$
    • -
  • 预测噪声：$\epsilon_\theta(x,t)$，然后 $s_\theta = -\epsilon_\theta/\sigma_t$
    • -
  • 预测速度：$v_\theta(x,t) = \dot{x}_t$
    • -
  • 预测去噪数据：$\hat{x}_0 = f_\theta(x_t, t)$
    • -
-

选择影响训练稳定性和生成质量。

-
- -

数值稳定性技巧

- -
-
避免数值问题
-
    -
  1. 对数域计算： -
      -
    • 使用 $\log \bar{\alpha}_t$ 而非 $\bar{\alpha}_t$
      • -
    • 避免下溢问题
      • -
    -
    2. -
  2. 方差裁剪： -
      -
    • 限制 $\beta(t)$ 的范围
      • -
    • 防止数值爆炸
      • -
    -
    3. -
  3. 安全除法： -
    - $$\frac{a}{b + \epsilon} \text{ 而非 } \frac{a}{b}$$ -
    -
    4. -
-
- -

边界条件处理

- -
-
$t \approx 0$ 和 $t \approx T$ 的特殊处理
-

起始时刻 ($t \approx 0$)：

-
    -
  • 分数函数可能发散
    • -
  • 使用最小时间 $t_{min} = 10^{-5}$
    • -
  • 特殊的方差缩放
    • -
-

终止时刻 ($t \approx T$)：

-
    -
  • 确保收敛到先验分布
    • -
  • 可能需要额外的噪声
    • -
-
- -

训练技巧

- -
-

提高训练效果

-
    -
  1. 重要性采样： -
      -
    • 根据信噪比调整时间采样
      • -
    • 在困难区域采样更多
      • -
    -
    2. -
  2. 损失加权： -
      -
    • 不同时刻使用不同权重
      • -
    • 平衡各尺度的贡献
      • -
    -
    3. -
  3. 预条件技巧： -
      -
    • 输入和输出缩放
      • -
    • 改善梯度流
      • -
    -
    4. -
-
- -

内存优化

- -
-
大规模模型的实现
-
    -
  • 梯度检查点： -
      -
    • 时间换空间
      • -
    • 在UNet的特定层使用
      • -
    -
    • -
  • 混合精度训练： -
      -
    • FP16计算，FP32累积
      • -
    • 注意数值稳定性
      • -
    -
    • -
  • 分布式策略： -
      -
    • 数据并行
      • -
    • 模型并行（大模型）
      • -
    -
    • -
-
- -

调试和验证

- -
-
确保正确实现
-
    -
  1. 单元测试： -
      -
    • 测试时间离散化的一致性
      • -
    • 验证概率守恒
      • -
    • 检查可逆性
      • -
    -
    2. -
  2. 渐进测试： -
      -
    • 从简单分布开始
      • -
    • 逐步增加复杂度
      • -
    -
    3. -
  3. 可视化工具： -
      -
    • 轨迹可视化
      • -
    • 分数场可视化
      • -
    • 中间状态检查
      • -
    -
    4. -
-
- -

性能优化清单

- -
-

实现检查列表

- - - - - - - - - - - - - - - - - - - - - - - - - - -
优化项影响难度
使用编译优化（torch.compile）2-3x加速简单
融合自定义CUDA核10-20%加速困难
优化注意力计算显著内存节省中等
缓存中间结果避免重复计算简单
-
- -

常见错误和解决方案

- -
-
避免常见陷阱
-
    -
  1. 时间方向错误： -
      -
    • 确保前向是 $0 \to T$
      • -
    • 反向是 $T \to 0$
      • -
    -
    2. -
  2. 方差参数化不一致： -
      -
    • 统一使用 $\beta$ 或 $\alpha$
      • -
    • 注意累积乘积
      • -
    -
    3. -
  3. 随机种子问题： -
      -
    • 训练和采样使用不同种子
      • -
    • 确保可重现性
      • -
    -
    4. -
-
- -

5.8 理论深入

- -

5.8.1 存在性与唯一性

- -

SDE解的存在性与唯一性是扩散模型理论基础的重要组成部分。这些结果保证了模型的数学良定性。

- -

基本存在唯一性定理

- -
-
Itô SDE的存在唯一性
-

考虑SDE：$dx_t = f(x_t, t)dt + g(t)dw_t$

-

如果满足以下条件：

-
    -
  1. Lipschitz条件：存在常数 $K$ 使得 -
    - $$|f(x,t) - f(y,t)| \leq K|x-y|$$ -
    -
    2. -
  2. 线性增长条件：存在常数 $C$ 使得 -
    - $$|f(x,t)|^2 + |g(t)|^2 \leq C(1 + |x|^2)$$ -
    -
    3. -
-

则对任意初值 $x_0$，SDE存在唯一的强解。

-
- -

扩散模型中的验证

- -
-

常见SDE的性质检验

-

VP-SDE：$dx = -\frac{\beta(t)}{2}x dt + \sqrt{\beta(t)}dw$

-
    -
  • 漂移项线性：自动满足Lipschitz条件
    • -
  • 有界的 $\beta(t)$ 保证线性增长
    • -
  • 结论：存在唯一解
    • -
-

VE-SDE：$dx = \sqrt{\frac{d\sigma^2(t)}{dt}}dw$

-
    -
  • 无漂移项，条件自动满足
    • -
  • 只需 $\sigma(t)$ 连续可微
    • -
-
- -

反向SDE的存在性

- -
-
分数函数的正则性要求
-

反向SDE：$dx = [f(x,t) - g(t)^2\nabla\log p_t(x)]dt + g(t)d\bar{w}$

-

存在性需要分数函数满足：

-
    -
  • 局部Lipschitz：在紧集上Lipschitz连续
    • -
  • 多项式增长：$|\nabla\log p_t(x)| \leq C(1 + |x|^k)$
    • -
-

神经网络通常满足这些条件。

-
- -

弱解与强解

- -
-
解的概念
-
    -
  • 强解：给定布朗运动 $w_t$，解 $x_t$ 是 $w_t$ 的函数
    • -
  • 弱解：存在某个概率空间和布朗运动使得SDE成立
    • -
-

对于扩散模型：

-
    -
  • 训练时只需要弱解（分布匹配）
    • -
  • 确定性采样需要强解
    • -
-
- -

爆炸时间与全局解

- -
-

解的长时间行为

-

即使局部解存在，也可能在有限时间爆炸。避免爆炸的充分条件：

-
    -
  1. 耗散性：$\langle x, f(x,t) \rangle \leq -\alpha|x|^2 + \beta$
    2. -
  2. 有界扩散：$|g(t)| \leq M$
    3. -
-

VP-SDE的耗散性保证了全局解的存在。

-
- -

路径正则性

- -
-
解的连续性和可微性
-
    -
  • 连续性：SDE的解几乎必然连续
    • -
  • Hölder连续性：指数 $< 1/2$
    • -
  • 不可微性：几乎处处不可微
    • -
-

这解释了为什么需要用SDE而非ODE描述噪声驱动的过程。

-
- -

概率流ODE的存在性

- -
-
从SDE到ODE
-

概率流ODE：$\frac{dx}{dt} = f(x,t) - \frac{1}{2}g(t)^2\nabla\log p_t(x)$

-

存在性比SDE更强，因为：

-
    -
  • 确定性系统，无随机项
    • -
  • 标准ODE理论适用
    • -
  • 可以使用高阶数值方法
    • -
-

关键：分数函数的光滑性决定了ODE解的正则性。

-
- -

实践意义

- -
-

理论对实现的指导

-
    -
  1. 网络架构设计： -
      -
    • 确保输出Lipschitz连续
      • -
    • 使用谱归一化等技术
      • -
    -
    2. -
  2. 训练稳定性： -
      -
    • 正则化保证解的存在性
      • -
    • 梯度裁剪防止爆炸
      • -
    -
    3. -
  3. 数值方法选择： -
      -
    • 强解理论支持显式方法
      • -
    • 刚性问题可能需要隐式方法
      • -
    -
    4. -
-
- -

5.8.2 收敛性分析

- -

收敛性分析是理解扩散模型长时间行为和采样质量的关键。这里探讨不同层面的收敛性质。

- -

分布收敛性

- -
-
前向过程的收敛
-

对于前向SDE，我们关心 $p_t$ 是否收敛到目标分布 $p_\infty$：

-
    -
  • VP-SDE：$p_t \to \mathcal{N}(0, I)$ 当 $t \to \infty$
    • -
  • VE-SDE：$p_t$ 的方差趋于无穷，但标准化后收敛
    • -
-

收敛速率：通常是指数收敛 -

- $$W_2(p_t, p_\infty) \leq Ce^{-\lambda t}$$ -
- 其中 $W_2$ 是Wasserstein-2距离。

-
- -

反向过程的收敛性

- -
-

生成质量的理论保证

-

反向SDE的收敛性依赖于：

-
    -
  1. 分数估计误差：$\mathbb{E}[|s_\theta - \nabla\log p_t|^2]$
    2. -
  2. 离散化误差：时间步长 $\Delta t$ 的影响
    3. -
  3. 有限时间截断：在 $t_{min}$ 停止的影响
    4. -
-

总误差界： -

- $$W_2(p_{gen}, p_{data}) \leq C_1\sqrt{\epsilon_{score}} + C_2\sqrt{\Delta t} + C_3 t_{min}$$ -

-
- -

数值方法的收敛阶

- -
-
不同离散化的收敛性
- - - - - - - - - - - - - - - - - - - - - -
方法强收敛阶弱收敛阶
Euler-Maruyama$O(\sqrt{\Delta t})$$O(\Delta t)$
Milstein方法$O(\Delta t)$$O(\Delta t)$
高阶Runge-Kutta$O(\Delta t)$$O(\Delta t^2)$
-

注：扩散模型主要关心弱收敛（分布层面）。

-
- -

遍历性与混合时间

- -
-
长时间行为
-

SDE的遍历性保证了时间平均等于空间平均：

-
- $$\lim_{T \to \infty} \frac{1}{T}\int_0^T f(x_t)dt = \int f(x)p_\infty(x)dx$$ -
-

混合时间：达到平衡分布所需时间

-
    -
  • VP-SDE：$T_{mix} = O(\frac{1}{\beta_{min}}\log\frac{1}{\epsilon})$
    • -
  • 影响因素：噪声强度、初始分布、目标精度
    • -
-
- -

分数匹配的收敛性

- -
-

训练目标的渐近性质

-

分数匹配损失的最小值：

-
- $$\mathcal{L}^* = \inf_{s_\theta} \mathbb{E}_{t,x}[|s_\theta(x,t) - \nabla\log p_t(x)|^2]$$ -
-

收敛保证：

-
    -
  • 神经网络的通用逼近性
    • -
  • 样本复杂度：$O(\frac{d}{\epsilon^2})$
    • -
  • 优化收敛：依赖于损失函数的凸性
    • -
-
- -

KL散度的演化

- -
-
信息论视角
-

前向过程中KL散度的演化：

-
- $$\frac{d}{dt}D_{KL}(p_t \| p_\infty) = -\mathcal{I}(p_t)$$ -
-

其中 $\mathcal{I}$ 是Fisher信息。这表明：

-
    -
  • KL散度单调递减
    • -
  • 收敛速率由Fisher信息决定
    • -
  • 几何解释：沿信息几何的测地线移动
    • -
-
- -

有限样本的影响

- -
-
统计误差分析
-

使用有限样本训练的影响：

-
    -
  1. 估计偏差：$O(1/n)$
    2. -
  2. 估计方差：$O(1/\sqrt{n})$
    3. -
  3. 泛化误差：依赖于模型复杂度
    4. -
-

实践建议：样本量 $n$ 应满足 $n \gg d^2/\epsilon^2$。

-
- -

加速收敛的技术

- -
-

改善收敛性的方法

-
    -
  1. 方差缩减： -
      -
    • 控制变量法
      • -
    • 重要性采样
      • -
    -
    2. -
  2. 预条件技术： -
      -
    • 改变度量使问题更易求解
      • -
    • 自适应步长
      • -
    -
    3. -
  3. 多尺度方法： -
      -
    • 不同时间尺度的耦合
      • -
    • 由粗到细的策略
      • -
    -
    4. -
-
- -

5.8.3 与最优传输的联系

- -

扩散模型与最优传输理论有着深刻的联系。这种联系不仅提供了新的理论视角，还启发了新的算法设计。

- -

最优传输问题回顾

- -
-
Monge-Kantorovich问题
-

给定两个概率分布 $p_0$ 和 $p_T$，最优传输问题是找到成本最小的传输方案：

-
- $$\inf_{\pi \in \Pi(p_0, p_T)} \int c(x,y) d\pi(x,y)$$ -
-

其中：

-
    -
  • $\pi$ 是联合分布，边缘为 $p_0$ 和 $p_T$
    • -
  • $c(x,y)$ 是传输成本（通常是 $|x-y|^2$）
    • -
  • $\Pi(p_0, p_T)$ 是所有可行传输方案
    • -
-
- -

动态最优传输

- -
-

Benamou-Brenier公式

-

最优传输可以表示为动态问题：

-
- $$W_2^2(p_0, p_T) = \inf_{(p_t, v_t)} \int_0^T \int |v_t(x)|^2 p_t(x) dx dt$$ -
-

约束条件：

-
- $$\frac{\partial p_t}{\partial t} + \nabla \cdot (p_t v_t) = 0$$ -
-

这将离散传输转化为连续时间的流问题。

-
- -

扩散模型作为正则化最优传输

- -
-
熵正则化的视角
-

扩散过程可以看作带熵正则化的最优传输：

-
    -
  1. Schrödinger桥问题： -
    - $$\inf_{\mathbb{P}} D_{KL}(\mathbb{P} \| \mathbb{Q}) \text{ s.t. } \mathbb{P}_0 = p_0, \mathbb{P}_T = p_T$$ -
    - 其中 $\mathbb{Q}$ 是参考过程（如布朗运动） -
    2. -
  2. 与扩散的联系： -
      -
    • 解是一个扩散过程
      • -
    • 漂移由分数函数决定
      • -
    • 正则化参数对应扩散强度
      • -
    -
    3. -
-
- -

概率流ODE与位移插值

- -
-
McCann插值
-

在最优传输中，两个分布之间的测地线由位移插值给出：

-
- $$p_t = ((1-t)\text{Id} + tT)_\# p_0$$ -
-

其中 $T$ 是最优传输映射。

-

与概率流ODE的关系：

-
    -
  • 概率流ODE定义了一种特殊的插值
    • -
  • 当扩散趋于0时，收敛到最优传输
    • -
  • 提供了计算测地线的实用方法
    • -
-
- -

Wasserstein梯度流

- -
-

能量泛函的梯度流

-

许多PDE可以写成Wasserstein空间上的梯度流：

-
- $$\frac{\partial p}{\partial t} = \nabla \cdot \left(p \nabla \frac{\delta \mathcal{F}[p]}{\delta p}\right)$$ -
-

扩散模型的联系：

-
    -
  • 前向过程：相对熵的梯度流
    • -
  • 反向过程：可以设计为某个能量的梯度流
    • -
  • 提供了变分原理的解释
    • -
-
- -

计算优势

- -
-
为什么这个联系重要？
-
    -
  1. 新的算法： -
      -
    • 基于OT的采样方法
      • -
    • 更好的插值路径
      • -
    • 加速技术
      • -
    -
    2. -
  2. 理论保证： -
      -
    • 收敛性分析
      • -
    • 最优性条件
      • -
    • 稳定性结果
      • -
    -
    3. -
  3. 应用扩展： -
      -
    • 不同度量空间
      • -
    • 约束传输问题
      • -
    • 多边际问题
      • -
    -
    4. -
-
- -

流匹配与最优传输

- -
-
统一框架
-

流匹配方法直接学习传输速度场：

-
    -
  • 目标：学习 $v_t$ 使得 $(p_t, v_t)$ 解决传输问题
    • -
  • 优势：避免学习分数函数
    • -
  • 联系：$v_t = f(x,t) - \frac{g^2}{2}\nabla\log p_t$
    • -
-

这提供了扩散模型的另一种参数化。

-
- -

未来方向

- -
-

开放问题

-
    -
  1. 非欧几里得空间： -
      -
    • 流形上的扩散
      • -
    • 图上的最优传输
      • -
    -
    2. -
  2. 多模态传输： -
      -
    • 不同空间之间的映射
      • -
    • Gromov-Wasserstein距离
      • -
    -
    3. -
  3. 计算效率： -
      -
    • 利用OT结构加速
      • -
    • 稀疏传输方案
      • -
    -
    4. -
-
- -

5.9 本章小结

- -
-

核心概念回顾

- -

1. 从离散到连续的演进

-
    -
  • 离散时间扩散模型（DDPM）的局限性
    • -
  • 连续时间极限的自然性和优势
    • -
  • SDE作为描述扩散过程的统一框架
    • -
- -

2. 三大支柱

-
    -
  • SDE（随机微分方程）：描述单个粒子的随机演化
    • -
  • ODE（概率流）：提供确定性的替代方案
    • -
  • PDE（Fokker-Planck）：刻画概率密度的演化
    • -
- -

3. 关键数学对象

-
    -
  • 分数函数 $\nabla \log p_t(x)$：连接所有视角的核心
    • -
  • Anderson定理：时间反演的理论基础
    • -
  • Score SDE框架：统一不同扩散模型
    • -
- -

4. 实践要点

-
    -
  • 数值求解器的选择：SDE vs ODE
    • -
  • 时间编码和边界处理
    • -
  • 训练稳定性和收敛性保证
    • -
- -

5. 理论深度

-
    -
  • 存在唯一性定理保证数学良定性
    • -
  • 收敛性分析指导算法设计
    • -
  • 与最优传输的联系开启新方向
    • -
-
- -

5.10 练习题

- -
-
练习 5.1：从离散到连续
-

考虑DDPM的前向过程：$x_t = \sqrt{\alpha_t}x_{t-1} + \sqrt{1-\alpha_t}\epsilon_t$

-

设 $\alpha_t = 1 - \beta \Delta t$，其中 $\Delta t = 1/T$，$T$ 是总步数。

-
    -
  1. 推导当 $T \to \infty$ 时的连续时间SDE
    2. -
  2. 计算对应的边缘分布 $p(x_t|x_0)$
    3. -
  3. 验证该SDE是VP-SDE的特例
    4. -
- - -
- -
-
练习 5.2：反向SDE推导
-

给定前向SDE：$dx = f(x,t)dt + g(t)dw$

-
    -
  1. 使用Bayes定理说明为什么反向过程需要分数函数
    2. -
  2. 推导反向SDE的漂移项
    3. -
  3. 解释分数函数项 $-g(t)^2\nabla\log p_t(x)$ 的物理意义
    4. -
- - -
- -
-
练习 5.3：概率流ODE
-

考虑VP-SDE：$dx = -\frac{\beta(t)}{2}x dt + \sqrt{\beta(t)}dw$

-
    -
  1. 写出对应的概率流ODE
    2. -
  2. 证明ODE和SDE产生相同的边缘分布
    3. -
  3. 讨论何时使用ODE vs SDE进行采样
    4. -
- - -
- -
-
练习 5.4：Fokker-Planck方程
-

对于SDE：$dx = -x dt + \sqrt{2}dw$

-
    -
  1. 写出对应的Fokker-Planck方程
    2. -
  2. 求解稳态分布
    3. -
  3. 计算从任意初始分布到稳态的收敛时间
    4. -
- - -
- -
-
练习 5.5：数值方法比较
-

实现并比较不同的SDE数值解法：

-
    -
  1. 实现Euler-Maruyama和Heun方法
    2. -
  2. 在VP-SDE上测试收敛阶
    3. -
  3. 分析计算成本vs精度的权衡
    4. -
- - -
- -
-
练习 5.6：Score SDE框架
-

证明以下等价关系：

-
    -
  1. DDPM的噪声预测 $\epsilon_\theta$ 与分数函数的关系
    2. -
  2. NCSN的多尺度训练与VE-SDE的联系
    3. -
  3. 设计一个新的SDE并分析其性质
    4. -
- - -
- -
-
挑战题：最优传输视角
-

探索扩散模型与最优传输的联系：

-
    -
  1. 证明当 $g(t) \to 0$ 时，概率流ODE收敛到最优传输的位移插值
    2. -
  2. 实现基于最优传输的采样加速方法
    3. -
  3. 讨论Schrödinger桥与扩散模型的关系
    4. -
- - -
- -
- ← 第4章：基于分数的生成模型 - 返回首页 - 第6章：流匹配 → -
-
- - - - \ No newline at end of file diff --git a/chapter5.md b/chapter5.md new file mode 100644 index 0000000..556165d --- /dev/null +++ b/chapter5.md @@ -0,0 +1,6278 @@ +[← 上一章](chapter4.md) + 第5章 / 共14章 + [下一章 →](chapter6.md) + + + +# 第5章：连续时间扩散模型 (PDE/SDE) + + + + 到目前为止，我们学习的扩散模型都是在离散时间步上定义的。但如果我们让时间步数趋于无穷，会发生什么？答案是：我们得到了随机微分方程（SDE）！Song等人在2021年的工作"Score-Based Generative Modeling through Stochastic Differential Equations"统一了之前的所有方法，并开启了连续时间建模的新纪元。本章将深入探讨SDE框架，以及相关的概率流ODE和Fokker-Planck方程。 + + + +## 5.1 从离散到连续：极限过程 + + + +### 5.1.1 离散扩散过程的回顾 + + + +在前面的章节中，我们学习了离散时间的扩散模型。让我们回顾其核心结构，为理解连续时间做准备。 + + + +#### DDPM的前向过程 + + + +DDPM定义了一个马尔可夫链，逐步向数据添加噪声： + + + + $$q(x_t | x_{t-1}) = \mathcal{N}(x_t; \sqrt{1-\beta_t} x_{t-1}, \beta_t I)$$ + + + +其中 $\beta_t$ 是预定义的噪声调度。通过重参数化技巧，我们可以直接从 $x_0$ 采样 $x_t$： + + + + $$x_t = \sqrt{\bar{\alpha}_t} x_0 + \sqrt{1-\bar{\alpha}_t} \epsilon, \quad \epsilon \sim \mathcal{N}(0, I)$$ + + + +其中 $\alpha_t = 1 - \beta_t$，$\bar{\alpha}_t = \prod_{s=1}^t \alpha_s$。 + + + +#### 关键观察：小步长近似 + + + + +#### 离散步长的含义 + + +当 $\beta_t$ 很小时，前向过程可以理解为： + + + $$x_t = x_{t-1} - \frac{\beta_t}{2} x_{t-1} + \sqrt{\beta_t} z_{t-1}, \quad z_{t-1} \sim \mathcal{N}(0, I)$$ + + + +这看起来像是一个离散化的方程： + + + + - 漂移项：$-\frac{\beta_t}{2} x_{t-1}$（向原点收缩） + - 扩散项：$\sqrt{\beta_t} z_{t-1}$（添加随机性） + + + + + +#### Score-based模型的视角 + + + +在NCSN中，我们考虑不同噪声水平下的分布： + + + + $$p_\sigma(x) = \int p_{data}(x') \mathcal{N}(x; x', \sigma^2 I) dx'$$ + + + +如果我们让 $\sigma$ 随时间连续变化，$\sigma(t)$，会发生什么？ + + + + 离散与连续的对应 + + + 离散时间 + 连续时间 + 含义 + + + $t \in \{0, 1, ..., T\}$ + $t \in [0, T]$ + 时间变量 + + + $x_t - x_{t-1}$ + $dx_t$ + 无穷小变化 + + + $\beta_t$ + $\beta(t)dt$ + 噪声强度 + + + $z_t \sim \mathcal{N}(0, I)$ + $dW_t$ + 布朗运动增量 + + + + + + +# 可视化离散步长的影响 +import torch +import numpy as np + +def discrete_diffusion_path(x0, betas, return_all=True): + """模拟离散扩散路径""" + x = x0.clone() + path = [x.clone()] + + for beta in betas: + # 前向扩散步 + noise = torch.randn_like(x) + x = np.sqrt(1 - beta) * x + np.sqrt(beta) * noise + + if return_all: + path.append(x.clone()) + + return torch.stack(path) if return_all else x + +# 比较不同步数的路径 +def compare_discretizations(x0, T=1.0, num_steps_list=[10, 50, 1000]): + """比较不同离散化的效果""" + paths = {} + + for num_steps in num_steps_list: + # 线性噪声调度 + betas = torch.linspace(0.0001, 0.02, num_steps) + + # 调整到相同的总噪声量 + betas = betas * T / num_steps + + path = discrete_diffusion_path(x0, betas) + paths[num_steps] = path + + # 分析路径的统计性质 + for num_steps, path in paths.items(): + final_mean = path[-1].mean() + final_std = path[-1].std() + print(f"步数={num_steps:4d}: 最终均值={final_mean:.3f}, 标准差={final_std:.3f}") + + return paths + +# 演示 +x0 = torch.randn(1000, 2) # 1000个2D点 +paths = compare_discretizations(x0) +print("\n观察：随着步数增加，离散路径趋于某个极限过程") + + + +#### 为什么需要连续时间？ + + + + +#### 连续时间的优势 + + + + - **理论优雅**：可以使用强大的SDE理论工具 + - **灵活采样**：可以在任意时刻停止或评估 + - **数值方法**：可以使用高阶ODE/SDE求解器 + - **统一框架**：不同的离散模型成为同一SDE的不同离散化 + + + + + +### 5.1.2 时间步趋于无穷的极限 + + + 现在让我们严格地推导当时间步数趋于无穷时会发生什么。这个过程揭示了SDE的自然出现。 + + + +#### 极限过程的设置 + + + +考虑将时间区间 $[0, T]$ 分成 $N$ 份，每份长度 $\Delta t = T/N$。在离散设置中： + + + + $$x_{k+1} = \sqrt{1 - \beta_k} x_k + \sqrt{\beta_k} z_k, \quad z_k \sim \mathcal{N}(0, I)$$ + + + +为了保持合理的扩散速度，我们需要让 $\beta_k = \tilde{\beta}(t_k) \Delta t$，其中 $\tilde{\beta}(t)$ 是连续函数。 + + + + 关键洞察：Taylor展开 + +当 $\Delta t \to 0$ 时，我们可以展开： + + + $$\sqrt{1 - \tilde{\beta}(t)\Delta t} = 1 - \frac{\tilde{\beta}(t)}{2}\Delta t + O((\Delta t)^2)$$ + + + +因此离散更新变为： + + + $$x_{k+1} - x_k = -\frac{\tilde{\beta}(t_k)}{2} x_k \Delta t + \sqrt{\tilde{\beta}(t_k)\Delta t} z_k$$ + + + + +#### 布朗运动的出现 + + + +关键观察：$\sqrt{\Delta t} z_k$ 在极限下收敛到布朗运动的增量！ + + + + +#### 从离散噪声到布朗运动 + + +定义 $W_N(t) = \sum_{k=0}^{\lfloor t/\Delta t \rfloor} \sqrt{\Delta t} z_k$，则： + + + + - $\mathbb{E}[W_N(t)] = 0$ + - $\mathbb{E}[W_N(t)^2] = t$ + - 增量独立且正态分布 + + + +根据Donsker定理，$W_N(t) \xrightarrow{d} W(t)$（标准布朗运动）。 + + + + +#### SDE的导出 + + + +取极限 $N \to \infty$（即 $\Delta t \to 0$），我们得到： + + + + $$dx_t = -\frac{\tilde{\beta}(t)}{2} x_t dt + \sqrt{\tilde{\beta}(t)} dW_t$$ + + + +更一般地，我们可以写成： + + + + $$dx_t = f(x_t, t) dt + g(t) dW_t$$ + + + +其中 $f(x_t, t) = -\frac{\tilde{\beta}(t)}{2} x_t$ 是漂移系数，$g(t) = \sqrt{\tilde{\beta}(t)}$ 是扩散系数。 + + + + 具体例子：VP (Variance Preserving) SDE + +DDPM的连续时间极限给出VP-SDE： + + + $$dx = -\frac{1}{2}\beta(t)x dt + \sqrt{\beta(t)} dW_t$$ + + + +其中 $\beta(t)$ 是连续的噪声调度函数。常见选择： + + + + - 线性：$\beta(t) = \beta_{\min} + t(\beta_{\max} - \beta_{\min})$ + - 余弦：$\beta(t) = \pi \sin^2(\frac{t}{T} \cdot \frac{\pi}{2})$ + + + + + + +# 数值验证：离散过程收敛到SDE +import torch +import numpy as np +from scipy.stats import kstest + +class DiscreteToSDE: + """验证离散过程收敛到SDE的数值实验""" + + def __init__(self, beta_fn, T=1.0): + self.beta_fn = beta_fn + self.T = T + + def discrete_evolution(self, x0, N): + """离散扩散过程""" + dt = self.T / N + x = x0.clone() + + for k in range(N): + t = k * dt + beta_dt = self.beta_fn(t) * dt + + # 离散更新 + noise = torch.randn_like(x) + x = np.sqrt(1 - beta_dt) * x + np.sqrt(beta_dt) * noise + + return x + + def sde_solution(self, x0, t): + """VP-SDE的解析解（当beta为常数时）""" + # 对于一般的beta(t)，需要数值积分 + # 这里简化为常数情况 + beta_avg = self.beta_fn(self.T/2) # 近似 + + mean_factor = np.exp(-0.5 * beta_avg * t) + var_factor = 1 - np.exp(-beta_avg * t) + + mean = mean_factor * x0 + std = np.sqrt(var_factor) + + return mean, std + + def test_convergence(self, x0, N_values=[10, 50, 100, 500, 1000]): + """测试收敛性""" + n_samples = 10000 + x0_batch = x0.repeat(n_samples, 1) + + results = {} + + for N in N_values: + # 运行离散过程 + x_final = self.discrete_evolution(x0_batch, N) + + # 理论分布 + mean_theory, std_theory = self.sde_solution(x0, self.T) + + # 比较统计量 + mean_empirical = x_final.mean(dim=0) + std_empirical = x_final.std(dim=0) + + # KS检验（对第一个维度） + x_normalized = (x_final[:, 0] - mean_theory[0]) / std_theory + ks_stat, p_value = kstest(x_normalized.numpy(), 'norm') + + results[N] = { + 'mean_error': torch.norm(mean_empirical - mean_theory).item(), + 'std_error': torch.norm(std_empirical - std_theory).item(), + 'ks_stat': ks_stat, + 'p_value': p_value + } + + return results + +# 运行实验 +def demonstrate_convergence(): + # 定义beta函数 + beta_fn = lambda t: 0.1 + 10 * t # 线性调度 + + # 初始点 + x0 = torch.tensor([1.0, -0.5]) + + # 测试收敛 + tester = DiscreteToSDE(beta_fn) + results = tester.test_convergence(x0) + + print("离散过程 → SDE 收敛性分析") + print("="*60) + print(f"{'N':>6} | {'均值误差':>10} | {'标准差误差':>10} | {'KS统计量':>10} | {'p值':>10}") + print("-"*60) + + for N, res in results.items(): + print(f"{N:6d} | {res['mean_error']:10.6f} | {res['std_error']:10.6f} | " + f"{res['ks_stat']:10.6f} | {res['p_value']:10.6f}") + + print("\n结论：随着N增加，离散过程的分布收敛到SDE的理论分布") + +demonstrate_convergence() + + + +#### 数学严格性 + + + + 收敛定理（简化版） + 设离散过程 $\{X^N_k\}$ 由以下递归定义： + + + $$X^N_{k+1} = X^N_k + f(X^N_k, t_k)\Delta t + g(t_k)\sqrt{\Delta t} Z_k$$ + + + +在适当的正则性条件下（Lipschitz连续性等），当 $N \to \infty$ 时： + + + $$X^N_{\lfloor t/\Delta t \rfloor} \xrightarrow{d} X_t$$ + + + +其中 $X_t$ 是SDE的解：$dX_t = f(X_t, t)dt + g(t)dW_t$。 + + + + +### 5.1.3 SDE的直观理解 + + + +随机微分方程（SDE）初看起来可能很抽象，但它描述的是一个非常自然的现象：带有随机扰动的动力系统。让我们通过多个角度来建立直观理解。 + + + +#### 粒子运动的视角 + + + + +#### 布朗运动的发现 + + +1827年，植物学家Robert Brown观察到花粉在水中的无规则运动。Einstein在1905年解释了这一现象： + + + + - 花粉受到水分子的随机碰撞 + - 宏观运动 = 确定性漂移 + 随机扰动 + - 这正是SDE描述的内容！ + + + + + +SDE的一般形式 $dx_t = f(x_t, t)dt + g(t)dW_t$ 可以理解为： + + + + 物理类比 + + + SDE项 + 物理含义 + 在扩散模型中 + + + $f(x_t, t)dt$ + 确定性力（如重力、摩擦） + 向噪声分布的漂移 + + + $g(t)dW_t$ + 随机碰撞（热运动） + 注入的高斯噪声 + + + $x_t$ + 粒子位置 + 数据点的状态 + + + + + +#### 信号处理的视角 + + + +在信号处理中，SDE描述了信号如何被噪声逐渐破坏： + + + + $$\text{带噪信号}(t) = \text{衰减} \cdot \text{原始信号}(t) + \text{累积噪声}(t)$$ + + + +这正对应于扩散模型的前向过程：清晰图像逐渐变成噪声。 + + + +#### 概率演化的视角 + + + + 从点到分布 + +SDE不仅描述单个粒子的轨迹，更重要的是描述概率分布的演化： + + + + - $x_0$ 开始是一个确定的点（或某个初始分布） + - 随着时间推移，不确定性增加 + - $p(x_t|x_0)$ 变得越来越分散 + - 最终收敛到某个稳态分布（如标准正态） + + + + + + +# 可视化SDE的直观含义 +import torch +import numpy as np + +class SDEVisualization: + """通过模拟展示SDE的不同方面""" + + def __init__(self, drift_fn, diffusion_fn): + """ + Args: + drift_fn: f(x, t) - 漂移函数 + diffusion_fn: g(t) - 扩散系数函数 + """ + self.f = drift_fn + self.g = diffusion_fn + + def simulate_paths(self, x0, T, dt=0.01, n_paths=100): + """模拟多条SDE路径""" + n_steps = int(T / dt) + paths = torch.zeros(n_paths, n_steps + 1, x0.shape[-1]) + paths[:, 0] = x0 + + for i in range(n_steps): + t = i * dt + x = paths[:, i] + + # Euler-Maruyama方法 + drift = self.f(x, t) * dt + diffusion = self.g(t) * np.sqrt(dt) * torch.randn_like(x) + + paths[:, i + 1] = x + drift + diffusion + + return paths + + def analyze_distribution_evolution(self, x0, T, checkpoints=[0.1, 0.5, 1.0, 2.0]): + """分析分布随时间的演化""" + print("分布演化分析") + print("="*50) + + for t in checkpoints: + if t > T: + continue + + # 模拟到时刻t + paths = self.simulate_paths(x0, t, n_paths=10000) + final_x = paths[:, -1] + + # 统计量 + mean = final_x.mean(dim=0) + std = final_x.std(dim=0) + + print(f"t = {t:.1f}:") + print(f" 均值: {mean.numpy()}") + print(f" 标准差: {std.numpy()}") + print(f" 数据范围: [{final_x.min():.2f}, {final_x.max():.2f}]") + print() + +# 示例1：Ornstein-Uhlenbeck过程（均值回归） +def ou_drift(x, t, theta=1.0, mu=0.0): + """OU过程的漂移：回归到均值mu""" + return theta * (mu - x) + +def constant_diffusion(t, sigma=1.0): + """常数扩散系数""" + return sigma + +print("示例1: Ornstein-Uhlenbeck过程（金融中的均值回归模型）") +print("-"*50) +ou_sde = SDEVisualization(ou_drift, constant_diffusion) +x0 = torch.tensor([5.0]) # 从远离均值的点开始 +ou_sde.analyze_distribution_evolution(x0, T=5.0) + +# 示例2：扩散模型的VP-SDE +def vp_drift(x, t, beta_min=0.1, beta_max=20.0): + """VP-SDE的漂移""" + beta_t = beta_min + t * (beta_max - beta_min) + return -0.5 * beta_t * x + +def vp_diffusion(t, beta_min=0.1, beta_max=20.0): + """VP-SDE的扩散系数""" + beta_t = beta_min + t * (beta_max - beta_min) + return np.sqrt(beta_t) + +print("\n示例2: VP-SDE（扩散模型）") +print("-"*50) +vp_sde = SDEVisualization(vp_drift, vp_diffusion) +x0 = torch.randn(2) # 2D随机初始点 +vp_sde.analyze_distribution_evolution(x0, T=1.0) + + + +#### 几何视角：流形上的随机游走 + + + 在高维空间中，SDE可以理解为数据流形上的随机游走： + + + + +#### 数据流形的破坏与重建 + + + + - **前向SDE**：将数据从低维流形"推离"到整个高维空间 + - **反向SDE**：学习如何将散布的点"拉回"到原始流形 + - **分数函数**：在每个点指示回到流形的方向 + + + + + +#### 控制论视角：噪声作为正则化 + + + + 为什么要加噪声？ + +添加噪声看似是破坏信息，但实际上有多个好处： + + + + - **覆盖支撑集**：确保模型见过所有可能的输入 + - **平滑优化景观**：避免分数函数的奇异性 + - **连接数据点**：在数据点之间建立概率路径 + - **隐式正则化**：防止模型记忆训练数据 + + + + + +#### 信息论视角：熵的增加与减少 + + + + 熵的演化 + +前向SDE增加熵（不确定性），反向SDE减少熵： + + + $$H[p_t] = H[p_0] + \int_0^t \mathbb{E}_{p_s}\left[\frac{|g(s)|^2}{2}\right] ds$$ + + +这解释了为什么： + + + + - 前向过程最终收敛到最大熵分布（高斯分布） + - 反向过程需要学习分数函数来"注入"信息 + + + + + + +# 演示信息论视角 +def entropy_evolution_demo(): + """展示熵随时间的变化""" + import torch.distributions as dist + + # 初始分布：混合高斯（低熵） + mix_weights = torch.tensor([0.3, 0.7]) + components = [ + dist.Normal(-2.0, 0.5), + dist.Normal(2.0, 0.5) + ] + + def estimate_entropy(samples): + """估计样本的差分熵（使用KDE）""" + # 简化：使用高斯核密度估计 + n = len(samples) + h = 1.06 * samples.std() * (n ** (-1/5)) # Silverman's rule + + # 计算每个点的密度 + densities = [] + for x in samples[:100]: # 子采样以加速 + kde = torch.exp(-0.5 * ((samples - x) / h) ** 2) / (h * np.sqrt(2 * np.pi)) + density = kde.mean() + densities.append(density) + + # 熵 = -E[log p(x)] + log_densities = torch.log(torch.tensor(densities) + 1e-10) + entropy = -log_densities.mean() + return entropy.item() + + # 模拟扩散过程 + t_values = [0, 0.1, 0.5, 1.0, 2.0] + n_samples = 5000 + + print("熵的演化（扩散过程）") + print("="*40) + + for t in t_values: + # 采样初始分布 + component_idx = torch.multinomial(mix_weights, n_samples, replacement=True) + samples = torch.zeros(n_samples) + for i, comp in enumerate(components): + mask = component_idx == i + samples[mask] = comp.sample((mask.sum(),)) + + # 应用扩散（简化：直接加噪声） + noise_scale = np.sqrt(1 - np.exp(-t)) # 对应VP-SDE + signal_scale = np.exp(-t/2) + + diffused_samples = signal_scale * samples + noise_scale * torch.randn_like(samples) + + # 估计熵 + entropy = estimate_entropy(diffused_samples) + + # 理论最大熵（标准正态分布） + max_entropy = 0.5 * np.log(2 * np.pi * np.e) + + print(f"t = {t:.1f}: 熵 ≈ {entropy:.3f} (最大熵 = {max_entropy:.3f})") + + print("\n观察：熵单调增加，趋向于高斯分布的最大熵") + +entropy_evolution_demo() + + + +#### 实践指南：选择SDE的艺术 + + + + +#### 不同SDE的特点 + + + + SDE类型 + 特点 + 适用场景 + + + VP-SDE + 方差保持，信号逐渐衰减 + 图像生成（DDPM类） + + + VE-SDE + 方差爆炸，信号保持 + 分数匹配（NCSN类） + + + sub-VP-SDE + 介于两者之间 + 通用框架 + + + + + +## 5.2 前向SDE：连续时间的扩散过程 + + + +### 5.2.1 SDE的一般形式 + + + 现在让我们系统地研究用于扩散模型的SDE。我们将看到，不同的SDE选择对应于不同的离散扩散模型。 + + + +#### 扩散SDE的标准形式 + + + +用于生成建模的前向SDE通常具有以下形式： + + + + $$dx = f(x, t) dt + g(t) dW_t$$ + + + +其中： + + + + - $x \in \mathbb{R}^d$ 是状态变量（如图像） + - $f: \mathbb{R}^d \times [0, T] \to \mathbb{R}^d$ 是漂移系数 + - $g: [0, T] \to \mathbb{R}$ 是扩散系数（标量函数） + - $W_t$ 是标准布朗运动 + + + + + +#### 为什么g(t)是标量？ + + +在大多数扩散模型中，我们假设噪声在各个维度上是独立同分布的。这简化了理论分析和实际实现。更一般的情况下，$g(t)$ 可以是矩阵值函数。 + + + + +#### 边缘分布的演化 + + + +给定初始分布 $p_0(x) = p_{data}(x)$，SDE诱导了一个时变的边缘分布 $p_t(x)$。我们希望： + + + + 设计目标 + + + - **覆盖数据分布**：$p_0(x) = p_{data}(x)$ + - **收敛到已知分布**：$p_T(x) \approx \pi(x)$，其中 $\pi$ 是易于采样的先验分布 + - **平滑过渡**：$p_t$ 随 $t$ 连续变化 + - **可逆性**：存在反向SDE从 $p_T$ 回到 $p_0$ + + + + + +#### 三种经典SDE家族 + + + +Song等人(2021)总结了三种主要的SDE家族： + + + + 1. Variance Exploding (VE) SDE + + $$dx = \sqrt{\frac{d[\sigma^2(t)]}{dt}} dW_t$$ + + +特点： + + + + - 没有漂移项（$f(x,t) = 0$） + - 方差随时间增加：$\mathbb{E}[||x_t||^2] = ||x_0||^2 + \sigma^2(t)$ + - 对应于NCSN中的噪声注入过程 + + + + + + 2. Variance Preserving (VP) SDE + + $$dx = -\frac{1}{2}\beta(t)x dt + \sqrt{\beta(t)} dW_t$$ + + +特点： + + + + - 线性漂移项使信号衰减 + - 在适当的 $\beta(t)$ 下，方差保持接近常数 + - 对应于DDPM的连续时间扩展 + + + + + + 3. Sub-VP SDE + + $$dx = -\frac{1}{2}\beta(t)x dt + \sqrt{\beta(t)(1-e^{-2\int_0^t \beta(s)ds})} dW_t$$ + + +特点： + + + + - 漂移项与VP-SDE相同 + - 扩散系数被调整以确保良好的收敛性质 + - 提供更灵活的框架 + + + + + + +# 实现三种SDE家族 +import torch +import numpy as np +from abc import ABC, abstractmethod + +class SDE(ABC): + """SDE基类""" + + def __init__(self, T=1.0): + self.T = T + + @abstractmethod + def drift(self, x, t): + """漂移系数 f(x,t)""" + pass + + @abstractmethod + def diffusion(self, t): + """扩散系数 g(t)""" + pass + + @abstractmethod + def marginal_prob(self, x0, t): + """边缘分布 p(x_t|x_0) 的均值和标准差""" + pass + + def sample_trajectory(self, x0, n_steps=1000): + """使用Euler-Maruyama方法采样轨迹""" + dt = self.T / n_steps + trajectory = [x0] + x = x0.clone() + + for i in range(n_steps): + t = i * dt + drift = self.drift(x, t) * dt + diffusion = self.diffusion(t) * np.sqrt(dt) * torch.randn_like(x) + x = x + drift + diffusion + trajectory.append(x.clone()) + + return torch.stack(trajectory) + +class VESDE(SDE): + """Variance Exploding SDE""" + + def __init__(self, sigma_min=0.01, sigma_max=50.0, T=1.0): + super().__init__(T) + self.sigma_min = sigma_min + self.sigma_max = sigma_max + + def sigma(self, t): + """噪声调度函数""" + return self.sigma_min * (self.sigma_max / self.sigma_min) ** (t / self.T) + + def drift(self, x, t): + return torch.zeros_like(x) + + def diffusion(self, t): + sigma_t = self.sigma(t) + # d\sigma^2/dt = 2\sigma d\sigma/dt + return sigma_t * np.sqrt(2 * np.log(self.sigma_max / self.sigma_min) / self.T) + + def marginal_prob(self, x0, t): + sigma_t = self.sigma(t) + mean = x0 + std = sigma_t + return mean, std + +class VPSDE(SDE): + """Variance Preserving SDE""" + + def __init__(self, beta_min=0.1, beta_max=20.0, T=1.0): + super().__init__(T) + self.beta_min = beta_min + self.beta_max = beta_max + + def beta(self, t): + """线性噪声调度""" + return self.beta_min + (self.beta_max - self.beta_min) * t / self.T + + def drift(self, x, t): + return -0.5 * self.beta(t) * x + + def diffusion(self, t): + return np.sqrt(self.beta(t)) + + def marginal_prob(self, x0, t): + # 线性SDE的解析解 + log_mean_coeff = -0.25 * t**2 * (self.beta_max - self.beta_min) / self.T - 0.5 * t * self.beta_min + mean = torch.exp(log_mean_coeff) * x0 + std = torch.sqrt(1 - torch.exp(2 * log_mean_coeff)) + return mean, std + +class SubVPSDE(SDE): + """Sub-VP SDE""" + + def __init__(self, beta_min=0.1, beta_max=20.0, T=1.0): + super().__init__(T) + self.beta_min = beta_min + self.beta_max = beta_max + + def beta(self, t): + return self.beta_min + (self.beta_max - self.beta_min) * t / self.T + + def drift(self, x, t): + return -0.5 * self.beta(t) * x + + def diffusion(self, t): + # 简化：使用近似积分 + integral = 0.5 * t**2 * (self.beta_max - self.beta_min) / self.T + t * self.beta_min + return np.sqrt(self.beta(t) * (1 - np.exp(-2 * integral))) + + def marginal_prob(self, x0, t): + # 与VP-SDE相同的边缘均值 + log_mean_coeff = -0.25 * t**2 * (self.beta_max - self.beta_min) / self.T - 0.5 * t * self.beta_min + mean = torch.exp(log_mean_coeff) * x0 + # 但标准差不同 + integral = 0.5 * t**2 * (self.beta_max - self.beta_min) / self.T + t * self.beta_min + std = torch.sqrt(1 - torch.exp(-integral)) + return mean, std + +# 比较不同SDE的性质 +def compare_sdes(): + """比较三种SDE的边缘分布""" + x0 = torch.randn(2) # 2D初始点 + + sdes = { + 'VE-SDE': VESDE(), + 'VP-SDE': VPSDE(), + 'Sub-VP': SubVPSDE() + } + + t_values = torch.linspace(0, 1.0, 5) + + print("不同SDE的边缘分布演化") + print("="*70) + print(f"{'SDE类型':^10} | {'t':^5} | {'均值范数':^12} | {'标准差':^12} | {'信噪比':^12}") + print("-"*70) + + for name, sde in sdes.items(): + for t in t_values: + mean, std = sde.marginal_prob(x0, t) + mean_norm = torch.norm(mean) + snr = mean_norm / (std + 1e-8) # 信噪比 + + print(f"{name:^10} | {t:5.2f} | {mean_norm:12.6f} | {std:12.6f} | {snr:12.6f}") + print("-"*70) + +compare_sdes() + + + +#### 从ODE视角理解SDE + + + + 确定性 vs 随机性 + SDE可以看作是ODE加上随机扰动： + + + $$\underbrace{dx = f(x,t)dt}_{\text{ODE部分}} + \underbrace{g(t)dW_t}_{\text{随机扰动}}$$ + + + +这种分解有助于： + + + + - 理解概率流ODE（去除随机项后的确定性动力学） + - 设计数值求解器（借鉴ODE方法） + - 分析稳定性和收敛性 + + + + + +#### 选择SDE的实用指南 + + + + +#### 如何选择适合的SDE？ + + + + - **VE-SDE**： + + + 适合高分辨率图像 + - 保留原始信号结构 + - 但最终分布难以控制 + + + + - **VP-SDE**： + + + 最终收敛到标准正态 + - 理论分析更简单 + - 与DDPM兼容 + + + + - **Sub-VP-SDE**： + + + 更灵活的框架 + - 可以调节收敛速度 + - 数值稳定性更好 + + + + + + + + +### 5.2.2 常见的SDE选择 + + + +在实践中，选择合适的SDE至关重要。不同的选择会影响模型的训练稳定性、生成质量和采样效率。让我们深入探讨实际应用中的SDE设计。 + + + +#### 噪声调度的设计 + + + +SDE的核心是噪声调度函数，它控制着扩散过程的速度和特性。 + + + + 常见的噪声调度 + + + - **线性调度**（Linear Schedule） + $$\beta(t) = \beta_{\text{min}} + t(\beta_{\text{max}} - \beta_{\text{min}})$$ + + + 简单直观 + - DDPM的原始选择 + - 可能在开始时太快，结束时太慢 + + + + + - **余弦调度**（Cosine Schedule） + $$\bar{\alpha}(t) = \cos\left(\frac{t/T + s}{1 + s} \cdot \frac{\pi}{2}\right)^2$$ + + + 由Nichol & Dhariwal (2021)提出 + - 在整个过程中更均匀地破坏信息 + - 特别适合高分辨率图像 + + + + + - **二次调度**（Quadratic Schedule） + $$\beta(t) = \beta_{\text{min}} + (\beta_{\text{max}} - \beta_{\text{min}})t^2$$ + + + 开始时缓慢，后期加速 + - 保留更多的早期信息 + + + + + + + + + +# 实现和比较不同的噪声调度 +import torch +import numpy as np + +class NoiseSchedule: + """噪声调度的基类""" + + def __init__(self, T=1.0): + self.T = T + + def beta(self, t): + """返回时刻t的beta值""" + raise NotImplementedError + + def alpha_bar(self, t): + """返回累积alpha值""" + # 对于连续时间，需要积分 + # 这里使用数值近似 + n_steps = 1000 + dt = t / n_steps + alpha_bar = 1.0 + + for i in range(n_steps): + t_i = i * dt + alpha_bar *= (1 - self.beta(t_i) * dt) + + return alpha_bar + + def snr(self, t): + """信噪比 (Signal-to-Noise Ratio)""" + alpha_bar = self.alpha_bar(t) + return alpha_bar / (1 - alpha_bar + 1e-8) + +class LinearSchedule(NoiseSchedule): + """线性噪声调度""" + + def __init__(self, beta_min=0.0001, beta_max=0.02, T=1.0): + super().__init__(T) + self.beta_min = beta_min + self.beta_max = beta_max + + def beta(self, t): + return self.beta_min + (t / self.T) * (self.beta_max - self.beta_min) + +class CosineSchedule(NoiseSchedule): + """余弦噪声调度""" + + def __init__(self, s=0.008, T=1.0): + super().__init__(T) + self.s = s + + def alpha_bar(self, t): + # 直接定义alpha_bar而不是beta + return np.cos((t / self.T + self.s) / (1 + self.s) * np.pi / 2) ** 2 + + def beta(self, t): + # 从alpha_bar推导beta + dt = 1e-5 + alpha_bar_t = self.alpha_bar(t) + alpha_bar_t_dt = self.alpha_bar(min(t + dt, self.T)) + + # beta = 1 - alpha_t = 1 - alpha_bar_t / alpha_bar_{t-1} + return 1 - alpha_bar_t_dt / (alpha_bar_t + 1e-8) + +class QuadraticSchedule(NoiseSchedule): + """二次噪声调度""" + + def __init__(self, beta_min=0.0001, beta_max=0.02, T=1.0): + super().__init__(T) + self.beta_min = beta_min + self.beta_max = beta_max + + def beta(self, t): + return self.beta_min + (t / self.T) ** 2 * (self.beta_max - self.beta_min) + +# 比较不同调度的特性 +def compare_schedules(): + """可视化和比较不同的噪声调度""" + schedules = { + 'Linear': LinearSchedule(), + 'Cosine': CosineSchedule(), + 'Quadratic': QuadraticSchedule() + } + + t_values = np.linspace(0, 1.0, 11) + + print("噪声调度比较") + print("="*80) + print(f"{'Schedule':^10} | {'t':^5} | {'beta(t)':^10} | {'alpha_bar(t)':^12} | {'SNR':^10} | {'log10(SNR)':^10}") + print("-"*80) + + for name, schedule in schedules.items(): + for t in t_values: + beta_t = schedule.beta(t) + alpha_bar_t = schedule.alpha_bar(t) + snr_t = schedule.snr(t) + log_snr = np.log10(snr_t + 1e-10) + + print(f"{name:^10} | {t:5.2f} | {beta_t:10.6f} | {alpha_bar_t:12.6f} | {snr_t:10.2f} | {log_snr:10.2f}") + print("-"*80) + + # 分析关键指标 + print("\n关键观察：") + print("1. Linear: SNR下降最快，可能导致早期信息丢失过快") + print("2. Cosine: SNR下降更均匀，在中间阶段保留更多信息") + print("3. Quadratic: 早期保留最多信息，后期快速下降") + +compare_schedules() + + + +#### 离散化与连续时间的对应 + + + + 从离散到连续的映射 + 给定离散扩散模型的参数 $\{\beta_i\}_{i=1}^T$，如何构造对应的连续SDE？ + + + + + - **时间映射**：将离散步骤 $i \in \{1, ..., T\}$ 映射到连续时间 $t \in [0, 1]$： + $$t = i/T$$ + + + - **插值beta函数**： + $$\beta(t) = T \cdot \beta_{\lfloor tT \rfloor}$$ + 需要乘以T来保持正确的时间尺度。 + + + - **验证等价性**：确保离散采样和SDE模拟给出相似的边缘分布。 + + + + + +#### 特殊SDE设计 + + + + 1. 保持数据范围的SDE + +对于图像数据（通常在[-1, 1]范围内），我们可能希望设计保持这个范围的SDE： + + + + $$dx = -\frac{\beta(t)}{2}(x - \tanh(x))dt + \sqrt{\beta(t)} dW_t$$ + + + +这里的非线性漂移项 $\tanh(x)$ 在边界附近提供"推力"，防止样本逃离有效范围。 + + + + + 2. 条件SDE + +对于条件生成，我们可以修改SDE以包含条件信息 $y$： + + + + $$dx = f(x, t, y)dt + g(t)dW_t$$ + + + +常见选择： + + + + - 条件漂移：$f(x, t, y) = -\frac{\beta(t)}{2}x + h(y, t)$ + - 条件扩散：$g(t, y) = \sqrt{\beta(t)} \cdot \sigma(y)$ + + + + + + +# 特殊SDE的实现 +class BoundedSDE(SDE): + """保持数据在有界范围内的SDE""" + + def __init__(self, beta_fn, bounds=(-1, 1), T=1.0): + super().__init__(T) + self.beta_fn = beta_fn + self.lower, self.upper = bounds + self.range = self.upper - self.lower + + def drift(self, x, t): + beta_t = self.beta_fn(t) + # 归一化到[-1, 1] + x_norm = 2 * (x - self.lower) / self.range - 1 + # 非线性漂移 + drift_norm = -0.5 * beta_t * (x_norm - torch.tanh(x_norm)) + # 转换回原始范围 + return drift_norm * self.range / 2 + + def diffusion(self, t): + return np.sqrt(self.beta_fn(t)) + +class ConditionalVPSDE(SDE): + """条件VP-SDE""" + + def __init__(self, beta_min=0.1, beta_max=20.0, condition_dim=128, T=1.0): + super().__init__(T) + self.beta_min = beta_min + self.beta_max = beta_max + self.condition_dim = condition_dim + + # 条件编码器（简化示例） + self.condition_encoder = torch.nn.Sequential( + torch.nn.Linear(condition_dim, 256), + torch.nn.ReLU(), + torch.nn.Linear(256, 1) + ) + + def beta(self, t): + return self.beta_min + (self.beta_max - self.beta_min) * t / self.T + + def drift(self, x, t, condition=None): + base_drift = -0.5 * self.beta(t) * x + + if condition is not None: + # 条件调制 + with torch.no_grad(): + modulation = self.condition_encoder(condition) + base_drift = base_drift * (1 + 0.1 * modulation) + + return base_drift + + def diffusion(self, t, condition=None): + base_diffusion = np.sqrt(self.beta(t)) + + if condition is not None: + # 条件可以影响噪声强度 + return base_diffusion + + return base_diffusion + +# 测试特殊SDE +def test_special_sdes(): + """测试特殊设计的SDE""" + print("\n特殊SDE测试") + print("="*60) + + # 1. 有界SDE + print("1. 有界SDE（保持数据在[-1, 1]内）") + beta_fn = lambda t: 0.1 + 10 * t + bounded_sde = BoundedSDE(beta_fn, bounds=(-1, 1)) + + # 测试边界行为 + x_boundary = torch.tensor([0.9, -0.9, 0.0]) + drift = bounded_sde.drift(x_boundary, 0.5) + print(f"边界点的漂移: {drift.numpy()}") + print("观察：接近边界的点有向内的漂移\n") + + # 2. 条件SDE + print("2. 条件SDE") + cond_sde = ConditionalVPSDE() + + # 不同条件下的漂移 + x = torch.randn(3) + t = 0.5 + + # 无条件 + drift_uncond = cond_sde.drift(x, t, condition=None) + + # 有条件 + condition = torch.randn(128) + drift_cond = cond_sde.drift(x, t, condition=condition) + + print(f"无条件漂移: {drift_uncond.numpy()}") + print(f"有条件漂移: {drift_cond.numpy()}") + print(f"差异: {(drift_cond - drift_uncond).numpy()}") + +test_special_sdes() + + + +#### 实用建议：如何选择和调试SDE + + + + +#### SDE设计清单 + + + + - **检查信噪比曲线** + + + log SNR应该从正值（高信号）单调下降到负值（高噪声） + - 下降速度影响信息保留和生成质量的平衡 + + + + + - **验证最终分布** + + + $p_T(x)$应该接近先验分布（如标准正态） + - 可以通过蒙特卡罗模拟验证 + + + + + - **测试数值稳定性** + + + 确保drift和diffusion项在整个时间范围内有界 + - 避免在t=0或t=T附近出现数值问题 + + + + + - **考虑计算效率** + + + 简单的函数形式（如线性）计算更快 + - 复杂的调度可能提供更好的质量但增加计算成本 + + + + + + + + + 经验法则 + + + - **低分辨率图像**：线性调度通常足够 + - **高分辨率图像**：余弦调度表现更好 + - **非图像数据**：可能需要专门设计的SDE + - **条件生成**：考虑让条件影响噪声调度 + + + + + +### 5.2.3 边缘分布的演化 + + + 理解边缘分布 $p_t(x)$ 如何随时间演化是掌握扩散模型的关键。这不仅关系到理论分析，更直接影响到实际的训练和采样。 + + + +#### 边缘分布的定义 + + + + 边缘分布 + +给定SDE $dx_t = f(x_t, t)dt + g(t)dW_t$ 和初始分布 $p_0(x)$，边缘分布定义为： + + + $$p_t(x) = \int p(x_t = x | x_0) p_0(x_0) dx_0$$ + + + +其中 $p(x_t | x_0)$ 是转移核（transition kernel），描述了从 $x_0$ 到 $x_t$ 的概率转移。 + + + + +#### 线性SDE的解析解 + + + +对于线性SDE（如VP-SDE），我们可以得到边缘分布的显式解。 + + + + 以VP-SDE为例 + +对于 $dx = -\frac{1}{2}\beta(t)x dt + \sqrt{\beta(t)} dW_t$，转移核为： + + + $$p(x_t | x_0) = \mathcal{N}(x_t; \sqrt{\bar{\alpha}(t)} x_0, (1-\bar{\alpha}(t))I)$$ + + + +其中： + + + $$\bar{\alpha}(t) = \exp\left(-\int_0^t \beta(s) ds\right)$$ + + + +这个结果告诉我们： + + + + - 均值随时间指数衰减 + - 方差逐渐增加到接近1 + - 最终分布接近标准正态 + + + + + + +# 可视化边缘分布的演化 +import torch +import numpy as np +from scipy import stats + +class MarginalDistribution: + """计算和分析SDE的边缘分布""" + + def __init__(self, sde): + self.sde = sde + + def sample_marginal(self, x0, t, n_samples=1000): + """通过蒙特卡罗采样边缘分布""" + if hasattr(self.sde, 'marginal_prob'): + # 如果有解析解，直接使用 + mean, std = self.sde.marginal_prob(x0, t) + samples = mean + std * torch.randn(n_samples, *x0.shape) + else: + # 否则通过模拟 + samples = [] + for _ in range(n_samples): + trajectory = self.sde.sample_trajectory(x0, n_steps=100) + samples.append(trajectory[-1]) + samples = torch.stack(samples) + + return samples + + def analyze_evolution(self, x0, time_points): + """分析边缘分布随时间的变化""" + results = [] + + for t in time_points: + samples = self.sample_marginal(x0, t, n_samples=5000) + + # 统计量 + mean = samples.mean(dim=0) + std = samples.std(dim=0) + + # 峰度和偏度（用于检测非高斯性） + kurtosis = ((samples - mean) ** 4).mean() / (std ** 4) - 3 + skewness = ((samples - mean) ** 3).mean() / (std ** 3) + + # KL散度（与标准正态的距离） + # 简化：使用moment matching估计 + kl_div = 0.5 * (mean.norm()**2 + std.norm()**2 - std.log().sum() - len(mean)) + + results.append({ + 't': t, + 'mean': mean.numpy(), + 'std': std.numpy(), + 'kurtosis': kurtosis.item(), + 'skewness': skewness.item(), + 'kl_to_normal': kl_div.item() + }) + + return results + +# 演示不同SDE的边缘分布演化 +def demonstrate_marginal_evolution(): + """演示不同SDE的边缘分布演化""" + # 初始化不同SDE + from functools import partial + + # 重新定义简单的SDE类以避免循环引用 + class SimpleVPSDE: + def __init__(self, beta_min=0.1, beta_max=20.0, T=1.0): + self.beta_min = beta_min + self.beta_max = beta_max + self.T = T + + def marginal_prob(self, x0, t): + log_mean_coeff = -0.25 * t**2 * (self.beta_max - self.beta_min) / self.T - 0.5 * t * self.beta_min + mean = torch.exp(log_mean_coeff) * x0 + std = torch.sqrt(1 - torch.exp(2 * log_mean_coeff)) + return mean, std + + class SimpleVESDE: + def __init__(self, sigma_min=0.01, sigma_max=50.0, T=1.0): + self.sigma_min = sigma_min + self.sigma_max = sigma_max + self.T = T + + def marginal_prob(self, x0, t): + sigma_t = self.sigma_min * (self.sigma_max / self.sigma_min) ** (t / self.T) + mean = x0 + std = sigma_t + return mean, std + + # 初始化 + x0 = torch.tensor([1.0, -0.5]) # 2D初始点 + time_points = [0.0, 0.1, 0.3, 0.5, 0.7, 0.9, 1.0] + + sdes = { + 'VP-SDE': SimpleVPSDE(), + 'VE-SDE': SimpleVESDE() + } + + print("边缘分布演化分析") + print("="*90) + + for sde_name, sde in sdes.items(): + print(f"\n{sde_name}：") + print("-"*90) + print(f"{'t':^5} | {'均值范数':^12} | {'标准差':^12} | {'峰度':^10} | {'偏度':^10} | {'KL散度':^12}") + print("-"*90) + + analyzer = MarginalDistribution(sde) + results = analyzer.analyze_evolution(x0, time_points) + + for res in results: + mean_norm = np.linalg.norm(res['mean']) + std_avg = np.mean(res['std']) + + print(f"{res['t']:5.2f} | {mean_norm:12.6f} | {std_avg:12.6f} | " + f"{res['kurtosis']:10.4f} | {res['skewness']:10.4f} | {res['kl_to_normal']:12.6f}") + + print("\n关键观察：") + print("1. VP-SDE: 均值逐渐衰减到零，标准差趋近于1") + print("2. VE-SDE: 均值保持不变，标准差爆炸式增长") + print("3. 两者的峰度和偏度都接近零，说明分布接近高斯") + +demonstrate_marginal_evolution() + + + +#### Fokker-Planck方程：密度演化的PDE + + + 边缘分布的演化可以用Fokker-Planck方程（也称为Kolmogorov前向方程）来描述： + + + + Fokker-Planck方程 + +对于SDE $dx = f(x,t)dt + g(t)dW_t$，概率密度 $p_t(x)$ 满足： + + + $$\frac{\partial p_t(x)}{\partial t} = -\nabla \cdot (f(x,t)p_t(x)) + \frac{g(t)^2}{2} \Delta p_t(x)$$ + + + +其中： + + + + - $\nabla \cdot$ 是散度算子 + - $\Delta$ 是拉普拉斯算子 + - 第一项是漂移项（传输） + - 第二项是扩散项（平滑） + + + + + +#### 分数函数与边缘分布 + + + +分数函数 $\nabla \log p_t(x)$ 在扩散模型中扮演着核心角色。它描述了概率密度增长最快的方向。 + + + + +#### 分数函数的性质 + + + + - **梯度流**：$\nabla \log p_t(x)$ 指向高概率区域 + - **归一化**：不需要知道归一化常数 + - **光滑性**：随着噪声增加，分数函数变得更平滑 + - **可学习性**：可以用神经网络近似 + + + + + + 特殊情况：高斯分布 + +对于高斯分布 $p(x) = \mathcal{N}(x; \mu, \Sigma)$： + + + $$\nabla \log p(x) = -\Sigma^{-1}(x - \mu)$$ + + + +这是一个线性函数，指向均值点！ + + + + + +# 分析分数函数随时间的变化 +class ScoreFunctionAnalysis: + """分析分数函数的演化""" + + def __init__(self, sde): + self.sde = sde + + def analytical_score(self, x, x0, t): + """计算解析分数函数（仅适用于线性SDE）""" + if hasattr(self.sde, 'marginal_prob'): + mean, std = self.sde.marginal_prob(x0, t) + # 对于高斯分布：score = -(x - mean) / std^2 + score = -(x - mean) / (std ** 2 + 1e-8) + return score + else: + raise NotImplementedError("需要解析边缘分布") + + def score_magnitude_analysis(self, x0, t_values, x_test_points): + """分析分数函数的幅度""" + results = [] + + for t in t_values: + scores = [] + for x in x_test_points: + score = self.analytical_score(x, x0, t) + scores.append(torch.norm(score).item()) + + results.append({ + 't': t, + 'mean_magnitude': np.mean(scores), + 'max_magnitude': np.max(scores), + 'min_magnitude': np.min(scores) + }) + + return results + +# 演示分数函数的演化 +def demonstrate_score_evolution(): + """演示分数函数随时间的变化""" + # 使用VP-SDE + class SimpleVPSDE: + def __init__(self, beta_min=0.1, beta_max=20.0, T=1.0): + self.beta_min = beta_min + self.beta_max = beta_max + self.T = T + + def marginal_prob(self, x0, t): + log_mean_coeff = -0.25 * t**2 * (self.beta_max - self.beta_min) / self.T - 0.5 * t * self.beta_min + mean = torch.exp(log_mean_coeff) * x0 + std = torch.sqrt(1 - torch.exp(2 * log_mean_coeff)) + return mean, std + + sde = SimpleVPSDE() + analyzer = ScoreFunctionAnalysis(sde) + + # 设置 + x0 = torch.tensor([1.0]) + t_values = [0.1, 0.3, 0.5, 0.7, 0.9] + x_test_points = [torch.tensor([x]) for x in np.linspace(-3, 3, 20)] + + print("\n分数函数幅度分析") + print("="*60) + print(f"{'t':^5} | {'平均幅度':^12} | {'最大幅度':^12} | {'最小幅度':^12}") + print("-"*60) + + results = analyzer.score_magnitude_analysis(x0, t_values, x_test_points) + + for res in results: + print(f"{res['t']:5.2f} | {res['mean_magnitude']:12.6f} | " + f"{res['max_magnitude']:12.6f} | {res['min_magnitude']:12.6f}") + + print("\n观察：") + print("1. 随着t增加，分数函数的幅度逐渐减小") + print("2. 这反映了分布变得更加平坦（接近均匀分布）") + print("3. 在噪声很大时，分数函数几乎为零") + +demonstrate_score_evolution() + + + +#### 实际应用：训练时的边缘分布 + + + + +#### 训练时的采样策略 + + 在训练扩散模型时，我们需要： + + + + - **采样时间 $t \sim \mathcal{U}[0, T]$** + - **采样数据点 $x_0 \sim p_{data}$** + - **根据 $p(x_t|x_0)$ 生成噪声样本 $x_t$** + - **训练模型预测噪声或分数** + + + + +边缘分布的解析形式使得第3步变得非常高效！ + + + + + 重要性采样 + +不同的时间点对学习的难度不同。我们可以使用重要性采样： + + + + $$p(t) \propto \mathbb{E}_{x_0, x_t}[||\nabla_{x_t} \log p(x_t|x_0)||^2]$$ + + + +这使得模型更多地关注"难"的时间点。 + + + + +## 5.3 反向时间SDE：去噪过程 + + + +### 5.3.1 Anderson定理 + + + +Anderson定理是扩散模型理论的基石之一。它告诉我们，任何满足一定条件的前向SDE都存在一个对应的反向时间SDE，而这正是生成过程的数学基础。 + + + +#### 定理的背景 + + + +在物理学中，时间反演（time reversal）是一个重要概念。对于确定性系统，时间反演通常很简单。但对于随机过程，情况就复杂得多。Anderson在1982年的工作回答了这个问题。 + + + + Anderson定理（简化版） + +考虑前向SDE： + + + $$dx = f(x, t) dt + g(t) dW_t, \quad t \in [0, T]$$ + + + +定义反向时间 $\tau = T - t$，则存在反向SDE： + + + $$dx = [f(x, T-\tau) - g(T-\tau)^2 \nabla_x \log p_{T-\tau}(x)] d\tau + g(T-\tau) d\bar{W}_\tau$$ + + + +其中： + + + + - $\bar{W}_\tau$ 是关于反向时间的布朗运动 + - $p_t(x)$ 是前向过程在时刻 $t$ 的边缘分布 + - $\nabla_x \log p_t(x)$ 是分数函数 + + + + + +#### 直观理解 + + + + +#### 为什么需要分数函数？ + + +反向过程不仅仅是前向过程的"倒带"。关键差异在于： + + + + - **信息不对称**：前向过程丢失信息，反向过程需要恢复信息 + - **概率流**：反向过程需要知道"哪里来的概率更高" + - **分数作为指引**：$\nabla \log p_t(x)$ 正好指向高概率方向 + + + + + + 一个简单的例子：Ornstein-Uhlenbeck过程 + +考虑前向OU过程： + + + $$dx = -\theta x dt + \sigma dW_t$$ + + + +其稳态分布为 $\mathcal{N}(0, \frac{\sigma^2}{2\theta})$。分数函数为： + + + $$\nabla \log p_{\infty}(x) = -\frac{2\theta}{\sigma^2} x$$ + + + +因此反向SDE为： + + + $$dx = \left[-\theta x - \sigma^2 \cdot \left(-\frac{2\theta}{\sigma^2} x\right)\right] d\tau + \sigma d\bar{W}_\tau = \theta x d\tau + \sigma d\bar{W}_\tau$$ + + + +注意漂移项的符号变了！ + + + + + +# 验证Anderson定理 +import torch +import numpy as np + +class SDEReversal: + """验证和演示时间反演SDE""" + + def __init__(self, forward_drift, forward_diffusion, score_fn): + """ + Args: + forward_drift: f(x, t) - 前向漂移 + forward_diffusion: g(t) - 前向扩散 + score_fn: \nabla log p_t(x) - 分数函数 + """ + self.f = forward_drift + self.g = forward_diffusion + self.score = score_fn + + def reverse_drift(self, x, t, T): + """计算反向SDE的漂移项""" + # 时间变换 +tau = t + forward_time = T - tau + + # Anderson公式 + f_reverse = self.f(x, forward_time) - self.g(forward_time)**2 * self.score(x, forward_time) + + return f_reverse + + def simulate_forward_backward(self, x0, T, n_steps=100): + """模拟前向和反向过程""" + dt = T / n_steps + + # 前向过程 + forward_path = [x0] + x = x0.clone() + + for i in range(n_steps): + t = i * dt + drift = self.f(x, t) * dt + diffusion = self.g(t) * np.sqrt(dt) * torch.randn_like(x) + x = x + drift + diffusion + forward_path.append(x.clone()) + + # 反向过程 + reverse_path = [x] + + for i in range(n_steps): + tau = i * dt + drift = self.reverse_drift(x, tau, T) * dt + diffusion = self.g(T - tau) * np.sqrt(dt) * torch.randn_like(x) + x = x + drift + diffusion + reverse_path.append(x.clone()) + + return torch.stack(forward_path), torch.stack(reverse_path) + +# 示例：VP-SDE的时间反演 +def demonstrate_vp_sde_reversal(): + """演示VP-SDE的时间反演""" + # VP-SDE参数 + beta_min, beta_max = 0.1, 20.0 + T = 1.0 + + def beta(t): + return beta_min + (beta_max - beta_min) * t / T + + def forward_drift(x, t): + return -0.5 * beta(t) * x + + def forward_diffusion(t): + return np.sqrt(beta(t)) + + def score_fn(x, t): + # 对于VP-SDE，边缘分布是高斯的 + # p_t(x|x_0) = N(x; sqrt(alpha_bar_t) * x_0, (1 - alpha_bar_t) * I) + # 但我们需要边缘分数 \nabla log p_t(x) + # 这在实践中是通过神经网络学习的 + # 这里用一个简化的近似 + alpha_bar = np.exp(-0.5 * beta_min * t - 0.25 * (beta_max - beta_min) * t**2 / T) + return -x / (1 - alpha_bar + 1e-8) + + # 创建反演器 + reverser = SDEReversal(forward_drift, forward_diffusion, score_fn) + + # 模拟 + x0 = torch.randn(2) # 2D初始点 + forward_path, reverse_path = reverser.simulate_forward_backward(x0, T, n_steps=100) + + # 分析结果 + print("时间反演SDE分析") + print("="*60) + print(f"初始点: {x0.numpy()}") + print(f"前向终点: {forward_path[-1].numpy()}") + print(f"反向终点: {reverse_path[-1].numpy()}") + print(f"\n前向过程统计:") + print(f" 初始范数: {torch.norm(forward_path[0]).item():.3f}") + print(f" 终点范数: {torch.norm(forward_path[-1]).item():.3f}") + print(f"\n反向过程统计:") + print(f" 初始范数: {torch.norm(reverse_path[0]).item():.3f}") + print(f" 终点范数: {torch.norm(reverse_path[-1]).item():.3f}") + + # 路径对比 + forward_norms = [torch.norm(x).item() for x in forward_path] + reverse_norms = [torch.norm(x).item() for x in reverse_path] + + print(f"\n路径分析:") + print(f"前向路径范数变化: {forward_norms[0]:.3f} → {forward_norms[-1]:.3f}") + print(f"反向路径范数变化: {reverse_norms[0]:.3f} → {reverse_norms[-1]:.3f}") + print("\n注意: 由于随机性，反向过程不会完美回到原点，") + print("但会回到同样的分布！") + +demonstrate_vp_sde_reversal() + + + +#### 数学严格性 + + + + 存在性条件 + Anderson定理成立需要以下条件： + + + + - **正则性**：$f(x,t)$ 和 $g(t)$ 满足Lipschitz条件 + - **非退化性**：$g(t) > 0$ 对所有 $t \in [0,T]$ + - **分数存在**：$\nabla \log p_t(x)$ 存在且满足适当的增长条件 + + + + + +#### 与其他理论的联系 + + + + +#### 联系与应用 + + + + - **Jarzynski等式**：在非平衡统计物理中的应用 + - **最优传输**：Schrödinger bridge问题的特例 + - **信息论**：与信息熵的增减相关 + - **BSDE**：反向SDE可以看作一类特殊的BSDE + + + + + + 实践意义 + +Anderson定理对扩散模型的重要性： + + + + - **理论保证**：确保了反向过程的存在性 + - **学习目标**：明确了需要学习的是分数函数 + - **采样算法**：提供了从噪声生成数据的数学公式 + - **理论分析**：可以分析生成过程的性质 + + + + + +### 5.3.2 反向SDE的推导 + + + +反向SDE是扩散模型的核心，它告诉我们如何从噪声生成数据。这个推导虽然技术性较强，但其物理直觉非常清晰。 + + + +#### 时间反演的基本想法 + + + + +#### 直觉：电影倒放 + + +想象你录制了墨水在水中扩散的过程： + + + + - **正向播放**：墨水从一点扩散到整个水体 + - **反向播放**：分散的墨水神奇地聚集回一点 + + + +反向SDE就是找到这个"倒放过程"的数学描述。 + + + + +#### Anderson定理的应用 + + + +根据Anderson定理，如果前向过程是： + + + + $$dx = f(x, t)dt + g(t)dw$$ + + + +那么反向过程（时间从T到0）是： + + + + $$dx = \left[f(x, t) - g(t)^2 \nabla_x \log p_t(x)\right]dt + g(t)d\bar{w}$$ + + + +其中$\bar{w}$是反向布朗运动。 + + + +#### 关键洞察：分数函数的作用 + + + + 为什么需要分数函数？ + +比较前向和反向SDE，唯一的区别是多了一项：$-g(t)^2 \nabla_x \log p_t(x)$ + + +这项的作用是： + + + + - **补偿扩散**：抵消随机项带来的扩散效应 + - **指引方向**：指向概率密度增加的方向 + - **时变修正**：随时间调整"拉回"的强度 + + + + + +#### 推导步骤（简化版） + + + + 关键步骤 + + + - **考虑联合分布**：$(x_t, t)$的演化 + - **应用Fokker-Planck方程**：得到$p_t(x)$的演化 + - **时间反演**：令$\tau = T - t$ + - **匹配系数**：使反向过程的FP方程与原方程一致 + + + + + +#### 具体例子：VP-SDE的反向过程 + + + +对于VP-SDE（方差保持）： + + + + $$dx = -\frac{1}{2}\beta(t)x dt + \sqrt{\beta(t)}dw$$ + + + +其反向SDE是： + + + + $$dx = \left[-\frac{1}{2}\beta(t)x - \beta(t)\nabla_x \log p_t(x)\right]dt + \sqrt{\beta(t)}d\bar{w}$$ + + + + +# 验证反向SDE的正确性 +import torch +import torch.nn as nn + +class ReverseSDE: + """反向SDE的数值验证""" + + def __init__(self, beta_schedule): + """ + Args: + beta_schedule: 函数，返回时刻t的beta(t) + """ + self.beta = beta_schedule + + def forward_marginal(self, x0, t): + """计算前向过程的边缘分布 p(x_t|x_0)""" + # 对于VP-SDE，有解析解 + alpha_bar = torch.exp(-0.5 * self.integral_beta(t)) + mean = alpha_bar * x0 + var = 1 - alpha_bar**2 + return mean, var + + def integral_beta(self, t): + """计算 ∫_0^t beta(s) ds""" + # 简单起见，假设beta(t) = beta_min + t*(beta_max - beta_min) + beta_min, beta_max = 0.1, 20.0 + return beta_min * t + 0.5 * (beta_max - beta_min) * t**2 + + def score_function(self, xt, x0, t): + """计算真实的分数函数（用于验证）""" + mean, var = self.forward_marginal(x0, t) + score = -(xt - mean) / var + return score + + def verify_reverse_sde(self, x0, T=1.0, dt=0.01): + """验证反向SDE确实能恢复x0""" + print("验证反向SDE") + print("="*50) + + # 1. 前向过程：x0 -> xT + t = 0 + x = x0.clone() + trajectory_forward = [x.clone()] + + while t xT = {xT.numpy():.3f}") + + # 2. 反向过程：xT -> x0 + t = T + x = xT.clone() + trajectory_reverse = [x.clone()] + + while t > dt: + beta_t = self.beta(t) + # 使用真实分数（实际中需要学习） + score = self.score_function(x, x0, t) + + # 反向SDE + drift = -0.5 * beta_t * x - beta_t * score + diffusion = torch.sqrt(beta_t * dt) * torch.randn_like(x) + x = x + drift * dt + diffusion + t -= dt + trajectory_reverse.append(x.clone()) + + x0_recovered = x + print(f"反向过程完成: xT = {xT.numpy():.3f} -> x0_recovered = {x0_recovered.numpy():.3f}") + print(f"恢复误差: {torch.abs(x0 - x0_recovered).item():.4f}") + + # 3. 分析轨迹 + forward_std = torch.stack(trajectory_forward).std() + reverse_std = torch.stack(trajectory_reverse).std() + print(f"\n轨迹分析:") + print(f"前向轨迹标准差: {forward_std:.3f} (扩散)") + print(f"反向轨迹标准差: {reverse_std:.3f} (聚集)") + + return trajectory_forward, trajectory_reverse + +# 测试 +def beta_schedule(t, beta_min=0.1, beta_max=20.0): + """线性beta调度""" + return beta_min + t * (beta_max - beta_min) + +reverse_sde = ReverseSDE(beta_schedule) +x0 = torch.tensor([2.0]) +reverse_sde.verify_reverse_sde(x0) + + + +#### 物理类比：势能场中的粒子 + + + + +#### 分数函数作为"力" + + 反向SDE可以理解为粒子在势能场中的运动： + + + + - **原始漂移项** $f(x,t)$：外加的确定性力 + - **分数修正项** $-g^2\nabla\log p$：势能场的梯度力 + - **随机项** $g(t)d\bar{w}$：热运动 + + + +分数函数创造了一个"势能井"，将粒子拉向数据分布的高概率区域。 + + + + +#### 实用考虑 + + + + 实现反向SDE的挑战 + + + - **分数估计**：需要神经网络学习$\nabla\log p_t(x)$ + - **数值稳定性**：小的$dt$带来大的计算成本 + - **边界条件**：$t=0$附近需要特殊处理 + - **随机性控制**：如何平衡确定性和随机性 + + + + + + +# 实用的反向采样器 +class PracticalReverseSDESampler: + """实际使用的反向SDE采样器""" + + def __init__(self, score_model, beta_schedule): + self.score_model = score_model + self.beta = beta_schedule + + def sample(self, shape, T=1.0, dt=0.01, device='cpu'): + """从噪声生成样本""" + # 初始化为高斯噪声 + x = torch.randn(shape, device=device) + + # 时间步 + timesteps = torch.linspace(T, dt, int(T/dt), device=device) + + for t in timesteps: + # 估计分数 + with torch.no_grad(): + score = self.score_model(x, t) + + # 计算系数 + beta_t = self.beta(t) + drift_coeff = -0.5 * beta_t + score_coeff = -beta_t + noise_coeff = torch.sqrt(beta_t * dt) + + # 反向SDE更新 + drift = drift_coeff * x + score_coeff * score + noise = torch.randn_like(x) + + x = x + drift * dt + noise_coeff * noise + + # 可选：动态调整步长或使用高阶求解器 + if t + + + +#### 总结：反向SDE的意义 + + + + 核心要点 + + + - 反向SDE = 前向SDE + 分数修正 + - 分数函数是连接前向和反向过程的桥梁 + - 物理直觉：从无序到有序需要"信息注入" + - 计算挑战：准确估计分数函数是关键 + + + + + +### 5.3.3 分数函数的作用 + + + 分数函数 $\nabla_x \log p_t(x)$ 是连续时间扩散模型的核心。它不仅是数学上的必需品，更有深刻的几何和物理意义。 + + + +#### 几何意义：指向高概率区域 + + + + +#### 梯度上升的视角 + + +分数函数指向概率密度增加最快的方向： + + + + - 在低概率区域，它指向高概率区域 + - 在概率峰值附近，它的幅度较小 + - 它定义了概率景观上的"最陡上升路径" + + + + + +#### 动力学意义：时变的引导 + + + +分数函数在不同时刻扮演不同角色： + + + + 时间演化的三个阶段 + + + - **早期（$t \approx 0$）**： + + + 数据分布还很清晰 + - 分数函数提供精确的局部结构信息 + - 主要作用：保持数据的精细特征 + + + + - **中期（$0 数据结构部分模糊 + - 分数函数引导全局结构的形成 + - 主要作用：建立大尺度的模式 + + + + - **后期（$t \approx T$）**： + + + 接近纯噪声分布 + - 分数函数提供初始的方向指引 + - 主要作用：从噪声中"点燃"生成过程 + + + + + + + + +#### 信息论意义：负熵流 + + + + 分数函数与信息 + +从信息论角度看，分数函数代表了"信息梯度"： + + + + - **前向过程**：信息逐渐丢失，熵增加 + - **反向过程**：分数函数注入信息，熵减少 + - **平衡点**：分数函数恰好补偿扩散造成的信息损失 + + + + + +#### 与其他概念的联系 + + + + +#### 1. 与Stein分数的关系 + + +分数函数满足Stein恒等式： + + + $$\mathbb{E}_{p_t}[\nabla_x \log p_t(x)] = 0$$ + + +这保证了分数函数的"平衡性"——它不会整体偏向某个方向。 + + + + + +#### 2. 与最优传输的关系 + + +在某些条件下，分数函数定义了从$p_t$到$p_0$的最优传输映射的速度场。这建立了扩散模型与最优传输理论的桥梁。 + + + + + +#### 3. 与能量模型的关系 + + +如果定义能量函数$E_t(x) = -\log p_t(x)$，则： + + + $$\nabla_x \log p_t(x) = -\nabla_x E_t(x)$$ + + +分数函数就是能量函数的负梯度，指向能量下降的方向。 + + + + +#### 实践中的重要性 + + + + 为什么学习分数函数？ + + + - **参数化简单**： + + + 不需要归一化常数 + - 可以用标准神经网络表示 + - 训练目标明确（去噪任务） + + + + - **局部性质**： + + + 只需要局部信息 + - 不需要全局积分 + - 计算效率高 + + + + - **稳定性好**： + + + 梯度匹配是稳定的优化问题 + - 避免了密度估计的数值问题 + - 适合高维数据 + + + + + + + + +#### 分数函数的多尺度特性 + + + + 跨尺度的信息编码 + +分数函数在不同噪声水平下编码不同尺度的信息： + + + + - **低噪声**：编码精细纹理、边缘等高频信息 + - **中等噪声**：编码物体形状、整体结构 + - **高噪声**：编码全局布局、大尺度模式 + + + +这种多尺度特性使得扩散模型能够生成具有丰富细节的高质量样本。 + + + + +#### 总结：分数函数的核心地位 + + + + 关键认识 + +分数函数是扩散模型的"灵魂"： + + + + - 它编码了数据分布的所有信息 + - 它连接了前向扩散和反向生成 + - 它统一了多个理论视角（SDE、ODE、能量模型） + - 它提供了实用的参数化和训练方法 + + + +理解分数函数就是理解扩散模型的关键。 + + + + +## 5.4 概率流ODE：确定性的替代 + + + +### 5.4.1 从SDE到ODE + + + +一个令人惊讶的发现是：每个SDE都有一个对应的ODE，它们产生相同的边缘分布演化。这个ODE被称为概率流ODE（Probability Flow ODE）。 + + + +#### 核心思想：去除随机性 + + + + +#### 从随机到确定 + + +SDE包含两部分： + + + + - **确定性漂移**：$f(x,t)dt$ + - **随机扩散**：$g(t)dw$ + + + +概率流ODE通过修改漂移项来补偿随机项的效果，使得整体演化变成确定性的。 + + + + +#### 概率流ODE的形式 + + + +对于前向SDE： + + + $$dx = f(x,t)dt + g(t)dw$$ + + + +对应的概率流ODE是： + + + $$\frac{dx}{dt} = f(x,t) - \frac{1}{2}g(t)^2\nabla_x \log p_t(x)$$ + + + + 关键性质 + + + - ODE是确定性的——给定初始条件，轨迹唯一确定 + - 边缘分布相同——$p_t(x)$的演化与SDE一致 + - 可逆性——可以精确地前向和反向求解 + + + + + +#### 直观理解：流场视角 + + + + 流体动力学类比 + +可以把概率流ODE理解为不可压缩流体的流动： + + + + - **流体元素**：概率质量的小块 + - **速度场**：$v(x,t) = f(x,t) - \frac{1}{2}g(t)^2\nabla\log p_t$ + - **流线**：ODE的解轨迹 + - **守恒律**：概率总量守恒 + + + + + +#### 为什么这个ODE有效？ + + + +概率流ODE的设计基于以下观察： + + + + +#### Fokker-Planck方程的分解 + + +SDE对应的Fokker-Planck方程可以写成： + + + $$\frac{\partial p_t}{\partial t} = -\nabla \cdot (p_t v_{total})$$ + + +其中总速度场： + + + $$v_{total} = \underbrace{f(x,t)}_{\text{漂移}} - \underbrace{\frac{1}{2}g(t)^2\nabla\log p_t}_{\text{扩散修正}}$$ + + + + +#### SDE vs ODE：轨迹的差异 + + + + 两种演化方式的对比 + + + 特性 + SDE + 概率流ODE + + + 轨迹性质 + 随机、不可预测 + 确定性、可预测 + + + 计算复杂度 + 需要多次采样 + 单次求解即可 + + + 可逆性 + 统计意义上可逆 + 精确可逆 + + + 适用场景 + 生成多样性样本 + 图像编辑、插值 + + + + + +#### 概率流ODE的优势 + + + + 为什么使用ODE？ + + + - **精确编码**： + + + 可以将数据精确编码为潜在表示 + - 支持语义操作和编辑 + + + + - **数值稳定性**： + + + 可以使用高阶ODE求解器 + - 自适应步长控制 + + + + - **理论分析**： + + + 更容易分析收敛性 + - 可以研究流形结构 + + + + + + + + +#### 与神经ODE的联系 + + + + +#### 统一框架 + + +概率流ODE可以看作一种特殊的神经ODE： + + + + - 状态：数据点 $x$ + - 时间：噪声水平 $t$ + - 动力学：由分数函数参数化 + + + +这建立了扩散模型与连续深度模型之间的桥梁。 + + + + +### 5.4.2 概率流的性质 + + + +概率流ODE具有一系列优美的数学性质，这些性质使它成为理解和应用扩散模型的重要工具。 + + + +#### 1. 体积保持性（Liouville定理） + + + + 概率质量守恒 + +概率流保持相空间的体积元： + + + $$\nabla \cdot v(x,t) = 0$$ + + +其中 $v(x,t) = f(x,t) - \frac{1}{2}g(t)^2\nabla\log p_t(x)$ 是速度场。 + + +这意味着： + + + + - 流动是不可压缩的 + - 局部概率密度沿流线保持不变 + - 拓扑性质得以保持 + + + + + +#### 2. 双射性与可逆性 + + + + +#### 一一对应关系 + + +概率流ODE建立了以下双射： + + + + - $\phi_t: \mathcal{X}_0 \rightarrow \mathcal{X}_t$（前向流） + - $\phi_t^{-1}: \mathcal{X}_t \rightarrow \mathcal{X}_0$（反向流） + + + +每个数据点 $x_0$ 对应唯一的噪声表示 $x_T$，反之亦然。 + + + + +#### 3. 最优传输视角 + + + + 动态最优传输 + +在某些条件下，概率流ODE给出了从 $p_0$ 到 $p_T$ 的最优传输路径： + + + + - **路径最短**：在适当的度量下，流线是测地线 + - **能量最优**：最小化传输成本 + - **保持结构**：相邻点保持相邻 + + + + + +#### 4. 连续性与正则性 + + + + 光滑演化 + +如果分数函数 $\nabla\log p_t(x)$ 满足适当的正则性条件，则： + + + + - **解的存在唯一性**：给定初值，ODE有唯一解 + - **连续依赖性**：解连续依赖于初始条件 + - **时间可逆性**：可以精确地前向和后向求解 + + + + + +#### 5. 与Wasserstein梯度流的关系 + + + + +#### 能量泛函的梯度流 + + +概率流ODE可以理解为某个能量泛函的Wasserstein梯度流： + + + $$\frac{\partial p_t}{\partial t} = \nabla \cdot \left(p_t \nabla \frac{\delta \mathcal{F}[p_t]}{\delta p_t}\right)$$ + + +其中 $\mathcal{F}[p]$ 是适当选择的能量泛函。 + + + + +#### 6. 信息几何性质 + + + + Fisher信息的演化 + +沿着概率流，Fisher信息矩阵的演化遵循特定规律： + + + + - **信息损失**：前向流中Fisher信息单调递减 + - **度量保持**：某些几何结构得以保持 + - **自然梯度**：流动方向与自然梯度相关 + + + + + +#### 7. 数值性质 + + + + 计算优势 + + + 性质 + 含义 + + + Lipschitz连续性 + 数值稳定，可用标准ODE求解器 + + + 自适应步长 + 可根据局部误差调整步长 + + + 高阶方法适用 + Runge-Kutta等方法有效 + + + 并行化友好 + 批量样本可并行处理 + + + + + +#### 8. 语义插值性质 + + + + +#### 平滑的语义过渡 + + +概率流ODE的轨迹提供了自然的插值路径： + + + + - 两个数据点之间的插值通过其噪声表示的线性插值实现 + - 插值路径反映了数据流形的几何结构 + - 中间状态保持语义连贯性 + + + + + +#### 应用价值 + + + + 实际应用中的重要性 + + + - **精确反演**：可以精确重构原始数据 + - **潜在空间操作**：在噪声空间进行语义编辑 + - **概率估计**：通过变换公式计算似然 + - **轨迹分析**：研究生成过程的动力学 + + + + + +### 5.4.3 ODE vs SDE：权衡与选择 + + + +在实际应用中，选择使用SDE还是概率流ODE需要考虑多个因素。每种方法都有其优势和局限性。 + + + +#### 生成质量对比 + + + + 质量-多样性权衡 + + + 方面 + SDE + ODE + + + **样本质量** + 通常更高，随机性有助于避免局部缺陷 + 可能陷入次优路径 + + + **多样性** + 自然产生多样化样本 + 确定性导致多样性受限 + + + **模式覆盖** + 更好地覆盖所有模式 + 可能错过某些模式 + + + **细节保真度** + 随机噪声可能模糊细节 + 精确轨迹保持细节 + + + + + +#### 计算效率分析 + + + + +#### 速度与精度的平衡 + + +**SDE的计算特点：** + + + + - 需要固定的小步长（通常1000步） + - 每步需要生成随机噪声 + - 难以使用自适应步长 + - 并行化效率高 + + + +**ODE的计算特点：** + + + + - 可使用高阶求解器（如RK45） + - 自适应步长大幅减少NFE + - 通常只需100-200次函数评估 + - 数值误差可控 + + + + + +#### 应用场景适配 + + + + 选择指南 + +**适合使用SDE的场景：** + + + + - **纯生成任务**：需要高质量、多样化的样本 + - **数据增强**：随机性带来的变化是优势 + - **对抗鲁棒性**：随机性增强模型鲁棒性 + - **探索性应用**：需要发现新的样本模式 + + + +**适合使用ODE的场景：** + + + + - **图像编辑**：需要精确的编码-解码 + - **插值任务**：生成中间过渡状态 + - **反演重构**：从噪声恢复原始输入 + - **可解释性研究**：分析生成轨迹 + + + + + +#### 混合策略 + + + + 结合两者优势 + +实践中常用的混合策略： + + + + - **分段切换**： + + + 早期阶段（高噪声）使用ODE快速去噪 + - 后期阶段（低噪声）使用SDE精细化 + + + + - **温度调节**： + + + 引入温度参数 $\tau$ 控制随机性 + - $dx = f dt + \tau \cdot g dw$ + - $\tau=0$ 退化为ODE，$\tau=1$ 为标准SDE + + + + - **条件切换**： + + + 根据当前状态的置信度动态选择 + - 高置信区域用ODE，低置信区域用SDE + + + + + + + + +#### 数值稳定性考虑 + + + + +#### 数值挑战与解决方案 + + +**SDE的数值挑战：** + + + + - 步长过大导致数值爆炸 + - 累积误差难以控制 + - 需要仔细选择离散化方案 + + + +**ODE的数值挑战：** + + + + - 刚性问题需要隐式求解器 + - 分数函数的数值误差会累积 + - 需要监控局部截断误差 + + + + + +#### 理论保证对比 + + + + 收敛性分析 + + + 理论性质 + SDE + ODE + + + 收敛阶 + 弱收敛 O(√dt) + 可达高阶 O(dt^p) + + + 误差界 + 概率意义上的界 + 确定性误差界 + + + 长时间行为 + 遍历性保证 + 轨迹稳定性 + + + + + +#### 实践建议 + + + + 最佳实践总结 + + + - **默认选择**：对于大多数生成任务，SDE仍是首选 + - **速度优先**：当推理速度关键时，考虑ODE + - **精度要求**：需要精确控制时使用ODE + - **实验验证**：具体选择应基于实际效果 + - **混合使用**：不同阶段可以使用不同方法 + + + + + +## 5.5 Fokker-Planck方程：密度视角 + + + +### 5.5.1 从粒子到密度 + + + +Fokker-Planck方程提供了扩散过程的另一个视角：从跟踪单个粒子转向描述整体概率密度的演化。这是理解扩散模型的关键数学工具。 + + + +#### 两种描述方式的对偶性 + + + + +#### 微观 vs 宏观 + + + + SDE（微观） + Fokker-Planck（宏观） + + + 描述单个粒子的随机轨迹 + 描述概率密度的确定性演化 + + + $dx_t = f(x_t,t)dt + g(t)dw_t$ + $\frac{\partial p}{\partial t} = -\nabla \cdot (fp) + \frac{g^2}{2}\Delta p$ + + + 随机微分方程 + 偏微分方程 + + + + + +#### Fokker-Planck方程的推导直觉 + + + + 守恒律视角 + +Fokker-Planck方程本质上是概率的守恒律： + + + $$\frac{\partial p}{\partial t} + \nabla \cdot J = 0$$ + + +其中概率流 $J$ 包含两部分： + + + + - **漂移流**：$J_{drift} = f(x,t)p(x,t)$ + - **扩散流**：$J_{diff} = -\frac{g(t)^2}{2}\nabla p(x,t)$ + + + + + +#### 标准形式与物理意义 + + + +对于一般的SDE，Fokker-Planck方程为： + + + + $$\frac{\partial p(x,t)}{\partial t} = -\sum_i \frac{\partial}{\partial x_i}[f_i(x,t)p(x,t)] + \frac{1}{2}\sum_{i,j}\frac{\partial^2}{\partial x_i \partial x_j}[g_{ij}(t)p(x,t)]$$ + + + + 各项的物理解释 + + + - **时间导数项** $\frac{\partial p}{\partial t}$：密度的局部变化率 + - **对流项** $-\nabla \cdot (fp)$：由确定性漂移引起的概率流动 + - **扩散项** $\frac{g^2}{2}\Delta p$：由随机涨落引起的概率扩散 + + + + + +#### 特殊情况：线性Fokker-Planck方程 + + + +对于扩散模型中常见的线性SDE： + + + $$dx = -\frac{\beta(t)}{2}x dt + \sqrt{\beta(t)}dw$$ + + + +对应的Fokker-Planck方程是： + + + $$\frac{\partial p}{\partial t} = \frac{\beta(t)}{2}\nabla \cdot (xp) + \frac{\beta(t)}{2}\Delta p$$ + + + + +#### 解的高斯性 + + +线性Fokker-Planck方程的一个重要性质是：如果初始分布是高斯的，那么任意时刻的分布都保持高斯形式。这解释了为什么扩散模型的前向过程最终收敛到高斯分布。 + + + + +#### 与热方程的联系 + + + + 扩散作为热传导 + +在纯扩散情况下（$f=0$），Fokker-Planck方程退化为热方程： + + + $$\frac{\partial p}{\partial t} = D\Delta p$$ + + +这建立了以下类比： + + + + - 概率密度 ↔ 温度分布 + - 扩散系数 ↔ 热导率 + - 概率流 ↔ 热流 + + + + + +#### 稳态与平衡分布 + + + + 长时间行为 + +当 $t \to \infty$ 时，系统趋向稳态：$\frac{\partial p}{\partial t} = 0$ + + +稳态分布 $p_\infty(x)$ 满足： + + + $$\nabla \cdot (f p_\infty) = \frac{g^2}{2}\Delta p_\infty$$ + + +对于扩散模型，这通常是标准高斯分布 $\mathcal{N}(0,I)$。 + + + + +#### 边界条件的重要性 + + + + +#### 自然边界条件 + + +在 $\mathbb{R}^d$ 上，通常采用自然边界条件： + + + + - $p(x,t) \to 0$ 当 $|x| \to \infty$ + - $\int_{\mathbb{R}^d} p(x,t)dx = 1$（概率守恒） + + + +这些条件确保了物理意义和数学良定性。 + + + + +#### 数值求解的挑战 + + + + 维数灾难 + +直接求解Fokker-Planck方程面临严重的维数灾难： + + + + - 对于 $d$ 维问题，计算复杂度为 $O(N^d)$ + - 存储需求随维数指数增长 + - 高维空间中的数值格式不稳定 + + + +这就是为什么扩散模型选择通过学习分数函数来间接求解。 + + + + +### 5.5.2 Fokker-Planck方程的推导 + + + +Fokker-Planck方程的推导展示了随机过程与偏微分方程之间的深刻联系。这里我们从直观到严格，逐步推导这个方程。 + + + +#### 方法一：从Chapman-Kolmogorov方程出发 + + + + 基本思路 + +考虑转移概率密度 $p(x,t|x_0,t_0)$，它满足Chapman-Kolmogorov方程： + + + $$p(x,t+\Delta t|x_0,t_0) = \int p(x,t+\Delta t|y,t)p(y,t|x_0,t_0)dy$$ + + +对小时间步 $\Delta t$，展开转移核并取极限即可得到Fokker-Planck方程。 + + + + +#### 方法二：Itô公式方法（更直观） + + + +这是理解Fokker-Planck方程的现代方法： + + + + +#### 核心步骤 + + + + - **考虑测试函数**：对任意光滑函数 $\phi(x)$，计算期望值的演化 + - **应用Itô公式**： + + $$d\phi(x_t) = \nabla\phi \cdot dx_t + \frac{1}{2}\text{Tr}(\nabla^2\phi \cdot d\langle x\rangle_t)$$ + + + - **取期望**：利用 $\mathbb{E}[dw_t] = 0$ + - **分部积分**：将作用在 $\phi$ 上的算子转移到 $p$ 上 + + + + + +#### 详细推导：一维情况 + + + + 从SDE到Fokker-Planck + +设一维SDE为：$dx_t = f(x_t,t)dt + g(t)dw_t$ + + + +**步骤1**：对测试函数 $\phi(x)$ 应用Itô公式 + + + $$d\phi(x_t) = \phi'(x_t)dx_t + \frac{1}{2}\phi''(x_t)(dx_t)^2$$ + + + +**步骤2**：计算二次变分 $(dx_t)^2 = g(t)^2dt$ + + + +**步骤3**：代入并取期望 + + + $$\frac{d}{dt}\mathbb{E}[\phi(x_t)] = \mathbb{E}[f(x_t,t)\phi'(x_t) + \frac{g(t)^2}{2}\phi''(x_t)]$$ + + + +**步骤4**：用密度函数表示期望 + + + $$\frac{d}{dt}\int \phi(x)p(x,t)dx = \int \left[f(x,t)\phi'(x) + \frac{g(t)^2}{2}\phi''(x)\right]p(x,t)dx$$ + + + +**步骤5**：分部积分 + + + $$\int \phi(x)\frac{\partial p}{\partial t}dx = \int \phi(x)\left[-\frac{\partial}{\partial x}(f p) + \frac{g^2}{2}\frac{\partial^2 p}{\partial x^2}\right]dx$$ + + + +由于 $\phi$ 任意，得到Fokker-Planck方程。 + + + + +#### 高维推广 + + + + 多维Fokker-Planck方程 + +对于 $d$ 维SDE：$dx_i = f_i(x,t)dt + \sum_j g_{ij}(t)dw_j$ + + +Fokker-Planck方程为： + + + $$\frac{\partial p}{\partial t} = -\sum_i \frac{\partial}{\partial x_i}(f_i p) + \frac{1}{2}\sum_{i,j}\frac{\partial^2}{\partial x_i \partial x_j}(D_{ij}p)$$ + + +其中扩散矩阵 $D_{ij} = \sum_k g_{ik}g_{jk}$。 + + + + +#### 反向Fokker-Planck方程 + + + + +#### 时间反演 + + +对于反向SDE，对应的Fokker-Planck方程（也称为Kolmogorov反向方程）是： + + + $$-\frac{\partial p}{\partial t} = f \cdot \nabla p + \frac{g^2}{2}\Delta p$$ + + +注意时间导数的符号变化，这反映了时间反演的本质。 + + + + +#### 与分数函数的关系 + + + + 分数函数的出现 + +Fokker-Planck方程可以重写为： + + + $$\frac{\partial p}{\partial t} = -\nabla \cdot \left[p\left(f - \frac{g^2}{2}\nabla \log p\right)\right] - \frac{g^2}{2}\Delta p$$ + + +这里自然出现了分数函数 $\nabla \log p$，暗示了它在扩散过程中的核心作用。 + + + + +#### 物理解释：概率流的分解 + + + + 流的物理图像 + +Fokker-Planck方程描述了两种概率流的竞争： + + + + - **确定性流**：由漂移 $f(x,t)$ 驱动，可以聚集或分散概率 + - **扩散流**：总是使概率分散，趋向均匀分布 + + + +扩散模型巧妙地平衡这两种流，实现数据与噪声之间的可逆转换。 + + + + +#### 数学性质 + + + + +#### 重要性质 + + + + - **线性性**：Fokker-Planck方程对 $p$ 是线性的 + - **保正性**：如果初值 $p_0 \geq 0$，则 $p_t \geq 0$ 对所有 $t$ 成立 + - **质量守恒**：$\int p(x,t)dx = 1$ 对所有 $t$ 成立 + - **最大值原理**：密度的最大值不会增加（纯扩散情况） + + + + + +### 5.5.3 与分数函数的联系 + + + +Fokker-Planck方程与分数函数之间存在深刻的联系。这种联系不仅是数学上的巧合，更揭示了扩散模型的核心机制。 + + + +#### 分数函数在Fokker-Planck方程中的出现 + + + + 概率流的分解 + +Fokker-Planck方程可以写成流的形式： + + + $$\frac{\partial p}{\partial t} = -\nabla \cdot J$$ + + +其中总概率流 $J$ 可以分解为： + + + $$J = \underbrace{fp}_{\text{漂移流}} - \underbrace{\frac{g^2}{2}\nabla p}_{\text{扩散流}} = p\left(f - \frac{g^2}{2}\nabla \log p\right)$$ + + +这里自然出现了分数函数 $\nabla \log p$。 + + + + +#### 分数函数的物理意义 + + + + +#### 三种解释 + + + + - **热力学力**：分数函数代表将系统推向平衡态的"力" + - **信息梯度**：指向信息含量增加的方向 + - **最可能路径**：在给定约束下的最可能演化方向 + + + + + +#### 稳态条件与分数函数 + + + + 平衡态的特征 + +在稳态（$\frac{\partial p}{\partial t} = 0$）时，概率流必须为零： + + + $$J = p\left(f - \frac{g^2}{2}\nabla \log p\right) = 0$$ + + +这给出稳态条件： + + + $$f(x) = \frac{g^2}{2}\nabla \log p_{\infty}(x)$$ + + +即漂移必须恰好平衡扩散引起的概率流出。 + + + + +#### 分数函数与熵产生 + + + + 熵的演化 + +相对熵（KL散度）的时间导数为： + + + $$\frac{d}{dt}D_{KL}(p_t \| p_{\infty}) = -\int p_t |\nabla \log p_t - \nabla \log p_{\infty}|^2 dx \leq 0$$ + + +这表明： + + + + - 分数函数的差异驱动系统向平衡态演化 + - 演化速率正比于分数函数差的平方 + - 当且仅当 $p_t = p_{\infty}$ 时演化停止 + + + + + +#### 反向过程中分数函数的作用 + + + + +#### 时间反演的关键 + + +考虑前向Fokker-Planck方程： + + + $$\frac{\partial p}{\partial t} = -\nabla \cdot (fp) + \frac{g^2}{2}\Delta p$$ + + +对应的反向Fokker-Planck方程需要额外的分数项： + + + $$\frac{\partial p}{\partial \tau} = -\nabla \cdot \left[\left(-f + g^2\nabla \log p\right)p\right] + \frac{g^2}{2}\Delta p$$ + + +分数函数 $\nabla \log p$ 提供了反向演化所需的"信息"。 + + + + +#### 分数匹配与Fokker-Planck方程 + + + + 学习目标的等价性 + +扩散模型的训练可以从两个角度理解： + + + + - **分数匹配**：最小化 $\mathbb{E}_{p_t}[|\nabla \log p_t - s_\theta|^2]$ + - **密度演化**：使神经网络参数化的流满足Fokker-Planck方程 + + + +这两个目标在数学上是等价的。 + + + + +#### 变分视角：最小作用量原理 + + + + Onsager-Machlup泛函 + +扩散过程的路径概率可以用作用量表示： + + + $$S[x] = \int_0^T \left[\frac{|\dot{x} - f|^2}{2g^2} - \frac{1}{2}\nabla \cdot f\right]dt$$ + + +分数函数通过Fokker-Planck方程进入这个作用量，决定了最可能的演化路径。 + + + + +#### 计算优势 + + + + +#### 为什么学习分数而非密度 + + + + - **局部性**：分数函数只需要局部信息，而密度需要全局归一化 + - **维数可扩展**：分数匹配避免了高维空间的积分 + - **数值稳定**：梯度估计比密度估计更稳定 + - **训练简单**：去噪任务提供了自然的训练信号 + + + + + +#### 总结：分数函数的中心地位 + + + + 统一视角 + +分数函数 $\nabla \log p$ 是连接多个概念的桥梁： + + + + - **SDE视角**：使反向过程成为可能 + - **PDE视角**：出现在Fokker-Planck方程中 + - **ODE视角**：定义概率流的速度场 + - **优化视角**：提供了可学习的参数化 + - **几何视角**：是概率流形上的切向量 + + + +理解这些联系是掌握连续时间扩散模型的关键。 + + + + +## 5.6 统一框架：Score SDE + + + +### 5.6.1 VP-SDE、VE-SDE和sub-VP-SDE + + + +Score SDE框架统一了各种扩散模型，将它们表示为不同的SDE选择。这里介绍三种主要的SDE类型及其特点。 + + + +#### VP-SDE（Variance Preserving） + + + + 方差保持SDE + +VP-SDE对应于DDPM，其形式为： + + + $$dx = -\frac{1}{2}\beta(t)x dt + \sqrt{\beta(t)}dw$$ + + +其中 $\beta(t)$ 是噪声调度函数。 + + +**关键性质**： + + + + - 保持信号和噪声的总方差近似为1 + - 边缘分布：$p(x_t|x_0) = \mathcal{N}(\sqrt{\bar{\alpha}_t}x_0, (1-\bar{\alpha}_t)I)$ + - 终态分布：$p(x_T) \approx \mathcal{N}(0, I)$ + + + + + +#### VE-SDE（Variance Exploding） + + + + 方差爆炸SDE + +VE-SDE对应于NCSN/SMLD，其形式为： + + + $$dx = \sqrt{\frac{d[\sigma^2(t)]}{dt}}dw$$ + + +其中 $\sigma(t)$ 是递增的噪声水平函数。 + + +**关键性质**： + + + + - 没有漂移项，纯扩散过程 + - 边缘分布：$p(x_t|x_0) = \mathcal{N}(x_0, \sigma^2(t)I)$ + - 方差随时间单调增加至无穷 + + + + + +#### sub-VP-SDE + + + + 次方差保持SDE + +sub-VP-SDE是VP-SDE的连续时间极限： + + + $$dx = -\frac{1}{2}\beta(t)x dt + \sqrt{\beta(t)(1-e^{-2\int_0^t \beta(s)ds})}dw$$ + + +**关键性质**： + + + + - 更精确地保持离散DDPM的边缘分布 + - 扩散系数依赖于历史 + - 数值稳定性更好 + + + + + +#### 三种SDE的比较 + + + + 特性对比 + + + 特性 + VP-SDE + VE-SDE + sub-VP-SDE + + + 漂移项 + 线性 + 无 + 线性 + + + 扩散系数 + $\sqrt{\beta(t)}$ + $\sqrt{\dot{\sigma}^2(t)}$ + 状态依赖 + + + 终态分布 + $\mathcal{N}(0,I)$ + $\mathcal{N}(0,\sigma_T^2 I)$ + $\mathcal{N}(0,I)$ + + + 计算效率 + 高 + 最高 + 中等 + + + + + +#### 噪声调度的选择 + + + + +#### 常用的噪声调度 + + +**VP-SDE的β调度**： + + + + - 线性：$\beta(t) = \beta_{min} + t(\beta_{max} - \beta_{min})$ + - 余弦：$\beta(t) = \beta_{max} \cdot \sin^2(\frac{\pi t}{2T})$ + - 改进线性：考虑信噪比的平滑变化 + + + +**VE-SDE的σ调度**： + + + + - 几何级数：$\sigma_i = \sigma_{min} \cdot (\sigma_{max}/\sigma_{min})^{i/N}$ + - 多项式：$\sigma(t) = \sigma_{min} + t^p(\sigma_{max} - \sigma_{min})$ + + + + + +#### 选择指南 + + + + 何时使用哪种SDE + + + - **VP-SDE**： + + + 标准选择，适合大多数任务 + - 训练稳定，理论完善 + - 与DDPM兼容 + + + + - **VE-SDE**： + + + 需要精确控制噪声水平 + - 多尺度建模 + - 计算效率要求高 + + + + - **sub-VP-SDE**： + + + 需要精确匹配离散模型 + - 理论研究 + - 高精度要求 + + + + + + + + +#### 统一视角的优势 + + + + Score SDE框架的贡献 + + + - **理论统一**：不同方法只是SDE的不同选择 + - **灵活设计**：可以设计新的SDE形式 + - **统一训练**：相同的分数匹配目标 + - **统一采样**：通用的求解器（如PC采样器） + + + + + +### 5.6.2 离散模型作为SDE的特例 + + + +一个深刻的洞察是：所有离散时间的扩散模型都可以看作连续SDE的数值离散化。这个视角不仅统一了理论，还指导了算法改进。 + + + +#### DDPM与VP-SDE的对应关系 + + + + 从离散到连续 + +DDPM的前向过程： + + + $$x_t = \sqrt{\alpha_t}x_{t-1} + \sqrt{1-\alpha_t}\epsilon_t$$ + + +当时间步 $\Delta t \to 0$ 时，设 $\alpha_t = 1 - \beta_t\Delta t$，可得： + + + $$\frac{x_t - x_{t-1}}{\Delta t} \approx -\frac{\beta_t}{2}x_t + \frac{\sqrt{\beta_t}}{\sqrt{\Delta t}}\epsilon_t$$ + + +这正是VP-SDE的Euler-Maruyama离散化。 + + + + +#### NCSN与VE-SDE的对应关系 + + + + +#### 多尺度噪声的连续化 + + +NCSN使用离散的噪声水平 $\{\sigma_i\}_{i=1}^L$，每个水平对应一个加噪分布： + + + $$p_{\sigma_i}(x|x_0) = \mathcal{N}(x_0, \sigma_i^2 I)$$ + + +当 $L \to \infty$ 且噪声水平连续化时，得到VE-SDE： + + + $$dx = \sqrt{\frac{d\sigma^2(t)}{dt}}dw$$ + + + + +#### 离散化误差分析 + + + + 数值格式的影响 + + + 离散化方法 + 局部误差 + 特点 + + + Euler-Maruyama + $O(\Delta t)$ + 简单但精度低 + + + Heun方法 + $O(\Delta t^2)$ + 需要两次函数评估 + + + 随机Runge-Kutta + $O(\Delta t^{3/2})$ + 高精度但复杂 + + + + + +#### 时间步的选择 + + + + 离散步数与连续时间 + +离散模型的步数 $T$ 与连续时间的关系： + + + + - **DDPM**：通常 $T=1000$，对应连续时间 $[0,1]$ + - **改进DDPM**：$T=4000$，更好地逼近连续极限 + - **连续模型**：$T \to \infty$，完全连续 + + + +步数越多，离散模型越接近连续SDE，但计算成本也越高。 + + + + +#### 训练目标的统一 + + + + +#### 分数匹配的一致性 + + +无论是离散还是连续模型，训练目标都是分数匹配： + + + + - **DDPM**：$\mathcal{L} = \mathbb{E}_{t,x_0,\epsilon}[\|\epsilon - \epsilon_\theta(x_t, t)\|^2]$ + - **Score SDE**：$\mathcal{L} = \mathbb{E}_{t,x_0,x_t}[\|s_\theta(x_t, t) - \nabla \log p_{t|0}(x_t|x_0)\|^2]$ + + + +两者通过关系 $\epsilon = -\sigma_t \nabla \log p_{t|0}$ 联系起来。 + + + + +#### 采样算法的继承 + + + + 从离散到连续的算法迁移 + + + - **DDPM采样** → **SDE求解器**： + + + 祖先采样 → Euler-Maruyama方法 + - DDIM → 概率流ODE + + + + - **加速技巧**： + + + 步长调整在连续框架下更自然 + - 自适应求解器可以自动选择步长 + + + + + + + + +#### 连续视角的优势 + + + + 为什么采用连续框架？ + + + - **理论优势**： + + + 更清晰的数学结构 + - 丰富的SDE/PDE理论可用 + - 更容易分析收敛性 + + + + - **算法优势**： + + + 可以使用成熟的ODE/SDE求解器 + - 自适应时间步长 + - 高阶数值方法 + + + + - **灵活性**： + + + 容易设计新的SDE + - 可以在不同SDE之间转换 + - 统一的训练和采样框架 + + + + + + + + +#### 实践指南 + + + + +#### 何时使用离散vs连续 + + + + - **使用离散模型**： + + + 已有成熟的离散实现 + - 固定步数的应用场景 + - 需要与现有DDPM代码兼容 + + + + - **使用连续模型**： + + + 需要灵活的时间步长 + - 追求理论优雅性 + - 探索新的模型设计 + + + + + + + + +### 5.6.3 新的可能性 + + + +Score SDE框架不仅统一了现有方法，更重要的是开启了设计新型扩散模型的大门。这里探讨一些令人兴奋的新方向。 + + + +#### 设计新的SDE + + + + 超越标准选择 + +除了VP-SDE和VE-SDE，我们可以设计具有特殊性质的新SDE： + + + + - **自适应SDE**： + + $$dx = f(x,t,\text{SNR}(x))dt + g(t,\text{SNR}(x))dw$$ + + +根据局部信噪比调整扩散速率 + + + - **各向异性SDE**： + + $$dx = f(x,t)dt + G(x,t)dw$$ + + +$G$是状态依赖的扩散矩阵，不同方向扩散速率不同 + + + - **非线性SDE**： + + $$dx = -\nabla V(x)dt + \sqrt{2T(t)}dw$$ + + +引入势能函数$V(x)$，实现特定的稳态分布 + + + + + + + +#### 混合采样策略 + + + + +#### SDE-ODE混合 + + +在生成过程的不同阶段使用不同的动力学： + + + + - **初始阶段（高噪声）**：使用ODE快速确定大致结构 + - **中间阶段**：使用SDE增加多样性 + - **最终阶段（低噪声）**：再次使用ODE精确细节 + + + +这种策略结合了两者的优势：速度、质量和多样性。 + + + + +#### 条件生成的新方法 + + + + 通过修改SDE实现条件生成 + + + - **引导漂移**： + + $$dx = [f(x,t) + \lambda\nabla\log p(y|x)]dt + g(t)dw$$ + + +在漂移项中加入条件信息 + + + - **条件扩散**： + + $$dx = f(x,t)dt + g(t,y)dw$$ + + +扩散系数依赖于条件$y$ + + + - **约束SDE**： + +在流形上定义SDE，自动满足某些约束 + + + + + + + +#### 加速采样的创新 + + + + 新型求解器设计 + + + - **预测-校正方法**： + + + 预测步：使用高阶ODE求解器 + - 校正步：使用少量Langevin动力学步骤 + + + + - **自适应时间重参数化**： + +在关键区域（如$t \approx 0$）使用更密集的时间步 + + + - **学习型求解器**： + +使用神经网络学习最优的离散化方案 + + + + + + + +#### 多模态扩散 + + + + +#### 不同模态的联合建模 + + +设计处理多种数据类型的统一SDE： + + + + - **图像-文本联合SDE**：不同模态使用不同的扩散速率 + - **层次化SDE**：粗粒度和细粒度特征的分层扩散 + - **图结构SDE**：在图上定义的扩散过程 + + + + + +#### 理论创新方向 + + + + 推动理论边界 + + + - **最优传输视角**： + + + 设计最小化传输成本的SDE + - 学习数据流形间的最优映射 + + + + - **信息几何**： + + + 在概率流形上设计测地线SDE + - 利用Fisher信息优化扩散路径 + + + + - **控制论方法**： + + + 将生成过程视为最优控制问题 + - 学习最优的控制策略 + + + + + + + + +#### 实际应用的新可能 + + + + 突破性应用 + + + - **科学计算**： + + + 分子动力学模拟 + - 量子系统建模 + - 气候模型 + + + + - **逆问题求解**： + + + 医学成像重建 + - 地震波反演 + - 超分辨率 + + + + - **生成式设计**： + + + 材料设计 + - 药物发现 + - 建筑设计 + + + + + + + + +#### 未来展望 + + + + +#### 连续时间框架的潜力 + + +Score SDE框架为扩散模型开辟了广阔的研究空间： + + + + - **理论深度**：与数学物理的深度连接还有待挖掘 + - **算法创新**：新的数值方法和优化技术 + - **应用广度**：从图像生成到科学计算的全方位应用 + - **硬件协同**：为专用硬件设计的SDE + + + +这个框架不仅是技术工具，更是理解生成模型的新范式。 + + + + +## 5.7 数值方法与实现 + + + +### 5.7.1 SDE的数值解法 + + + +准确高效地求解SDE是实现扩散模型的关键。这里介绍主要的数值方法及其在扩散模型中的应用。 + + + +#### Euler-Maruyama方法 + + + + 最基本的SDE求解器 + +对于SDE：$dx = f(x,t)dt + g(t)dw$ + + +Euler-Maruyama离散化为： + + + $$x_{n+1} = x_n + f(x_n, t_n)\Delta t + g(t_n)\sqrt{\Delta t}\cdot z_n$$ + + +其中 $z_n \sim \mathcal{N}(0, I)$。 + + +**特点**： + + + + - 实现简单，计算效率高 + - 强收敛阶：$O(\sqrt{\Delta t})$ + - 弱收敛阶：$O(\Delta t)$ + - 对于线性SDE是精确的 + + + + + +#### Heun方法（改进Euler） + + + + +#### 预测-校正方法 + + +Heun方法通过两步提高精度： + + + + - **预测步**： + + $$\tilde{x}_{n+1} = x_n + f(x_n, t_n)\Delta t + g(t_n)\sqrt{\Delta t}\cdot z_n$$ + + + - **校正步**： + + $$x_{n+1} = x_n + \frac{1}{2}[f(x_n, t_n) + f(\tilde{x}_{n+1}, t_{n+1})]\Delta t + g(t_n)\sqrt{\Delta t}\cdot z_n$$ + + + + + +弱收敛阶提高到 $O(\Delta t^2)$。 + + + + +#### 随机Runge-Kutta方法 + + + + 高阶方法 + +类似于确定性ODE的Runge-Kutta方法，但需要考虑随机积分： + + + + - **阶数选择**：通常使用1.5阶或2.5阶方法 + - **计算成本**：每步需要多次函数评估 + - **稳定性**：对刚性问题更稳定 + + + +适用于需要高精度的场景，但计算成本较高。 + + + + +#### 指数积分器 + + + + 利用线性结构 + +对于具有线性漂移的SDE（如VP-SDE）： + + + $$dx = -\frac{\beta(t)}{2}x dt + \sqrt{\beta(t)}dw$$ + + +可以精确积分线性部分： + + + $$x_{n+1} = e^{-\frac{1}{2}\int_{t_n}^{t_{n+1}}\beta(s)ds} x_n + \text{随机项}$$ + + +**优势**： + + + + - 对线性部分是精确的 + - 数值稳定性好 + - 适合大步长 + + + + + +#### 自适应步长方法 + + + + +#### 动态调整时间步 + + +根据局部误差估计自动调整步长： + + + + - **误差估计**：比较不同阶数方法的结果 + - **步长控制**： + + $$\Delta t_{new} = \Delta t_{old} \cdot \left(\frac{\text{容差}}{\text{误差估计}}\right)^{1/p}$$ + + + - **拒绝机制**：误差过大时重新计算 + + + +在扩散模型中，通常在 $t \approx 0$ 附近需要更小的步长。 + + + + +#### 反向SDE的特殊处理 + + + + 数值挑战与解决方案 + +**挑战**： + + + + - 分数函数在 $t \approx 0$ 附近可能很大 + - 数值误差累积 + - 需要处理边界条件 + + + +**解决方案**： + + + + - **时间重缩放**：使用 $\tau = \log(t)$ 等变换 + - **截断技巧**：在很小的 $t_{min}$ 停止 + - **方差缩放**：调整最后几步的噪声强度 + + + + + +#### 并行化策略 + + + + 提高计算效率 + + + - **批量并行**： + + + 同时处理多个样本 + - 共享分数函数计算 + + + + - **时间并行**： + + + Parareal算法 + - 多重打靶法 + + + + - **GPU优化**： + + + 向量化随机数生成 + - 融合核函数 + + + + + + + + +#### 实践建议 + + + + +#### 选择合适的求解器 + + + + 场景 + 推荐方法 + 原因 + + + 快速原型 + Euler-Maruyama + 简单易实现 + + + 生产部署 + 自适应Heun + 精度与效率平衡 + + + 高质量生成 + 高阶RK + 自适应 + 最高精度 + + + 线性SDE + 指数积分器 + 利用特殊结构 + + + + + +### 5.7.2 ODE求解器的应用 + + + +概率流ODE为扩散模型带来了确定性采样的可能。这里介绍如何有效地使用ODE求解器，以及相关的技巧和挑战。 + + + +#### 标准ODE求解器 + + + + 经典方法在扩散模型中的应用 + +概率流ODE的一般形式： + + + $$\frac{dx}{dt} = f(x,t) - \frac{1}{2}g(t)^2 s_\theta(x,t)$$ + + +**常用求解器**： + + + + - **RK45**：自适应步长的4/5阶Runge-Kutta + - **DOP853**：8阶Dormand-Prince方法 + - **LSODA**：自动刚性检测 + - **Radau**：隐式方法，适合刚性问题 + + + + + +#### DDIM作为ODE求解器 + + + + +#### 从离散到连续的视角 + + +DDIM可以理解为概率流ODE的特殊离散化： + + + + - **DDIM更新规则**： + + $$x_{t-1} = \sqrt{\bar{\alpha}_{t-1}}\left(\frac{x_t - \sqrt{1-\bar{\alpha}_t}\epsilon_\theta(x_t,t)}{\sqrt{\bar{\alpha}_t}}\right) + \sqrt{1-\bar{\alpha}_{t-1}}\epsilon_\theta(x_t,t)$$ + + + - **对应的ODE**：VP-SDE的概率流ODE + - **优势**：专门为扩散模型设计，数值性质好 + + + + + +#### DPM-Solver系列 + + + + 专用高阶求解器 + +DPM-Solver利用扩散ODE的特殊结构： + + + + - **指数积分**：精确处理线性部分 + - **多步方法**：利用历史信息提高精度 + - **阶数**：1阶到3阶版本 + + + +**关键创新**： + + + + - 变量变换：$\lambda_t = \log(\alpha_t/\sigma_t)$ + - 线性多步公式 + - 解析系数计算 + + + + + +#### 自适应步长策略 + + + + 智能时间步选择 + +**误差控制**： + + + + - 局部截断误差估计 + - 嵌入式Runge-Kutta对 + - Richardson外推 + + + +**步长调整**： + + + $$h_{new} = h_{old} \cdot \min\left(f_{max}, \max\left(f_{min}, f_{safe}\left(\frac{\epsilon_{tol}}{\epsilon_{est}}\right)^{1/(p+1)}\right)\right)$$ + + +其中 $f_{safe} \approx 0.9$ 是安全因子。 + + + + +#### 时间重参数化技巧 + + + + +#### 改善数值性质 + + +通过时间变换改善ODE的条件数： + + + + - **对数时间**：$\tau = \log(t)$ + + + 在 $t \approx 0$ 附近展开时间 + - 避免奇异性 + + + + - **信噪比参数化**：$\tau = \log(\text{SNR}(t))$ + + + 均匀化不同时刻的重要性 + - 改善收敛性 + + + + - **学习的时间表**： + + + 神经网络学习最优时间映射 + - 适应具体任务 + + + + + + + + +#### 刚性问题的处理 + + + + 数值稳定性挑战 + +**刚性的来源**： + + + + - 分数函数的大梯度 + - 多尺度动力学 + - 接近数据流形时的快速变化 + + + +**解决方法**： + + + + - **隐式方法**：向后Euler、Radau + - **半隐式方法**：IMEX方案 + - **预条件技术**：改善条件数 + + + + + +#### 快速ODE采样技巧 + + + + 加速策略 + + + - **渐进式采样**： + + + 先用大步长生成粗略结果 + - 在关键区域细化 + + + + - **并行ODE求解**： + + + 多重打靶法 + - 时间分解 + + + + - **知识蒸馏**： + + + 学习少步求解器 + - 直接预测跳跃 + + + + + + + + +#### 质量评估指标 + + + + +#### 如何评价ODE求解质量 + + + + - **轨迹误差**：与高精度参考解比较 + - **不变量保持**：检查概率守恒 + - **生成质量**：FID、IS等感知指标 + - **计算效率**：NFE（函数评估次数） + + + + + +#### 实用建议 + + + + 最佳实践 + + + - **初始实验**：从DDIM或DPM-Solver开始 + - **精度需求高**：使用自适应RK45 + - **速度优先**：固定步长的专用求解器 + - **调试技巧**： + + + 可视化ODE轨迹 + - 监控局部误差 + - 检查数值稳定性 + + + + + + + + +### 5.7.3 实现细节与技巧 + + + +成功实现连续时间扩散模型需要注意许多细节。这里分享一些实践中的关键技巧和常见陷阱。 + + + +#### 时间编码的实现 + + + + 连续时间的神经网络输入 + +**时间嵌入方法**： + + + + - **正弦编码**： + + $$\text{emb}(t) = [\sin(2^0 \pi t), \cos(2^0 \pi t), ..., \sin(2^{L-1} \pi t), \cos(2^{L-1} \pi t)]$$ + + + - **学习的嵌入**： + + + MLP将标量 $t$ 映射到高维向量 + - 更灵活但需要更多参数 + + + + - **傅里叶特征**： + + + 随机频率的正弦基函数 + - 理论保证的表达能力 + + + + + + + + +#### 分数参数化选择 + + + + +#### 不同参数化的权衡 + + +分数函数可以通过不同方式参数化： + + + + - **直接预测分数**：$s_\theta(x,t) = \nabla \log p_t(x)$ + - **预测噪声**：$\epsilon_\theta(x,t)$，然后 $s_\theta = -\epsilon_\theta/\sigma_t$ + - **预测速度**：$v_\theta(x,t) = \dot{x}_t$ + - **预测去噪数据**：$\hat{x}_0 = f_\theta(x_t, t)$ + + + +选择影响训练稳定性和生成质量。 + + + + +#### 数值稳定性技巧 + + + + 避免数值问题 + + + - **对数域计算**： + + + 使用 $\log \bar{\alpha}_t$ 而非 $\bar{\alpha}_t$ + - 避免下溢问题 + + + + - **方差裁剪**： + + + 限制 $\beta(t)$ 的范围 + - 防止数值爆炸 + + + + - **安全除法**： + + $$\frac{a}{b + \epsilon} \text{ 而非 } \frac{a}{b}$$ + + + + + + + +#### 边界条件处理 + + + + $t \approx 0$ 和 $t \approx T$ 的特殊处理 + +**起始时刻 ($t \approx 0$)**： + + + + - 分数函数可能发散 + - 使用最小时间 $t_{min} = 10^{-5}$ + - 特殊的方差缩放 + + + +**终止时刻 ($t \approx T$)**： + + + + - 确保收敛到先验分布 + - 可能需要额外的噪声 + + + + + +#### 训练技巧 + + + + +#### 提高训练效果 + + + + - **重要性采样**： + + + 根据信噪比调整时间采样 + - 在困难区域采样更多 + + + + - **损失加权**： + + + 不同时刻使用不同权重 + - 平衡各尺度的贡献 + + + + - **预条件技巧**： + + + 输入和输出缩放 + - 改善梯度流 + + + + + + + + +#### 内存优化 + + + + 大规模模型的实现 + + + - **梯度检查点**： + + + 时间换空间 + - 在UNet的特定层使用 + + + + - **混合精度训练**： + + + FP16计算，FP32累积 + - 注意数值稳定性 + + + + - **分布式策略**： + + + 数据并行 + - 模型并行（大模型） + + + + + + + + +#### 调试和验证 + + + + 确保正确实现 + + + - **单元测试**： + + + 测试时间离散化的一致性 + - 验证概率守恒 + - 检查可逆性 + + + + - **渐进测试**： + + + 从简单分布开始 + - 逐步增加复杂度 + + + + - **可视化工具**： + + + 轨迹可视化 + - 分数场可视化 + - 中间状态检查 + + + + + + + + +#### 性能优化清单 + + + + +#### 实现检查列表 + + + + 优化项 + 影响 + 难度 + + + 使用编译优化（torch.compile） + 2-3x加速 + 简单 + + + 融合自定义CUDA核 + 10-20%加速 + 困难 + + + 优化注意力计算 + 显著内存节省 + 中等 + + + 缓存中间结果 + 避免重复计算 + 简单 + + + + + +#### 常见错误和解决方案 + + + + 避免常见陷阱 + + + - **时间方向错误**： + + + 确保前向是 $0 \to T$ + - 反向是 $T \to 0$ + + + + - **方差参数化不一致**： + + + 统一使用 $\beta$ 或 $\alpha$ + - 注意累积乘积 + + + + - **随机种子问题**： + + + 训练和采样使用不同种子 + - 确保可重现性 + + + + + + + + +## 5.8 理论深入 + + + +### 5.8.1 存在性与唯一性 + + + +SDE解的存在性与唯一性是扩散模型理论基础的重要组成部分。这些结果保证了模型的数学良定性。 + + + +#### 基本存在唯一性定理 + + + + Itô SDE的存在唯一性 + +考虑SDE：$dx_t = f(x_t, t)dt + g(t)dw_t$ + + +如果满足以下条件： + + + + - **Lipschitz条件**：存在常数 $K$ 使得 + + $$|f(x,t) - f(y,t)| \leq K|x-y|$$ + + + - **线性增长条件**：存在常数 $C$ 使得 + + $$|f(x,t)|^2 + |g(t)|^2 \leq C(1 + |x|^2)$$ + + + + + +则对任意初值 $x_0$，SDE存在唯一的强解。 + + + + +#### 扩散模型中的验证 + + + + +#### 常见SDE的性质检验 + + +**VP-SDE**：$dx = -\frac{\beta(t)}{2}x dt + \sqrt{\beta(t)}dw$ + + + + - 漂移项线性：自动满足Lipschitz条件 + - 有界的 $\beta(t)$ 保证线性增长 + - 结论：存在唯一解 + + + +**VE-SDE**：$dx = \sqrt{\frac{d\sigma^2(t)}{dt}}dw$ + + + + - 无漂移项，条件自动满足 + - 只需 $\sigma(t)$ 连续可微 + + + + + +#### 反向SDE的存在性 + + + + 分数函数的正则性要求 + +反向SDE：$dx = [f(x,t) - g(t)^2\nabla\log p_t(x)]dt + g(t)d\bar{w}$ + + +存在性需要分数函数满足： + + + + - **局部Lipschitz**：在紧集上Lipschitz连续 + - **多项式增长**：$|\nabla\log p_t(x)| \leq C(1 + |x|^k)$ + + + +神经网络通常满足这些条件。 + + + + +#### 弱解与强解 + + + + 解的概念 + + + - **强解**：给定布朗运动 $w_t$，解 $x_t$ 是 $w_t$ 的函数 + - **弱解**：存在某个概率空间和布朗运动使得SDE成立 + + + +对于扩散模型： + + + + - 训练时只需要弱解（分布匹配） + - 确定性采样需要强解 + + + + + +#### 爆炸时间与全局解 + + + + +#### 解的长时间行为 + + +即使局部解存在，也可能在有限时间爆炸。避免爆炸的充分条件： + + + + - **耗散性**：$\langle x, f(x,t) \rangle \leq -\alpha|x|^2 + \beta$ + - **有界扩散**：$|g(t)| \leq M$ + + + +VP-SDE的耗散性保证了全局解的存在。 + + + + +#### 路径正则性 + + + + 解的连续性和可微性 + + + - **连续性**：SDE的解几乎必然连续 + - **Hölder连续性**：指数 $确保输出Lipschitz连续 + - 使用谱归一化等技术 + + + + - **训练稳定性**： + + + 正则化保证解的存在性 + - 梯度裁剪防止爆炸 + + + + - **数值方法选择**： + + + 强解理论支持显式方法 + - 刚性问题可能需要隐式方法 + + + + + + + + +### 5.8.2 收敛性分析 + + + +收敛性分析是理解扩散模型长时间行为和采样质量的关键。这里探讨不同层面的收敛性质。 + + + +#### 分布收敛性 + + + + 前向过程的收敛 + +对于前向SDE，我们关心 $p_t$ 是否收敛到目标分布 $p_\infty$： + + + + - **VP-SDE**：$p_t \to \mathcal{N}(0, I)$ 当 $t \to \infty$ + - **VE-SDE**：$p_t$ 的方差趋于无穷，但标准化后收敛 + + + +**收敛速率**：通常是指数收敛 + + $$W_2(p_t, p_\infty) \leq Ce^{-\lambda t}$$ + + 其中 $W_2$ 是Wasserstein-2距离。 + + + + +#### 反向过程的收敛性 + + + + +#### 生成质量的理论保证 + + +反向SDE的收敛性依赖于： + + + + - **分数估计误差**：$\mathbb{E}[|s_\theta - \nabla\log p_t|^2]$ + - **离散化误差**：时间步长 $\Delta t$ 的影响 + - **有限时间截断**：在 $t_{min}$ 停止的影响 + + + +总误差界： + + $$W_2(p_{gen}, p_{data}) \leq C_1\sqrt{\epsilon_{score}} + C_2\sqrt{\Delta t} + C_3 t_{min}$$ + + + + + +#### 数值方法的收敛阶 + + + + 不同离散化的收敛性 + + + 方法 + 强收敛阶 + 弱收敛阶 + + + Euler-Maruyama + $O(\sqrt{\Delta t})$ + $O(\Delta t)$ + + + Milstein方法 + $O(\Delta t)$ + $O(\Delta t)$ + + + 高阶Runge-Kutta + $O(\Delta t)$ + $O(\Delta t^2)$ + + + +注：扩散模型主要关心弱收敛（分布层面）。 + + + + +#### 遍历性与混合时间 + + + + 长时间行为 + +SDE的遍历性保证了时间平均等于空间平均： + + + $$\lim_{T \to \infty} \frac{1}{T}\int_0^T f(x_t)dt = \int f(x)p_\infty(x)dx$$ + + +**混合时间**：达到平衡分布所需时间 + + + + - VP-SDE：$T_{mix} = O(\frac{1}{\beta_{min}}\log\frac{1}{\epsilon})$ + - 影响因素：噪声强度、初始分布、目标精度 + + + + + +#### 分数匹配的收敛性 + + + + +#### 训练目标的渐近性质 + + +分数匹配损失的最小值： + + + $$\mathcal{L}^* = \inf_{s_\theta} \mathbb{E}_{t,x}[|s_\theta(x,t) - \nabla\log p_t(x)|^2]$$ + + +**收敛保证**： + + + + - 神经网络的通用逼近性 + - 样本复杂度：$O(\frac{d}{\epsilon^2})$ + - 优化收敛：依赖于损失函数的凸性 + + + + + +#### KL散度的演化 + + + + 信息论视角 + +前向过程中KL散度的演化： + + + $$\frac{d}{dt}D_{KL}(p_t \| p_\infty) = -\mathcal{I}(p_t)$$ + + +其中 $\mathcal{I}$ 是Fisher信息。这表明： + + + + - KL散度单调递减 + - 收敛速率由Fisher信息决定 + - 几何解释：沿信息几何的测地线移动 + + + + + +#### 有限样本的影响 + + + + 统计误差分析 + +使用有限样本训练的影响： + + + + - **估计偏差**：$O(1/n)$ + - **估计方差**：$O(1/\sqrt{n})$ + - **泛化误差**：依赖于模型复杂度 + + + +实践建议：样本量 $n$ 应满足 $n \gg d^2/\epsilon^2$。 + + + + +#### 加速收敛的技术 + + + + +#### 改善收敛性的方法 + + + + - **方差缩减**： + + + 控制变量法 + - 重要性采样 + + + + - **预条件技术**： + + + 改变度量使问题更易求解 + - 自适应步长 + + + + - **多尺度方法**： + + + 不同时间尺度的耦合 + - 由粗到细的策略 + + + + + + + + +### 5.8.3 与最优传输的联系 + + + +扩散模型与最优传输理论有着深刻的联系。这种联系不仅提供了新的理论视角，还启发了新的算法设计。 + + + +#### 最优传输问题回顾 + + + + Monge-Kantorovich问题 + +给定两个概率分布 $p_0$ 和 $p_T$，最优传输问题是找到成本最小的传输方案： + + + $$\inf_{\pi \in \Pi(p_0, p_T)} \int c(x,y) d\pi(x,y)$$ + + +其中： + + + + - $\pi$ 是联合分布，边缘为 $p_0$ 和 $p_T$ + - $c(x,y)$ 是传输成本（通常是 $|x-y|^2$） + - $\Pi(p_0, p_T)$ 是所有可行传输方案 + + + + + +#### 动态最优传输 + + + + +#### Benamou-Brenier公式 + + +最优传输可以表示为动态问题： + + + $$W_2^2(p_0, p_T) = \inf_{(p_t, v_t)} \int_0^T \int |v_t(x)|^2 p_t(x) dx dt$$ + + +约束条件： + + + $$\frac{\partial p_t}{\partial t} + \nabla \cdot (p_t v_t) = 0$$ + + +这将离散传输转化为连续时间的流问题。 + + + + +#### 扩散模型作为正则化最优传输 + + + + 熵正则化的视角 + +扩散过程可以看作带熵正则化的最优传输： + + + + - **Schrödinger桥问题**： + + $$\inf_{\mathbb{P}} D_{KL}(\mathbb{P} \| \mathbb{Q}) \text{ s.t. } \mathbb{P}_0 = p_0, \mathbb{P}_T = p_T$$ + + 其中 $\mathbb{Q}$ 是参考过程（如布朗运动） + + - **与扩散的联系**： + + + 解是一个扩散过程 + - 漂移由分数函数决定 + - 正则化参数对应扩散强度 + + + + + + + + +#### 概率流ODE与位移插值 + + + + McCann插值 + +在最优传输中，两个分布之间的测地线由位移插值给出： + + + $$p_t = ((1-t)\text{Id} + tT)_\# p_0$$ + + +其中 $T$ 是最优传输映射。 + + +**与概率流ODE的关系**： + + + + - 概率流ODE定义了一种特殊的插值 + - 当扩散趋于0时，收敛到最优传输 + - 提供了计算测地线的实用方法 + + + + + +#### Wasserstein梯度流 + + + + +#### 能量泛函的梯度流 + + +许多PDE可以写成Wasserstein空间上的梯度流： + + + $$\frac{\partial p}{\partial t} = \nabla \cdot \left(p \nabla \frac{\delta \mathcal{F}[p]}{\delta p}\right)$$ + + +扩散模型的联系： + + + + - 前向过程：相对熵的梯度流 + - 反向过程：可以设计为某个能量的梯度流 + - 提供了变分原理的解释 + + + + + +#### 计算优势 + + + + 为什么这个联系重要？ + + + - **新的算法**： + + + 基于OT的采样方法 + - 更好的插值路径 + - 加速技术 + + + + - **理论保证**： + + + 收敛性分析 + - 最优性条件 + - 稳定性结果 + + + + - **应用扩展**： + + + 不同度量空间 + - 约束传输问题 + - 多边际问题 + + + + + + + + +#### 流匹配与最优传输 + + + + 统一框架 + +流匹配方法直接学习传输速度场： + + + + - **目标**：学习 $v_t$ 使得 $(p_t, v_t)$ 解决传输问题 + - **优势**：避免学习分数函数 + - **联系**：$v_t = f(x,t) - \frac{g^2}{2}\nabla\log p_t$ + + + +这提供了扩散模型的另一种参数化。 + + + + +#### 未来方向 + + + + +#### 开放问题 + + + + - **非欧几里得空间**： + + + 流形上的扩散 + - 图上的最优传输 + + + + - **多模态传输**： + + + 不同空间之间的映射 + - Gromov-Wasserstein距离 + + + + - **计算效率**： + + + 利用OT结构加速 + - 稀疏传输方案 + + + + + + + + +## 5.9 本章小结 + + + + +### 核心概念回顾 + + + +#### 1. 从离散到连续的演进 + + + + - 离散时间扩散模型（DDPM）的局限性 + - 连续时间极限的自然性和优势 + - SDE作为描述扩散过程的统一框架 + + + + +#### 2. 三大支柱 + + + + - **SDE（随机微分方程）**：描述单个粒子的随机演化 + - **ODE（概率流）**：提供确定性的替代方案 + - **PDE（Fokker-Planck）**：刻画概率密度的演化 + + + + +#### 3. 关键数学对象 + + + + - **分数函数** $\nabla \log p_t(x)$：连接所有视角的核心 + - **Anderson定理**：时间反演的理论基础 + - **Score SDE框架**：统一不同扩散模型 + + + + +#### 4. 实践要点 + + + + - 数值求解器的选择：SDE vs ODE + - 时间编码和边界处理 + - 训练稳定性和收敛性保证 + + + + +#### 5. 理论深度 + + + + - 存在唯一性定理保证数学良定性 + - 收敛性分析指导算法设计 + - 与最优传输的联系开启新方向 + + + + + +## 5.10 练习题 + + + + +练习 5.1：从离散到连续 + +考虑DDPM的前向过程：$x_t = \sqrt{\alpha_t}x_{t-1} + \sqrt{1-\alpha_t}\epsilon_t$ + + +设 $\alpha_t = 1 - \beta \Delta t$，其中 $\Delta t = 1/T$，$T$ 是总步数。 + + + + - 推导当 $T \to \infty$ 时的连续时间SDE + - 计算对应的边缘分布 $p(x_t|x_0)$ + - 验证该SDE是VP-SDE的特例 + +**解答：** + + + + - 将离散递推展开： + $$x_t - x_{t-1} = (\sqrt{1-\beta\Delta t} - 1)x_{t-1} + \sqrt{\beta\Delta t}\cdot\frac{\epsilon_t}{\sqrt{\Delta t}}\sqrt{\Delta t}$$ + 利用 $\sqrt{1-\beta\Delta t} \approx 1 - \frac{\beta\Delta t}{2}$，得到： + $$\frac{x_t - x_{t-1}}{\Delta t} \approx -\frac{\beta}{2}x_{t-1} + \sqrt{\beta}\cdot\frac{\epsilon_t}{\sqrt{\Delta t}}$$ + 取极限得到SDE：$dx = -\frac{\beta}{2}x dt + \sqrt{\beta}dw$ + + - 这是线性SDE，解为：$x_t = e^{-\frac{\beta t}{2}}x_0 + \int_0^t e^{-\frac{\beta(t-s)}{2}}\sqrt{\beta}dw_s$ + 因此：$p(x_t|x_0) = \mathcal{N}(e^{-\frac{\beta t}{2}}x_0, 1-e^{-\beta t})$ + + - 这正是VP-SDE在常数 $\beta(t) = \beta$ 情况下的形式。 + + + + + + +练习 5.2：反向SDE推导 + +给定前向SDE：$dx = f(x,t)dt + g(t)dw$ + + + + - 使用Bayes定理说明为什么反向过程需要分数函数 + - 推导反向SDE的漂移项 + - 解释分数函数项 $-g(t)^2\nabla\log p_t(x)$ 的物理意义 + +**解答：** + + + + - 反向转移核需要：$p(x_{t-dt}|x_t) = \frac{p(x_t|x_{t-dt})p(x_{t-dt})}{p(x_t)}$ + 对数形式：$\log p(x_{t-dt}|x_t) = \log p(x_t|x_{t-dt}) + \log p(x_{t-dt}) - \log p(x_t)$ + 这解释了为什么需要 $\nabla \log p_t$。 + + - 使用Girsanov定理或直接计算，可得反向漂移： + $\tilde{f}(x,t) = f(x,t) - g(t)^2\nabla\log p_t(x)$ + + - 物理意义： + + + $f(x,t)$：原始的确定性漂移 + - $-g(t)^2\nabla\log p_t(x)$：补偿扩散造成的概率流失 + - 总效果：将概率"拉回"高密度区域 + + + + + + +练习 5.3：概率流ODE + +考虑VP-SDE：$dx = -\frac{\beta(t)}{2}x dt + \sqrt{\beta(t)}dw$ + + + + - 写出对应的概率流ODE + - 证明ODE和SDE产生相同的边缘分布 + - 讨论何时使用ODE vs SDE进行采样 + +**解答：** + + + + - 概率流ODE：$\frac{dx}{dt} = -\frac{\beta(t)}{2}x - \frac{\beta(t)}{2}\nabla\log p_t(x)$ + 对于高斯分布，$\nabla\log p_t(x) = -\frac{x-\mu_t}{\sigma_t^2}$ + + - 证明：两者对应相同的Fokker-Planck方程 + $$\frac{\partial p}{\partial t} = \frac{\beta(t)}{2}\nabla\cdot(xp) + \frac{\beta(t)}{2}\Delta p$$ + + - 使用建议： + + + ODE：需要精确编码/解码、插值、编辑 + - SDE：需要多样性、避免模式坍塌、纯生成任务 + + + + + + +练习 5.4：Fokker-Planck方程 + +对于SDE：$dx = -x dt + \sqrt{2}dw$ + + + + - 写出对应的Fokker-Planck方程 + - 求解稳态分布 + - 计算从任意初始分布到稳态的收敛时间 + +**解答：** + + + + - Fokker-Planck方程： + $$\frac{\partial p}{\partial t} = \frac{\partial}{\partial x}(xp) + \frac{\partial^2 p}{\partial x^2}$$ + + - 稳态条件 $\frac{\partial p}{\partial t} = 0$ 给出： + $$\frac{d}{dx}(xp) + \frac{dp}{dx} = 0$$ + 解得：$p_\infty(x) = \frac{1}{\sqrt{2\pi}}e^{-x^2/2}$（标准正态分布） + + - 收敛速率由最小特征值决定，这里是指数收敛： + $$\|p_t - p_\infty\|_{L^2} \leq e^{-t}\|p_0 - p_\infty\|_{L^2}$$ + + + + + + +练习 5.5：数值方法比较 + +实现并比较不同的SDE数值解法： + + + + - 实现Euler-Maruyama和Heun方法 + - 在VP-SDE上测试收敛阶 + - 分析计算成本vs精度的权衡 + +**提示：** + + + + - Euler-Maruyama：$x_{n+1} = x_n + f(x_n,t_n)\Delta t + g(t_n)\sqrt{\Delta t}z_n$ + - Heun：先预测再校正，提高确定性部分的精度 + - 使用已知解析解的SDE（如OU过程）验证收敛阶 + - 绘制误差vs步长的对数图，斜率即为收敛阶 + + + + + + +练习 5.6：Score SDE框架 + +证明以下等价关系： + + + + - DDPM的噪声预测 $\epsilon_\theta$ 与分数函数的关系 + - NCSN的多尺度训练与VE-SDE的联系 + - 设计一个新的SDE并分析其性质 + +**解答要点：** + + + + - 关系：$\epsilon_\theta(x_t, t) = -\sigma_t s_\theta(x_t, t)$ + 其中 $\sigma_t = \sqrt{1-\bar{\alpha}_t}$ + + - NCSN的噪声水平 $\{\sigma_i\}$ 对应VE-SDE在离散时刻的值 + - 新SDE示例：非线性漂移 $dx = -x^3 dt + \sqrt{2}dw$ + + + 多模态稳态分布 + - 局部稳定性分析 + - 数值挑战：刚性问题 + + + + + + +挑战题：最优传输视角 + +探索扩散模型与最优传输的联系： + + + + - 证明当 $g(t) \to 0$ 时，概率流ODE收敛到最优传输的位移插值 + - 实现基于最优传输的采样加速方法 + - 讨论Schrödinger桥与扩散模型的关系 + +**研究方向：** + + + + - 参考Benamou-Brenier公式和动态最优传输理论 + - 考虑熵正则化的作用 + - 流匹配方法提供了实际的算法思路 + - 这是当前研究的活跃领域，有很多开放问题 + + + + + + [← 第4章：基于分数的生成模型](chapter4.md) + [返回首页](index.md) + [第6章：流匹配 →](chapter6.md) \ No newline at end of file diff --git a/common.css b/common.css deleted file mode 100644 index 0d9e973..0000000 --- a/common.css +++ /dev/null @@ -1,368 +0,0 @@ -/* Common styles for all tutorial pages */ - -/* Reset and base styles */ -* { - margin: 0; - padding: 0; - box-sizing: border-box; -} - -body { - font-family: -apple-system, BlinkMacSystemFont, "Segoe UI", Roboto, "Helvetica Neue", Arial, sans-serif; - line-height: 1.8; - color: #333; - background-color: #f5f5f5; - padding: 20px; -} - -/* Container styles */ -.container { - max-width: 900px; - margin: 0 auto; - background-color: white; - padding: 40px; - border-radius: 10px; - box-shadow: 0 2px 10px rgba(0,0,0,0.1); -} - -/* Typography */ -h1 { - color: #2c3e50; - margin-bottom: 30px; - font-size: 2.5em; - border-bottom: 3px solid #3498db; - padding-bottom: 10px; -} - -h2 { - color: #34495e; - margin-top: 40px; - margin-bottom: 20px; - font-size: 1.8em; -} - -h3 { - color: #34495e; - margin-top: 30px; - margin-bottom: 15px; - font-size: 1.4em; -} - -p { - margin-bottom: 15px; - text-align: justify; -} - -/* Navigation bar */ -.nav-bar { - background-color: #ecf0f1; - padding: 15px; - border-radius: 8px; - margin-bottom: 30px; - display: flex; - justify-content: space-between; - align-items: center; - flex-wrap: wrap; - gap: 10px; -} - -.nav-bar a { - color: #3498db; - text-decoration: none; - font-weight: 500; -} - -.nav-bar a:hover { - text-decoration: underline; -} - -/* Chapter opening */ -.chapter-intro { - background: linear-gradient(135deg, #f5f7fa 0%, #c3cfe2 100%); - padding: 25px; - border-radius: 10px; - margin-bottom: 30px; - font-size: 1.15em; - line-height: 1.8; - box-shadow: 0 4px 15px rgba(0,0,0,0.05); -} - -/* Chapter summary */ -.chapter-summary { - background-color: #e8f5e9; - padding: 25px; - border-radius: 10px; - margin-top: 50px; - border-left: 4px solid #4caf50; -} - -.chapter-summary h2 { - color: #2e7d32; - margin-top: 0; - margin-bottom: 15px; -} - -/* Math blocks */ -.math-block { - background-color: #f8f9fa; - padding: 20px; - margin: 20px 0; - border-left: 4px solid #3498db; - overflow-x: auto; -} - -/* Definition boxes */ -.definition { - background-color: #e8f4fd; - padding: 20px; - margin: 20px 0; - border-left: 4px solid #2196F3; - border-radius: 4px; -} - -.definition-title { - font-weight: bold; - color: #1976D2; - margin-bottom: 10px; -} - -/* Exercise boxes */ -.exercise { - background-color: #fff3cd; - padding: 20px; - margin: 30px 0; - border-left: 4px solid #ffc107; - border-radius: 4px; -} - -.exercise-title { - font-weight: bold; - color: #856404; - margin-bottom: 10px; -} - -/* Answer boxes */ -.answer { - background-color: #d4edda; - padding: 15px; - margin-top: 15px; - border-radius: 4px; - display: none; -} - -.answer-toggle { - background-color: #28a745; - color: white; - border: none; - padding: 8px 16px; - margin-top: 10px; - border-radius: 4px; - cursor: pointer; - font-size: 0.9em; - transition: background-color 0.3s; -} - -.answer-toggle:hover { - background-color: #218838; -} - -/* Code blocks */ -.code-block { - background-color: #2d2d2d; - color: #f8f8f2; - padding: 20px; - margin: 20px 0; - border-radius: 8px; - overflow-x: auto; - font-family: 'Consolas', 'Monaco', 'Courier New', monospace; - font-size: 0.95em; - line-height: 1.5; -} - -/* Collapsible code sections */ -.code-collapsible { - margin: 20px 0; -} - -.code-toggle { - background-color: #6c757d; - color: white; - border: none; - padding: 10px 20px; - border-radius: 4px 4px 0 0; - cursor: pointer; - font-size: 0.9em; - width: 100%; - text-align: left; - display: flex; - justify-content: space-between; - align-items: center; -} - -.code-toggle:hover { - background-color: #5a6268; -} - -.code-toggle::after { - content: '▼'; - transition: transform 0.3s; -} - -.code-toggle.collapsed::after { - transform: rotate(-90deg); -} - -.code-content { - background-color: #2d2d2d; - color: #f8f8f2; - padding: 20px; - border-radius: 0 0 8px 8px; - overflow-x: auto; - font-family: 'Consolas', 'Monaco', 'Courier New', monospace; - display: block; -} - -.code-content.collapsed { - display: none; -} - -/* Visualizations */ -.visualization { - background-color: #f8f9fa; - padding: 30px; - margin: 20px 0; - border-radius: 8px; - text-align: center; -} - -.figure-caption { - color: #666; - font-size: 0.9em; - margin-top: 10px; - font-style: italic; -} - -/* Lists */ -ul, ol { - margin-left: 30px; - margin-bottom: 15px; -} - -li { - margin-bottom: 8px; -} - -/* Inline code */ -code { - background-color: #f4f4f4; - padding: 2px 6px; - border-radius: 3px; - font-family: 'Consolas', 'Monaco', 'Courier New', monospace; - font-size: 0.9em; -} - -/* Tables */ -table { - width: 100%; - border-collapse: collapse; - margin: 20px 0; -} - -th, td { - padding: 12px; - text-align: left; - border-bottom: 1px solid #ddd; -} - -th { - background-color: #f8f9fa; - font-weight: bold; - color: #34495e; -} - -/* Important notes */ -.note { - background-color: #e3f2fd; - padding: 15px; - margin: 20px 0; - border-left: 4px solid #2196f3; - border-radius: 4px; -} - -.note strong { - color: #1565c0; -} - -/* Warning boxes */ -.warning { - background-color: #ffebee; - padding: 15px; - margin: 20px 0; - border-left: 4px solid #f44336; - border-radius: 4px; -} - -.warning strong { - color: #c62828; -} - -/* Mobile responsiveness */ -@media (max-width: 768px) { - .container { - padding: 20px; - } - - h1 { - font-size: 2em; - } - - h2 { - font-size: 1.5em; - } - - .nav-bar { - flex-direction: column; - gap: 10px; - text-align: center; - } - - .math-block { - padding: 15px; - font-size: 0.9em; - } - - table { - font-size: 0.9em; - } -} - -/* Print styles */ -@media print { - body { - background-color: white; - padding: 0; - } - - .container { - box-shadow: none; - padding: 20px; - } - - .nav-bar { - display: none; - } - - .answer { - display: block !important; - page-break-inside: avoid; - } - - .answer-toggle, - .code-toggle { - display: none; - } - - .code-content { - display: block !important; - } -} \ No newline at end of file diff --git a/common.js b/common.js deleted file mode 100644 index 263674b..0000000 --- a/common.js +++ /dev/null @@ -1,190 +0,0 @@ -// Common JavaScript functionality for all tutorial pages - -// Initialize KaTeX for math rendering -document.addEventListener("DOMContentLoaded", function() { - if (typeof renderMathInElement !== 'undefined') { - renderMathInElement(document.body, { - delimiters: [ - {left: '$$', right: '$$', display: true}, - {left: '$', right: '$', display: false}, - {left: '\\(', right: '\\)', display: false}, - {left: '\\[', right: '\\]', display: true} - ], - throwOnError: false - }); - } -}); - -// Toggle answer visibility -function toggleAnswer(answerId) { - const answer = document.getElementById(answerId); - const button = answer.previousElementSibling; - - if (answer.style.display === 'none' || answer.style.display === '') { - answer.style.display = 'block'; - button.textContent = '隐藏答案'; - } else { - answer.style.display = 'none'; - button.textContent = '显示答案'; - } -} - -// Toggle code block visibility -function toggleCode(codeId) { - const codeContent = document.getElementById(codeId); - const button = codeContent.previousElementSibling; - - if (codeContent.classList.contains('collapsed')) { - codeContent.classList.remove('collapsed'); - button.classList.remove('collapsed'); - } else { - codeContent.classList.add('collapsed'); - button.classList.add('collapsed'); - } -} - -// Create collapsible code block -function createCollapsibleCode(title, code, language = 'python') { - const id = 'code-' + Math.random().toString(36).substr(2, 9); - return ` -
- - -
- `; -} - -// Escape HTML for safe display -function escapeHtml(text) { - const div = document.createElement('div'); - div.textContent = text; - return div.innerHTML; -} - -// Add copy button to code blocks -document.addEventListener('DOMContentLoaded', function() { - const codeBlocks = document.querySelectorAll('.code-block pre, .code-content pre'); - - codeBlocks.forEach(block => { - const wrapper = document.createElement('div'); - wrapper.style.position = 'relative'; - block.parentNode.insertBefore(wrapper, block); - wrapper.appendChild(block); - - const button = document.createElement('button'); - button.textContent = '复制'; - button.style.cssText = ` - position: absolute; - top: 10px; - right: 10px; - background: #3498db; - color: white; - border: none; - padding: 5px 10px; - border-radius: 4px; - cursor: pointer; - font-size: 12px; - `; - - button.addEventListener('click', function() { - const code = block.textContent; - navigator.clipboard.writeText(code).then(() => { - button.textContent = '已复制!'; - setTimeout(() => { - button.textContent = '复制'; - }, 2000); - }); - }); - - wrapper.appendChild(button); - }); -}); - -// Progress tracking -function saveProgress(chapter, section) { - const progress = JSON.parse(localStorage.getItem('diffusion-tutorial-progress') || '{}'); - progress[chapter] = section; - localStorage.setItem('diffusion-tutorial-progress', JSON.stringify(progress)); -} - -function loadProgress(chapter) { - const progress = JSON.parse(localStorage.getItem('diffusion-tutorial-progress') || '{}'); - return progress[chapter] || null; -} - -// Smooth scroll to sections -document.addEventListener('DOMContentLoaded', function() { - const links = document.querySelectorAll('a[href^="#"]'); - - links.forEach(link => { - link.addEventListener('click', function(e) { - e.preventDefault(); - const targetId = this.getAttribute('href').substring(1); - const targetElement = document.getElementById(targetId); - - if (targetElement) { - targetElement.scrollIntoView({ - behavior: 'smooth', - block: 'start' - }); - } - }); - }); -}); - -// Add navigation keyboard shortcuts -document.addEventListener('keydown', function(e) { - // Alt + Left: Previous chapter - if (e.altKey && e.key === 'ArrowLeft') { - const prevLink = document.querySelector('.nav-bar a[href*="chapter"]:first-child'); - if (prevLink && !prevLink.textContent.includes('返回目录')) { - window.location.href = prevLink.href; - } - } - - // Alt + Right: Next chapter - if (e.altKey && e.key === 'ArrowRight') { - const nextLink = document.querySelector('.nav-bar a[href*="chapter"]:last-child'); - if (nextLink) { - window.location.href = nextLink.href; - } - } - - // Alt + Home: Back to index - if (e.altKey && e.key === 'Home') { - window.location.href = 'index.html'; - } -}); - -// Syntax highlighting with Prism.js (if available) -document.addEventListener('DOMContentLoaded', function() { - if (typeof Prism !== 'undefined') { - Prism.highlightAll(); - } -}); - -// Create interactive plot placeholder -function createPlotPlaceholder(id, description) { - return ` -
-
-

📊 交互式图表占位符

-

${description}

-
-
- `; -} - -// Export functions for use in chapter files -window.tutorialUtils = { - toggleAnswer, - toggleCode, - createCollapsibleCode, - saveProgress, - loadProgress, - createPlotPlaceholder -}; \ No newline at end of file diff --git a/diffusion_lib.py b/diffusion_lib.py deleted file mode 100644 index 4fe349c..0000000 --- a/diffusion_lib.py +++ /dev/null @@ -1,217 +0,0 @@ -""" -扩散模型教程 - 核心库 -这个库将随着教程章节逐步构建，提供扩散模型的基础组件 -""" - -import torch -import torch.nn as nn -import torch.nn.functional as F -import numpy as np -from typing import Optional, Tuple, List, Callable -import matplotlib.pyplot as plt -from tqdm import tqdm - - -# ============= 第1章：基础工具函数 ============= - -def linear_beta_schedule(timesteps: int, beta_start: float = 0.0001, beta_end: float = 0.02) -> torch.Tensor: - """ - 线性噪声调度 - - Args: - timesteps: 扩散步数 - beta_start: 起始beta值 - beta_end: 结束beta值 - - Returns: - betas: shape (timesteps,) - """ - return torch.linspace(beta_start, beta_end, timesteps) - - -def cosine_beta_schedule(timesteps: int, s: float = 0.008) -> torch.Tensor: - """ - 余弦噪声调度 (改进的调度策略) - - Args: - timesteps: 扩散步数 - s: 偏移量，防止beta过小 - - Returns: - betas: shape (timesteps,) - """ - steps = timesteps + 1 - x = torch.linspace(0, timesteps, steps) - alphas_cumprod = torch.cos(((x / timesteps) + s) / (1 + s) * torch.pi * 0.5) ** 2 - alphas_cumprod = alphas_cumprod / alphas_cumprod[0] - betas = 1 - (alphas_cumprod[1:] / alphas_cumprod[:-1]) - return torch.clip(betas, 0.0001, 0.9999) - - -def compute_alpha_schedule(betas: torch.Tensor) -> Tuple[torch.Tensor, torch.Tensor, torch.Tensor]: - """ - 从beta计算alpha相关的值 - - Args: - betas: 噪声调度 - - Returns: - alphas: 1 - betas - alphas_cumprod: 累积乘积 - sqrt_alphas_cumprod: 平方根 - """ - alphas = 1.0 - betas - alphas_cumprod = torch.cumprod(alphas, dim=0) - sqrt_alphas_cumprod = torch.sqrt(alphas_cumprod) - sqrt_one_minus_alphas_cumprod = torch.sqrt(1.0 - alphas_cumprod) - - return alphas, alphas_cumprod, sqrt_alphas_cumprod, sqrt_one_minus_alphas_cumprod - - -class DiffusionUtils: - """扩散过程的工具类""" - - def __init__(self, timesteps: int = 1000, beta_schedule: str = 'linear'): - self.timesteps = timesteps - - if beta_schedule == 'linear': - self.betas = linear_beta_schedule(timesteps) - elif beta_schedule == 'cosine': - self.betas = cosine_beta_schedule(timesteps) - else: - raise ValueError(f"Unknown beta schedule: {beta_schedule}") - - # 预计算所有需要的值 - self.alphas = 1.0 - self.betas - self.alphas_cumprod = torch.cumprod(self.alphas, dim=0) - self.sqrt_alphas_cumprod = torch.sqrt(self.alphas_cumprod) - self.sqrt_one_minus_alphas_cumprod = torch.sqrt(1.0 - self.alphas_cumprod) - - # 用于后验分布的计算 - self.posterior_variance = self.betas * (1.0 - self.alphas_cumprod.roll(1)) / (1.0 - self.alphas_cumprod) - self.posterior_variance[0] = self.posterior_variance[1] # 第0步特殊处理 - - def q_sample(self, x_start: torch.Tensor, t: torch.Tensor, noise: Optional[torch.Tensor] = None) -> torch.Tensor: - """ - 前向扩散过程：从x_0采样x_t - q(x_t | x_0) = N(x_t; sqrt(alpha_bar_t) * x_0, (1 - alpha_bar_t) * I) - - Args: - x_start: 初始数据 x_0 - t: 时间步 - noise: 可选的噪声，如果不提供则采样 - - Returns: - x_t: 扩散后的数据 - """ - if noise is None: - noise = torch.randn_like(x_start) - - sqrt_alphas_cumprod_t = self.sqrt_alphas_cumprod[t] - sqrt_one_minus_alphas_cumprod_t = self.sqrt_one_minus_alphas_cumprod[t] - - # 重参数化技巧 - return sqrt_alphas_cumprod_t * x_start + sqrt_one_minus_alphas_cumprod_t * noise - - def visualize_forward_process(self, x_start: torch.Tensor, steps: List[int] = None): - """ - 可视化前向扩散过程 - - Args: - x_start: 初始数据 - steps: 要展示的时间步 - """ - if steps is None: - steps = [0, 250, 500, 750, 999] - - fig, axes = plt.subplots(1, len(steps), figsize=(15, 3)) - - for i, t in enumerate(steps): - t_tensor = torch.tensor([t]) - x_t = self.q_sample(x_start, t_tensor) - - # 假设是图像数据，展示第一个样本 - if len(x_t.shape) == 4: # B, C, H, W - img = x_t[0].permute(1, 2, 0).cpu().numpy() - img = (img - img.min()) / (img.max() - img.min()) # 归一化到[0,1] - axes[i].imshow(img) - else: # 其他类型的数据用散点图 - axes[i].scatter(x_t[:, 0].cpu(), x_t[:, 1].cpu() if x_t.shape[1] > 1 else torch.zeros_like(x_t[:, 0]), alpha=0.5) - - axes[i].set_title(f't = {t}') - axes[i].axis('off') - - plt.tight_layout() - plt.show() - - -# ============= 第2章：神经网络架构（待实现） ============= -# U-Net 和 ViT 架构将在第2章中实现 - -class SimpleUNet(nn.Module): - """简化版U-Net（占位符，将在第2章详细实现）""" - def __init__(self, in_channels: int = 3, out_channels: int = 3, time_emb_dim: int = 32): - super().__init__() - # TODO: 在第2章实现完整的U-Net - self.placeholder = nn.Conv2d(in_channels, out_channels, 3, padding=1) - - def forward(self, x: torch.Tensor, t: torch.Tensor) -> torch.Tensor: - # 占位实现 - return self.placeholder(x) - - -# ============= 第3章：DDPM（待实现） ============= -# DDPM 训练和采样将在第3章中实现 - -class DDPM: - """DDPM模型（占位符，将在第3章详细实现）""" - def __init__(self, model: nn.Module, diffusion_utils: DiffusionUtils): - self.model = model - self.diffusion = diffusion_utils - - def train_step(self, x_0: torch.Tensor) -> torch.Tensor: - """训练步骤（待实现）""" - pass - - def sample(self, batch_size: int, device: torch.device) -> torch.Tensor: - """采样（待实现）""" - pass - - -# ============= 工具函数 ============= - -def plot_samples(samples: torch.Tensor, title: str = "Samples"): - """绘制生成的样本""" - if len(samples.shape) == 4: # 图像 - n_samples = min(16, samples.shape[0]) - fig, axes = plt.subplots(4, 4, figsize=(8, 8)) - axes = axes.flatten() - - for i in range(n_samples): - img = samples[i].permute(1, 2, 0).cpu().numpy() - img = (img - img.min()) / (img.max() - img.min()) - axes[i].imshow(img) - axes[i].axis('off') - else: # 2D数据 - plt.figure(figsize=(6, 6)) - plt.scatter(samples[:, 0].cpu(), samples[:, 1].cpu(), alpha=0.5) - plt.title(title) - - plt.tight_layout() - plt.show() - - -if __name__ == "__main__": - # 测试基础功能 - print("扩散模型核心库 - 第1章功能测试") - - # 测试噪声调度 - utils = DiffusionUtils(timesteps=1000, beta_schedule='cosine') - print(f"Beta范围: {utils.betas[0]:.4f} - {utils.betas[-1]:.4f}") - print(f"Alpha_bar_T: {utils.alphas_cumprod[-1]:.4f}") - - # 测试前向扩散 - x_0 = torch.randn(100, 2) # 100个2D点 - x_t = utils.q_sample(x_0, torch.tensor([999])) - print(f"x_0 均值: {x_0.mean():.4f}, 标准差: {x_0.std():.4f}") - print(f"x_T 均值: {x_t.mean():.4f}, 标准差: {x_t.std():.4f}") \ No newline at end of file diff --git a/index.html b/index.html deleted file mode 100644 index 1e26ed2..0000000 --- a/index.html +++ /dev/null @@ -1,385 +0,0 @@ - - - - - - 扩散模型教程 - Diffusion Models Tutorial - - - -
-

扩散模型教程

-

Diffusion Models: From Theory to Practice

- -
-

欢迎来到扩散模型教程！本教程将带你从基础理论逐步深入到实际应用，帮助你全面理解和掌握扩散模型这一强大的生成模型技术。

-

每个章节包含：

-
    -
  • 理论基础与数学推导
    • -
  • 可视化演示和交互式示例
    • -
  • 编程练习与实践项目
    • -
  • 习题与参考答案（默认折叠）
    • -
-
- -
-

前置知识要求

-

本教程假设读者已具备以下基础知识：

-
    -
  • 概率论与统计：随机变量、概率分布、期望、方差、贝叶斯定理
    • -
  • 线性代数：矩阵运算、特征值分解、向量空间
    • -
  • 微积分：多元微积分、偏导数、链式法则、泰勒展开
    • -
  • 深度学习基础：神经网络、反向传播、卷积网络、Transformer
    • -
  • PyTorch 编程：张量操作、自动微分、模型训练流程
    • -
-

如果对某些概念不熟悉，建议先补充相关知识再开始学习。附录部分提供了部分高级数学概念的速成指南。

-
- -
-

课程章节

- - -
- 第1章：扩散模型导论 - 已完成 -
-
- 介绍扩散模型的基本概念、历史发展、与其他生成模型的比较，以及前向扩散过程的数学基础。 -
- - - -
- 第2章：神经网络架构：U-Net与ViT - 已完成 -
-
- 探索去噪网络的历史发展，从医学图像分割到生成模型，深入理解U-Net架构演进和Vision Transformer的崛起。 -
- - - -
- 第3章：去噪扩散概率模型 (DDPM) - 已完成 -
-
- 深入理解DDPM的核心原理，包括前向过程、反向过程、变分下界推导、训练算法和完整实现。 -
- - - -
- 第4章：基于分数的生成模型 - 已完成 -
-
- 探索score matching和Langevin dynamics，理解扩散模型与分数函数的深层联系。 -
- - - -
- 第5章：连续时间扩散模型 (PDE/SDE) - 已完成 -
-
- 从随机微分方程(SDE)和偏微分方程(PDE)角度理解扩散模型，包括概率流ODE、Fokker-Planck方程等连续时间框架。 -
- - -
-
- 第6章：流匹配 (Flow Matching) - 计划中 -
-
- 连续正则化流、最优传输视角、与扩散模型的联系。 -
-
- -
-
- 第7章：扩散Transformer (DiT) - 计划中 -
-
- Diffusion Transformer架构、与U-Net的对比、可扩展性分析。 -
-
- -
-
- 第8章：采样算法与加速技术 - 计划中 -
-
- 学习DDIM、DPM-Solver等快速采样方法，以及如何优化生成质量与速度的平衡。 -
-
- -
-
- 第9章：条件生成与引导技术 - 计划中 -
-
- 掌握classifier guidance、classifier-free guidance等条件生成技术，实现可控生成。 -
-
- -
-
- 第10章：潜在扩散模型 (LDM) - 计划中 -
-
- 理解Stable Diffusion的架构，学习如何在潜在空间中进行高效的扩散建模。 -
-
- -
-
- 第11章：视频扩散模型 - 计划中 -
-
- 时序建模、3D U-Net、视频生成的挑战与方法。 -
-
- -
-
- 第12章：文本扩散模型 - 计划中 -
-
- 探索离散域上的扩散模型，包括D3PM、Diffusion-LM等文本生成方法，以及embedding空间的扩散技术。 -
-
- -
-
- 第13章：扩散模型的应用 - 计划中 -
-
- 探索图像生成、图像编辑、超分辨率、3D生成等实际应用场景。 -
-
- -
-
- 第14章：前沿研究与未来方向 - 计划中 -
-
- 了解最新研究进展，包括一致性模型、扩散模型的未来发展趋势。 -
-
-
- -
-

附录

- - -
- 附录A：测度论与随机过程速成 - 已完成 -
-
- 为第5章PDE/SDE内容提供数学基础，包括σ-代数、测度、布朗运动等核心概念。 -
- - - -
- 附录B：倒向随机微分方程 (BSDE) 速成 - 已完成 -
-
- 理解扩散模型反向过程的数学工具，包括BSDE基本理论、Feynman-Kac公式等。 -
- - - -
- 附录C：信息几何与分数函数的力学解释 - 已完成 -
-
- 从信息几何角度理解扩散模型，揭示分数函数作为"力"的物理意义，建立与能量优化的联系。 -
- -
-
- - \ No newline at end of file diff --git a/index.md b/index.md new file mode 100644 index 0000000..14cdbde --- /dev/null +++ b/index.md @@ -0,0 +1,224 @@ +# 扩散模型教程 + + +## Diffusion Models: From Theory to Practice + + + + +欢迎来到扩散模型教程！本教程将带你从基础理论逐步深入到实际应用，帮助你全面理解和掌握扩散模型这一强大的生成模型技术。 + + +每个章节包含： + + + + - 理论基础与数学推导 + - 可视化演示和交互式示例 + - 编程练习与实践项目 + - 习题与参考答案（默认折叠） + + + + + + +## 前置知识要求 + + +本教程假设读者已具备以下基础知识： + + + + - **概率论与统计**：随机变量、概率分布、期望、方差、贝叶斯定理 + - **线性代数**：矩阵运算、特征值分解、向量空间 + - **微积分**：多元微积分、偏导数、链式法则、泰勒展开 + - **深度学习基础**：神经网络、反向传播、卷积网络、Transformer + - **PyTorch 编程**：张量操作、自动微分、模型训练流程 + + + +如果对某些概念不熟悉，建议先补充相关知识再开始学习。附录部分提供了部分高级数学概念的速成指南。 + + + + + +## 课程章节 + + + [ + + 第1章：扩散模型导论 + 已完成 + + + 介绍扩散模型的基本概念、历史发展、与其他生成模型的比较，以及前向扩散过程的数学基础。 + + ](chapter1.md) + + [ + + 第2章：神经网络架构：U-Net与ViT + 已完成 + + + 探索去噪网络的历史发展，从医学图像分割到生成模型，深入理解U-Net架构演进和Vision Transformer的崛起。 + + ](chapter2.md) + + [ + + 第3章：去噪扩散概率模型 (DDPM) + 已完成 + + + 深入理解DDPM的核心原理，包括前向过程、反向过程、变分下界推导、训练算法和完整实现。 + + ](chapter3.md) + + [ + + 第4章：基于分数的生成模型 + 已完成 + + + 探索score matching和Langevin dynamics，理解扩散模型与分数函数的深层联系。 + + ](chapter4.md) + + [ + + 第5章：连续时间扩散模型 (PDE/SDE) + 已完成 + + + 从随机微分方程(SDE)和偏微分方程(PDE)角度理解扩散模型，包括概率流ODE、Fokker-Planck方程等连续时间框架。 + + ](chapter5.md) + + + + 第6章：流匹配 (Flow Matching) + 计划中 + + + 连续正则化流、最优传输视角、与扩散模型的联系。 + + + + + + 第7章：扩散Transformer (DiT) + 计划中 + + + Diffusion Transformer架构、与U-Net的对比、可扩展性分析。 + + + + + + 第8章：采样算法与加速技术 + 计划中 + + + 学习DDIM、DPM-Solver等快速采样方法，以及如何优化生成质量与速度的平衡。 + + + + + + 第9章：条件生成与引导技术 + 计划中 + + + 掌握classifier guidance、classifier-free guidance等条件生成技术，实现可控生成。 + + + + + + 第10章：潜在扩散模型 (LDM) + 计划中 + + + 理解Stable Diffusion的架构，学习如何在潜在空间中进行高效的扩散建模。 + + + + + + 第11章：视频扩散模型 + 计划中 + + + 时序建模、3D U-Net、视频生成的挑战与方法。 + + + + + + 第12章：文本扩散模型 + 计划中 + + + 探索离散域上的扩散模型，包括D3PM、Diffusion-LM等文本生成方法，以及embedding空间的扩散技术。 + + + + + + 第13章：扩散模型的应用 + 计划中 + + + 探索图像生成、图像编辑、超分辨率、3D生成等实际应用场景。 + + + + + + 第14章：前沿研究与未来方向 + 计划中 + + + 了解最新研究进展，包括一致性模型、扩散模型的未来发展趋势。 + + + + + + +## 附录 + + + [ + + 附录A：测度论与随机过程速成 + 已完成 + + + 为第5章PDE/SDE内容提供数学基础，包括σ-代数、测度、布朗运动等核心概念。 + + ](appendix-a.md) + + [ + + 附录B：倒向随机微分方程 (BSDE) 速成 + 已完成 + + + 理解扩散模型反向过程的数学工具，包括BSDE基本理论、Feynman-Kac公式等。 + + ](appendix-b.md) + + [ + + 附录C：信息几何与分数函数的力学解释 + 已完成 + + + 从信息几何角度理解扩散模型，揭示分数函数作为"力"的物理意义，建立与能量优化的联系。 + + ](appendix-c.md) \ No newline at end of file From 24da6e9aa37afa984b5902b58893b258d7d2765b Mon Sep 17 00:00:00 2001 From: William Date: Sun, 27 Jul 2025 08:56:17 +0800 Subject: [PATCH 02/62] markdown --- chapter4.md | 3056 ++++--------------------------------------- chapter4_updated.md | 438 ------- 2 files changed, 269 insertions(+), 3225 deletions(-) delete mode 100644 chapter4_updated.md diff --git a/chapter4.md b/chapter4.md index 6e27900..32a1c0b 100644 --- a/chapter4.md +++ b/chapter4.md @@ -1,2956 +1,438 @@ -[← 上一章](chapter3.md) - 第4章 / 共14章 - [下一章 →](chapter5.md) - - +[← 上一章](chapter3.md) | 第4章 / 共14章 | [下一章 →](chapter5.md) # 第4章：基于分数的生成模型 - - - 基于分数的生成模型（Score-based Generative Models）提供了理解扩散模型的另一个重要视角。通过直接学习数据分布的分数函数（score function，即对数概率密度的梯度），我们可以构建强大的生成模型。本章将深入探讨分数匹配、Langevin动力学以及它们与扩散模型的深层联系。从NCSN到Score SDE，我们将看到分数模型如何与DDPM统一在同一框架下。 - - +基于分数的生成模型（Score-based Generative Models）提供了理解扩散模型的另一个重要视角。通过直接学习数据分布的分数函数（score function，即对数概率密度的梯度），我们可以构建强大的生成模型。本章将深入探讨分数匹配、Langevin动力学以及它们与扩散模型的深层联系。从NCSN到Score SDE，我们将看到分数模型如何与DDPM统一在同一框架下。 ## 4.1 分数函数的直觉与重要性 - - ### 4.1.1 什么是分数函数？ - - 分数函数（score function）是概率论和统计学中的一个基本概念，它定义为对数概率密度函数关于数据的梯度： - - - $$\nabla_x \log p(x) = \frac{\nabla_x p(x)}{p(x)}$$ - - +$$\nabla_x \log p(x) = \frac{\nabla_x p(x)}{p(x)}$$ 这个看似简单的定义蕴含着深刻的意义。让我们通过几个例子来理解它。 - - - 例1：一维高斯分布 +**例1：一维高斯分布** 对于标准正态分布 $p(x) = \frac{1}{\sqrt{2\pi}} e^{-\frac{x^2}{2}}$： - - - $$\log p(x) = -\frac{x^2}{2} - \frac{1}{2}\log(2\pi)$$ - - +$$\log p(x) = -\frac{x^2}{2} - \frac{1}{2}\log(2\pi)$$ 分数函数为： - - - $$\nabla_x \log p(x) = -x$$ - - +$$\nabla_x \log p(x) = -x$$ 注意这个结果的直观性： +- 当 $x > 0$ 时，分数为负，指向原点（概率更高的方向） +- 当 $x < 0$ 时，分数为正，同样指向原点 +- 分数的大小与偏离原点的距离成正比 - - - - 当 $x > 0$ 时，分数为负，指向原点（概率更高的方向） - - 当 $x - - +**🔬 研究线索：** 分数函数的这种"指向高概率区域"的性质是否总是成立？考虑多峰分布的情况，分数函数在鞍点附近的行为如何？这涉及到动力系统理论中的稳定性分析。 ### 4.1.2 为什么分数函数重要？ - - 分数函数在机器学习和统计学中扮演着核心角色，其重要性体现在多个方面： - - +分数函数在机器学习和统计学中扮演着核心角色，其重要性体现在多个方面： #### 1. 无需归一化常数 - - 许多复杂的概率模型（如马尔可夫随机场、能量模型）的归一化常数难以计算： - - - $$p(x) = \frac{1}{Z} \exp(-E(x)), \quad Z = \int \exp(-E(x)) dx$$ - - +$$p(x) = \frac{1}{Z} \exp(-E(x)), \quad Z = \int \exp(-E(x)) dx$$ 但分数函数可以直接计算，无需知道 $Z$： +$$\nabla_x \log p(x) = -\nabla_x E(x)$$ - - $$\nabla_x \log p(x) = -\nabla_x E(x)$$ - - - - 实例：Ising模型 +**实例：Ising模型** 在统计物理中的Ising模型中，系统能量为： - - - $$E(x) = -J \sum_{\langle i,j \rangle} x_i x_j - h \sum_i x_i$$ - +$$E(x) = -J \sum_{\langle i,j \rangle} x_i x_j - h \sum_i x_i$$ 其中 $x_i \in \{-1, +1\}$。配分函数 $Z$ 的计算是 #P-hard 问题，但能量的梯度（在连续松弛下）却很容易计算。 - - +**💡 开放问题：** 如何设计高效的分数函数估计器，使其在高维空间中仍然准确？当前的神经网络架构是否最优？考虑引入物理约束或对称性。 #### 2. 采样算法的基础 +分数函数直接告诉我们如何在概率分布中"爬山"： +$$x_{t+1} = x_t + \epsilon \nabla_x \log p(x_t) + \sqrt{2\epsilon} \xi_t$$ -分数函数是许多高效采样算法的核心，特别是基于梯度的马尔可夫链蒙特卡洛（MCMC）方法： - - - - Langevin动力学 - -给定目标分布 $p(x)$，以下随机微分方程的平稳分布是 $p(x)$： - - - $$dx = \nabla_x \log p(x) dt + \sqrt{2} dW_t$$ - - -这表明只需要分数函数就可以从分布中采样！ - - - - -#### 3. 与优化的深刻联系 - - - -分数函数连接了概率建模和优化理论： - - - - - - **梯度上升**：沿着分数函数的方向移动，相当于在对数概率上做梯度上升 - - **模式寻找**：分数函数为零的点对应分布的局部极值（峰或谷） - - **能量最小化**：最大化概率等价于最小化能量，分数函数给出下降方向 - - - - -#### 4. 在生成模型中的应用 - - - -分数函数在现代生成模型中起着关键作用： - - - - -#### 扩散模型的两种视角 - - - - - **去噪视角（DDPM）**：学习在不同噪声水平下去除噪声 - - **分数匹配视角**：学习不同时刻的分数函数 $\nabla_x \log p_t(x)$ - - - -这两种视角在数学上是等价的！去噪函数和分数函数之间存在简单的线性关系。 - - - - -#### 5. 理论优势 - - - - Fisher信息与分数函数 - -Fisher信息矩阵定义为： - - - $$\mathcal{I} = \mathbb{E}_{x \sim p}[\nabla_x \log p(x) \nabla_x \log p(x)^T]$$ - - -它刻画了分布的"信息几何"，在： - - - - - 参数估计的Cramér-Rao下界 - - 自然梯度下降 - - 信息几何和流形优化 - - - -中都起着核心作用。 - - - - - -# 演示分数函数的各种应用 -import torch -import torch.nn as nn - -class ScoreFunctionApplications: - """分数函数的应用演示""" - - @staticmethod - def langevin_sampling(score_fn, x_init, n_steps=1000, step_size=0.01): - """使用Langevin动力学采样 - - Args: - score_fn: 分数函数 s(x) = ∇log p(x) - x_init: 初始点 - n_steps: 采样步数 - step_size: 步长 - """ - x = x_init.clone() - samples = [x.clone()] - - for _ in range(n_steps): - noise = torch.randn_like(x) - x = x + step_size * score_fn(x) + torch.sqrt(2 * step_size) * noise - samples.append(x.clone()) - - return torch.stack(samples) - - @staticmethod - def mode_finding(score_fn, x_init, n_steps=100, step_size=0.1): - """使用分数函数寻找模式（局部最大值） - - 通过梯度上升找到 ∇log p(x) = 0 的点 - """ - x = x_init.clone() - x.requires_grad_(True) - - for _ in range(n_steps): - score = score_fn(x) - x = x + step_size * score - - # 检查收敛 - if torch.norm(score) - - - -#### 6. 计算效率 - - - 在高维空间中，分数函数的计算和学习往往比直接学习概率密度更高效： - - - - - - **局部信息**：分数函数只需要局部梯度信息，不需要全局积分 - - **可并行化**：不同数据点的分数可以独立计算 - - **梯度友好**：神经网络天然适合学习梯度形式的函数 - - +其中 $\xi_t \sim \mathcal{N}(0, I)$。这就是著名的Langevin动力学。 +**⚡ 实现挑战：** Langevin采样在高维空间收敛极慢。如何设计自适应步长？如何处理多尺度问题？预条件器的选择至关重要，可以考虑使用 `torch.optim.LBFGS` 中的Hessian近似思想。 ### 4.1.3 分数函数的几何意义 +从几何角度看，分数函数定义了数据流形上的一个向量场。这个向量场有着优美的性质： +**性质1：梯度流的不动点** +$$\nabla_x \log p(x^*) = 0 \Leftrightarrow x^* \text{ 是 } p(x) \text{ 的局部极值点}$$ -分数函数不仅是一个数学工具，它还有深刻的几何直觉。理解这些几何性质有助于我们更好地设计和分析基于分数的算法。 - - - -#### 1. 分数函数作为向量场 +**性质2：体积收缩** +分数函数的散度反映了概率密度的局部曲率： +$$\nabla \cdot (\nabla \log p(x)) = \nabla^2 \log p(x) + \|\nabla \log p(x)\|^2$$ +**🌟 理论缺口：** 分数函数的全局几何性质还未被完全理解。特别是在流形上的分数函数理论仍在发展中。这与最优传输理论有深刻联系，但具体的联系仍需探索。 +
+练习 4.1：探索分数函数的性质 -分数函数 $\nabla_x \log p(x)$ 在每个点 $x$ 定义了一个向量，这些向量共同构成了一个向量场。这个向量场有特殊的性质： +1. 证明对于指数族分布 $p(x) = h(x)\exp(\eta^T T(x) - A(\eta))$，分数函数具有特殊形式。 +2. **开放探索**：考虑混合高斯分布 $p(x) = \sum_i \pi_i \mathcal{N}(x; \mu_i, \Sigma_i)$。 + - 分析分数函数在不同区域的行为 + - 什么条件下会出现"分数坍塌"（score collapse）？ + - 如何设计对这种现象鲁棒的学习算法？ +**研究思路**： +- 从动力系统角度分析相空间的结构 +- 考虑引入正则化项来避免数值不稳定 +- 探索与最优传输的联系 +
-#### 向量场的直观理解 +## 4.2 分数匹配：学习未知分布的分数 +### 4.2.1 经典分数匹配 +给定数据分布 $p_{data}(x)$ 的样本，如何学习其分数函数？Hyvärinen (2005) 提出了分数匹配（Score Matching）方法。 - - **方向**：指向概率密度增长最快的方向 - - **大小**：反映概率密度的变化率 - - **流线**：沿着向量场的积分曲线从低概率区域流向高概率区域 +**基本思想**：最小化模型分数与真实分数的差异 +$$\mathcal{L}_{SM} = \mathbb{E}_{p_{data}}\left[\frac{1}{2}\|\nabla_x \log p_{model}(x) - \nabla_x \log p_{data}(x)\|^2\right]$$ +但这里有个问题：我们不知道 $\nabla_x \log p_{data}(x)$！ +**Hyvärinen的天才洞察**：通过分部积分，可以得到一个等价的目标函数，不需要真实分数： +$$\mathcal{L}_{SM} = \mathbb{E}_{p_{data}}\left[\text{tr}(\nabla_x^2 \log p_{model}(x)) + \frac{1}{2}\|\nabla_x \log p_{model}(x)\|^2\right] + \text{const}$$ +**🔬 研究线索：** 分数匹配的这种"隐式"特性是否可以推广到其他问题？考虑在因果推断、强化学习中的应用。隐式方法避免了直接估计难以处理的量，这个思想值得深入探索。 - 二维高斯分布的分数场 - -对于二维高斯分布 $\mathcal{N}(\mu, \Sigma)$，分数函数为： - - - $$\nabla_x \log p(x) = -\Sigma^{-1}(x - \mu)$$ - - - -几何特征： - - - - - 所有向量都指向均值 $\mu$ - - 距离均值越远，向量越长 - - 等概率线（椭圆）与分数向量正交 - - 沿着主轴方向，收敛速度由特征值决定 - - - - - -#### 2. 分数函数与水平集 - - - -概率密度的水平集（等概率面）与分数函数有密切关系： - - - - 水平集的正交性 - -在任意点 $x$，分数函数 $\nabla_x \log p(x)$ 垂直于过该点的等概率面。 - - - -**证明草图**：设 $S_c = \{x : p(x) = c\}$ 是水平集。在 $S_c$ 上的任意切向量 $v$ 满足： - - - $$v \cdot \nabla p(x) = 0$$ - - -因此： - - - $$v \cdot \nabla \log p(x) = v \cdot \frac{\nabla p(x)}{p(x)} = 0$$ - - - - -#### 3. 分数函数的散度与拉普拉斯算子 - - - -分数函数的散度揭示了分布的局部几何： - - - - $$\nabla \cdot (\nabla \log p(x)) = \nabla^2 \log p(x) = \frac{\nabla^2 p(x)}{p(x)} - \frac{\|\nabla p(x)\|^2}{p(x)^2}$$ - - - - -#### 散度的几何含义 - - - - - **正散度**：该点是"源"，概率向外扩散（通常在分布的谷底） - - **负散度**：该点是"汇"，概率向内聚集（通常在分布的峰值附近） - - **零散度**：平衡点，可能是鞍点 - - - - - -#### 4. 动力系统视角 - - - -将分数函数视为动力系统 $\dot{x} = \nabla_x \log p(x)$ 的向量场，我们可以分析其稳定性： - - - - 平衡点与稳定性 - - - - **平衡点**：$\nabla_x \log p(x^*) = 0$ 对应概率密度的临界点 - - **稳定性**：由Hessian矩阵 $H = \nabla^2 \log p(x^*)$ 决定 - - - $H \prec 0$（负定）：稳定吸引子，对应局部最大值 - - $H \succ 0$（正定）：不稳定排斥点，对应局部最小值 - - $H$ 不定：鞍点 - - - - - - - - - -# 可视化分数函数的几何性质 -import torch -import numpy as np - -def analyze_score_geometry(score_fn, x): - """分析给定点的分数函数几何性质""" - x = x.requires_grad_(True) - - # 计算分数 - score = score_fn(x) - - # 计算散度（Laplacian of log p） - divergence = 0 - for i in range(len(x)): - grad_i = torch.autograd.grad(score[i], x, - retain_graph=True, - create_graph=True)[0] - divergence += grad_i[i] - - # 计算Hessian（用于稳定性分析） - hessian = torch.zeros(len(x), len(x)) - for i in range(len(x)): - for j in range(len(x)): - if j >= i: # 利用对称性 - hess_ij = torch.autograd.grad(score[i], x, - retain_graph=True, - create_graph=True)[0][j] - hessian[i, j] = hess_ij - hessian[j, i] = hess_ij - - # 特征值分析 - eigenvalues, eigenvectors = torch.linalg.eigh(hessian) - - return { - 'score': score.detach(), - 'divergence': divergence.detach(), - 'hessian': hessian.detach(), - 'eigenvalues': eigenvalues.detach(), - 'eigenvectors': eigenvectors.detach() - } - -# 示例：分析二维高斯混合的几何性质 -def gmm_score(x, means, weights): - """高斯混合模型的分数函数""" - scores = [] - probs = [] - - for i, (mean, weight) in enumerate(zip(means, weights)): - diff = x - mean - prob = weight * torch.exp(-0.5 * torch.sum(diff**2)) - score = -diff - scores.append(prob * score) - probs.append(prob) - - total_prob = sum(probs) - total_score = sum(scores) / (total_prob + 1e-8) - - return total_score - -# 分析不同位置的几何性质 -means = [torch.tensor([-2.0, 0.0]), torch.tensor([2.0, 0.0])] -weights = [0.5, 0.5] - -# 在峰值处 -x_peak = torch.tensor([-2.0, 0.0]) -geometry_peak = analyze_score_geometry( - lambda x: gmm_score(x, means, weights), x_peak -) -print(f"峰值处：散度 = {geometry_peak['divergence']:.3f}") -print(f"特征值：{geometry_peak['eigenvalues']}") - -# 在鞍点处（两峰之间） -x_saddle = torch.tensor([0.0, 0.0]) -geometry_saddle = analyze_score_geometry( - lambda x: gmm_score(x, means, weights), x_saddle -) -print(f"\\n鞍点处：散度 = {geometry_saddle['divergence']:.3f}") -print(f"特征值：{geometry_saddle['eigenvalues']}") - - - -#### 5. 分数函数的流形结构 - - - 在高维空间中，数据往往集中在低维流形附近。分数函数能够捕捉这种流形结构： - - - - -#### 流形上的分数分解 - - -在数据流形 $\mathcal{M}$ 附近，分数函数可以分解为： - - - $$\nabla_x \log p(x) = \nabla_{\mathcal{M}} \log p(x) + \nabla_{\perp} \log p(x)$$ - - - - - **切向分量** $\nabla_{\mathcal{M}} \log p(x)$：沿着流形移动，探索数据分布 - - **法向分量** $\nabla_{\perp} \log p(x)$：将点拉回流形，去除噪声 - - - -这解释了为什么分数模型能够有效地进行去噪和生成。 - - - - -#### 6. 与最优传输的联系 - - - -分数函数还与最优传输理论有深刻联系： - - - - Fokker-Planck方程 - -考虑概率流 $\partial_t p_t + \nabla \cdot (p_t v_t) = 0$，其中 $v_t$ 是速度场。如果选择： - - - $$v_t(x) = \nabla_x \log p_t(x)$$ - - -则得到的是梯度流，它在某种意义下是"最优"的传输方式。 - - - - -## 4.2 分数匹配（Score Matching） - - - -### 4.2.1 朴素分数匹配的困难 - +### 4.2.2 去噪分数匹配（Denoising Score Matching） +计算Hessian矩阵的迹 `torch.autograd.functional.hessian` 在高维情况下代价高昂。Vincent (2011) 提出了一个巧妙的替代方案： -给定数据分布 $p_{data}(x)$ 的样本，我们希望学习一个模型 $s_\theta(x)$ 来逼近真实的分数函数 $\nabla_x \log p_{data}(x)$。最直接的想法是最小化： +**核心思想**：向数据添加噪声，然后学习去噪 +$$\tilde{x} = x + \sigma \epsilon, \quad \epsilon \sim \mathcal{N}(0, I)$$ +去噪分数匹配目标： +$$\mathcal{L}_{DSM} = \mathbb{E}_{p_{data}(x)}\mathbb{E}_{\epsilon}\left[\frac{1}{2}\|s_\theta(\tilde{x}, \sigma) + \frac{\epsilon}{\sigma}\|^2\right]$$ +**关键洞察**：这个目标函数在学习"如何去噪"，而去噪方向正是分数函数的方向！ - $$\mathcal{L}_{naive}(\theta) = \mathbb{E}_{x \sim p_{data}}\left[\|s_\theta(x) - \nabla_x \log p_{data}(x)\|^2\right]$$ +**💡 开放问题：** +1. 最优的噪声调度是什么？当前的线性或几何调度是否最优？ +2. 能否设计自适应的噪声调度，根据局部几何自动调整？ +3. 非高斯噪声（如Laplace噪声）会带来什么优势？ +### 4.2.3 基于切片的分数匹配（Sliced Score Matching） +**⚡ 实现挑战：** 计算高维Hessian的另一种方法是使用随机投影： -但这个目标函数存在一个致命问题：**我们不知道真实的分数函数** $\nabla_x \log p_{data}(x)$！ +$$\mathcal{L}_{SSM} = \mathbb{E}_{p_{data}}\mathbb{E}_{v \sim \mathcal{N}(0,I)}\left[v^T\nabla_x^2 \log p_{model}(x)v + \frac{1}{2}(v^T\nabla_x \log p_{model}(x))^2\right]$$ +这只需要计算方向导数，可以用 `torch.autograd.grad` 高效实现。但投影会损失信息，如何选择最优的投影方向仍是开放问题。 +
+练习 4.2：实现与分析不同的分数匹配方法 +1. 实现三种分数匹配方法，比较它们在2D数据上的表现。 -#### 朴素方法的困境 +2. **开放探索**：设计新的分数匹配方法 + - 考虑使用对抗训练来匹配分数 + - 探索基于最优传输的分数匹配 + - 研究在流形上的分数匹配 +**研究思路**： +- 分析不同方法的方差-偏差权衡 +- 考虑计算效率与估计精度的平衡 +- 探索与其他无监督学习方法的联系 -计算 $\nabla_x \log p_{data}(x)$ 需要知道 $p_{data}(x)$，但： +
+## 4.3 噪声条件分数网络（NCSN） +### 4.3.1 多尺度去噪分数匹配 - - 如果我们知道 $p_{data}(x)$，就不需要学习了 - - 即使用核密度估计等方法估计 $p_{data}(x)$，在高维空间中也会失效 - - 数值微分在高维空间中不稳定且计算昂贵 +Song & Ermon (2019) 的关键创新是引入多个噪声尺度： +$$\{\sigma_i\}_{i=1}^L, \quad \sigma_1 > \sigma_2 > \cdots > \sigma_L$$ +**动机**： +- 大噪声帮助覆盖整个空间，避免模式遗漏 +- 小噪声帮助精确建模细节 +- 不同尺度提供了"课程学习"效果 -这似乎是一个无解的循环依赖！ +**🌟 理论缺口：** 噪声尺度的选择缺乏严格的理论指导。当前主要依赖经验和网格搜索。能否从信息论或最优控制角度推导最优调度？ +### 4.3.2 退火Langevin动力学 +NCSN使用退火策略进行采样： +``` +对于每个噪声级别 σ_i: + 运行 T 步 Langevin 动力学 + 逐渐减小步长 +``` -#### Hyvärinen的突破性发现 +**💡 开放问题：** +1. 如何自动确定每个噪声级别的迭代次数？ +2. 能否设计连续的退火过程而非离散级别？ +3. 如何处理采样过程中的metastability？ +### 4.3.3 架构设计考虑 +NCSN使用带条件的U-Net架构： +- 输入：带噪声的数据 + 噪声级别 +- 输出：该噪声级别下的分数估计 -2005年，Aapo Hyvärinen提出了一个巧妙的解决方案。他发现可以将上述损失函数改写为不依赖于真实分数的形式： +**⚡ 实现挑战：** +- 不同噪声级别的分数尺度差异巨大，如何归一化？ +- 是否应该为不同噪声级别使用不同的网络？ +- 如何在网络中有效编码噪声级别信息？使用 `torch.nn.Embedding` 还是连续编码？ +
+练习 4.3：探索NCSN的改进 +1. 实现基础NCSN并分析其在不同数据分布上的表现。 - 分数匹配定理（Hyvärinen, 2005） +2. **开放探索**：改进NCSN + - 设计自适应的噪声调度算法 + - 探索非欧几里德空间（如球面、双曲空间）上的NCSN + - 研究NCSN与谱方法的结合 -在适当的正则性条件下（$p(x)$ 在边界处趋于零），以下等式成立： +**研究思路**： +- 从优化理论角度分析收敛性 +- 考虑引入物理先验（如能量守恒） +- 探索与神经ODE的联系 +
- $$\mathbb{E}_{x \sim p_{data}}\left[\|s_\theta(x) - \nabla_x \log p_{data}(x)\|^2\right] = \mathbb{E}_{x \sim p_{data}}\left[\text{tr}(\nabla_x s_\theta(x)) + \frac{1}{2}\|s_\theta(x)\|^2\right] + C$$ +## 4.4 Langevin动力学与采样 +### 4.4.1 连续时间Langevin动力学 -其中 $C$ 是不依赖于 $\theta$ 的常数，$\text{tr}(\nabla_x s_\theta(x))$ 是雅可比矩阵的迹。 +Langevin方程描述了布朗粒子在势场中的运动： +$$dX_t = \nabla \log p(X_t)dt + \sqrt{2}dW_t$$ +这个SDE的平稳分布正是 $p(x)$。 +**🔬 研究线索：** Langevin动力学与物理学中的涨落-耗散定理有深刻联系。能否利用这种联系设计更高效的采样算法？考虑引入"记忆"效应或非马尔可夫动力学。 -#### 证明的关键思想 +### 4.4.2 离散化与误差分析 +Euler-Maruyama离散化： +$$x_{k+1} = x_k + \epsilon s_\theta(x_k) + \sqrt{2\epsilon}\xi_k$$ +**关键问题**： +- 离散化误差如何累积？ +- 如何选择步长 $\epsilon$？ +- 何时停止迭代？ -证明使用了分部积分的技巧。让我们看一个简化的一维情况： +**🌟 理论缺口：** 非凸情况下的收敛性分析仍不完整。特别是： +1. 有限时间内的混合时间界 +2. 非光滑分数函数的影响 +3. 离散化对不变测度的影响 +### 4.4.3 加速采样技术 +标准Langevin采样很慢，几种加速技术： - 一维情况的推导 +1. **预条件Langevin动力学** + $$dX_t = G(X_t)\nabla \log p(X_t)dt + \sqrt{2G(X_t)}dW_t$$ + + 其中 $G(x)$ 是预条件矩阵。 -考虑期望： +2. **动量方法（Hamiltonian Monte Carlo）** + 引入动量变量，利用哈密顿动力学。 +3. **并行链** + 运行多个温度的Markov链，交换状态。 - $$\mathbb{E}_{x \sim p}[(s_\theta(x) - \nabla_x \log p(x))^2]$$ +**💡 开放问题：** +- 如何自动设计最优预条件器？ +- 能否利用神经网络学习加速采样？ +- 如何在保持正确性的同时最大化并行效率？ +
+练习 4.4：Langevin采样的深入研究 +1. 实现不同的Langevin采样变体，比较效率。 -展开后： +2. **开放探索**：新型采样算法 + - 设计基于最优传输的采样路径 + - 探索量子启发的采样算法 + - 研究在离散空间上的"Langevin"动力学 +**研究思路**： +- 分析不同算法的偏差-方差权衡 +- 考虑自适应和在线学习策略 +- 探索与强化学习的联系（采样作为决策过程） - $$= \mathbb{E}_{x \sim p}[s_\theta(x)^2] - 2\mathbb{E}_{x \sim p}[s_\theta(x) \nabla_x \log p(x)] + \mathbb{E}_{x \sim p}[(\nabla_x \log p(x))^2]$$ +
+## 4.5 统一视角：Score-Based Models与Diffusion Models +### 4.5.1 DDPM作为特殊的分数模型 -关键是处理中间项。注意到 $\nabla_x \log p(x) = \frac{\nabla_x p(x)}{p(x)}$，所以： +关键发现：DDPM的去噪目标等价于分数匹配！ +DDPM学习： +$$\mathbb{E}[\|\epsilon - \epsilon_\theta(x_t, t)\|^2]$$ - $$\mathbb{E}_{x \sim p}[s_\theta(x) \nabla_x \log p(x)] = \int s_\theta(x) \frac{\nabla_x p(x)}{p(x)} p(x) dx = \int s_\theta(x) \nabla_x p(x) dx$$ +而加噪数据的分数函数： +$$\nabla_{x_t} \log p_t(x_t) = -\frac{\epsilon}{\sqrt{1-\bar{\alpha}_t}}$$ +因此DDPM实际上在学习（重新缩放的）分数函数。 +**🔬 研究线索：** 这种等价性是巧合还是有更深层的原因？考虑从信息几何或最优传输角度理解这种联系。 -使用分部积分（假设边界项为零）： +### 4.5.2 连续时间框架 +Song et al. (2021) 提出了统一的SDE框架： - $$\int s_\theta(x) \nabla_x p(x) dx = -\int \nabla_x s_\theta(x) p(x) dx = -\mathbb{E}_{x \sim p}[\nabla_x s_\theta(x)]$$ +前向SDE： +$$dx = f(x,t)dt + g(t)dW_t$$ +对应的反向SDE： +$$dx = [f(x,t) - g(t)^2\nabla_x \log p_t(x)]dt + g(t)d\bar{W}_t$$ +不同选择的 $f$ 和 $g$ 对应不同的模型： +- VP-SDE (Variance Preserving) +- VE-SDE (Variance Exploding) +- sub-VP-SDE +**💡 开放问题：** +1. 什么样的SDE选择是最优的？ +2. 能否自适应地学习SDE系数？ +3. 非线性SDE会带来什么优势？ -#### 实际的困难 +### 4.5.3 概率流ODE +每个SDE都有对应的概率流ODE： +$$dx = [f(x,t) - \frac{1}{2}g(t)^2\nabla_x \log p_t(x)]dt$$ +这个ODE： +- 具有相同的边际分布 +- 但是确定性的 +- 可以用于精确似然计算 -虽然Hyvärinen的分数匹配理论上解决了问题，但在实践中仍面临挑战： +**⚡ 实现挑战：** +- ODE求解器的选择（`torchdiffeq.odeint` 的不同方法） +- 如何权衡精度与速度？ +- 如何处理刚性ODE？ +
+练习 4.5：探索统一框架 +1. 实现不同的SDE并比较它们的特性。 +2. **开放探索**：扩展统一框架 + - 设计新的SDE族 + - 探索非欧几里德空间上的扩散 + - 研究带约束的扩散过程 -#### 计算挑战 +**研究思路**： +- 从几何角度理解不同SDE的含义 +- 考虑引入自适应或学习的SDE系数 +- 探索与最优控制的联系 +
+## 4.6 高级主题与前沿研究 - - **雅可比矩阵的迹**：计算 $\text{tr}(\nabla_x s_\theta(x))$ 需要 $d$ 次反向传播（$d$ 是数据维度） +### 4.6.1 条件分数模型 +给定条件 $y$，如何建模 $p(x|y)$ 的分数？ - 对于图像（$d \sim 10^6$），计算成本过高 - - 虽然有Hutchinson迹估计等技巧，但会引入额外的方差 +**方法1：直接建模** +$$s_\theta(x, y, t) \approx \nabla_x \log p_t(x|y)$$ +**方法2：分类器引导** +$$\nabla_x \log p(x|y) = \nabla_x \log p(x) + \nabla_x \log p(y|x)$$ - +**🌟 理论缺口：** +- 两种方法的理论比较尚不完整 +- 如何处理高维或结构化的条件？ +- 组合性条件生成仍是挑战 - - **数值稳定性**： +### 4.6.2 流形上的分数模型 +现实数据常位于低维流形上，如何在流形上定义分数函数？ - 在数据分布的低密度区域，分数可能非常大 - - 训练不稳定，容易发散 +**挑战**： +- 需要流形的局部坐标系 +- 切空间上的分数函数定义 +- 测地线vs欧氏距离 +**💡 开放问题：** +- 如何学习未知流形的几何？ +- 能否设计流形感知的神经网络架构？ +- 如何处理拓扑变化？ - +### 4.6.3 分数模型的理论基础 - - **边界条件**： +**未解决的理论问题**： +1. **样本复杂度**：需要多少样本才能学好分数函数？ +2. **逼近误差**：神经网络的表达能力限制 +3. **优化景观**：分数匹配的优化是否是良性的？ - 理论要求 $p(x) \to 0$ 当 $\|x\| \to \infty$ - - 实际数据可能不满足这个条件 +**🔬 研究线索：** 这些问题与统计学习理论、逼近理论和优化理论都有联系。特别是与神经切线核(NTK)理论的联系值得探索。 +
+综合练习：设计你的分数生成模型 - +基于本章所学，设计一个新的分数生成模型： +1. **问题设定**：选择一个具有挑战性的生成任务 + - 如：图上的分子生成、3D点云生成、时间序列生成 +2. **方法设计**： + - 如何定义合适的分数函数？ + - 采用什么训练策略？ + - 如何设计高效的采样算法？ +3. **理论分析**： + - 你的方法有什么理论保证？ + - 与现有方法相比有什么优势？ +4. **开放研究方向**： + - 识别你的方法中的理论缺口 + - 提出可能的改进方向 + - 设计验证实验 +**研究思路**： +- 从应用需求出发，识别现有方法的不足 +- 考虑跨学科的思想借鉴 +- 注重理论与实践的结合 -# 朴素分数匹配的实现（仅用于说明，实践中很少使用） -import torch -import torch.nn as nn - -def compute_score_matching_loss(model, x): - """计算分数匹配损失（朴素版本） - - Args: - model: 神经网络，输出分数估计 s_θ(x) - x: 批量数据点 [batch_size, dim] - - Returns: - loss: 分数匹配损失 - """ - x = x.requires_grad_(True) - score = model(x) - - # 计算雅可比矩阵的迹 - # 注意：这需要 dim 次反向传播！ - trace_jacobian = 0 - for i in range(x.shape[1]): - # 计算 ∂s_i/∂x_i - grad_i = torch.autograd.grad( - score[:, i].sum(), x, - create_graph=True, retain_graph=True - )[0][:, i] - trace_jacobian = trace_jacobian + grad_i - - # 分数匹配损失 - loss = 0.5 * (score ** 2).sum(dim=1) + trace_jacobian - - return loss.mean() - -# 更高效的实现：使用Hutchinson迹估计 -def compute_score_matching_loss_hutchinson(model, x, n_hutchinson=1): - """使用Hutchinson迹估计的分数匹配损失 - - Args: - model: 神经网络 - x: 数据点 - n_hutchinson: Hutchinson估计的采样数 - """ - x = x.requires_grad_(True) - score = model(x) - - # Hutchinson迹估计 - trace_jacobian = 0 - for _ in range(n_hutchinson): - # 随机向量 v ~ N(0, I) - v = torch.randn_like(x) - - # 计算 v^T ∇_x s(x) v - grad_v = torch.autograd.grad( - (score * v).sum(), x, - create_graph=True, retain_graph=True - )[0] - trace_jacobian = trace_jacobian + (grad_v * v).sum(dim=1) - - trace_jacobian = trace_jacobian / n_hutchinson - - # 损失 - loss = 0.5 * (score ** 2).sum(dim=1) + trace_jacobian - - return loss.mean() - -# 演示为什么朴素方法困难 -print("朴素分数匹配的计算复杂度：") -print(f"图像 (1024×1024×3): 需要 {1024*1024*3:,} 次反向传播！") -print(f"即使是 MNIST (28×28): 也需要 {28*28} 次反向传播") -print("\nHutchinson估计引入方差，需要权衡：") -print("- 更多采样 → 更准确但更慢") -print("- 更少采样 → 更快但方差大") - - - -#### 为什么需要新方法？ - - - 朴素分数匹配的这些困难促使研究者寻找更实用的方法： - - - - - - **去噪分数匹配**（Denoising Score Matching）：通过添加噪声避免计算雅可比矩阵 - - **切片分数匹配**（Sliced Score Matching）：将高维问题投影到一维 - - **有限差分分数匹配**（Finite Difference Score Matching）：使用数值微分近似 - - - - -接下来我们将详细介绍这些更实用的方法。 - - - -### 4.2.2 去噪分数匹配（Denoising Score Matching） - - - -去噪分数匹配（DSM）是Vincent (2011)提出的一个优雅的解决方案，它巧妙地避开了计算雅可比矩阵的问题。核心思想是：与其直接学习数据分布的分数，不如学习加噪数据分布的分数。 - - - -#### 核心思想 - - - -给定干净数据 $x \sim p_{data}(x)$ 和噪声分布 $p_\sigma(\tilde{x}|x)$（通常是高斯噪声），定义加噪数据分布： - - - - $$p_\sigma(\tilde{x}) = \int p_{data}(x) p_\sigma(\tilde{x}|x) dx$$ - - - -去噪分数匹配的关键洞察是：**加噪分布的分数函数可以用条件期望表示**。 - - - - 去噪分数匹配定理 - -对于高斯噪声 $p_\sigma(\tilde{x}|x) = \mathcal{N}(\tilde{x}; x, \sigma^2 I)$，加噪分布的分数函数为： - - - $$\nabla_{\tilde{x}} \log p_\sigma(\tilde{x}) = \mathbb{E}_{x \sim p(x|\tilde{x})}\left[\frac{x - \tilde{x}}{\sigma^2}\right]$$ - - -这意味着分数函数指向"去噪"的方向！ - - - - -#### 为什么这解决了问题？ - - - -去噪分数匹配的损失函数为： - - - - $$\mathcal{L}_{DSM}(\theta) = \mathbb{E}_{x \sim p_{data}} \mathbb{E}_{\tilde{x} \sim \mathcal{N}(x, \sigma^2 I)}\left[\left\|s_\theta(\tilde{x}, \sigma) - \frac{x - \tilde{x}}{\sigma^2}\right\|^2\right]$$ - - - - -#### DSM的优势 - - - - - **无需计算雅可比矩阵**：目标函数中的真实分数 $\frac{x - \tilde{x}}{\sigma^2}$ 是已知的！ - - **数值稳定**：加噪使得分布更平滑，分数函数更稳定 - - **与去噪的联系**：学习分数等价于学习去噪，这有直观的解释 - - **计算高效**：只需要前向传播，没有额外的计算开销 - - - - - -#### 多尺度去噪分数匹配 - - - -单一噪声水平的DSM仍有局限：在低噪声时难以覆盖整个数据空间，在高噪声时丢失细节。Song & Ermon (2019)提出使用多个噪声水平： - - - - 噪声调度的设计 - -选择一系列递增的噪声水平 $\{\sigma_i\}_{i=1}^L$，通常采用几何级数： - - - $$\sigma_i = \sigma_{\min} \left(\frac{\sigma_{\max}}{\sigma_{\min}}\right)^{\frac{i-1}{L-1}}$$ - - - -损失函数变为： - - - $$\mathcal{L}(\theta) = \sum_{i=1}^L \lambda(\sigma_i) \mathbb{E}_{x, \tilde{x}}\left[\left\|s_\theta(\tilde{x}, \sigma_i) - \frac{x - \tilde{x}}{\sigma_i^2}\right\|^2\right]$$ - - - -其中 $\lambda(\sigma_i)$ 是权重函数，常见选择包括： - - - - - 均匀权重：$\lambda(\sigma) = 1$ - - 与噪声成比例：$\lambda(\sigma) = \sigma^2$ - - 平衡权重：$\lambda(\sigma) = \sigma$ - - - - - - -# 去噪分数匹配的实现 -import torch -import torch.nn as nn -import numpy as np - -class DenoisingScoreMatching: - """去噪分数匹配训练框架""" - - def __init__(self, sigma_min=0.01, sigma_max=50, num_scales=10): - """ - Args: - sigma_min: 最小噪声标准差 - sigma_max: 最大噪声标准差 - num_scales: 噪声尺度数量 - """ - self.sigmas = torch.exp( - torch.linspace( - np.log(sigma_min), - np.log(sigma_max), - num_scales - ) - ) - - def get_noisy_data(self, x, sigma_idx=None): - """添加高斯噪声 - - Args: - x: 干净数据 [batch_size, ...] - sigma_idx: 噪声级别索引（None表示随机选择） - - Returns: - x_noisy: 加噪数据 - sigma: 使用的噪声标准差 - target_score: 真实分数 - """ - batch_size = x.shape[0] - - # 选择噪声级别 - if sigma_idx is None: - sigma_idx = torch.randint(0, len(self.sigmas), (batch_size,)) - - sigma = self.sigmas[sigma_idx].view(batch_size, *([1] * (x.ndim - 1))) - sigma = sigma.to(x.device) - - # 添加噪声 - noise = torch.randn_like(x) - x_noisy = x + sigma * noise - - # 真实分数：(x - x_noisy) / sigma^2 - target_score = -(noise / sigma) # 注意这里用noise/sigma而不是(x-x_noisy)/sigma^2 - - return x_noisy, sigma.squeeze(), target_score - - def loss_fn(self, model, x): - """计算去噪分数匹配损失 - - Args: - model: 分数模型 s_θ(x, σ) - x: 批量干净数据 - - Returns: - loss: DSM损失 - info: 额外信息用于日志 - """ - # 获取加噪数据和目标 - x_noisy, sigma, target_score = self.get_noisy_data(x) - - # 模型预测 - pred_score = model(x_noisy, sigma) - - # 计算损失（可以加权） - loss = 0.5 * ((pred_score - target_score) ** 2).sum(dim=tuple(range(1, x.ndim))) - - # 按噪声级别加权 - loss_weights = sigma # 或 sigma**2，或 1 - weighted_loss = (loss * loss_weights).mean() - - info = { - 'loss': weighted_loss.item(), - 'mean_score_norm': pred_score.norm(dim=-1).mean().item(), - 'mean_sigma': sigma.mean().item() - } - - return weighted_loss, info - -# 简单的分数网络示例 -class ScoreNet(nn.Module): - """条件分数网络 s_θ(x, σ)""" - - def __init__(self, data_dim, hidden_dim=128, embed_dim=128): - super().__init__() - - # 时间/噪声嵌入 - self.embed = nn.Sequential( - nn.Linear(1, embed_dim), - nn.SiLU(), - nn.Linear(embed_dim, embed_dim) - ) - - # 主网络 - self.net = nn.Sequential( - nn.Linear(data_dim + embed_dim, hidden_dim), - nn.SiLU(), - nn.Linear(hidden_dim, hidden_dim), - nn.SiLU(), - nn.Linear(hidden_dim, hidden_dim), - nn.SiLU(), - nn.Linear(hidden_dim, data_dim) - ) - - def forward(self, x, sigma): - """ - Args: - x: 输入数据 [batch_size, data_dim] - sigma: 噪声标准差 [batch_size] - """ - # 嵌入噪声级别 - sigma_embed = self.embed(sigma.log().unsqueeze(-1)) - - # 拼接并通过网络 - h = torch.cat([x, sigma_embed], dim=-1) - score = self.net(h) - - # 按照理论，分数应该与1/sigma成比例 - # 这里可以选择是否要显式建模这个关系 - return score / sigma.unsqueeze(-1) - -# 使用示例 -dsm = DenoisingScoreMatching() -model = ScoreNet(data_dim=2) -optimizer = torch.optim.Adam(model.parameters(), lr=1e-3) - -# 生成一些2D数据用于演示 -x_data = torch.randn(100, 2) * 0.5 + torch.tensor([[2.0, 2.0]]) - -# 训练步骤 -model.train() -loss, info = dsm.loss_fn(model, x_data) -loss.backward() -optimizer.step() - -print(f"DSM Loss: {info['loss']:.4f}") -print(f"Mean Score Norm: {info['mean_score_norm']:.4f}") -print(f"Mean Sigma: {info['mean_sigma']:.4f}") - - - -#### 理论保证 - - - 去噪分数匹配不仅实用，还有坚实的理论基础： - - - - DSM的一致性 - -在适当的正则性条件下，最小化DSM损失等价于最小化以下KL散度： - - - $$\min_\theta \text{KL}(p_\sigma(\tilde{x}) \| p_\theta(\tilde{x}))$$ - - -其中 $p_\theta$ 是由分数函数 $s_\theta$ 诱导的分布。 - - - - -#### 与DDPM的联系 - - - -去噪分数匹配与DDPM有深刻的联系： - - - - -#### 统一视角 - - -DDPM的去噪目标： - - - $$\mathcal{L}_{DDPM} = \mathbb{E}\left[\|\epsilon - \epsilon_\theta(x_t, t)\|^2\right]$$ - - - -通过变量替换 $s_\theta(x_t, t) = -\frac{\epsilon_\theta(x_t, t)}{\sqrt{1-\bar{\alpha}_t}}$，这等价于： - - - $$\mathcal{L}_{DSM} = \mathbb{E}\left[\|s_\theta(x_t, t) - \nabla_{x_t} \log p_t(x_t)\|^2\right]$$ - - - -因此，**DDPM本质上就是在做去噪分数匹配**！ - - - - -### 4.2.3 切片分数匹配（Sliced Score Matching） - - - -切片分数匹配（Sliced Score Matching, SSM）是Song et al. (2020)提出的另一个避免计算雅可比矩阵的方法。核心思想是将高维分数匹配问题投影到随机选择的一维方向上。 - - - -#### 基本思想 - - - -对于任意单位向量 $v \in \mathbb{R}^d$（$\|v\| = 1$），定义投影分数： - - - - $$s_v(x) = v^T \nabla_x \log p(x) = v^T s(x)$$ - - - -这是分数函数在方向 $v$ 上的投影。关键观察是：如果我们知道所有方向上的投影，就能重构完整的分数函数。 - - - - 切片分数匹配定理 - -分数匹配目标可以重写为： - - - $$\mathbb{E}_{x \sim p_{data}}\left[\|s_\theta(x) - \nabla_x \log p(x)\|^2\right] = \mathbb{E}_{x \sim p_{data}} \mathbb{E}_{v \sim \mathcal{N}(0,I)}\left[\left(v^T s_\theta(x) - v^T \nabla_x \log p(x)\right)^2\right]$$ - - - -更重要的是，使用分部积分后： - - - $$= \mathbb{E}_{x \sim p_{data}} \mathbb{E}_{v \sim \mathcal{N}(0,I)}\left[2 v^T \nabla_x (v^T s_\theta(x)) + (v^T s_\theta(x))^2\right] + C$$ - - - -其中 $v^T \nabla_x (v^T s_\theta(x))$ 只需要计算一个方向导数，而不是完整的雅可比矩阵！ - - - - -#### 计算优势 - - - - -#### 为什么SSM更高效？ - - - - - **朴素分数匹配**：需要计算 $d \times d$ 的雅可比矩阵的迹，需要 $O(d)$ 次反向传播 - - **切片分数匹配**：只需要计算方向导数 $v^T \nabla_x (v^T s_\theta(x))$，只需要 $O(1)$ 次反向传播 - - **随机性**：通过对多个随机方向 $v$ 求平均来降低方差 - - - - - -#### 实现细节 - - - - -# 切片分数匹配的实现 -import torch -import torch.nn as nn - -def sliced_score_matching_loss(model, x, n_slices=1): - """计算切片分数匹配损失 - - Args: - model: 分数模型 s_θ(x) - x: 数据点 [batch_size, dim] - n_slices: 每个样本使用的随机投影数 - - Returns: - loss: SSM损失 - """ - batch_size = x.shape[0] - dim = x.shape[1] - - # 需要梯度来计算二阶导数 - x = x.requires_grad_(True) - - # 计算分数 - score = model(x) # [batch_size, dim] - - # 初始化损失 - loss = 0 - - for _ in range(n_slices): - # 采样随机方向 - v = torch.randn(batch_size, dim, device=x.device) - v = v / v.norm(dim=1, keepdim=True) # 归一化 - - # 计算投影分数 v^T s(x) - s_v = (score * v).sum(dim=1) # [batch_size] - - # 计算方向导数 v^T ∇_x (v^T s(x)) - grad_s_v = torch.autograd.grad( - s_v.sum(), x, - create_graph=True, - retain_graph=True - )[0] # [batch_size, dim] - - # v^T ∇_x (v^T s(x)) - tr_grad_s_v = (grad_s_v * v).sum(dim=1) # [batch_size] - - # 累加损失：2 * tr_grad_s_v + s_v^2 - loss = loss + (2 * tr_grad_s_v + s_v ** 2) - - # 平均over slices和batch - return loss.mean() / n_slices - -# 改进版：使用Hutchinson估计进一步优化 -def sliced_score_matching_loss_v2(model, x, n_slices=1): - """SSM的另一种实现，计算上等价但可能数值更稳定""" - - x = x.requires_grad_(True) - score = model(x) - - loss = 0 - - for _ in range(n_slices): - # 随机投影向量 - v = torch.randn_like(x) - v = v / v.norm(dim=1, keepdim=True) - - # 计算 v^T J_s v，其中 J_s 是分数的雅可比矩阵 - # 这等价于计算 ∇_x (v^T s(x)) · v - v_dot_score = (score * v).sum(dim=1) - - # 直接计算二阶导数 - grad2 = torch.autograd.grad( - outputs=v_dot_score, - inputs=x, - grad_outputs=torch.ones_like(v_dot_score), - create_graph=True, - retain_graph=True - )[0] - - # 方向二阶导数 - tr_hessian = (grad2 * v).sum(dim=1) - - # SSM损失 - loss = loss + (v_dot_score ** 2 + 2 * tr_hessian) - - return loss.mean() / n_slices - -# 结合去噪的切片分数匹配 -class SlicedDenoisingScoreMatching: - """结合切片技术和去噪技术""" - - def __init__(self, sigma_min=0.01, sigma_max=50, num_scales=10): - self.sigmas = torch.exp( - torch.linspace(np.log(sigma_min), np.log(sigma_max), num_scales) - ) - - def loss_fn(self, model, x, n_slices=1): - """切片去噪分数匹配损失 - - 这结合了SSM的计算效率和DSM的稳定性 - """ - batch_size = x.shape[0] - - # 随机选择噪声级别 - sigma_idx = torch.randint(0, len(self.sigmas), (batch_size,)) - sigma = self.sigmas[sigma_idx].to(x.device) - - # 添加噪声 - noise = torch.randn_like(x) - x_noisy = x + sigma.view(-1, 1) * noise - - # 模型预测 - score_pred = model(x_noisy, sigma) - - # 真实分数 - score_true = -noise / sigma.view(-1, 1) - - # 切片损失：不需要计算雅可比矩阵！ - loss = 0 - for _ in range(n_slices): - v = torch.randn_like(x) - v = v / v.norm(dim=1, keepdim=True) - - # 投影误差 - proj_pred = (score_pred * v).sum(dim=1) - proj_true = (score_true * v).sum(dim=1) - - loss = loss + (proj_pred - proj_true) ** 2 - - # 加权 - weighted_loss = (loss * sigma).mean() / n_slices - - return weighted_loss - -# 演示使用 -print("切片分数匹配的计算效率比较：") -print("设数据维度 d = 1000") -print("- 朴素分数匹配：需要 1000 次反向传播") -print("- 切片分数匹配（10个切片）：只需要 10 次反向传播") -print("- 加速比：100x！") -print("\n注意：SSM引入了额外的方差，需要更多的训练步数") - - - -#### 理论分析 - - - 切片分数匹配的收敛性和效率取决于几个因素： - - - - 方差分析 - -设 $m$ 是每个样本使用的切片数，则SSM估计器的方差为： - - - $$\text{Var}[\mathcal{L}_{SSM}] \approx \frac{1}{m} \text{Var}[\mathcal{L}_{SM}]$$ - - -这意味着： - - - - - 使用更多切片可以降低方差 - - 但计算成本线性增长 - - 实践中，$m = 1$ 到 $m = 10$ 通常就足够了 - - - - - -#### 实用建议 - - - - -#### 什么时候使用SSM？ - - - - - **高维数据**：当 $d > 100$ 时，SSM的计算优势明显 - - **实时应用**：需要快速训练时 - - **与DSM结合**：可以同时使用去噪和切片技术 - - **注意事项**： - - - SSM可能需要更多的训练迭代 - - 对于低维问题，朴素方法可能更稳定 - - 批量大小要足够大以降低方差 - - - - - - - - -#### 与其他方法的比较 - - - - 分数匹配方法对比 - - - 方法 - 计算复杂度 - 稳定性 - 适用场景 - - - 朴素SM - $O(d)$ 反向传播 - 高 - 低维、小规模 - - - 去噪SM - $O(1)$ 反向传播 - 很高 - 通用，特别是生成模型 - - - 切片SM - $O(m)$ 反向传播 - 中等 - 高维、大规模 - - - 切片去噪SM - $O(1)$ 反向传播 - 高 - 高维生成模型 - - - - - -## 4.3 噪声条件分数网络（NCSN） - - - -### 4.3.1 多尺度噪声的动机 - - - -噪声条件分数网络（Noise Conditional Score Networks, NCSN）是Song & Ermon (2019)提出的一个突破性方法。它解决了单一噪声水平分数匹配的根本限制。 - - - -#### 单一噪声水平的问题 - - - -考虑在单一噪声水平 $\sigma$ 下学习分数函数。我们面临一个困境： - - - - -#### 噪声水平的两难选择 - - - - - **低噪声（$\sigma$ 小）**： - - - ✓ 保留数据细节 - - ✗ 只覆盖数据流形附近的区域 - - ✗ 模式之间没有连接，采样困难 - - - - - **高噪声（$\sigma$ 大）**： - - - ✓ 覆盖整个空间 - - ✓ 模式之间有连接 - - ✗ 丢失数据细节 - - ✗ 分数函数过于平滑 - - - - - - - - - 具体例子：二维混合高斯 - -考虑数据分布是两个分离的高斯分布： - - - $$p_{data}(x) = \frac{1}{2}\mathcal{N}(x; [-5, 0], I) + \frac{1}{2}\mathcal{N}(x; [5, 0], I)$$ - - - -不同噪声水平下的问题： - - - - - **$\sigma = 0.1$**：两个模式完全分离，Langevin采样会困在一个模式中 - - **$\sigma = 5.0$**：两个模式混合成一个大的高斯，丢失了双峰结构 - - **$\sigma = 1.0$**：折中方案，但仍不理想 - - - - - -#### 多尺度方法的洞察 - - - -NCSN的核心思想是使用一系列递增的噪声水平 $\{\sigma_i\}_{i=1}^L$，并学习所有噪声水平下的分数函数： - - - - $$s_\theta(x, \sigma_i) \approx \nabla_x \log p_{\sigma_i}(x)$$ - - - -其中 $p_{\sigma_i}(x) = \int p_{data}(x') \mathcal{N}(x; x', \sigma_i^2 I) dx'$。 - - - - 多尺度的优势 - - - - **全局到局部的探索**：高噪声水平提供全局连通性，低噪声水平恢复局部细节 - - **平滑的过渡**：相邻噪声水平之间的分布相似，便于学习和采样 - - **稳定的训练**：每个噪声水平的分数函数都相对平滑 - - **退火采样**：可以从高噪声逐步退火到低噪声，类似模拟退火 - - - - - -#### 噪声调度的设计 - - - -选择合适的噪声水平序列至关重要： - - - - -# 不同的噪声调度策略 -import numpy as np -import torch - -class NoiseSchedule: - """噪声调度的各种策略""" - - @staticmethod - def geometric(sigma_min=0.01, sigma_max=50.0, num_scales=10): - """几何级数：最常用，确保比例恒定 - - σ_i = σ_min * (σ_max/σ_min)^((i-1)/(L-1)) - """ - return torch.exp( - torch.linspace( - np.log(sigma_min), - np.log(sigma_max), - num_scales - ) - ) - - @staticmethod - def linear(sigma_min=0.01, sigma_max=50.0, num_scales=10): - """线性间隔：简单但通常不是最优""" - return torch.linspace(sigma_min, sigma_max, num_scales) - - @staticmethod - def quadratic(sigma_min=0.01, sigma_max=50.0, num_scales=10): - """二次间隔：在低噪声区域更密集""" - t = torch.linspace(0, 1, num_scales) - return sigma_min + (sigma_max - sigma_min) * t**2 - - @staticmethod - def cosine(sigma_min=0.01, sigma_max=50.0, num_scales=10): - """余弦调度：平滑过渡""" - t = torch.linspace(0, 1, num_scales) - return sigma_min + (sigma_max - sigma_min) * (1 - torch.cos(t * np.pi)) / 2 - - @staticmethod - def adaptive(data_samples, num_scales=10, percentiles=[1, 99]): - """自适应调度：基于数据分布 - - 根据数据点之间的距离分布来选择噪声水平 - """ - # 计算数据点之间的成对距离 - n = min(1000, len(data_samples)) # 采样以提高效率 - idx = torch.randperm(len(data_samples))[:n] - samples = data_samples[idx] - - # 计算成对距离 - dists = torch.cdist(samples, samples) - dists = dists[torch.triu(torch.ones_like(dists), diagonal=1).bool()] - - # 基于距离分布选择噪声水平 - sigma_min = torch.quantile(dists, percentiles[0]/100) - sigma_max = torch.quantile(dists, percentiles[1]/100) - - return NoiseSchedule.geometric(sigma_min, sigma_max, num_scales) - -# 分析不同调度的特性 -def analyze_schedule(schedule_name, sigmas): - """分析噪声调度的特性""" - ratios = sigmas[1:] / sigmas[:-1] - - print(f"\n{schedule_name} Schedule:") - print(f" Range: [{sigmas[0]:.3f}, {sigmas[-1]:.3f}]") - print(f" Ratios: min={ratios.min():.3f}, max={ratios.max():.3f}, mean={ratios.mean():.3f}") - print(f" First 3: {sigmas[:3].numpy()}") - print(f" Last 3: {sigmas[-3:].numpy()}") - -# 比较不同调度 -num_scales = 10 -schedules = { - "Geometric": NoiseSchedule.geometric(num_scales=num_scales), - "Linear": NoiseSchedule.linear(num_scales=num_scales), - "Quadratic": NoiseSchedule.quadratic(num_scales=num_scales), - "Cosine": NoiseSchedule.cosine(num_scales=num_scales) -} - -for name, sigmas in schedules.items(): - analyze_schedule(name, sigmas) - - - -#### 理论依据：退火重要性采样 - - - 多尺度方法的理论基础来自于退火重要性采样（Annealed Importance Sampling, AIS）： - - - - 退火采样的收敛性 - -设 $\{p_i\}_{i=0}^L$ 是一系列分布，满足： - - - - - $p_0$ 容易采样（如标准高斯） - - $p_L = p_{data}$ 是目标分布 - - 相邻分布"足够接近"：$D_{KL}(p_i \| p_{i+1}) 简单直接 - - 可能对某些噪声水平欠拟合或过拟合 - - - - - **与噪声成比例**：$\lambda(\sigma) = \sigma / \sum_j \sigma_j$ - - - 高噪声水平获得更多权重 - - 有助于全局结构的学习 - - - - - **与噪声平方成比例**：$\lambda(\sigma) = \sigma^2 / \sum_j \sigma_j^2$ - - - 补偿不同噪声水平下的方差差异 - - Song & Ermon (2019) 的推荐选择 - - - - - - - - -#### 实践考虑 - - - - -#### 设计多尺度系统的要点 - - - - - **噪声范围**： - - - $\sigma_{max}$ 应该足够大，使得 $p_{\sigma_{max}} \approx \mathcal{N}(0, \sigma_{max}^2 I)$ - - $\sigma_{min}$ 应该足够小以保留数据细节，但不能太小导致数值不稳定 - - - - - **尺度数量**： - - - 太少：相邻尺度差距大，退火效果差 - - 太多：计算成本高，可能过拟合 - - 典型选择：10-100个尺度 - - - - - **条件架构**： - - - 网络必须能够根据噪声水平调整行为 - - 常用方法：FiLM conditioning、时间嵌入等 - - - - - - - - -### 4.3.2 NCSN架构设计 - - - -设计一个有效的噪声条件分数网络需要考虑多个方面：网络如何处理不同尺度的输入、如何编码噪声水平信息，以及如何确保输出的正确尺度。 - - - -#### 核心设计原则 - - - - -#### NCSN架构的关键要求 - - - - - **噪声条件化**：网络必须根据噪声水平 $\sigma$ 调整其行为 - - **尺度等变性**：分数函数具有特定的尺度关系：$\nabla_x \log p_\sigma(x) \propto 1/\sigma^2$ - - **多尺度特征**：需要捕捉从粗到细的不同尺度特征 - - **计算效率**：单个网络处理所有噪声水平 - - - - - -#### 条件化机制 - - - -有几种将噪声水平 $\sigma$ 融入网络的方法： - - - - 1. 拼接方法（Concatenation） - -最简单的方法是将噪声水平直接拼接到输入： - - - $$s_\theta(x, \sigma) = f_\theta([x, \sigma \cdot \mathbf{1}])$$ - - -其中 $\mathbf{1}$ 是与 $x$ 同维度的全1向量。 - - - - - - ✓ 简单直接 - - ✗ 可能不够灵活 - - ✗ 噪声信息可能在深层丢失 - - - - - - 2. FiLM条件化（Feature-wise Linear Modulation） - -通过学习的缩放和偏移来调制特征： - - - $$h' = \gamma(\sigma) \odot h + \beta(\sigma)$$ - - -其中 $\gamma(\sigma)$ 和 $\beta(\sigma)$ 是从噪声水平学习的调制参数。 - - - - - - ✓ 更灵活的条件化 - - ✓ 可以应用于多个层 - - ✓ 保持特征的语义 - - - - - - 3. 位置编码方法（Positional Encoding） - -借鉴Transformer的思想，使用正弦编码： - - - $$\text{embed}(\sigma) = [\sin(2^0 \pi \sigma), \cos(2^0 \pi \sigma), ..., \sin(2^{L-1} \pi \sigma), \cos(2^{L-1} \pi \sigma)]$$ - - - - - - ✓ 能够表示连续的噪声水平 - - ✓ 具有良好的插值性质 - - ✓ 在Transformer架构中特别有效 - - - - - - -# NCSN架构实现 -import torch -import torch.nn as nn -import torch.nn.functional as F -import numpy as np - -class SinusoidalEmbedding(nn.Module): - """正弦位置编码用于噪声水平""" - - def __init__(self, dim, scale=1.0): - super().__init__() - self.dim = dim - self.scale = scale - - def forward(self, x): - """ - Args: - x: 噪声水平 [batch_size] 或 [batch_size, 1] - Returns: - 嵌入 [batch_size, dim] - """ - if x.dim() == 1: - x = x.unsqueeze(-1) - - half_dim = self.dim // 2 - emb = np.log(10000) / half_dim - emb = torch.exp(-emb * torch.arange(half_dim, device=x.device)) - emb = self.scale * x * emb - emb = torch.cat([torch.sin(emb), torch.cos(emb)], dim=-1) - - return emb - -class ConditionalInstanceNorm2d(nn.Module): - """条件实例归一化，用于FiLM""" - - def __init__(self, num_features, num_classes): - super().__init__() - self.num_features = num_features - self.norm = nn.InstanceNorm2d(num_features, affine=False) - - # 学习的调制参数 - self.embed = nn.Linear(num_classes, num_features * 2) - self.embed.weight.data[:, :num_features].normal_(1, 0.02) # gamma - self.embed.weight.data[:, num_features:].zero_() # beta - - def forward(self, x, y): - """ - Args: - x: 特征图 [batch_size, num_features, height, width] - y: 条件嵌入 [batch_size, num_classes] - """ - out = self.norm(x) - gamma, beta = self.embed(y).chunk(2, dim=1) - gamma = gamma.view(-1, self.num_features, 1, 1) - beta = beta.view(-1, self.num_features, 1, 1) - - return gamma * out + beta - -class ResBlock(nn.Module): - """带条件化的残差块""" - - def __init__(self, in_channels, out_channels, embed_dim, dropout=0.1): - super().__init__() - self.in_channels = in_channels - self.out_channels = out_channels - - self.norm1 = ConditionalInstanceNorm2d(in_channels, embed_dim) - self.conv1 = nn.Conv2d(in_channels, out_channels, 3, padding=1) - - self.norm2 = ConditionalInstanceNorm2d(out_channels, embed_dim) - self.conv2 = nn.Conv2d(out_channels, out_channels, 3, padding=1) - - if in_channels != out_channels: - self.skip = nn.Conv2d(in_channels, out_channels, 1) - else: - self.skip = nn.Identity() - - self.dropout = nn.Dropout(dropout) - - def forward(self, x, embed): - """ - Args: - x: 输入特征 - embed: 噪声嵌入 - """ - h = self.norm1(x, embed) - h = F.silu(h) - h = self.conv1(h) - - h = self.norm2(h, embed) - h = F.silu(h) - h = self.dropout(h) - h = self.conv2(h) - - return h + self.skip(x) - -class NCSN(nn.Module): - """噪声条件分数网络""" - - def __init__( - self, - channels=3, - embed_dim=128, - channels_mult=[1, 2, 2, 2], - num_res_blocks=2, - dropout=0.1, - use_scale_shift_norm=True - ): - super().__init__() - - # 噪声嵌入 - self.embed = nn.Sequential( - SinusoidalEmbedding(embed_dim), - nn.Linear(embed_dim, embed_dim * 4), - nn.SiLU(), - nn.Linear(embed_dim * 4, embed_dim * 4), - nn.SiLU(), - nn.Linear(embed_dim * 4, embed_dim) - ) - - # U-Net编码器 - self.conv_in = nn.Conv2d(channels, embed_dim, 3, padding=1) - - down_blocks = [] - ch = embed_dim - for level, mult in enumerate(channels_mult): - for _ in range(num_res_blocks): - down_blocks.append(ResBlock(ch, mult * embed_dim, embed_dim, dropout)) - ch = mult * embed_dim - if level != len(channels_mult) - 1: - down_blocks.append(nn.Conv2d(ch, ch, 3, stride=2, padding=1)) - - self.down = nn.ModuleList(down_blocks) - - # 中间块 - self.mid = nn.ModuleList([ - ResBlock(ch, ch, embed_dim, dropout), - ResBlock(ch, ch, embed_dim, dropout) - ]) - - # U-Net解码器 - up_blocks = [] - for level, mult in list(enumerate(channels_mult))[::-1]: - for _ in range(num_res_blocks + 1): - up_blocks.append(ResBlock(ch, mult * embed_dim, embed_dim, dropout)) - ch = mult * embed_dim - if level != 0: - up_blocks.append(nn.ConvTranspose2d(ch, ch, 4, stride=2, padding=1)) - - self.up = nn.ModuleList(up_blocks) - - # 输出层 - self.norm_out = nn.GroupNorm(8, ch) - self.conv_out = nn.Conv2d(ch, channels, 3, padding=1) - - def forward(self, x, sigma): - """ - Args: - x: 输入图像 [batch_size, channels, height, width] - sigma: 噪声水平 [batch_size] - - Returns: - 分数估计 [batch_size, channels, height, width] - """ - # 噪声嵌入 - embed = self.embed(sigma.log()) - - # 输入卷积 - h = self.conv_in(x) - - # 下采样 - hs = [h] - for layer in self.down: - if isinstance(layer, ResBlock): - h = layer(h, embed) - else: - h = layer(h) - hs.append(h) - - # 中间处理 - for layer in self.mid: - h = layer(h, embed) - - # 上采样 - for layer in self.up: - if isinstance(layer, ResBlock): - h = layer(torch.cat([h, hs.pop()], dim=1), embed) - else: - h = layer(h) - - # 输出 - h = self.norm_out(h) - h = F.silu(h) - h = self.conv_out(h) - - # 重要：按照理论，分数应该与 1/sigma 成比例 - # 但在实践中，我们让网络自己学习这个关系 - return h - -# 轻量级版本用于演示 -class SimpleNCSN(nn.Module): - """简化的NCSN用于低维数据""" - - def __init__(self, data_dim, hidden_dim=128, embed_dim=32): - super().__init__() - - self.embed = SinusoidalEmbedding(embed_dim) - - self.net = nn.Sequential( - nn.Linear(data_dim + embed_dim, hidden_dim), - nn.SiLU(), - nn.Linear(hidden_dim, hidden_dim), - nn.SiLU(), - nn.Linear(hidden_dim, hidden_dim), - nn.SiLU(), - nn.Linear(hidden_dim, data_dim) - ) - - def forward(self, x, sigma): - sigma_embed = self.embed(sigma) - h = torch.cat([x, sigma_embed], dim=-1) - return self.net(h) / sigma.unsqueeze(-1) - -# 测试架构 -def test_ncsn(): - model = SimpleNCSN(data_dim=2) - x = torch.randn(10, 2) - sigma = torch.rand(10) * 10 - score = model(x, sigma) - - print(f"输入形状: {x.shape}") - print(f"噪声水平: {sigma[:3]}") - print(f"分数输出形状: {score.shape}") - print(f"分数尺度: {score.abs().mean():.3f}") - -test_ncsn() - - - -#### 架构设计考虑 - - - - -#### 最佳实践 - - - - - **归一化层的选择**： - - - GroupNorm通常比BatchNorm更稳定 - - 条件InstanceNorm适合图像生成 - - LayerNorm适合Transformer架构 - - - - - - **激活函数**： - - - SiLU (Swish) 通常优于ReLU - - 平滑的激活函数有助于分数估计 - - - - - - **残差连接**： - - - 深度网络必需 - - 有助于梯度流动 - - 稳定训练 - - - - - - **输出尺度**： - - - 理论上分数 $\propto 1/\sigma$ - - 可以显式建模或让网络学习 - - 注意数值稳定性 - - - - - - - - -#### 与其他架构的比较 - - - - 架构演进 - 从NCSN到后续工作的架构改进： - - - - - **NCSN (2019)**：RefineNet架构，实例归一化 - - **NCSN++ (2020)**：改进的U-Net，GroupNorm，自注意力 - - **DDPM (2020)**：简化的U-Net，时间嵌入 - - **Score SDE (2021)**：统一框架，更灵活的架构选择 - - - - - -### 4.3.3 退火Langevin动力学 - - - -退火Langevin动力学（Annealed Langevin Dynamics, ALD）是NCSN用于生成样本的核心算法。它结合了Langevin MCMC和模拟退火的思想，通过逐步降低噪声水平来生成高质量样本。 - - - -#### 基础Langevin动力学 - - - -回顾标准的Langevin动力学，对于目标分布 $p(x)$： - - - - $$x_{t+1} = x_t + \frac{\epsilon}{2} \nabla_x \log p(x_t) + \sqrt{\epsilon} z_t, \quad z_t \sim \mathcal{N}(0, I)$$ - - - -其中 $\epsilon$ 是步长。当 $\epsilon \to 0$ 且迭代次数 $\to \infty$ 时，这个马尔可夫链收敛到 $p(x)$。 - - - -#### 退火策略 - - - -ALD的关键创新是使用一系列递减的噪声水平 $\{\sigma_i\}_{i=1}^L$，在每个噪声水平运行Langevin动力学： - - - - 退火Langevin动力学算法 - - - - 初始化：$x_0 \sim \mathcal{N}(0, \sigma_1^2 I)$ - - 对于每个噪声水平 $\sigma_i$，$i = 1, ..., L$： - - - 运行 $T$ 步Langevin更新： - - $$x_{t+1} = x_t + \epsilon_i s_\theta(x_t, \sigma_i) + \sqrt{2\epsilon_i} z_t$$ - - - - 使用最后一步的样本作为下一个噪声水平的初始值 - - - - - 返回最终样本 $x$ - - - - - - -#### 为什么退火有效？ - - - - - **全局探索 → 局部细化**： - - - 高噪声水平：探索整个空间，跨越模式 - - 低噪声水平：细化局部结构，恢复细节 - - - - - **平滑过渡**：相邻噪声水平的分布相似，采样链保持连续性 - - **避免局部最小值**：类似模拟退火，早期的高温阶段帮助逃离局部陷阱 - - - - - -#### 步长选择 - - - -步长 $\epsilon_i$ 的选择对算法性能至关重要： - - - - 最优步长（理论） - -对于噪声水平 $\sigma_i$，理论最优步长为： - - - $$\epsilon_i^* = \frac{c \sigma_i^2}{|\Sigma|^{1/d}}$$ - - -其中 $c$ 是常数，$|\Sigma|$ 是数据协方差矩阵的行列式，$d$ 是维度。 - - - -实践中常用的简化： - - - $$\epsilon_i = \epsilon \cdot \min(1, \sigma_i^2 / \sigma_L^2)$$ - - - - - -# 退火Langevin动力学实现 -import torch -import numpy as np -from tqdm import tqdm - -class AnnealedLangevinSampler: - """退火Langevin动力学采样器""" - - def __init__( - self, - score_model, - sigmas, - epsilon=2e-5, - T=100, - denoise=True, - device='cuda' - ): - """ - Args: - score_model: 训练好的分数模型 - sigmas: 噪声水平序列（降序） - epsilon: 基础步长 - T: 每个噪声水平的Langevin步数 - denoise: 是否在最后一步去噪 - """ - self.score_model = score_model - self.sigmas = sigmas.to(device) - self.epsilon = epsilon - self.T = T - self.denoise = denoise - self.device = device - - def get_epsilon(self, sigma): - """自适应步长""" - # Song & Ermon (2019) 的建议 - return self.epsilon * (sigma / self.sigmas[-1]) ** 2 - - @torch.no_grad() - def sample(self, batch_size, shape, show_progress=True): - """生成样本 - - Args: - batch_size: 批量大小 - shape: 数据形状（不包括batch维度） - show_progress: 是否显示进度条 - - Returns: - samples: 生成的样本 - trajectory: 采样轨迹（可选） - """ - # 初始化：从高斯噪声开始 - x = torch.randn(batch_size, *shape, device=self.device) - x = x * self.sigmas[0] - - trajectory = [x.clone()] - - # 退火过程 - sigma_levels = tqdm(self.sigmas, desc="Annealing") if show_progress else self.sigmas - - for i, sigma in enumerate(sigma_levels): - # 当前噪声水平的步长 - epsilon_i = self.get_epsilon(sigma) - - # 在当前噪声水平运行T步Langevin - for t in range(self.T): - # 计算分数 - score = self.score_model(x, sigma.expand(batch_size)) - - # Langevin更新 - noise = torch.randn_like(x) - x = x + epsilon_i * score + np.sqrt(2 * epsilon_i) * noise - - trajectory.append(x.clone()) - - # 可选的最后去噪步骤 - if self.denoise: - # 使用最小噪声水平再做一次预测 - score = self.score_model(x, self.sigmas[-1].expand(batch_size)) - x = x + self.sigmas[-1] ** 2 * score - - return x, trajectory - - @torch.no_grad() - def sample_with_initialization(self, x_init, start_sigma_idx=0): - """从特定初始值和噪声水平开始采样 - - 用于图像编辑、插值等任务 - """ - batch_size = x_init.shape[0] - x = x_init.clone() - - # 从指定的噪声水平开始 - for i in range(start_sigma_idx, len(self.sigmas)): - sigma = self.sigmas[i] - epsilon_i = self.get_epsilon(sigma) - - for t in range(self.T): - score = self.score_model(x, sigma.expand(batch_size)) - noise = torch.randn_like(x) - x = x + epsilon_i * score + np.sqrt(2 * epsilon_i) * noise - - return x - -# 改进的采样器：使用预测-校正方法 -class PredictorCorrectorSampler(AnnealedLangevinSampler): - """预测-校正采样器（Song et al., 2021）""" - - def __init__(self, *args, corrector_steps=1, snr=0.16, **kwargs): - super().__init__(*args, **kwargs) - self.corrector_steps = corrector_steps - self.snr = snr # 信噪比 - - @torch.no_grad() - def sample(self, batch_size, shape, show_progress=True): - """使用预测-校正方法采样""" - x = torch.randn(batch_size, *shape, device=self.device) - x = x * self.sigmas[0] - - sigma_levels = tqdm( - enumerate(self.sigmas[:-1]), - total=len(self.sigmas)-1, - desc="PC Sampling" - ) if show_progress else enumerate(self.sigmas[:-1]) - - for i, sigma in sigma_levels: - sigma_next = self.sigmas[i + 1] - - # 预测步骤（大步跳跃） - score = self.score_model(x, sigma.expand(batch_size)) - x_mean = x + (sigma ** 2 - sigma_next ** 2) * score - noise = torch.randn_like(x) - x = x_mean + torch.sqrt(sigma_next ** 2 - 0) * noise - - # 校正步骤（Langevin MCMC） - for _ in range(self.corrector_steps): - score = self.score_model(x, sigma_next.expand(batch_size)) - noise = torch.randn_like(x) - epsilon = self.snr * sigma_next ** 2 - x = x + epsilon * score + torch.sqrt(2 * epsilon) * noise - - return x, None - -# 实用工具函数 -def interpolate_samples(x1, x2, sampler, num_steps=10): - """在潜在空间中插值两个样本""" - alphas = torch.linspace(0, 1, num_steps) - interpolated = [] - - for alpha in alphas: - # 球面线性插值（保持范数） - x_interp = slerp(x1, x2, alpha) - - # 从中间噪声水平开始去噪 - start_idx = len(sampler.sigmas) // 2 - x_denoised = sampler.sample_with_initialization( - x_interp, start_sigma_idx=start_idx - ) - interpolated.append(x_denoised) - - return torch.stack(interpolated) - -def slerp(x1, x2, alpha): - """球面线性插值""" - x1_norm = x1 / x1.norm(dim=-1, keepdim=True) - x2_norm = x2 / x2.norm(dim=-1, keepdim=True) - - omega = torch.acos((x1_norm * x2_norm).sum(dim=-1, keepdim=True).clamp(-1, 1)) - - return (torch.sin((1 - alpha) * omega) / torch.sin(omega)) * x1 + \ - (torch.sin(alpha * omega) / torch.sin(omega)) * x2 - -# 使用示例 -print("退火Langevin动力学示例：") -print("1. 基础采样器：使用固定步长和T步Langevin") -print("2. 自适应步长：根据噪声水平调整步长") -print("3. 预测-校正：更快的采样，更好的质量") -print("4. 条件采样：从部分噪声开始，用于编辑任务") - - - -#### 收敛性分析 - - - - 退火Langevin的收敛保证 - 在适当条件下，ALD算法有以下保证： - - - - - **单个噪声水平**：对于固定的 $\sigma_i$，Langevin动力学以速率 $O(\epsilon)$ 收敛到 $p_{\sigma_i}$ - - **退火过程**：如果相邻分布足够接近（$D_{KL}(p_{\sigma_i} \| p_{\sigma_{i+1}}) 在中等噪声水平使用更多步数 - - 最高和最低噪声水平可以用较少步数 - - - - - - **最后的去噪步**： - - $$x_{final} = x + \sigma_{min}^2 \nabla_x \log p_{\sigma_{min}}(x)$$ - - -这一步通常能显著提升视觉质量 - - - - - **温度调节**： - - - 降低温度（减小噪声）：更确定但可能缺乏多样性 - - 提高温度（增大噪声）：更多样但可能质量下降 - - - - - - **早停策略**： - - - 不一定要运行到最小噪声 - - 在适当的噪声水平停止可能得到更好的感知质量 - - - - - - - - -#### 与其他采样方法的比较 - - - - 采样方法对比 - - - 方法 - 速度 - 质量 - 特点 - - - 退火Langevin - 慢 - 高 - 理论保证，稳定 - - - DDIM - 快 - 高 - 确定性，可逆 - - - 预测-校正 - 中等 - 很高 - 平衡速度和质量 - - - DPM-Solver - 很快 - 高 - 高阶ODE求解器 - - - - - -## 4.4 Langevin动力学与采样 - - - -### 4.4.1 Langevin方程的基础 - - - -Langevin方程最初由法国物理学家Paul Langevin在1908年提出，用于描述布朗运动。在机器学习中，Langevin动力学成为了一种强大的采样方法，特别适合基于梯度的采样。 - - - -#### 物理起源 - - - -考虑一个在势能场 $U(x)$ 中运动的粒子，受到两种力的作用： - - - - - **确定性力**：$-\nabla U(x)$（势能的负梯度） - - **随机力**：热噪声，建模为白噪声 - - - - -过阻尼Langevin方程（忽略惯性项）为： - - - - $$\frac{dx}{dt} = -\nabla U(x) + \sqrt{2\beta^{-1}} \eta(t)$$ - - - -其中 $\beta = 1/(k_B T)$ 是逆温度，$\eta(t)$ 是白噪声（满足 $\langle \eta(t) \rangle = 0$，$\langle \eta(t)\eta(t') \rangle = \delta(t-t')$）。 - - - -#### 概率论视角 - - - -从概率论角度，如果我们想从分布 $p(x) \propto \exp(-U(x))$ 采样，注意到： - - - - $$\nabla \log p(x) = -\nabla U(x)$$ - - - -因此Langevin方程可以重写为： - - - - $$dx = \nabla \log p(x) dt + \sqrt{2} dW_t$$ - - - -这是一个随机微分方程（SDE），其中 $W_t$ 是标准布朗运动。 - - - - Fokker-Planck方程 - -Langevin SDE对应的概率密度演化由Fokker-Planck方程描述： - - - $$\frac{\partial p_t}{\partial t} = -\nabla \cdot (p_t \nabla \log p) + \Delta p_t = \nabla \cdot (\nabla p_t + p_t \nabla \log p)$$ - - - -稳态解（$\partial p_t/\partial t = 0$）满足： - - - $$\nabla p_{\infty} + p_{\infty} \nabla \log p = 0$$ - - - -这给出 $p_{\infty} = p$，即目标分布！ - - - - -#### 离散化方案 - - - -为了数值实现，需要离散化SDE。最常用的是Euler-Maruyama方法： - - - - $$x_{k+1} = x_k + \epsilon \nabla \log p(x_k) + \sqrt{2\epsilon} z_k, \quad z_k \sim \mathcal{N}(0, I)$$ - - - -其中 $\epsilon$ 是步长。这个更新规则有两个解释： - - - - -#### 两种视角的统一 - - - - - **梯度上升 + 噪声**：在对数概率上做梯度上升，加上探索性噪声 - - **MCMC**：这是Metropolis-adjusted Langevin algorithm (MALA)的特例（当接受率为1时） - - - -这两种视角解释了为什么Langevin动力学既能找到高概率区域，又能正确采样。 - - - - - -# Langevin动力学的基础实现 -import torch -import numpy as np - -class LangevinDynamics: - """基础Langevin动力学采样器""" - - def __init__(self, score_fn, step_size=0.01, noise_scale=1.0): - """ - Args: - score_fn: 分数函数 ∇log p(x) - step_size: 步长 ε - noise_scale: 噪声缩放（温度控制） - """ - self.score_fn = score_fn - self.step_size = step_size - self.noise_scale = noise_scale - - def step(self, x): - """单步Langevin更新""" - score = self.score_fn(x) - noise = torch.randn_like(x) - - x_new = x + self.step_size * score + \ - np.sqrt(2 * self.step_size * self.noise_scale) * noise - - return x_new - - def sample(self, x_init, num_steps, return_trajectory=False): - """运行Langevin动力学 - - Args: - x_init: 初始点 - num_steps: 步数 - return_trajectory: 是否返回整个轨迹 - - Returns: - 最终样本或整个轨迹 - """ - x = x_init.clone() - trajectory = [x.clone()] if return_trajectory else None - - for _ in range(num_steps): - x = self.step(x) - if return_trajectory: - trajectory.append(x.clone()) - - return trajectory if return_trajectory else x - -# Metropolis-adjusted Langevin Algorithm (MALA) -class MALA: - """带Metropolis-Hastings校正的Langevin算法""" - - def __init__(self, log_prob_fn, score_fn, step_size=0.01): - self.log_prob_fn = log_prob_fn - self.score_fn = score_fn - self.step_size = step_size - - def proposal(self, x): - """Langevin提议分布""" - score = self.score_fn(x) - noise = torch.randn_like(x) - - mean = x + self.step_size * score - x_prop = mean + np.sqrt(2 * self.step_size) * noise - - return x_prop, mean - - def log_proposal_ratio(self, x_new, x_old): - """计算提议分布的比率 q(x_old|x_new) / q(x_new|x_old)""" - # 前向提议: x_old -> x_new - score_old = self.score_fn(x_old) - mean_forward = x_old + self.step_size * score_old - - # 反向提议: x_new -> x_old - score_new = self.score_fn(x_new) - mean_backward = x_new + self.step_size * score_new - - # 高斯提议的对数比率 - log_q_backward = -0.5 * torch.sum((x_old - mean_backward)**2) / (2 * self.step_size) - log_q_forward = -0.5 * torch.sum((x_new - mean_forward)**2) / (2 * self.step_size) - - return log_q_backward - log_q_forward - - def step(self, x): - """MALA的一步""" - # Langevin提议 - x_prop, _ = self.proposal(x) - - # Metropolis-Hastings接受率 - log_alpha = self.log_prob_fn(x_prop) - self.log_prob_fn(x) + \ - self.log_proposal_ratio(x_prop, x) - - # 接受或拒绝 - if torch.rand(1) - - - -#### 收敛性质 - - - - Langevin动力学的收敛定理 - 在适当的正则性条件下（如对数凹分布），离散Langevin动力学有以下性质： - - - - - - **偏差-方差权衡**： - - - 小步长：小偏差，慢收敛 - - 大步长：大偏差，可能不稳定 - - - - - - **收敛速率**：对于 $m$-强凸势能，以步长 $\epsilon 使用预条件矩阵：$x_{k+1} = x_k + \epsilon M \nabla \log p(x_k) + \sqrt{2\epsilon M} z_k$ - - $M$ 可以是协方差矩阵的逆或其近似 - - - - - - **自适应步长**： - - - 根据局部曲率调整步长 - - 使用Robbins-Monro类型的递减步长 - - - - - - **方差减少**： - - - 控制变量方法 - - 使用历史信息（如SAGA类型的更新） - - - - - - **并行化**： - - - 多链并行 - - 异步更新 - - - - - - - - -### 4.4.2 离散化与数值稳定性 - - [内容待补充] - - -### 4.4.3 采样算法实现 - - [内容待补充] - - -## 4.5 分数模型与扩散模型的统一 - - - -### 4.5.1 两种观点的等价性 - - [内容待补充] - - -### 4.5.2 SDE框架下的统一 - - [内容待补充] - - -### 4.5.3 实践中的差异与选择 - - [内容待补充] - - -## 4.6 实现：训练分数模型 - - - -### 4.6.1 数据预处理与噪声调度 - - [内容待补充] - - -### 4.6.2 损失函数与优化 - - [内容待补充] - - -### 4.6.3 评估与可视化 - - [内容待补充] - - -## 4.7 高级主题 - - - -### 4.7.1 分数模型的理论性质 - - [内容待补充] - - -### 4.7.2 改进的采样技术 - - [内容待补充] - - -### 4.7.3 条件分数模型 - - [内容待补充] - - -## 4.8 练习题 - - - - -练习 4.1：分数函数的性质 - -证明以下性质： - - - - - 对于高斯分布 $p(x) = \mathcal{N}(x; \mu, \Sigma)$，证明分数函数为 $\nabla_x \log p(x) = -\Sigma^{-1}(x - \mu)$ - - 证明 $\mathbb{E}_{x \sim p}[\nabla_x \log p(x)] = 0$（提示：使用分部积分） - - 对于能量函数 $E(x) = \frac{1}{2}x^T A x + b^T x + c$，求对应的分数函数 - -**解答：** - - - - - 高斯分布： - $$\log p(x) = -\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu) + C$$ - $$\nabla_x \log p(x) = -\Sigma^{-1}(x-\mu)$$ - - - 期望为零： - $$\mathbb{E}[\nabla_x \log p(x)] = \int p(x) \frac{\nabla p(x)}{p(x)} dx = \int \nabla p(x) dx = \nabla \int p(x) dx = \nabla 1 = 0$$ - - - 二次能量函数： - $$p(x) \propto \exp(-E(x))$$ - $$\nabla_x \log p(x) = -\nabla_x E(x) = -(Ax + b)$$ - - - - - - -练习 4.2：实现去噪分数匹配 - -为二维数据实现一个完整的去噪分数匹配训练流程： - - - - - 生成"瑞士卷"（Swiss roll）数据集 - - 实现多尺度去噪分数匹配损失 - - 训练一个简单的MLP作为分数网络 - - 使用退火Langevin动力学生成新样本 - -# 完整实现框架 -import torch -import torch.nn as nn -import numpy as np -from sklearn.datasets import make_swiss_roll - -# 1. 生成数据 -def generate_swiss_roll(n_samples=1000): - X, _ = make_swiss_roll(n_samples, noise=0.1) - X = X[:, [0, 2]] # 使用x和z坐标 - return torch.tensor(X, dtype=torch.float32) - -# 2. 分数网络 -class ScoreNet(nn.Module): - def __init__(self, dim=2, hidden_dim=128): - super().__init__() - self.net = nn.Sequential( - nn.Linear(dim + 1, hidden_dim), # +1 for time/sigma - nn.ReLU(), - nn.Linear(hidden_dim, hidden_dim), - nn.ReLU(), - nn.Linear(hidden_dim, dim) - ) - - def forward(self, x, sigma): - t = sigma.log().view(-1, 1) - h = torch.cat([x, t], dim=1) - return self.net(h) / sigma.view(-1, 1) - -# 3. 训练循环 -def train_dsm(model, data, sigmas, num_epochs=1000): - optimizer = torch.optim.Adam(model.parameters(), lr=1e-3) - - for epoch in range(num_epochs): - # 随机批次 - idx = torch.randint(0, len(data), (128,)) - x = data[idx] - - # 随机噪声水平 - sigma_idx = torch.randint(0, len(sigmas), (len(x),)) - sigma = sigmas[sigma_idx] - - # 添加噪声 - noise = torch.randn_like(x) - x_noisy = x + sigma.view(-1, 1) * noise - - # 预测分数 - score_pred = model(x_noisy, sigma) - - # 损失 - loss = ((score_pred + noise/sigma.view(-1, 1))**2).mean() - - optimizer.zero_grad() - loss.backward() - optimizer.step() - -# 4. 采样 -def sample_ald(model, sigmas, num_samples=100): - x = torch.randn(num_samples, 2) * sigmas[0] - - for sigma in sigmas: - for _ in range(100): # T steps per sigma - score = model(x, sigma.expand(num_samples)) - noise = torch.randn_like(x) - step_size = 0.1 * (sigma/sigmas[-1])**2 - x = x + step_size * score + np.sqrt(2*step_size) * noise - - return x - - - - - - 练习 4.3：分析NCSN的多尺度效应 - 实验分析不同噪声调度对NCSN性能的影响： - - - - - 实现几何、线性、余弦三种噪声调度 - - 在相同数据上训练三个模型 - - 比较它们的收敛速度和生成质量 - - 可视化不同噪声水平下的分数场 - - - - - - 练习 4.4：从分数模型到扩散模型 - -推导并验证分数模型与DDPM的等价性： - - - - - 从DDPM的训练目标出发，推导其与分数匹配的关系 - - 实现一个统一的框架，可以在两种参数化之间转换 - - 验证两种方法在相同设置下产生相同的结果 - - - - - +
## 本章小结 +在本章中，我们深入探讨了基于分数的生成模型： -在本章中，我们从分数函数的角度深入理解了生成模型，建立了分数模型与扩散模型之间的桥梁： - - - -#### 主要收获 - - - - - **分数函数基础**：理解了分数函数的定义、性质和几何意义 - - **分数匹配技术**：掌握了去噪分数匹配、切片分数匹配等实用方法 - - **NCSN架构**：学习了多尺度噪声的设计和条件化网络架构 - - **Langevin动力学**：深入理解了基于分数的采样算法 - - **统一视角**：看到了分数模型和扩散模型的内在联系 - - - - -#### 关键要点 - - - - - 分数函数 $\nabla_x \log p(x)$ 提供了无需归一化常数的概率建模方法 - - 去噪分数匹配巧妙地避开了直接计算雅可比矩阵的难题 - - 多尺度方法解决了单一噪声水平的局限性 - - 退火Langevin动力学提供了理论保证的采样方法 - - 分数匹配与DDPM在数学上是等价的，只是参数化不同 - - - - -#### 与DDPM的对比 - - - - 方面 - DDPM - 分数模型 - - - 核心思想 - 学习去噪 - 学习分数函数 - - - 参数化 - 预测噪声 $\epsilon$ - 预测分数 $\nabla \log p$ - - - 理论基础 - 变分推断 - 分数匹配 - - - 采样方法 - 祖先采样 - Langevin动力学 - - - - -#### 展望 - - -基于本章的知识，我们为后续学习打下了坚实基础： - - - - - **第5章**：将离散时间推广到连续时间，学习SDE/ODE框架 - - **第6章**：探索流匹配等新方法，进一步统一生成模型 - - **第8章**：基于分数函数的理解，开发更快的采样算法 +**核心概念**： +- 分数函数作为概率分布的局部几何信息 +- 分数匹配技术绕过归一化常数的计算 +- Langevin动力学提供原理性的采样方法 +- 与扩散模型的深刻联系 +**关键洞察**： +- 去噪与分数估计的等价性 +- 多尺度建模的重要性 +- 连续时间框架的统一视角 +**开放问题与研究方向**： +- 高效的分数函数学习与采样 +- 非欧几里德空间的扩展 +- 理论基础的完善 +- 与其他机器学习范式的结合 +分数模型不仅是强大的生成模型，更提供了理解概率分布的新视角。随着理论的发展和计算能力的提升，我们期待看到更多突破性的进展。 -分数视角不仅提供了理解扩散模型的新方式，还启发了许多改进和扩展。在下一章，我们将进入连续时间的世界，看看如何用随机微分方程统一描述所有这些方法！ \ No newline at end of file +下一章，我们将进入连续时间的世界，探讨PDE/SDE视角下的扩散模型，看看微分方程如何为生成建模提供新的工具。 \ No newline at end of file diff --git a/chapter4_updated.md b/chapter4_updated.md deleted file mode 100644 index 32a1c0b..0000000 --- a/chapter4_updated.md +++ /dev/null @@ -1,438 +0,0 @@ -[← 上一章](chapter3.md) | 第4章 / 共14章 | [下一章 →](chapter5.md) - -# 第4章：基于分数的生成模型 - -基于分数的生成模型（Score-based Generative Models）提供了理解扩散模型的另一个重要视角。通过直接学习数据分布的分数函数（score function，即对数概率密度的梯度），我们可以构建强大的生成模型。本章将深入探讨分数匹配、Langevin动力学以及它们与扩散模型的深层联系。从NCSN到Score SDE，我们将看到分数模型如何与DDPM统一在同一框架下。 - -## 4.1 分数函数的直觉与重要性 - -### 4.1.1 什么是分数函数？ - -分数函数（score function）是概率论和统计学中的一个基本概念，它定义为对数概率密度函数关于数据的梯度： - -$$\nabla_x \log p(x) = \frac{\nabla_x p(x)}{p(x)}$$ - -这个看似简单的定义蕴含着深刻的意义。让我们通过几个例子来理解它。 - -**例1：一维高斯分布** - -对于标准正态分布 $p(x) = \frac{1}{\sqrt{2\pi}} e^{-\frac{x^2}{2}}$： - -$$\log p(x) = -\frac{x^2}{2} - \frac{1}{2}\log(2\pi)$$ - -分数函数为： -$$\nabla_x \log p(x) = -x$$ - -注意这个结果的直观性： -- 当 $x > 0$ 时，分数为负，指向原点（概率更高的方向） -- 当 $x < 0$ 时，分数为正，同样指向原点 -- 分数的大小与偏离原点的距离成正比 - -**🔬 研究线索：** 分数函数的这种"指向高概率区域"的性质是否总是成立？考虑多峰分布的情况，分数函数在鞍点附近的行为如何？这涉及到动力系统理论中的稳定性分析。 - -### 4.1.2 为什么分数函数重要？ - -分数函数在机器学习和统计学中扮演着核心角色，其重要性体现在多个方面： - -#### 1. 无需归一化常数 - -许多复杂的概率模型（如马尔可夫随机场、能量模型）的归一化常数难以计算： - -$$p(x) = \frac{1}{Z} \exp(-E(x)), \quad Z = \int \exp(-E(x)) dx$$ - -但分数函数可以直接计算，无需知道 $Z$： - -$$\nabla_x \log p(x) = -\nabla_x E(x)$$ - -**实例：Ising模型** - -在统计物理中的Ising模型中，系统能量为： -$$E(x) = -J \sum_{\langle i,j \rangle} x_i x_j - h \sum_i x_i$$ - -其中 $x_i \in \{-1, +1\}$。配分函数 $Z$ 的计算是 #P-hard 问题，但能量的梯度（在连续松弛下）却很容易计算。 - -**💡 开放问题：** 如何设计高效的分数函数估计器，使其在高维空间中仍然准确？当前的神经网络架构是否最优？考虑引入物理约束或对称性。 - -#### 2. 采样算法的基础 - -分数函数直接告诉我们如何在概率分布中"爬山"： - -$$x_{t+1} = x_t + \epsilon \nabla_x \log p(x_t) + \sqrt{2\epsilon} \xi_t$$ - -其中 $\xi_t \sim \mathcal{N}(0, I)$。这就是著名的Langevin动力学。 - -**⚡ 实现挑战：** Langevin采样在高维空间收敛极慢。如何设计自适应步长？如何处理多尺度问题？预条件器的选择至关重要，可以考虑使用 `torch.optim.LBFGS` 中的Hessian近似思想。 - -### 4.1.3 分数函数的几何意义 - -从几何角度看，分数函数定义了数据流形上的一个向量场。这个向量场有着优美的性质： - -**性质1：梯度流的不动点** -$$\nabla_x \log p(x^*) = 0 \Leftrightarrow x^* \text{ 是 } p(x) \text{ 的局部极值点}$$ - -**性质2：体积收缩** -分数函数的散度反映了概率密度的局部曲率： -$$\nabla \cdot (\nabla \log p(x)) = \nabla^2 \log p(x) + \|\nabla \log p(x)\|^2$$ - -**🌟 理论缺口：** 分数函数的全局几何性质还未被完全理解。特别是在流形上的分数函数理论仍在发展中。这与最优传输理论有深刻联系，但具体的联系仍需探索。 - -
-练习 4.1：探索分数函数的性质 - -1. 证明对于指数族分布 $p(x) = h(x)\exp(\eta^T T(x) - A(\eta))$，分数函数具有特殊形式。 - -2. **开放探索**：考虑混合高斯分布 $p(x) = \sum_i \pi_i \mathcal{N}(x; \mu_i, \Sigma_i)$。 - - 分析分数函数在不同区域的行为 - - 什么条件下会出现"分数坍塌"（score collapse）？ - - 如何设计对这种现象鲁棒的学习算法？ - -**研究思路**： -- 从动力系统角度分析相空间的结构 -- 考虑引入正则化项来避免数值不稳定 -- 探索与最优传输的联系 - -
- -## 4.2 分数匹配：学习未知分布的分数 - -### 4.2.1 经典分数匹配 - -给定数据分布 $p_{data}(x)$ 的样本，如何学习其分数函数？Hyvärinen (2005) 提出了分数匹配（Score Matching）方法。 - -**基本思想**：最小化模型分数与真实分数的差异 -$$\mathcal{L}_{SM} = \mathbb{E}_{p_{data}}\left[\frac{1}{2}\|\nabla_x \log p_{model}(x) - \nabla_x \log p_{data}(x)\|^2\right]$$ - -但这里有个问题：我们不知道 $\nabla_x \log p_{data}(x)$！ - -**Hyvärinen的天才洞察**：通过分部积分，可以得到一个等价的目标函数，不需要真实分数： - -$$\mathcal{L}_{SM} = \mathbb{E}_{p_{data}}\left[\text{tr}(\nabla_x^2 \log p_{model}(x)) + \frac{1}{2}\|\nabla_x \log p_{model}(x)\|^2\right] + \text{const}$$ - -**🔬 研究线索：** 分数匹配的这种"隐式"特性是否可以推广到其他问题？考虑在因果推断、强化学习中的应用。隐式方法避免了直接估计难以处理的量，这个思想值得深入探索。 - -### 4.2.2 去噪分数匹配（Denoising Score Matching） - -计算Hessian矩阵的迹 `torch.autograd.functional.hessian` 在高维情况下代价高昂。Vincent (2011) 提出了一个巧妙的替代方案： - -**核心思想**：向数据添加噪声，然后学习去噪 -$$\tilde{x} = x + \sigma \epsilon, \quad \epsilon \sim \mathcal{N}(0, I)$$ - -去噪分数匹配目标： -$$\mathcal{L}_{DSM} = \mathbb{E}_{p_{data}(x)}\mathbb{E}_{\epsilon}\left[\frac{1}{2}\|s_\theta(\tilde{x}, \sigma) + \frac{\epsilon}{\sigma}\|^2\right]$$ - -**关键洞察**：这个目标函数在学习"如何去噪"，而去噪方向正是分数函数的方向！ - -**💡 开放问题：** -1. 最优的噪声调度是什么？当前的线性或几何调度是否最优？ -2. 能否设计自适应的噪声调度，根据局部几何自动调整？ -3. 非高斯噪声（如Laplace噪声）会带来什么优势？ - -### 4.2.3 基于切片的分数匹配（Sliced Score Matching） - -**⚡ 实现挑战：** 计算高维Hessian的另一种方法是使用随机投影： - -$$\mathcal{L}_{SSM} = \mathbb{E}_{p_{data}}\mathbb{E}_{v \sim \mathcal{N}(0,I)}\left[v^T\nabla_x^2 \log p_{model}(x)v + \frac{1}{2}(v^T\nabla_x \log p_{model}(x))^2\right]$$ - -这只需要计算方向导数，可以用 `torch.autograd.grad` 高效实现。但投影会损失信息，如何选择最优的投影方向仍是开放问题。 - -
-练习 4.2：实现与分析不同的分数匹配方法 - -1. 实现三种分数匹配方法，比较它们在2D数据上的表现。 - -2. **开放探索**：设计新的分数匹配方法 - - 考虑使用对抗训练来匹配分数 - - 探索基于最优传输的分数匹配 - - 研究在流形上的分数匹配 - -**研究思路**： -- 分析不同方法的方差-偏差权衡 -- 考虑计算效率与估计精度的平衡 -- 探索与其他无监督学习方法的联系 - -
- -## 4.3 噪声条件分数网络（NCSN） - -### 4.3.1 多尺度去噪分数匹配 - -Song & Ermon (2019) 的关键创新是引入多个噪声尺度： - -$$\{\sigma_i\}_{i=1}^L, \quad \sigma_1 > \sigma_2 > \cdots > \sigma_L$$ - -**动机**： -- 大噪声帮助覆盖整个空间，避免模式遗漏 -- 小噪声帮助精确建模细节 -- 不同尺度提供了"课程学习"效果 - -**🌟 理论缺口：** 噪声尺度的选择缺乏严格的理论指导。当前主要依赖经验和网格搜索。能否从信息论或最优控制角度推导最优调度？ - -### 4.3.2 退火Langevin动力学 - -NCSN使用退火策略进行采样： - -``` -对于每个噪声级别 σ_i: - 运行 T 步 Langevin 动力学 - 逐渐减小步长 -``` - -**💡 开放问题：** -1. 如何自动确定每个噪声级别的迭代次数？ -2. 能否设计连续的退火过程而非离散级别？ -3. 如何处理采样过程中的metastability？ - -### 4.3.3 架构设计考虑 - -NCSN使用带条件的U-Net架构： -- 输入：带噪声的数据 + 噪声级别 -- 输出：该噪声级别下的分数估计 - -**⚡ 实现挑战：** -- 不同噪声级别的分数尺度差异巨大，如何归一化？ -- 是否应该为不同噪声级别使用不同的网络？ -- 如何在网络中有效编码噪声级别信息？使用 `torch.nn.Embedding` 还是连续编码？ - -
-练习 4.3：探索NCSN的改进 - -1. 实现基础NCSN并分析其在不同数据分布上的表现。 - -2. **开放探索**：改进NCSN - - 设计自适应的噪声调度算法 - - 探索非欧几里德空间（如球面、双曲空间）上的NCSN - - 研究NCSN与谱方法的结合 - -**研究思路**： -- 从优化理论角度分析收敛性 -- 考虑引入物理先验（如能量守恒） -- 探索与神经ODE的联系 - -
- -## 4.4 Langevin动力学与采样 - -### 4.4.1 连续时间Langevin动力学 - -Langevin方程描述了布朗粒子在势场中的运动： - -$$dX_t = \nabla \log p(X_t)dt + \sqrt{2}dW_t$$ - -这个SDE的平稳分布正是 $p(x)$。 - -**🔬 研究线索：** Langevin动力学与物理学中的涨落-耗散定理有深刻联系。能否利用这种联系设计更高效的采样算法？考虑引入"记忆"效应或非马尔可夫动力学。 - -### 4.4.2 离散化与误差分析 - -Euler-Maruyama离散化： -$$x_{k+1} = x_k + \epsilon s_\theta(x_k) + \sqrt{2\epsilon}\xi_k$$ - -**关键问题**： -- 离散化误差如何累积？ -- 如何选择步长 $\epsilon$？ -- 何时停止迭代？ - -**🌟 理论缺口：** 非凸情况下的收敛性分析仍不完整。特别是： -1. 有限时间内的混合时间界 -2. 非光滑分数函数的影响 -3. 离散化对不变测度的影响 - -### 4.4.3 加速采样技术 - -标准Langevin采样很慢，几种加速技术： - -1. **预条件Langevin动力学** - $$dX_t = G(X_t)\nabla \log p(X_t)dt + \sqrt{2G(X_t)}dW_t$$ - - 其中 $G(x)$ 是预条件矩阵。 - -2. **动量方法（Hamiltonian Monte Carlo）** - 引入动量变量，利用哈密顿动力学。 - -3. **并行链** - 运行多个温度的Markov链，交换状态。 - -**💡 开放问题：** -- 如何自动设计最优预条件器？ -- 能否利用神经网络学习加速采样？ -- 如何在保持正确性的同时最大化并行效率？ - -
-练习 4.4：Langevin采样的深入研究 - -1. 实现不同的Langevin采样变体，比较效率。 - -2. **开放探索**：新型采样算法 - - 设计基于最优传输的采样路径 - - 探索量子启发的采样算法 - - 研究在离散空间上的"Langevin"动力学 - -**研究思路**： -- 分析不同算法的偏差-方差权衡 -- 考虑自适应和在线学习策略 -- 探索与强化学习的联系（采样作为决策过程） - -
- -## 4.5 统一视角：Score-Based Models与Diffusion Models - -### 4.5.1 DDPM作为特殊的分数模型 - -关键发现：DDPM的去噪目标等价于分数匹配！ - -DDPM学习： -$$\mathbb{E}[\|\epsilon - \epsilon_\theta(x_t, t)\|^2]$$ - -而加噪数据的分数函数： -$$\nabla_{x_t} \log p_t(x_t) = -\frac{\epsilon}{\sqrt{1-\bar{\alpha}_t}}$$ - -因此DDPM实际上在学习（重新缩放的）分数函数。 - -**🔬 研究线索：** 这种等价性是巧合还是有更深层的原因？考虑从信息几何或最优传输角度理解这种联系。 - -### 4.5.2 连续时间框架 - -Song et al. (2021) 提出了统一的SDE框架： - -前向SDE： -$$dx = f(x,t)dt + g(t)dW_t$$ - -对应的反向SDE： -$$dx = [f(x,t) - g(t)^2\nabla_x \log p_t(x)]dt + g(t)d\bar{W}_t$$ - -不同选择的 $f$ 和 $g$ 对应不同的模型： -- VP-SDE (Variance Preserving) -- VE-SDE (Variance Exploding) -- sub-VP-SDE - -**💡 开放问题：** -1. 什么样的SDE选择是最优的？ -2. 能否自适应地学习SDE系数？ -3. 非线性SDE会带来什么优势？ - -### 4.5.3 概率流ODE - -每个SDE都有对应的概率流ODE： -$$dx = [f(x,t) - \frac{1}{2}g(t)^2\nabla_x \log p_t(x)]dt$$ - -这个ODE： -- 具有相同的边际分布 -- 但是确定性的 -- 可以用于精确似然计算 - -**⚡ 实现挑战：** -- ODE求解器的选择（`torchdiffeq.odeint` 的不同方法） -- 如何权衡精度与速度？ -- 如何处理刚性ODE？ - -
-练习 4.5：探索统一框架 - -1. 实现不同的SDE并比较它们的特性。 - -2. **开放探索**：扩展统一框架 - - 设计新的SDE族 - - 探索非欧几里德空间上的扩散 - - 研究带约束的扩散过程 - -**研究思路**： -- 从几何角度理解不同SDE的含义 -- 考虑引入自适应或学习的SDE系数 -- 探索与最优控制的联系 - -
- -## 4.6 高级主题与前沿研究 - -### 4.6.1 条件分数模型 - -给定条件 $y$，如何建模 $p(x|y)$ 的分数？ - -**方法1：直接建模** -$$s_\theta(x, y, t) \approx \nabla_x \log p_t(x|y)$$ - -**方法2：分类器引导** -$$\nabla_x \log p(x|y) = \nabla_x \log p(x) + \nabla_x \log p(y|x)$$ - -**🌟 理论缺口：** -- 两种方法的理论比较尚不完整 -- 如何处理高维或结构化的条件？ -- 组合性条件生成仍是挑战 - -### 4.6.2 流形上的分数模型 - -现实数据常位于低维流形上，如何在流形上定义分数函数？ - -**挑战**： -- 需要流形的局部坐标系 -- 切空间上的分数函数定义 -- 测地线vs欧氏距离 - -**💡 开放问题：** -- 如何学习未知流形的几何？ -- 能否设计流形感知的神经网络架构？ -- 如何处理拓扑变化？ - -### 4.6.3 分数模型的理论基础 - -**未解决的理论问题**： - -1. **样本复杂度**：需要多少样本才能学好分数函数？ -2. **逼近误差**：神经网络的表达能力限制 -3. **优化景观**：分数匹配的优化是否是良性的？ - -**🔬 研究线索：** 这些问题与统计学习理论、逼近理论和优化理论都有联系。特别是与神经切线核(NTK)理论的联系值得探索。 - -
-综合练习：设计你的分数生成模型 - -基于本章所学，设计一个新的分数生成模型： - -1. **问题设定**：选择一个具有挑战性的生成任务 - - 如：图上的分子生成、3D点云生成、时间序列生成 - -2. **方法设计**： - - 如何定义合适的分数函数？ - - 采用什么训练策略？ - - 如何设计高效的采样算法？ - -3. **理论分析**： - - 你的方法有什么理论保证？ - - 与现有方法相比有什么优势？ - -4. **开放研究方向**： - - 识别你的方法中的理论缺口 - - 提出可能的改进方向 - - 设计验证实验 - -**研究思路**： -- 从应用需求出发，识别现有方法的不足 -- 考虑跨学科的思想借鉴 -- 注重理论与实践的结合 - -
- -## 本章小结 - -在本章中，我们深入探讨了基于分数的生成模型： - -**核心概念**： -- 分数函数作为概率分布的局部几何信息 -- 分数匹配技术绕过归一化常数的计算 -- Langevin动力学提供原理性的采样方法 -- 与扩散模型的深刻联系 - -**关键洞察**： -- 去噪与分数估计的等价性 -- 多尺度建模的重要性 -- 连续时间框架的统一视角 - -**开放问题与研究方向**： -- 高效的分数函数学习与采样 -- 非欧几里德空间的扩展 -- 理论基础的完善 -- 与其他机器学习范式的结合 - -分数模型不仅是强大的生成模型，更提供了理解概率分布的新视角。随着理论的发展和计算能力的提升，我们期待看到更多突破性的进展。 - -下一章，我们将进入连续时间的世界，探讨PDE/SDE视角下的扩散模型，看看微分方程如何为生成建模提供新的工具。 \ No newline at end of file From 40cc5e924294bf396c37ecce4e830aa401ae9ebf Mon Sep 17 00:00:00 2001 From: William Date: Sun, 27 Jul 2025 09:13:01 +0800 Subject: [PATCH 03/62] interim --- chapter1.md | 158 ++++++++++++++-------------------------------------- chapter2.md | 58 +++++++------------ 2 files changed, 63 insertions(+), 153 deletions(-) diff --git a/chapter1.md b/chapter1.md index f71e5d8..5eb75e2 100644 --- a/chapter1.md +++ b/chapter1.md @@ -14,6 +14,9 @@ 扩散模型（Diffusion Models）是一类强大的生成模型，它通过学习数据的逐步去噪过程来生成高质量的样本。这个过程可以类比为物理学中的扩散现象：就像墨水在水中逐渐扩散直至均匀分布，扩散模型将数据逐步添加噪声直至变成纯噪声，然后学习如何反转这个过程。 +🔬 **研究线索：物理扩散与概率扩散的深层联系** +扩散模型与物理扩散方程的联系不仅仅是类比。实际上，Fokker-Planck方程和Schrödinger桥问题揭示了两者的数学等价性。这种联系在最优传输理论中有深刻体现，但目前仍缺乏统一的几何理论框架。PyTorch中的`torchdiffeq.odeint`可用于探索连续时间扩散。 + > **定义** @@ -39,15 +42,12 @@ 给定数据点 $\mathbf{x}_0 \sim q(\mathbf{x}_0)$，前向过程通过 $T$ 步逐渐添加高斯噪声： +$$q(\mathbf{x}_t | \mathbf{x}_{t-1}) = \mathcal{N}(\mathbf{x}_t; \sqrt{1-\beta_t}\mathbf{x}_{t-1}, \beta_t\mathbf{I})$$ +其中 $\beta_t$ 是第 $t$ 步的噪声调度（noise schedule），控制每一步添加噪声的量。 - - $$q(\mathbf{x}_t | \mathbf{x}_{t-1}) = \mathcal{N}(\mathbf{x}_t; \sqrt{1-\beta_t}\mathbf{x}_{t-1}, \beta_t\mathbf{I})$$ - - - - -其中 $\beta_t$ 是第 $t$ 步的噪声调度（noise schedule），控制每一步添加噪声的量。通过重参数化技巧，我们可以直接从 $\mathbf{x}_0$ 采样任意时刻 $t$ 的 $\mathbf{x}_t$： +💡 **开放问题：最优噪声调度的理论基础** +虽然实践中余弦调度效果良好，但缺乏理论指导原则。信息论视角下，噪声调度应该如何与数据的固有维度相适应？是否存在数据相关的自适应调度算法？这涉及到`torch.nn.functional.cosine_similarity`等度量的使用。通过重参数化技巧，我们可以直接从 $\mathbf{x}_0$ 采样任意时刻 $t$ 的 $\mathbf{x}_t$： @@ -90,10 +90,10 @@ 反向过程的目标是学习条件分布 $p_\theta(\mathbf{x}_{t-1} | \mathbf{x}_t)$，使其能够逐步去除噪声。我们通常将其参数化为： +$$p_\theta(\mathbf{x}_{t-1} | \mathbf{x}_t) = \mathcal{N}(\mathbf{x}_{t-1}; \boldsymbol{\mu}_\theta(\mathbf{x}_t, t), \sigma_t^2\mathbf{I})$$ - - - $$p_\theta(\mathbf{x}_{t-1} | \mathbf{x}_t) = \mathcal{N}(\mathbf{x}_{t-1}; \boldsymbol{\mu}_\theta(\mathbf{x}_t, t), \sigma_t^2\mathbf{I})$$ +⚡ **实现挑战：方差参数化的选择** +固定方差vs学习方差是一个未解决的权衡问题。DDPM使用固定方差，而改进版本学习方差。理论上最优的参数化形式是什么？这涉及到`torch.nn.Parameter`的灵活使用和梯度流的稳定性分析。 @@ -113,95 +113,29 @@ ## 1.4 实践：可视化扩散过程 +让我们通过一个简单的例子来直观理解扩散过程。考虑一个2D高斯分布的前向扩散过程： +**前向扩散的数学表达：** +$$\mathbf{x}_t = \sqrt{\bar{\alpha}_t} \mathbf{x}_0 + \sqrt{1 - \bar{\alpha}_t} \boldsymbol{\epsilon}$$ -让我们通过一个简单的例子来直观理解扩散过程。下面的代码展示了如何对一个2D高斯分布进行前向扩散： - - - - -import numpy as np -import matplotlib.pyplot as plt - -# 生成初始数据：2D高斯分布 -np.random.seed(42) -x0 = np.random.randn(1000, 2) * 0.5 + np.array([2, 2]) - -# 定义噪声调度 -T = 100 -betas = np.linspace(0.001, 0.02, T) -alphas = 1 - betas -alphas_bar = np.cumprod(alphas) - -# 可视化不同时间步的数据分布 -fig, axes = plt.subplots(1, 5, figsize=(15, 3)) -time_steps = [0, 25, 50, 75, 99] - -for i, t in enumerate(time_steps): - if t == 0: - xt = x0 - else: - # 前向扩散：x_t = sqrt(alpha_bar_t) * x_0 + sqrt(1 - alpha_bar_t) * epsilon - epsilon = np.random.randn(*x0.shape) - xt = np.sqrt(alphas_bar[t-1]) * x0 + np.sqrt(1 - alphas_bar[t-1]) * epsilon - - axes[i].scatter(xt[:, 0], xt[:, 1], alpha=0.5, s=10) - axes[i].set_xlim(-4, 4) - axes[i].set_ylim(-4, 4) - axes[i].set_title(f't = {t}') - axes[i].grid(True, alpha=0.3) - -plt.tight_layout() -plt.show() +其中 $\boldsymbol{\epsilon} \sim \mathcal{N}(0, \mathbf{I})$。通过选择不同的时间步 $t \in \{0, 25, 50, 75, 100\}$，我们可以观察数据分布如何从初始的聚集状态逐渐扩散为标准正态分布。 +🌟 **理论空白：扩散速度的几何含义** +前向扩散过程在数据流形上的速度场有何几何意义？与Ricci流的联系如何？这种几何视角可能揭示新的采样算法。相关实现会用到`torch.nn.functional.normalize`进行流形投影。 -练习 1.2：实现简单的1D扩散 - 实现一个1D扩散过程的完整前向和反向过程。给定初始数据为单点 $x_0 = 5$： +练习 1.2：理解1D扩散的数学本质 +给定初始数据为单点 $x_0 = 5$，分析1D扩散过程： - - 实现前向扩散过程，记录每一步的值 - - 假设你知道真实的反向过程，实现去噪过程 - - 绘制前向和反向过程的轨迹 +1. **前向过程分析**：推导 $\mathbb{E}[x_t]$ 和 $\text{Var}(x_t)$ 随时间的变化 +2. **信息论视角**：计算每一步的信息损失 $I(x_0; x_t)$ +3. **最优反向过程**：证明最优反向过程的漂移项与分数函数的关系 -**参考代码：** - - - -import numpy as np -import matplotlib.pyplot as plt - -# 初始化 -x0 = 5.0 -T = 50 -betas = np.linspace(0.01, 0.2, T) - -# 前向过程 -x_forward = [x0] -for t in range(T): - noise = np.random.randn() - x_next = np.sqrt(1 - betas[t]) * x_forward[-1] + np.sqrt(betas[t]) * noise - x_forward.append(x_next) - -# 反向过程（假设知道真实的去噪方向） -x_reverse = [x_forward[-1]] -for t in range(T-1, -1, -1): - # 这里简化处理，实际需要学习 - predicted_x0 = x0 # 假设知道目标 - direction = (predicted_x0 - x_reverse[-1]) / (t + 1) - x_reverse.append(x_reverse[-1] + direction * 0.1 + np.random.randn() * 0.01) - -# 绘图 -plt.figure(figsize=(10, 5)) -plt.plot(x_forward, 'b-', label='Forward Process', alpha=0.7) -plt.plot(x_reverse, 'r-', label='Reverse Process', alpha=0.7) -plt.xlabel('Time Step') -plt.ylabel('Value') -plt.legend() -plt.grid(True, alpha=0.3) -plt.show() +💡 **研究方向：1D情况下的解析解** +在1D高斯情况下，扩散过程存在闭式解。这为理解高维情况提供了直觉。如何将1D的洞察推广到高维？相关计算会用到`torch.distributions.Normal`和信息论度量。 @@ -209,16 +143,15 @@ plt.show() ## 1.5 历史发展与里程碑 +扩散模型的发展经历了几个重要阶段： - 扩散模型的发展经历了几个重要阶段： - - +- **2015年**：Sohl-Dickstein等人提出了基于非平衡热力学的深度无监督学习方法 +- **2020年**：Ho等人提出DDPM（Denoising Diffusion Probabilistic Models），简化了训练过程 +- **2021年**：Song等人提出DDIM，大幅加速了采样过程 +- **2022年**：Stable Diffusion的发布，使文本到图像生成达到了新高度 - - - **2015年**：Sohl-Dickstein等人提出了基于非平衡热力学的深度无监督学习方法 - - **2020年**：Ho等人提出DDPM（Denoising Diffusion Probabilistic Models），简化了训练过程 - - **2021年**：Song等人提出DDIM，大幅加速了采样过程 - - **2022年**：Stable Diffusion的发布，使文本到图像生成达到了新高度 +🔬 **历史视角的研究机会** +早期基于热力学的方法与现代DDPM的联系尚未完全理解。非平衡统计物理中的涨落定理（Fluctuation Theorems）如何应用于扩散模型？这可能带来新的理论洞察和算法改进。 @@ -245,25 +178,20 @@ plt.show() -综合练习：比较不同噪声调度 - -实现并比较三种不同的噪声调度策略： - - - - - 线性调度：$\beta_t = \beta_{\text{start}} + \frac{t}{T}(\beta_{\text{end}} - \beta_{\text{start}})$ - - 余弦调度：基于余弦函数的平滑调度 - - 二次调度：$\beta_t = \beta_{\text{start}} + \left(\frac{t}{T}\right)^2(\beta_{\text{end}} - \beta_{\text{start}})$ - - - -绘制 $\bar{\alpha}_t$ 随时间的变化曲线，并讨论它们的优缺点。 +综合练习：噪声调度的理论分析 -**提示：** +考虑三种噪声调度策略： +- 线性调度：$\beta_t = \beta_{\text{start}} + \frac{t}{T}(\beta_{\text{end}} - \beta_{\text{start}})$ +- 余弦调度：$\bar{\alpha}_t = \cos\left(\frac{t/T + s}{1 + s} \cdot \frac{\pi}{2}\right)^2$ +- 二次调度：$\beta_t = \beta_{\text{start}} + \left(\frac{t}{T}\right)^2(\beta_{\text{end}} - \beta_{\text{start}})$ +**理论分析任务：** +1. 推导每种调度下的信噪比 $\text{SNR}(t) = \bar{\alpha}_t / (1 - \bar{\alpha}_t)$ 的变化率 +2. 分析哪种调度最小化了总的信息损失 +3. 探讨与最优传输理论的联系 +⚡ **实现挑战：自适应噪声调度** +能否设计一个根据数据特性自动调整的噪声调度？这需要在线估计数据的局部几何性质。`torch.autograd.functional.jacobian`可用于计算局部几何量。 - - 线性调度简单直观，但可能在早期步骤添加噪声过快 - - 余弦调度在中间阶段更平滑，有助于保留更多信息 - - 二次调度在早期添加噪声较慢，后期加速 - - 选择哪种调度取决于具体任务和数据特性 \ No newline at end of file +🌟 **理论空白：噪声调度与采样效率** +不同噪声调度对DDIM等快速采样算法的影响机制尚不清楚。是否存在专门为快速采样优化的噪声调度？这涉及到离散化误差的精细分析。 \ No newline at end of file diff --git a/chapter2.md b/chapter2.md index 1b4fe31..7b57a72 100644 --- a/chapter2.md +++ b/chapter2.md @@ -481,35 +481,20 @@ class PixelShuffleUp(nn.Module): #### 实验证据：权重共享的实际效果 +权重共享是一个有趣的理论问题。实验设计要点： +**权重共享U-Net：** +- 解码器使用编码器权重的转置 +- 使用`F.conv_transpose2d`实现转置卷积 +- 需要仔细处理维度匹配问题 +**独立权重U-Net（标准）：** +- 编码器和解码器完全独立 +- 参数量翻倍但表达能力更强 +- 当前所有SOTA模型的选择 -# 实验：比较权重共享与独立权重的U-Net - -class TiedUNet(nn.Module): - """权重共享的U-Net实现""" - def __init__(self): - super().__init__() - # 编码器层 - self.enc1 = nn.Conv2d(3, 64, 3, padding=1) - self.enc2 = nn.Conv2d(64, 128, 3, padding=1) - - # 解码器使用编码器的转置 - # 注意：这里需要仔细处理维度匹配 - - def decode_with_tied_weights(self, x, layer_idx): - # 使用编码器权重的转置 - weight = getattr(self, f'enc{layer_idx}').weight - # PyTorch的F.conv_transpose2d允许我们使用转置的权重 - return F.conv_transpose2d(x, weight, padding=1) - -class IndependentUNet(nn.Module): - """独立权重的U-Net实现（标准做法）""" - def __init__(self): - super().__init__() - # 编码器和解码器完全独立 - self.enc1 = nn.Conv2d(3, 64, 3, padding=1) - self.dec1 = nn.Conv2d(64, 3, 3, padding=1) # 独立的解码器权重 +💡 **研究方向：自适应权重共享** +能否设计一种"软"权重共享机制，在训练过程中自适应地调整共享程度？这可能结合`nn.Parameter`的灵活使用和正则化技术。 根据社区的实验和论文报告，权重共享在扩散模型中的表现： @@ -539,20 +524,17 @@ class IndependentUNet(nn.Module): -# 部分权重共享：只在某些层共享 -class PartiallyTiedUNet(nn.Module): - def __init__(self): - super().__init__() - # 底层（高分辨率）独立 - self.enc_high = nn.Conv2d(3, 64, 3, padding=1) - self.dec_high = nn.Conv2d(64, 3, 3, padding=1) +部分权重共享是一种折中方案： + +**设计原则：** +- 高分辨率层（细节）：独立权重 +- 中间层（通用特征）：共享权重 +- 低分辨率层（语义）：独立权重 - # 中层（中等分辨率）共享 - self.shared_mid = nn.Conv2d(128, 256, 3, padding=1) +这种设计基于不同层次特征的语义差异。中间层学习的特征较为通用，适合共享；而浅层和深层的任务差异较大。 - # 深层（低分辨率）独立 - 这里语义差异最大 - self.enc_low = nn.Conv2d(256, 512, 3, padding=1) - self.dec_low = nn.Conv2d(512, 256, 3, padding=1) +🔬 **研究线索：层级特定的归纳偏置** +不同深度的层是否需要不同的架构设计？如何根据层的语义级别自适应调整架构？这涉及到神经架构搜索（NAS）在扩散模型中的应用。 这种设计的直觉是：中间层学习的是较为通用的特征变换，可以共享；而浅层和深层由于任务差异较大，应该独立。 From f25d2a34f5169dda2b43597658d957c7153050cf Mon Sep 17 00:00:00 2001 From: William Date: Sun, 27 Jul 2025 09:21:51 +0800 Subject: [PATCH 04/62] gemini --- chapter1.md | 213 ++++++++++++++++++---------------------------------- 1 file changed, 74 insertions(+), 139 deletions(-) diff --git a/chapter1.md b/chapter1.md index 5eb75e2..85f21fa 100644 --- a/chapter1.md +++ b/chapter1.md @@ -1,197 +1,132 @@ -[← 返回目录](index.md) - 第1章 / 共14章 - [下一章 →](chapter2.md) - - +[← 返回目录](index.md) | 第1章 / 共14章 | [下一章 →](chapter2.md) # 第1章：扩散模型导论 - +欢迎来到扩散模型的世界。本章将为您打开一扇通往现代生成模型前沿的大门。我们将从最基本的概念出发，探索扩散模型如何通过模拟一个有序到无序、再从无序中恢复有序的优雅过程，实现惊人的生成效果。您将学习到其背后的核心数学原理，包括前向加噪和反向去噪过程，并初步接触到该领域激动人心的开放性研究问题。本章旨在为您后续深入学习DDPM、分数模型和更高级的主题奠定坚实的直觉和理论基础。 ## 1.1 什么是扩散模型？ - - 扩散模型（Diffusion Models）是一类强大的生成模型，它通过学习数据的逐步去噪过程来生成高质量的样本。这个过程可以类比为物理学中的扩散现象：就像墨水在水中逐渐扩散直至均匀分布，扩散模型将数据逐步添加噪声直至变成纯噪声，然后学习如何反转这个过程。 🔬 **研究线索：物理扩散与概率扩散的深层联系** 扩散模型与物理扩散方程的联系不仅仅是类比。实际上，Fokker-Planck方程和Schrödinger桥问题揭示了两者的数学等价性。这种联系在最优传输理论中有深刻体现，但目前仍缺乏统一的几何理论框架。PyTorch中的`torchdiffeq.odeint`可用于探索连续时间扩散。 - - -> **定义** -> 定义 1.1（扩散模型） - - 扩散模型是一类概率生成模型，它定义了两个过程： - - - - **前向过程（Forward Process）**：将数据逐步添加噪声，最终变成纯高斯噪声 - - **反向过程（Reverse Process）**：从纯噪声开始，逐步去噪恢复出数据 - - - - +> **定义 1.1（扩散模型）** +> 扩散模型是一类概率生成模型，它定义了两个过程： +> - **前向过程（Forward Process）**：将数据逐步添加噪声，最终变成纯高斯噪声。 +> - **反向过程（Reverse Process）**：从纯噪声开始，逐步去噪恢复出数据。 ## 1.2 扩散模型的数学基础 - - ### 1.2.1 前向扩散过程 - - -给定数据点 $\mathbf{x}_0 \sim q(\mathbf{x}_0)$，前向过程通过 $T$ 步逐渐添加高斯噪声： +给定数据点 $\mathbf{x}_0 \sim q(\mathbf{x}_0)$，前向过程通过 $T$ 步逐渐添加高斯噪声，定义为一个马尔可夫链： $$q(\mathbf{x}_t | \mathbf{x}_{t-1}) = \mathcal{N}(\mathbf{x}_t; \sqrt{1-\beta_t}\mathbf{x}_{t-1}, \beta_t\mathbf{I})$$ -其中 $\beta_t$ 是第 $t$ 步的噪声调度（noise schedule），控制每一步添加噪声的量。 - -💡 **开放问题：最优噪声调度的理论基础** -虽然实践中余弦调度效果良好，但缺乏理论指导原则。信息论视角下，噪声调度应该如何与数据的固有维度相适应？是否存在数据相关的自适应调度算法？这涉及到`torch.nn.functional.cosine_similarity`等度量的使用。通过重参数化技巧，我们可以直接从 $\mathbf{x}_0$ 采样任意时刻 $t$ 的 $\mathbf{x}_t$： - - - - - $$q(\mathbf{x}_t | \mathbf{x}_0) = \mathcal{N}(\mathbf{x}_t; \sqrt{\bar{\alpha}_t}\mathbf{x}_0, (1-\bar{\alpha}_t)\mathbf{I})$$ - - - - -其中 $\alpha_t = 1 - \beta_t$，$\bar{\alpha}_t = \prod_{s=1}^{t}\alpha_s$。 - +其中 $\{\beta_t\}_{t=1}^T$ 是预先设定的噪声调度（noise schedule），控制每一步添加噪声的量。 +通过重参数化技巧（reparameterization trick），我们可以直接从 $\mathbf{x}_0$ 采样任意时刻 $t$ 的 $\mathbf{x}_t$，而无需迭代计算： +$$ \mathbf{x}_t = \sqrt{\bar{\alpha}_t}\mathbf{x}_0 + \sqrt{1-\bar{\alpha}_t}\boldsymbol{\epsilon}, \quad \boldsymbol{\epsilon} \sim \mathcal{N}(0, \mathbf{I})$$ -练习 1.1：理解噪声调度 - -假设我们有一个线性噪声调度：$\beta_t = \frac{t}{T} \cdot 0.02$，其中 $T=1000$。 - - - - - 计算 $t=100$ 时的 $\bar{\alpha}_{100}$ - - 当 $t \to T$ 时，$\mathbf{x}_t$ 的分布趋向于什么？ - -**解答：** +这等价于条件概率： +$$q(\mathbf{x}_t | \mathbf{x}_0) = \mathcal{N}(\mathbf{x}_t; \sqrt{\bar{\alpha}_t}\mathbf{x}_0, (1-\bar{\alpha}_t)\mathbf{I})$$ +其中 $\alpha_t = 1 - \beta_t$，$\bar{\alpha}_t = \prod_{s=1}^{t}\alpha_s$。当 $t \to T$ 时，若 $\bar{\alpha}_T \to 0$，则 $\mathbf{x}_T$ 的分布将趋向于各向同性的标准高斯分布，与原始数据 $\mathbf{x}_0$ 无关。 +💡 **开放问题：最优噪声调度的理论基础** +虽然实践中余弦调度效果良好，但缺乏理论指导原则。信息论视角下，噪声调度应该如何与数据的固有维度相适应？是否存在数据相关的自适应调度算法？这涉及到`torch.nn.functional.cosine_similarity`等度量的使用。 - - 首先计算 $\beta_{100} = \frac{100}{1000} \times 0.02 = 0.002$ - - 因此 $\alpha_{100} = 1 - 0.002 = 0.998$ - - $\bar{\alpha}_{100} = \prod_{s=1}^{100}\alpha_s \approx 0.998^{100} \approx 0.819$ - - 当 $t \to T$ 时，$\bar{\alpha}_t \to 0$，所以 $q(\mathbf{x}_t | \mathbf{x}_0) \to \mathcal{N}(0, \mathbf{I})$ +🌟 **理论空白：扩散速度的几何含义** +前向扩散过程在数据流形上的速度场有何几何意义？与Ricci流的联系如何？这种几何视角可能揭示新的采样算法。相关实现会用到`torch.nn.functional.normalize`进行流形投影。 +
+**练习 1.1：分析噪声调度** +考虑一个线性噪声调度：$\beta_t = \beta_{min} + \frac{t-1}{T-1}(\beta_{max} - \beta_{min})$，其中 $T=1000$, $\beta_{min}=10^{-4}$, $\beta_{max}=0.02$。 +1. **推导与分析**：推导信噪比 (Signal-to-Noise Ratio, SNR) $\text{SNR}(t) = \frac{\bar{\alpha}_t}{1-\bar{\alpha}_t}$ 的表达式。分析其随时间 $t$ 的变化趋势，并解释为什么在对数尺度下观察SNR更有意义。 +2. **开放探索**：比较线性和余弦调度对整个扩散过程中信息损失速率的影响。哪种调度在过程的早期/晚期损失更多信息？这如何影响模型的学习难度和最终生成质量？ +3. **研究思路**： + * 从信息瓶颈（Information Bottleneck）理论的角度分析噪声调度。 + * 研究噪声调度与模型架构（如U-Net的不同层）之间的相互作用。 + * 探索变分方法，将噪声调度本身作为可学习的参数。 +
### 1.2.2 反向去噪过程 +反向过程的目标是学习条件分布 $p_\theta(\mathbf{x}_{t-1} | \mathbf{x}_t)$，从纯噪声 $\mathbf{x}_T \sim \mathcal{N}(0, \mathbf{I})$ 开始，逐步去除噪声，最终生成数据样本 $\mathbf{x}_0$。 +$$p_\theta(\mathbf{x}_{0:T}) = p(\mathbf{x}_T) \prod_{t=1}^T p_\theta(\mathbf{x}_{t-1} | \mathbf{x}_t)$$ -反向过程的目标是学习条件分布 $p_\theta(\mathbf{x}_{t-1} | \mathbf{x}_t)$，使其能够逐步去除噪声。我们通常将其参数化为： +其中，每一步的去噪由一个参数化的神经网络 $\boldsymbol{\mu}_\theta(\mathbf{x}_t, t)$ 建模： $$p_\theta(\mathbf{x}_{t-1} | \mathbf{x}_t) = \mathcal{N}(\mathbf{x}_{t-1}; \boldsymbol{\mu}_\theta(\mathbf{x}_t, t), \sigma_t^2\mathbf{I})$$ ⚡ **实现挑战：方差参数化的选择** -固定方差vs学习方差是一个未解决的权衡问题。DDPM使用固定方差，而改进版本学习方差。理论上最优的参数化形式是什么？这涉及到`torch.nn.Parameter`的灵活使用和梯度流的稳定性分析。 +固定方差vs学习方差是一个未解决的权衡问题。DDPM使用固定的、与 $\beta_t$ 相关的方差，而后续工作（如Improved DDPM）则学习方差 $\sigma_t^2$。理论上最优的参数化形式是什么？这涉及到`torch.nn.Parameter`的灵活使用和梯度流的稳定性分析。 +
+**练习 1.2：探索扩散过程的数学本质** +考虑一个简单的一维扩散过程，初始数据为单点 $x_0$。 +1. **前向过程分析**：推导任意时刻 $t$ 的期望 $\mathbb{E}[x_t | x_0]$ 和方差 $\text{Var}(x_t | x_0)$。 +2. **信息论视角**：推导并分析互信息 $I(x_t; x_0)$ 如何随时间 $t$ 衰减。这对于理解扩散过程中的信息损失有何启示？ +3. **最优反向过程**：证明当 $\beta_t \to 0$ 时，真实的反向过程条件分布 $q(\mathbf{x}_{t-1} | \mathbf{x}_t, \mathbf{x}_0)$ 的均值，可以仅由 $\mathbf{x}_t$ 和 $\nabla_{\mathbf{x}_t} \log q_t(\mathbf{x}_t)$ （即分数函数）来近似表达。这揭示了扩散模型与分数模型的深刻联系（将在第4章详细讨论）。 +4. **研究思路**： + * 将1D高斯情况下的解析解作为理解高维、复杂数据分布上扩散过程的“玩具模型”。 + * 探索非高斯噪声（如Laplace或Student's-t分布）对前向和反向过程的影响。 + * 研究该过程与Ornstein-Uhlenbeck过程的联系。 -## 1.3 扩散模型的优势 - - - - - - **生成质量高**：能够生成极其逼真的图像，在许多指标上超越GAN - - **训练稳定**：不存在GAN的模式崩塌问题，训练过程稳定可靠 - - **理论基础扎实**：有严格的概率论基础，目标函数有明确的意义 - - **灵活性强**：易于扩展到条件生成、图像编辑等任务 - - - - -## 1.4 实践：可视化扩散过程 - -让我们通过一个简单的例子来直观理解扩散过程。考虑一个2D高斯分布的前向扩散过程： - -**前向扩散的数学表达：** -$$\mathbf{x}_t = \sqrt{\bar{\alpha}_t} \mathbf{x}_0 + \sqrt{1 - \bar{\alpha}_t} \boldsymbol{\epsilon}$$ - -其中 $\boldsymbol{\epsilon} \sim \mathcal{N}(0, \mathbf{I})$。通过选择不同的时间步 $t \in \{0, 25, 50, 75, 100\}$，我们可以观察数据分布如何从初始的聚集状态逐渐扩散为标准正态分布。 - -🌟 **理论空白：扩散速度的几何含义** -前向扩散过程在数据流形上的速度场有何几何意义？与Ricci流的联系如何？这种几何视角可能揭示新的采样算法。相关实现会用到`torch.nn.functional.normalize`进行流形投影。 - - - - -练习 1.2：理解1D扩散的数学本质 - -给定初始数据为单点 $x_0 = 5$，分析1D扩散过程： - -1. **前向过程分析**：推导 $\mathbb{E}[x_t]$ 和 $\text{Var}(x_t)$ 随时间的变化 -2. **信息论视角**：计算每一步的信息损失 $I(x_0; x_t)$ -3. **最优反向过程**：证明最优反向过程的漂移项与分数函数的关系 - -💡 **研究方向：1D情况下的解析解** -在1D高斯情况下，扩散过程存在闭式解。这为理解高维情况提供了直觉。如何将1D的洞察推广到高维？相关计算会用到`torch.distributions.Normal`和信息论度量。 - - +
+## 1.3 扩散模型的优势 +- **生成质量高**：能够生成极其逼真的图像和音频，在许多基准测试上超越生成对抗网络（GAN）。 +- **训练稳定**：与GAN不同，扩散模型没有对抗训练中常见的模式崩塌（mode collapse）问题，训练过程通常更加稳定和可复现。 +- **理论基础扎实**：模型基于严格的概率论框架，其目标函数（变分下界）有明确的统计意义。 +- **灵活性强**：易于扩展到各种条件生成任务（如文本到图像、图像修复），并支持精确的似然估计。 -## 1.5 历史发展与里程碑 +## 1.4 历史发展与里程碑 -扩散模型的发展经历了几个重要阶段： +扩散模型的发展并非一蹴而就，而是经历了一个从理论探索到实践突破的漫长过程。 -- **2015年**：Sohl-Dickstein等人提出了基于非平衡热力学的深度无监督学习方法 -- **2020年**：Ho等人提出DDPM（Denoising Diffusion Probabilistic Models），简化了训练过程 -- **2021年**：Song等人提出DDIM，大幅加速了采样过程 -- **2022年**：Stable Diffusion的发布，使文本到图像生成达到了新高度 +- **2015年**：Sohl-Dickstein等人在论文《Deep Unsupervised Learning using Nonequilibrium Thermodynamics》中首次提出了扩散概率模型的思想，将其与非平衡热力学联系起来。 +- **2020年**：Ho等人提出的DDPM（Denoising Diffusion Probabilistic Models）是该领域的转折点。他们通过简化目标函数和架构设计，极大地提升了模型的生成质量和易用性，使其成为主流的生成模型。 +- **2021年**：Song等人提出的DDIM（Denoising Diffusion Implicit Models）通过构建非马尔可夫的前向过程，实现了比DDPM快10-100倍的采样速度，同时保持了高质量的生成结果。 +- **2022年**：Rombach等人提出的潜在扩散模型（Latent Diffusion Models, LDM），即Stable Diffusion的核心，通过在低维潜在空间中进行扩散，大幅降低了计算成本，使得高分辨率图像生成变得触手可及。 🔬 **历史视角的研究机会** -早期基于热力学的方法与现代DDPM的联系尚未完全理解。非平衡统计物理中的涨落定理（Fluctuation Theorems）如何应用于扩散模型？这可能带来新的理论洞察和算法改进。 - - - - -## 1.6 本章小结 - - - -在本章中，我们学习了： - - - - - 扩散模型的基本概念和直观理解 - - 前向扩散过程的数学表述 - - 反向去噪过程的基本思想 - - 扩散模型相比其他生成模型的优势 - - 通过代码实现加深对扩散过程的理解 - - - +早期基于热力学的方法与现代DDPM的联系尚未完全被挖掘。非平衡统计物理中的Jarzynski恒等式或Crooks涨落定理（Fluctuation Theorems）能否为理解反向过程、设计新的损失函数或采样策略提供新的理论洞察？ -下一章我们将深入学习DDPM的具体实现细节，包括训练算法、损失函数推导和实际代码实现。 +## 1.5 本章小结 +在本章中，我们对扩散模型进行了初步的探索： +- **核心概念**：理解了扩散模型通过“加噪”和“去噪”两个对称过程进行生成建模的基本思想。 +- **数学基础**：学习了前向过程的数学表述，特别是如何通过重参数化技巧直接对任意时间步的噪声样本进行采样。 +- **关键组件**：初步了解了反向去噪过程、噪声调度和网络参数化的基本概念。 +- **模型优势与历史**：认识到扩散模型在生成质量和训练稳定性上的优势，并回顾了其发展的关键里程碑。 +通过本章的学习，我们已经掌握了扩散模型的基本词汇和核心思想。下一章，我们将深入学习U-Net和Transformer这两种在扩散模型中至关重要的神经网络架构，为后续理解模型的具体实现打下基础。 -综合练习：噪声调度的理论分析 +
+**综合练习：噪声调度的理论分析** -考虑三种噪声调度策略： -- 线性调度：$\beta_t = \beta_{\text{start}} + \frac{t}{T}(\beta_{\text{end}} - \beta_{\text{start}})$ -- 余弦调度：$\bar{\alpha}_t = \cos\left(\frac{t/T + s}{1 + s} \cdot \frac{\pi}{2}\right)^2$ -- 二次调度：$\beta_t = \beta_{\text{start}} + \left(\frac{t}{T}\right)^2(\beta_{\text{end}} - \beta_{\text{start}})$ +考虑三种常见的噪声调度策略： +- **线性调度**：$\beta_t = \beta_{\text{start}} + \frac{t-1}{T-1}(\beta_{\text{end}} - \beta_{\text{start}})$ +- **余弦调度**：$\bar{\alpha}_t = f(t)/f(0)$，其中 $f(t) = \cos\left(\frac{t/T + s}{1 + s} \cdot \frac{\pi}{2}\right)^2$ +- **二次调度**：$\beta_t$ 的增长率随 $t$ 呈二次关系。 -**理论分析任务：** -1. 推导每种调度下的信噪比 $\text{SNR}(t) = \bar{\alpha}_t / (1 - \bar{\alpha}_t)$ 的变化率 -2. 分析哪种调度最小化了总的信息损失 -3. 探讨与最优传输理论的联系 +**理论分析与开放探索：** +1. **信噪比分析**：推导并绘制每种调度下信噪比 $\text{SNR}(t) = \bar{\alpha}_t / (1 - \bar{\alpha}_t)$ 的对数曲线。比较不同曲线的形状，并讨论其对模型学习过程可能产生的影响（例如，模型在哪些阶段需要学习更精细的细节？）。 +2. **与最优传输的联系**：噪声调度定义了从数据分布到噪声分布的路径。这与最优传输（Optimal Transport）理论中的位移插值（displacement interpolation）有何联系？是否存在一个“最优”的调度方案，可以最小化某种传输成本？ +3. **实现挑战：自适应噪声调度**：能否设计一个根据数据特性（如复杂度、固有维度）或训练阶段动态调整的噪声调度？这可能需要在线估计数据的局部几何性质。`torch.autograd.functional.jacobian`可用于计算此类局部几何量。 +4. **理论空白：噪声调度与采样效率**：不同的噪声调度对DDIM等快速采样算法的影响机制尚不清楚。是否存在专门为快速采样（而非最优训练）设计的噪声调度？这涉及到对ODE/SDE求解器离散化误差的精细分析。 -⚡ **实现挑战：自适应噪声调度** -能否设计一个根据数据特性自动调整的噪声调度？这需要在线估计数据的局部几何性质。`torch.autograd.functional.jacobian`可用于计算局部几何量。 +
-🌟 **理论空白：噪声调度与采样效率** -不同噪声调度对DDIM等快速采样算法的影响机制尚不清楚。是否存在专门为快速采样优化的噪声调度？这涉及到离散化误差的精细分析。 \ No newline at end of file +[← 返回目录](index.md) | 第1章 / 共14章 | [下一章 →](chapter2.md) From d9ae55c3e6428fbf9af7e54affcd149806cbfbf3 Mon Sep 17 00:00:00 2001 From: William Date: Sun, 27 Jul 2025 09:31:56 +0800 Subject: [PATCH 05/62] refresh with research ideas etc. --- appendix-a.md | 1504 +----------- appendix-b.md | 907 +------ appendix-c.md | 3328 +------------------------- chapter2.md | 1554 +----------- chapter3.md | 3479 +-------------------------- chapter5.md | 6320 +------------------------------------------------ 6 files changed, 554 insertions(+), 16538 deletions(-) diff --git a/appendix-a.md b/appendix-a.md index b5485d8..80f54f7 100644 --- a/appendix-a.md +++ b/appendix-a.md @@ -1,1463 +1,159 @@ -[← 返回目录](index.md) - 附录A - [附录B →](appendix-b.md) - - +[← 返回目录](index.md) | 附录A | [附录B →](appendix-b.md) # 附录A：测度论与随机过程速成 - - - 本附录为理解第5章（连续时间扩散模型）提供必要的数学基础。我们将快速回顾测度论的核心概念，介绍布朗运动和随机微分方程的基本知识。这不是完整的数学课程，而是为理解扩散模型所需的最小知识集。 - - +本附录为理解第5章（连续时间扩散模型）提供必要的数学基础。我们将快速回顾测度论的核心概念，介绍布朗运动和随机微分方程（SDE）的基本知识。这不是一门完整的数学课程，而是为理解扩散模型所需的最小知识集，旨在建立直觉并熟悉核心工具。 ## A.1 测度论基础 - - ### A.1.1 为什么需要测度论？ - - 让我们从一个简单但深刻的问题开始：**在区间[0,1]上随机选一个点，这个点恰好是有理数的概率是多少？** +直觉可能会说：“有理数有无穷多个，所以概率应该不为零。”但实际上，这个概率是0。这个反直觉的结果揭示了我们需要一个比传统集合论更精细的数学框架来处理“无穷”。测度论正是为此而生，它严格定义了“长度”、“面积”、“体积”乃至“概率”等概念。 +### A.1.2 σ-代数与测度 -你的直觉可能会说："有理数有无穷多个，所以概率应该很大。"但实际上，这个概率是0！这个反直觉的结果揭示了我们需要一个比传统概率论更精细的数学框架。 - - - - **直观理解：**想象你在数轴上随机投掷飞镖。虽然有理数密密麻麻地分布在数轴上（任意两个不同的实数之间都有无穷多个有理数），但它们太"稀疏"了——就像在无限的海洋中撒了无限多粒沙子，但每粒沙子都是孤立的点，没有"体积"。 - - - -测度论正是为了严格处理这类"无穷"而诞生的。它不仅能处理"长度"、"面积"、"体积"，还能处理更抽象的"大小"概念。在随机过程中，我们需要测度论来： - - - - - 定义什么是"随机事件"（可测集） - - 给事件赋予"概率"（测度） - - 处理连续时间上的无穷多个随机变量 - - 严格定义条件期望和鞅 - - - - -### A.1.2 σ-代数：可测量的事件 - - - -在概率论中，不是所有的子集都能被赋予概率。我们需要一个"合理"的集合族来定义哪些事件是可测的。 - - - -> **定义** -> 定义 A.1（σ-代数） - - 设 $\Omega$ 是一个非空集合（样本空间）。$\Omega$ 的子集族 $\mathcal{F}$ 称为 σ-代数，如果： - - - - $\Omega \in \mathcal{F}$（全集可测） - - 若 $A \in \mathcal{F}$，则 $A^c \in \mathcal{F}$（对补运算封闭） - - 若 $A_1, A_2, \ldots \in \mathcal{F}$，则 $\bigcup_{i=1}^{\infty} A_i \in \mathcal{F}$（对可数并封闭） - - - - - -σ-代数的三个条件可以理解为： - - - - - **条件1**：必然事件是可测的 - - **条件2**：如果事件A可测，那么"A不发生"也应该可测 - - **条件3**：如果每个事件都可测，那么"至少有一个发生"也应该可测 - - - - - -**例子：掷硬币的σ-代数** - - -考虑掷一次硬币，$\Omega = \{H, T\}$（H=正面，T=反面） - - -最小的σ-代数（平凡σ-代数）：$\mathcal{F}_1 = \{\emptyset, \{H, T\}\}$ - - -最大的σ-代数（幂集）：$\mathcal{F}_2 = \{\emptyset, \{H\}, \{T\}, \{H, T\}\}$ - - -注意：$\{\emptyset, \{H\}\}$ 不是σ-代数，因为缺少 $\{H\}^c = \{T\}$ - - - - -### A.1.3 测度：给集合赋予"大小" - - - -> **定义** -> 定义 A.2（测度） - - 测度 $\mu: \mathcal{F} \rightarrow [0, \infty]$ 是满足以下条件的函数： - - - - $\mu(\emptyset) = 0$（空集的测度为0） - - 可数可加性：对于两两不交的 $A_1, A_2, \ldots \in \mathcal{F}$， - $$\mu\left(\bigcup_{i=1}^{\infty} A_i\right) = \sum_{i=1}^{\infty} \mu(A_i)$$ - - - - - -测度推广了我们熟悉的概念： - - - - - **长度**：实数轴上的Lebesgue测度，$\mu([a,b]) = b - a$ - - **面积**：平面上的二维Lebesgue测度 - - **概率**：当 $\mu(\Omega) = 1$ 时，$\mu$ 称为概率测度 $\mathbb{P}$ - - **计数**：计数测度，$\mu(A) = |A|$（集合中元素的个数） - - - - - **关键洞察：**测度的可数可加性是其最重要的性质。它说明了为什么有理数在实数中的测度为0： - - - - 每个单点集 $\{r\}$ 的Lebesgue测度为0 - - 有理数集 $\mathbb{Q} \cap [0,1]$ 是可数个单点的并 - - 由可数可加性：$\mu(\mathbb{Q} \cap [0,1]) = \sum_{r \in \mathbb{Q} \cap [0,1]} \mu(\{r\}) = \sum 0 = 0$ - - - - - -### A.1.4 可测函数与随机变量 - - - -> **定义** -> 定义 A.3（随机变量） - - 设 $(\Omega, \mathcal{F}, \mathbb{P})$ 是概率空间。函数 $X: \Omega \rightarrow \mathbb{R}$ 称为随机变量，如果对任意 Borel 集 $B \subseteq \mathbb{R}$，有 - $$X^{-1}(B) = \{\omega \in \Omega : X(\omega) \in B\} \in \mathcal{F}$$ - - - -这个定义看起来抽象，但其核心思想很简单：**随机变量必须与我们的σ-代数兼容**。 - - - - -**例子：掷骰子的随机变量** - - -$\Omega = \{1, 2, 3, 4, 5, 6\}$，$\mathcal{F} = 2^{\Omega}$（幂集） - - -定义随机变量 $X(\omega) = \omega$（点数本身） - - -事件"点数大于4" = $\{\omega: X(\omega) > 4\} = \{5, 6\} \in \mathcal{F}$ ✓ - - -定义另一个随机变量 $Y(\omega) = \begin{cases} 1 & \text{if } \omega \text{ 是偶数} \\ 0 & \text{if } \omega \text{ 是奇数} \end{cases}$ - - -$Y$ 将骰子结果映射到"奇偶性"，仍然是可测的 - - - - -在连续情况下，Borel σ-代数包含了所有"常见"的集合（开区间、闭区间、单点等），所以实践中几乎所有函数都是可测的。 - - - -### A.1.5 条件期望与滤波 - - - -在随机过程中，我们经常需要基于"部分信息"进行预测。这就是条件期望的作用。 - - - -> **定义** -> 定义 A.4（滤波） - - 滤波（filtration）$\{\mathcal{F}_t\}_{t \geq 0}$ 是一族递增的σ-代数： - $$\mathcal{F}_s \subseteq \mathcal{F}_t \subseteq \mathcal{F}, \quad \forall s \leq t$$ - - - -滤波代表"信息的累积"：$\mathcal{F}_t$ 包含了到时刻 $t$ 为止的所有可观测信息。 - - - - **直观理解：**想象你在观看一场足球比赛： - - - - $\mathcal{F}_0$：比赛开始前的信息（球队阵容等） - - $\mathcal{F}_{45}$：上半场结束时的信息（比分、黄牌等） - - $\mathcal{F}_{90}$：全场比赛的完整信息 - - - 随着时间推进，你知道的信息越来越多，但不会"忘记"之前的信息。 - +- **σ-代数 (σ-algebra)**: 在一个样本空间 `Ω` 中，并非所有子集都能被合理地赋予概率。σ-代数 `F` 是 `Ω` 的一个子集族，它包含了我们所有感兴趣的“事件”，并对补、可数并等运算封闭。 +- **测度 (Measure)**: 测度 `μ` 是一个定义在σ-代数 `F` 上的函数，它为每个事件赋予一个非负的“大小”。当 `μ(Ω) = 1` 时，这个测度就是一个**概率测度** `P`。 +> **定义 A.1 (概率空间)** +> 一个概率空间是一个三元组 `(Ω, F, P)`，其中： +> - `Ω` 是样本空间（所有可能结果的集合）。 +> - `F` 是 `Ω` 上的一个σ-代数（所有可测事件的集合）。 +> - `P` 是定义在 `F` 上的一个概率测度。 +💡 **关键洞察**：有理数集的勒贝格测度（长度）为0，是因为虽然有理数是可数无穷的，但每个单点的测度都是0。根据测度的可数可加性，可数个0相加仍然是0。 -练习 A.1：构造σ-代数 +### A.1.3 随机变量与条件期望 -设 $\Omega = \{1, 2, 3, 4\}$，事件 $A = \{1, 2\}$。 +- **随机变量 (Random Variable)**: 一个随机变量 `X` 是一个从样本空间 `Ω` 到实数 `R` 的函数，它必须是“可测的”，即对于任何数值区间，我们都能找到其在样本空间中对应的事件。 +- **滤波 (Filtration)**: 滤波 `{F_t}` 是一个随时间 `t` 递增的σ-代数序列，`F_s ⊆ F_t` 对所有 `s ≤ t` 成立。它代表了信息的累积过程，`F_t` 包含了到时刻 `t` 为止所有已知的信息。 +- **条件期望 (Conditional Expectation)**: `E[X | F_t]` 代表在已知时刻 `t` 信息 `F_t` 的情况下，对随机变量 `X` 的最优估计。 +
+**练习 A.1：σ-代数** - - - 构造包含 $A$ 的最小σ-代数 $\sigma(A)$ - - 如果再加入事件 $B = \{2, 3\}$，最小σ-代数 $\sigma(A, B)$ 是什么？ - -**解答：** - - -1. $\sigma(A) = \{\emptyset, \{1,2\}, \{3,4\}, \{1,2,3,4\}\}$ - - - 构造过程： - - - - - 必须包含 $A = \{1,2\}$ - - 由封闭性，必须包含 $A^c = \{3,4\}$ - - 必须包含 $\emptyset$ 和 $\Omega = \{1,2,3,4\}$ - - - -2. $\sigma(A, B)$ 必须包含： - - - - - $A = \{1,2\}$, $B = \{2,3\}$ - - $A \cap B = \{2\}$, $A \cup B = \{1,2,3\}$ - - 以及它们的补集... - - - -最终：$\sigma(A, B) = 2^{\Omega}$（幂集，包含所有16个子集） - - - - - -## A.2 布朗运动 - - - -布朗运动是随机过程理论的基石，也是扩散模型的数学基础。让我们从物理直觉开始，逐步理解这个美妙的数学对象。 - - - -### A.2.1 从花粉到数学：布朗运动的起源 - - - -1827年，植物学家罗伯特·布朗在显微镜下观察悬浮在水中的花粉颗粒，发现它们在不停地做无规则运动。这种运动后来被称为布朗运动。1905年，爱因斯坦从理论上解释了这一现象：花粉的运动是由于水分子的随机碰撞。 - - - - **物理直觉：** - - - - 每一瞬间，花粉受到来自各个方向的分子碰撞 - - 碰撞是完全随机的，没有特定方向的偏好 - - 大量微小的随机碰撞累积成可观察的随机运动 - - 运动轨迹是连续的，但极其不规则 - - - - - -### A.2.2 数学定义 - - - -> **定义** -> 定义 A.5（标准布朗运动） - - 随机过程 $\{B_t\}_{t \geq 0}$ 称为标准布朗运动（或维纳过程），如果： - - - - **起点确定**：$B_0 = 0$ a.s.（几乎必然） - - **独立增量**：对 $0 \leq t_1 - - - - -### A.2.4 布朗运动的深刻性质 - - - - **基本统计性质：** - - - - $\mathbb{E}[B_t] = 0$（期望始终为0） - - $\text{Var}(B_t) = t$（方差随时间线性增长） - - $\text{Cov}(B_s, B_t) = \min(s, t)$（协方差等于较早的时间） - - - - - 让我们推导协方差公式，这个推导揭示了布朗运动的本质： - - - - $$\text{Cov}(B_s, B_t) = \mathbb{E}[B_s B_t] - \mathbb{E}[B_s]\mathbb{E}[B_t] = \mathbb{E}[B_s B_t]$$ - - - -不失一般性，设 $s **定义** -> 定义 A.6（带漂移的布朗运动） - - $$X_t = \mu t + \sigma B_t$$ - 其中 $\mu$ 是漂移率，$\sigma$ 是扩散系数。 - - - -> **定义** -> 定义 A.7（几何布朗运动） - - $$S_t = S_0 \exp\left((\mu - \frac{\sigma^2}{2})t + \sigma B_t\right)$$ - 用于建模股票价格等始终为正的量。 - - - -> **定义** -> 定义 A.8（布朗桥） - - 条件布朗运动 $B_t^{bridge}$，满足 $B_0^{bridge} = 0$ 和 $B_1^{bridge} = 0$。 - $$B_t^{bridge} = B_t - t B_1, \quad t \in [0, 1]$$ - - - - -练习 A.2：布朗运动的性质 - -1. 证明：如果 $B_t$ 是标准布朗运动，则 $-B_t$ 也是标准布朗运动。 - - -2. 证明：$W_t = \frac{1}{c}B_{c^2 t}$ 对任意 $c > 0$ 都是标准布朗运动（尺度不变性）。 - - -3. 计算 $\mathbb{E}[B_t^4]$。 +设 `Ω = {1, 2, 3, 4}`。 +1. 构造包含事件 `A = {1, 2}` 的最小σ-代数 `σ(A)`。 +2. 如果再加入事件 `B = {2, 3}`，最小σ-代数 `σ(A, B)` 是什么？ **解答：** +1. `σ(A)` 必须对补运算封闭，所以必须包含 `A^c = {3, 4}`。同时必须包含全集和空集。因此 `σ(A) = {∅, {1, 2}, {3, 4}, {1, 2, 3, 4}}`。 +2. `σ(A, B)` 必须包含 `A` 和 `B`，以及它们的所有交、并、补运算的组合。例如 `A ∩ B = {2}`，`A ∪ B = {1, 2, 3}`，`(A ∪ B)^c = {4}` 等。最终可以生成 `Ω` 的幂集（所有16个子集）。 +
-1. 验证四个性质： - - - - - $(-B)_0 = -B_0 = 0$ ✓ - - $(-B)_{t+s} - (-B)_t = -(B_{t+s} - B_t) \sim \mathcal{N}(0, s)$ ✓ - - 独立增量和连续性也保持 ✓ - - - -2. 验证 $W_t$ 的增量： - - $$W_{t+s} - W_t = \frac{1}{c}(B_{c^2(t+s)} - B_{c^2 t}) = \frac{1}{c}B_{c^2 s} \sim \mathcal{N}(0, s)$$ - -3. 使用 $B_t \sim \mathcal{N}(0, t)$ 和正态分布的四阶矩公式： - - $$\mathbb{E}[B_t^4] = 3(\text{Var}(B_t))^2 = 3t^2$$ - +## A.2 布朗运动 (Brownian Motion) +布朗运动是随机过程理论的基石，也是扩散模型的数学核心。 +> **定义 A.2 (标准布朗运动)** +> 一个随机过程 `{B_t}` 称为标准布朗运动（或维纳过程），如果： +> 1. **起点确定**: `B_0 = 0`。 +> 2. **独立增量**: 对任意 `0 ≤ s < t`，增量 `B_t - B_s` 独立于过去的路径 `{B_u : u ≤ s}`。 +> 3. **高斯增量**: `B_t - B_s` 服从均值为0，方差为 `t-s` 的正态分布，即 `B_t - B_s ~ N(0, t-s)`。 +> 4. **路径连续**: 路径 `t ↦ B_t` 是连续函数。 +**布朗运动的深刻性质**: +- **无处可微**: 布朗运动的路径虽然连续，但在任何一点都是不可微的。它的“速度”是无穷的。 +- **二次变差非零**: 在普通微积分中 `(dt)^2 = 0`，但在随机微积分中，`(dB_t)^2 = dt`。这是两者最核心的区别，也是伊藤公式中出现修正项的根源。 +- **鞅 (Martingale)**: 布朗运动是一个鞅，即 `E[B_t | F_s] = B_s` for `s < t`。这意味着对未来的最优预测就是当前的值。 ## A.3 随机积分与伊藤公式 +由于布朗运动的奇异性质，传统的黎曼积分不适用。我们需要一种新的积分理论——随机积分。 +### A.3.1 伊藤积分 (Itô Integral) -现在我们进入随机微积分的核心——如何对布朗运动进行积分？这个问题比看起来更微妙。 - - - -### A.3.1 为什么需要伊藤积分？ - - - -考虑积分 $\int_0^t B_s \, dB_s$。在普通微积分中，我们会说这等于 $\frac{1}{2}B_t^2$，但这在随机情况下是**错误的**！ - - - - -**问题的根源：** - - -对于黎曼积分，我们用矩形近似： - - $$\int_0^t f(s) \, ds \approx \sum_{i=0}^{n-1} f(\xi_i) \Delta s_i$$ - -其中 $\xi_i \in [s_i, s_{i+1}]$ 可以任意选择（左端点、右端点、中点等）。 - - -但对于 $\int_0^t B_s \, dB_s$，不同的选择会导致**不同的极限**： - - - - - 左端点（伊藤）：$\xi_i = s_i$ → 极限 = $\frac{1}{2}B_t^2 - \frac{1}{2}t$ - - 右端点：$\xi_i = s_{i+1}$ → 极限 = $\frac{1}{2}B_t^2 + \frac{1}{2}t$ - - 中点（Stratonovich）：$\xi_i = \frac{s_i + s_{i+1}}{2}$ → 极限 = $\frac{1}{2}B_t^2$ - - - - - -### A.3.2 伊藤积分的定义 - - - -> **定义** -> 定义 A.9（伊藤积分） - - 对于适应过程 $f_t$（即 $f_t$ 只依赖于到时刻 $t$ 为止的信息），伊藤积分定义为： - $$\int_0^t f_s \, dB_s = \lim_{n \to \infty} \sum_{i=0}^{n-1} f_{t_i} (B_{t_{i+1}} - B_{t_i})$$ - 使用左端点 $f_{t_i}$ 确保了"不能预见未来"。 - - - -为什么选择左端点？这确保了积分的**鞅性质**： - - - - $$\mathbb{E}\left[\int_0^t f_s \, dB_s\right] = 0$$ - - - - - **伊藤积分的关键性质：** - - - - **线性性**：$\int (af + bg) \, dB = a\int f \, dB + b\int g \, dB$ - - **伊藤等距**：$\mathbb{E}\left[\left(\int_0^t f_s \, dB_s\right)^2\right] = \mathbb{E}\left[\int_0^t f_s^2 \, ds\right]$ - - **鞅性**：如果 $\mathbb{E}[\int_0^t f_s^2 ds] -例子：计算 $\int_0^t B_s \, dB_s$ - -使用分部积分的思想，但要加上"伊藤修正项"。 - -考虑 $f(x) = \frac{1}{2}x^2$，则 $f(B_t) = \frac{1}{2}B_t^2$。 - - -离散近似： - - $$f(B_t) - f(B_0) = \sum_{i=0}^{n-1} [f(B_{t_{i+1}}) - f(B_{t_i})]$$ - -泰勒展开（保留到二阶）： - - $$f(B_{t_{i+1}}) - f(B_{t_i}) \approx f'(B_{t_i})\Delta B_i + \frac{1}{2}f''(B_{t_i})(\Delta B_i)^2$$ - -其中 $\Delta B_i = B_{t_{i+1}} - B_{t_i}$。 - - -代入 $f'(x) = x$, $f''(x) = 1$： - - $$\frac{1}{2}B_t^2 = \sum_{i=0}^{n-1} B_{t_i} \Delta B_i + \frac{1}{2}\sum_{i=0}^{n-1} (\Delta B_i)^2$$ - -当 $n \to \infty$： - - - - - 第一项 → $\int_0^t B_s \, dB_s$ - - 第二项 → $\frac{1}{2}t$（二次变差） - - - -因此：$\int_0^t B_s \, dB_s = \frac{1}{2}B_t^2 - \frac{1}{2}t$ - - - - - -### A.3.4 伊藤公式：随机微积分的链式法则 - - - -伊藤公式是随机微积分最重要的工具，它告诉我们如何对复合函数求微分。与普通微积分的关键区别是多了一个二阶项。 - - - -> **定义** -> 定理 A.1（伊藤公式） - - 设 $X_t$ 满足 SDE：$dX_t = \mu(X_t, t)dt + \sigma(X_t, t)dB_t$，$f(x, t) \in C^{2,1}$，则： - $$df(X_t, t) = \left[\frac{\partial f}{\partial t} + \mu \frac{\partial f}{\partial x} + \frac{1}{2}\sigma^2 \frac{\partial^2 f}{\partial x^2}\right]dt + \sigma \frac{\partial f}{\partial x} dB_t$$ - - - - -**伊藤公式的直观理解：** - - -普通微积分：$df = f'(x)dx$（一阶泰勒展开） - - -随机微积分：需要保留二阶项，因为 $(dB_t)^2 = dt$ 不是高阶无穷小！ - - - - 运算 - $dt \cdot dt$ - $dt \cdot dB_t$ - $dB_t \cdot dB_t$ - - - 结果 - 0（高阶） - 0（高阶） - $dt$（一阶！） - - - - - -### A.3.5 伊藤公式的推导思路 - - - -让我们通过一个启发式的推导理解伊藤公式为什么是这样： - - - - - $$f(X_{t+dt}, t+dt) - f(X_t, t) \approx \frac{\partial f}{\partial t}dt + \frac{\partial f}{\partial x}dX_t + \frac{1}{2}\frac{\partial^2 f}{\partial x^2}(dX_t)^2$$ - - - - -关键在于计算 $(dX_t)^2$： - - - - $$(dX_t)^2 = (\mu dt + \sigma dB_t)^2 = \mu^2(dt)^2 + 2\mu\sigma dt \cdot dB_t + \sigma^2(dB_t)^2$$ - - - - -使用伊藤规则： - - - - - $(dt)^2 = 0$（高阶无穷小） - - $dt \cdot dB_t = 0$（高阶无穷小） - - $(dB_t)^2 = dt$（关键！） - - - - -因此 $(dX_t)^2 = \sigma^2 dt$，这就是伊藤修正项的来源。 - - - -### A.3.6 伊藤公式的应用 - - - - -例子1：几何布朗运动 - -设 $S_t$ 满足 $dS_t = \mu S_t dt + \sigma S_t dB_t$，求 $\log S_t$ 的动态。 - -设 $f(x) = \log x$，则： - - - - - $\frac{\partial f}{\partial x} = \frac{1}{x}$ - - $\frac{\partial^2 f}{\partial x^2} = -\frac{1}{x^2}$ - - - -应用伊藤公式： - - $$d(\log S_t) = \left[0 + \mu S_t \cdot \frac{1}{S_t} + \frac{1}{2}\sigma^2 S_t^2 \cdot \left(-\frac{1}{S_t^2}\right)\right]dt + \sigma S_t \cdot \frac{1}{S_t} dB_t$$ - $$= \left(\mu - \frac{\sigma^2}{2}\right)dt + \sigma dB_t$$ - -积分得：$\log S_t = \log S_0 + \left(\mu - \frac{\sigma^2}{2}\right)t + \sigma B_t$ - - -因此：$S_t = S_0 \exp\left[\left(\mu - \frac{\sigma^2}{2}\right)t + \sigma B_t\right]$ - - -**注意**：指数中出现了 $-\frac{\sigma^2}{2}$ 项，这是伊藤修正！ - - - - - - -例子2：Ornstein-Uhlenbeck过程的平方 - -设 $X_t$ 满足 $dX_t = -\theta X_t dt + \sigma dB_t$，求 $X_t^2$ 的SDE。 - -设 $f(x) = x^2$，则 $f'(x) = 2x$，$f''(x) = 2$。 - - -应用伊藤公式： - - $$d(X_t^2) = \left[-\theta X_t \cdot 2X_t + \frac{1}{2}\sigma^2 \cdot 2\right]dt + \sigma \cdot 2X_t dB_t$$ - $$= (-2\theta X_t^2 + \sigma^2)dt + 2\sigma X_t dB_t$$ - -这给出了 $X_t^2$ 的动态方程。注意漂移项中包含了 $\sigma^2$，这来自伊藤修正。 - - - - - -### A.3.7 多维伊藤公式 - - - -对于多个布朗运动的情况，伊藤公式需要考虑所有的二阶交叉项： - - - -> **定义** -> 定理 A.2（多维伊藤公式） - - 设 $X_t^i$ 满足 $dX_t^i = \mu^i dt + \sum_j \sigma^{ij} dB_t^j$，其中 $B_t^j$ 是独立的布朗运动。 - 对于 $f(x^1, \ldots, x^n, t)$： - $$df = \frac{\partial f}{\partial t}dt + \sum_i \frac{\partial f}{\partial x^i}dX_t^i + \frac{1}{2}\sum_{i,j} \frac{\partial^2 f}{\partial x^i \partial x^j}d\langle X^i, X^j \rangle_t$$ - - - -其中二次共变差 $d\langle X^i, X^j \rangle_t = \sum_k \sigma^{ik}\sigma^{jk} dt$。 - - - - -练习 A.3：伊藤公式的综合应用 - -1. 设 $B_t$ 是标准布朗运动，计算 $d(B_t^3)$。 - - -2. 证明 $e^{B_t - \frac{t}{2}}$ 是鞅。 - - -3. 设 $X_t = t B_t$，求 $dX_t$ 的表达式（提示：这是一个时变函数）。 - -**解答：** - - -1. 对 $f(x) = x^3$： - - - - - $f'(x) = 3x^2$, $f''(x) = 6x$ - - $d(B_t^3) = [0 + 0 + \frac{1}{2} \cdot 1 \cdot 6B_t]dt + 3B_t^2 dB_t = 3B_t dt + 3B_t^2 dB_t$ - - - -2. 设 $Y_t = e^{B_t - \frac{t}{2}}$，令 $f(x,t) = e^{x - \frac{t}{2}}$： - - - - - $\frac{\partial f}{\partial t} = -\frac{1}{2}e^{x - \frac{t}{2}}$ - - $\frac{\partial f}{\partial x} = e^{x - \frac{t}{2}}$ - - $\frac{\partial^2 f}{\partial x^2} = e^{x - \frac{t}{2}}$ - - - -应用伊藤公式： - - $$dY_t = \left[-\frac{1}{2} + 0 + \frac{1}{2}\right]Y_t dt + Y_t dB_t = Y_t dB_t$$ - -因此 $Y_t$ 是鞅（漂移项为0）。 - - -3. 对 $f(x,t) = tx$： - - - - - $\frac{\partial f}{\partial t} = x = B_t$ - - $\frac{\partial f}{\partial x} = t$ - - $\frac{\partial^2 f}{\partial x^2} = 0$ - - - $$dX_t = d(tB_t) = B_t dt + t dB_t$$ - -这展示了乘积规则在随机情况下的形式。 - - - - - -## A.4 随机微分方程 - - - -随机微分方程（SDE）描述了受随机扰动影响的动态系统。它们是扩散模型的数学基础，让我们能够精确描述前向和反向扩散过程。 - - - -### A.4.1 什么是SDE？ - - - -一个典型的SDE具有形式： - - - - $$dX_t = b(X_t, t)dt + \sigma(X_t, t)dB_t$$ - - - - -这可以理解为： - - - - - **确定性部分**：$b(X_t, t)dt$ — 漂移项，描述系统的平均行为 - - **随机部分**：$\sigma(X_t, t)dB_t$ — 扩散项，描述随机波动 - - - - - -**物理类比：** - - -想象一个在流动河水中的树叶： - - - - - 河水的流速 → 漂移项 $b(X_t, t)$ - - 水流的湍流扰动 → 扩散项 $\sigma(X_t, t)dB_t$ - - 树叶的轨迹 → 解 $X_t$ - - - - - -### A.4.2 SDE的积分形式 - - - -SDE实际上是积分方程的简写： - - - - $$X_t = X_0 + \int_0^t b(X_s, s)ds + \int_0^t \sigma(X_s, s)dB_s$$ - - - - -第二个积分是伊藤积分，这使得求解SDE变得非平凡。 - - - -### A.4.3 存在性与唯一性 - - - -> **定义** -> 定理 A.3（存在唯一性定理） - - 考虑 SDE：$dX_t = b(X_t, t)dt + \sigma(X_t, t)dB_t$，$X_0 = x_0$。 - 如果系数满足： - - - - **Lipschitz 条件**：存在常数 $K$ 使得 - $$|b(x,t) - b(y,t)| + |\sigma(x,t) - \sigma(y,t)| \leq K|x-y|$$ - - **线性增长条件**：存在常数 $K$ 使得 - $$|b(x,t)|^2 + |\sigma(x,t)|^2 \leq K^2(1 + |x|^2)$$ - - - 则 SDE 存在唯一的强解。 - - - - **条件的直观理解：** - - - - **Lipschitz条件**：系数不能变化太剧烈，保证了解的唯一性 - - **线性增长条件**：系数增长不能太快，保证了解不会在有限时间内爆炸 - - - - - -### A.4.4 经典SDE及其解 - - - -让我们深入研究几个在理论和应用中都非常重要的SDE： - - - -#### 1. Ornstein-Uhlenbeck (OU) 过程 - - - -> **定义** -> OU过程 - - $$dX_t = -\theta X_t dt + \sigma dB_t$$ - 其中 $\theta > 0$ 是回归速度，$\sigma > 0$ 是波动率。 - - - -**物理意义**：描述带有恢复力的布朗粒子，$-\theta X_t$ 项将粒子拉回原点。 - - - - -推导OU过程的解 - -使用积分因子法。令 $Y_t = e^{\theta t} X_t$，应用伊藤公式： - - $$dY_t = e^{\theta t} dX_t + \theta e^{\theta t} X_t dt$$ - $$= e^{\theta t}(-\theta X_t dt + \sigma dB_t) + \theta e^{\theta t} X_t dt$$ - $$= \sigma e^{\theta t} dB_t$$ - -积分得：$Y_t = Y_0 + \sigma \int_0^t e^{\theta s} dB_s$ - - -因此： - - $$X_t = e^{-\theta t}X_0 + \sigma e^{-\theta t}\int_0^t e^{\theta s} dB_s$$ - $$= e^{-\theta t}X_0 + \sigma \int_0^t e^{-\theta(t-s)} dB_s$$ - -**性质**： - - - - - $\mathbb{E}[X_t] = e^{-\theta t}X_0$ （指数衰减到0） - - $\text{Var}(X_t) = \frac{\sigma^2}{2\theta}(1 - e^{-2\theta t})$ （收敛到 $\frac{\sigma^2}{2\theta}$） - - 稳态分布：$X_\infty \sim \mathcal{N}(0, \frac{\sigma^2}{2\theta})$ - - - - - -#### 2. 几何布朗运动 (GBM) - - - -> **定义** -> 几何布朗运动 - - $$dS_t = \mu S_t dt + \sigma S_t dB_t$$ - 其中 $\mu$ 是漂移率，$\sigma$ 是波动率。 - - - -**应用**：Black-Scholes模型中的股票价格模型。 - - - -**解**（使用伊藤公式对 $\log S_t$）： - - - - $$S_t = S_0 \exp\left[\left(\mu - \frac{\sigma^2}{2}\right)t + \sigma B_t\right]$$ - - - - - **为什么有 $-\frac{\sigma^2}{2}$ 项？** - -这是伊藤修正！如果没有这一项，$\mathbb{E}[S_t] \neq S_0 e^{\mu t}$。正是这个修正保证了： - - $$\mathbb{E}[S_t] = S_0 e^{\mu t}$$ - - - -#### 3. Cox-Ingersoll-Ross (CIR) 过程 - - - -> **定义** -> CIR过程 - - $$dX_t = \kappa(\theta - X_t)dt + \sigma\sqrt{X_t}dB_t$$ - 条件：$2\kappa\theta > \sigma^2$ 保证 $X_t > 0$。 - - - -**特点**：用于建模利率，保证非负性。扩散项 $\sigma\sqrt{X_t}$ 使得波动率随水平变化。 - - - -### A.4.5 SDE的解法技巧 - - - -虽然大多数SDE没有解析解，但有几种常用的求解技巧： - - - - **常用技巧：** - - - - **积分因子法**：适用于线性SDE - - **变量替换**：通过伊藤公式简化方程 - - **Feynman-Kac公式**：将SDE与PDE联系起来 - - **数值方法**：Euler-Maruyama、Milstein等 - - - - - - -练习 A.4：求解时变OU过程 - -求解 $dX_t = -\theta(t) X_t dt + \sigma(t) dB_t$，其中 $\theta(t), \sigma(t)$ 是已知函数。 - -定义 $\Phi(t) = \exp\left(\int_0^t \theta(s)ds\right)$，令 $Y_t = \Phi(t)X_t$。 - - -应用伊藤公式： - - $$dY_t = \Phi'(t)X_t dt + \Phi(t)dX_t = \sigma(t)\Phi(t)dB_t$$ - -积分得： - - $$Y_t = Y_0 + \int_0^t \sigma(s)\Phi(s)dB_s$$ - -因此： - - $$X_t = \frac{1}{\Phi(t)}\left[X_0 + \int_0^t \sigma(s)\Phi(s)dB_s\right]$$ - $$= e^{-\int_0^t \theta(s)ds}X_0 + \int_0^t \sigma(s)e^{-\int_s^t \theta(u)du}dB_s$$ - - - - - -## A.5 与扩散模型的深层联系 - - - -现在我们终于可以理解扩散模型的数学基础了。扩散模型的核心是两个相互关联的SDE：前向过程和反向过程。 - - - -### A.5.1 前向扩散过程 - - - -扩散模型的前向过程是一个精心设计的SDE： - - - - $$dx = f(x, t)dt + g(t)dB_t$$ - - - - -在DDPM中，选择 $f(x, t) = -\frac{1}{2}\beta(t)x$ 和 $g(t) = \sqrt{\beta(t)}$，得到： - - - - $$dx = -\frac{1}{2}\beta(t)x dt + \sqrt{\beta(t)} dB_t$$ - - - - - **为什么这样选择？** - - - - 线性漂移 $-\frac{1}{2}\beta(t)x$ 使得方程可解 - - 时变系数 $\beta(t)$ 控制扩散速度 - - 最终分布收敛到标准正态分布 $\mathcal{N}(0, I)$ - - - - - - -关键推导：前向过程的解 - -证明前向SDE的解具有形式：$x_t = \sqrt{\bar{\alpha}_t} x_0 + \sqrt{1 - \bar{\alpha}_t} \epsilon$ - -这是一个时变OU过程。定义 $\alpha_t = 1 - \beta_t$ 和 $\bar{\alpha}_t = \prod_{s=0}^t \alpha_s$（离散情况）或 $\bar{\alpha}_t = \exp\left(-\int_0^t \beta(s)ds\right)$（连续情况）。 - - -使用积分因子 $\Phi(t) = 1/\sqrt{\bar{\alpha}_t}$： - - - - - 令 $y_t = x_t / \sqrt{\bar{\alpha}_t}$ - - 应用伊藤公式得 $dy_t = \frac{\sqrt{\beta(t)}}{\sqrt{\bar{\alpha}_t}} dB_t$ - - 积分：$y_t = y_0 + \int_0^t \frac{\sqrt{\beta(s)}}{\sqrt{\bar{\alpha}_s}} dB_s$ - - 因此：$x_t = \sqrt{\bar{\alpha}_t} x_0 + \sqrt{\bar{\alpha}_t} \int_0^t \frac{\sqrt{\beta(s)}}{\sqrt{\bar{\alpha}_s}} dB_s$ - - - -关键观察：积分 $\int_0^t \frac{\sqrt{\beta(s)}}{\sqrt{\bar{\alpha}_s}} dB_s$ 是均值为0的高斯随机变量，其方差为： - - $$\text{Var} = \int_0^t \frac{\beta(s)}{\bar{\alpha}_s} ds = \frac{1 - \bar{\alpha}_t}{\bar{\alpha}_t}$$ - -因此 $x_t \sim \mathcal{N}(\sqrt{\bar{\alpha}_t} x_0, 1 - \bar{\alpha}_t)$，可以写成： - - $$x_t = \sqrt{\bar{\alpha}_t} x_0 + \sqrt{1 - \bar{\alpha}_t} \epsilon, \quad \epsilon \sim \mathcal{N}(0, I)$$ - - - - - -### A.5.2 反向扩散过程 - - - -扩散模型的魔力在于反向过程。Anderson (1982) 证明了，如果前向过程是： - - - - $$dx = f(x, t)dt + g(t)dB_t$$ - - - - -那么时间反演的过程（从 $t=T$ 到 $t=0$）满足： - - - - $$dx = [f(x, t) - g(t)^2 \nabla_x \log p_t(x)]dt + g(t)d\bar{B}_t$$ - - - - -其中 $\bar{B}_t$ 是反向时间的布朗运动，$p_t(x)$ 是 $x_t$ 的概率密度。 - - - - **Score function 的出现！** - -$\nabla_x \log p_t(x)$ 称为 score function，它指向概率密度增加最快的方向。学习这个函数是扩散模型的核心任务。 - - - - -## A.6 鞅论基础 - - - -### A.6.1 鞅的定义与性质 - - - -> **定义** -> 定义 A.5（鞅） - - 随机过程 $\{M_t\}_{t \geq 0}$ 称为关于滤波 $\{\mathcal{F}_t\}$ 的鞅，如果： - - - - $M_t$ 是 $\mathcal{F}_t$-可测的 - - $\mathbb{E}[|M_t|] **定义** -> 定理 A.3（鞅表示定理） - - 设 $M_t$ 是关于布朗运动 $B_t$ 生成的滤波的平方可积鞅。则存在适应过程 $\phi_t$ 使得： - $$M_t = M_0 + \int_0^t \phi_s dB_s$$ - - - -这个定理告诉我们，所有的鞅都可以表示为关于布朗运动的随机积分，这在金融数学和扩散模型理论中非常重要。 - - - -### A.6.3 Doob-Meyer 分解 - - - -任何连续半鞅 $X_t$ 都可以唯一分解为： - - - - $$X_t = X_0 + M_t + A_t$$ - - - -其中 $M_t$ 是局部鞅，$A_t$ 是有界变差过程。 - - - - -练习 A.4：验证鞅性质 - -证明过程 $M_t = \int_0^t s dB_s$ 是鞅，并计算其二次变差 $\langle M \rangle_t$。 - -**解答：** - - -1. 验证鞅性质：对 $s - - - - -## A.7 Girsanov 定理与测度变换 - - - -### A.7.1 Radon-Nikodym 导数 - - - -> **定义** -> 定义 A.6（Radon-Nikodym 导数） - - 设 $\mathbb{P}$ 和 $\mathbb{Q}$ 是概率测度，如果 $\mathbb{Q} \ll \mathbb{P}$（$\mathbb{Q}$ 关于 $\mathbb{P}$ 绝对连续），则存在 $\mathcal{F}$-可测的非负随机变量 $Z$，使得： - $$\mathbb{Q}(A) = \mathbb{E}^{\mathbb{P}}[Z \mathbf{1}_A]$$ - $Z$ 称为 Radon-Nikodym 导数，记为 $\frac{d\mathbb{Q}}{d\mathbb{P}}$。 - - - -### A.7.2 Girsanov 定理 - - - -> **定义** -> 定理 A.4（Girsanov 定理） - - 设 $\theta_t$ 是适应过程，满足 Novikov 条件。定义： - $$Z_t = \exp\left(-\int_0^t \theta_s dB_s - \frac{1}{2}\int_0^t \theta_s^2 ds\right)$$ - 在新测度 $\mathbb{Q}$ 下（$\frac{d\mathbb{Q}}{d\mathbb{P}}\big|_{\mathcal{F}_t} = Z_t$），过程： - $$\tilde{B}_t = B_t + \int_0^t \theta_s ds$$ - 是标准布朗运动。 - - - -Girsanov 定理允许我们改变概率测度，从而改变漂移项。这在扩散模型的理论分析中非常重要。 - - - -## A.8 Fokker-Planck 方程与 Kolmogorov 方程 - - - -### A.8.1 Fokker-Planck 方程 - - - -对于 SDE $dX_t = b(X_t, t)dt + \sigma(X_t, t)dB_t$，其概率密度 $p(x, t)$ 满足 Fokker-Planck 方程（也称为前向 Kolmogorov 方程）： - - - - - $$\frac{\partial p}{\partial t} = -\nabla \cdot (b p) + \frac{1}{2}\nabla^2 : (\sigma \sigma^T p)$$ - - - - -在一维情况下： - - - - $$\frac{\partial p}{\partial t} = -\frac{\partial}{\partial x}(b(x,t) p) + \frac{1}{2}\frac{\partial^2}{\partial x^2}(\sigma^2(x,t) p)$$ - - - - -### A.8.2 后向 Kolmogorov 方程 - - - -对于函数 $u(x, t) = \mathbb{E}[f(X_T) | X_t = x]$，它满足后向 Kolmogorov 方程： - - - - - $$\frac{\partial u}{\partial t} + b(x,t)\frac{\partial u}{\partial x} + \frac{1}{2}\sigma^2(x,t)\frac{\partial^2 u}{\partial x^2} = 0$$ - - - - -边界条件：$u(x, T) = f(x)$。 - - - - -练习 A.5：Ornstein-Uhlenbeck 过程的稳态分布 - -使用 Fokker-Planck 方程求解 OU 过程 $dX_t = -\theta X_t dt + \sigma dB_t$ 的稳态分布。 - -**解答：** - - -稳态时 $\frac{\partial p}{\partial t} = 0$，Fokker-Planck 方程变为： - - $$0 = \frac{\partial}{\partial x}(\theta x p) + \frac{\sigma^2}{2}\frac{\partial^2 p}{\partial x^2}$$ - -令概率流 $J = -\theta x p - \frac{\sigma^2}{2}\frac{\partial p}{\partial x} = 0$（稳态无净流） - - -解得：$p(x) \propto \exp\left(-\frac{\theta x^2}{\sigma^2}\right)$ - - -归一化后得到稳态分布：$p(x) = \sqrt{\frac{\theta}{\pi \sigma^2}} \exp\left(-\frac{\theta x^2}{\sigma^2}\right)$ - - -即 $X_\infty \sim \mathcal{N}\left(0, \frac{\sigma^2}{2\theta}\right)$。 - - - - - -## A.9 随机分析的高级主题 - - - -### A.9.1 局部时与 Tanaka 公式 - - - -布朗运动在 0 点的局部时 $L_t^0$ 测量布朗运动在 0 附近花费的时间： - - - - $$L_t^0 = \lim_{\epsilon \to 0} \frac{1}{2\epsilon} \int_0^t \mathbf{1}_{|B_s| **定义** -> 定理 A.5（Tanaka 公式） - - 对于布朗运动 $B_t$： - $$|B_t| = \int_0^t \text{sgn}(B_s) dB_s + L_t^0$$ - - - -### A.9.2 反射布朗运动 - - - -反射布朗运动 $|B_t|$ 在 0 处被反射。它的生成元是： - - - - $$\mathcal{L} = \frac{1}{2}\frac{d^2}{dx^2}, \quad x > 0$$ - - - -边界条件：$\frac{\partial u}{\partial x}(0) = 0$（Neumann 边界条件）。 - - - -### A.9.3 Bessel 过程 - - - -$n$ 维 Bessel 过程定义为 $n$ 维布朗运动的范数：$R_t = |B_t^{(n)}|$。它满足： - - - - $$dR_t = \frac{n-1}{2R_t}dt + dW_t$$ - - - -其中 $W_t$ 是一维布朗运动。 - - - -## A.10 数值方法 - - - -### A.10.1 Euler-Maruyama 方法 - - - -对于 SDE $dX_t = b(X_t)dt + \sigma(X_t)dB_t$，Euler-Maruyama 离散化为： - - - - $$X_{n+1} = X_n + b(X_n)\Delta t + \sigma(X_n)\sqrt{\Delta t} Z_n$$ - - - -其中 $Z_n \sim \mathcal{N}(0, 1)$ 独立同分布。 - - - -### A.10.2 Milstein 方法 - - - -更高阶的 Milstein 方法包含伊藤修正项： - - - - $$X_{n+1} = X_n + b(X_n)\Delta t + \sigma(X_n)\sqrt{\Delta t} Z_n + \frac{1}{2}\sigma(X_n)\sigma'(X_n)\Delta t(Z_n^2 - 1)$$ - - - - - - - -`import numpy as np -import matplotlib.pyplot as plt - -def euler_maruyama(x0, drift, diffusion, T, N): - """Euler-Maruyama方法""" - dt = T / N - X = np.zeros(N + 1) - X[0] = x0 - - for i in range(N): - dW = np.sqrt(dt) * np.random.randn() - X[i+1] = X[i] + drift(X[i]) * dt + diffusion(X[i]) * dW - - return X - -def milstein(x0, drift, diffusion, diffusion_prime, T, N): - """Milstein方法""" - dt = T / N - X = np.zeros(N + 1) - X[0] = x0 - - for i in range(N): - Z = np.random.randn() - dW = np.sqrt(dt) * Z - X[i+1] = X[i] + drift(X[i]) * dt + diffusion(X[i]) * dW + \ - 0.5 * diffusion(X[i]) * diffusion_prime(X[i]) * dt * (Z**2 - 1) - - return X - -# 测试：几何布朗运动 -# dX_t = μX_t dt + σX_t dB_t -μ, σ = 0.1, 0.3 -drift = lambda x: μ * x -diffusion = lambda x: σ * x -diffusion_prime = lambda x: σ - -# 解析解 -def analytical_solution(x0, t, W): - return x0 * np.exp((μ - 0.5 * σ**2) * t + σ * W) - -# 模拟参数 -x0, T, N = 1.0, 1.0, 1000 -t = np.linspace(0, T, N + 1) - -# 多次模拟比较误差 -n_simulations = 100 -euler_errors = [] -milstein_errors = [] - -for _ in range(n_simulations): - # 生成布朗运动路径 - dW = np.sqrt(T/N) * np.random.randn(N) - W = np.concatenate([[0], np.cumsum(dW)]) - - # 真实解 - X_true = analytical_solution(x0, t, W) - - # Euler-Maruyama - X_euler = euler_maruyama(x0, drift, diffusion, T, N) - euler_errors.append(np.abs(X_euler[-1] - X_true[-1])) - - # Milstein - X_milstein = milstein(x0, drift, diffusion, diffusion_prime, T, N) - milstein_errors.append(np.abs(X_milstein[-1] - X_true[-1])) - -print(f"Euler-Maruyama 平均误差: {np.mean(euler_errors):.6f}") -print(f"Milstein 平均误差: {np.mean(milstein_errors):.6f}") - -# 绘制一条样本路径 -plt.figure(figsize=(10, 6)) -plt.plot(t, X_true, 'k-', label='解析解', linewidth=2) -plt.plot(t, X_euler, 'b--', label='Euler-Maruyama', alpha=0.7) -plt.plot(t, X_milstein, 'r:', label='Milstein', alpha=0.7) -plt.xlabel('时间 t') -plt.ylabel('X(t)') -plt.title('SDE数值方法比较') -plt.legend() -plt.grid(True, alpha=0.3) -plt.show()` - - - - -## A.11 与扩散模型的深层联系 - - - -### A.11.1 Score函数与漂移项 - - - 在扩散模型中，反向SDE的漂移项包含score函数 $\nabla_x \log p_t(x)$： - - - - $$dx = \left[f(x, t) - g^2(t)\nabla_x \log p_t(x)\right]dt + g(t)d\bar{B}_t$$ - - - - -这里的score函数满足： - - - - $$\nabla_x \log p_t(x) = -\frac{1}{\sqrt{1-\bar{\alpha}_t}}\mathbb{E}[\epsilon | x_t = x]$$ - - - - -### A.11.2 时间反演与伴随过程 - - - -对于前向SDE，其时间反演过程（从 $t=T$ 到 $t=0$）由Anderson定理给出。这正是扩散模型反向过程的理论基础。 - - - - -综合练习：推导扩散模型的反向SDE - -从前向SDE $dx = -\frac{1}{2}\beta(t)x dt + \sqrt{\beta(t)} dB_t$ 出发，使用时间反演理论推导反向SDE。 - -**提示：** - +伊藤积分 `∫f_s dB_s` 的定义在黎曼和中，总是取被积函数在区间的**左端点**的值。这个选择保证了被积函数 `f_s` 不会“预见”到噪声 `dB_s` 的未来，从而使得积分结果仍然是一个鞅。 +⚡ **理论要点**：伊藤积分和另一种常见的斯特拉托诺维奇（Stratonovich）积分（取中点）会导致不同的结果。物理学中常用后者，因为它遵循普通的链式法则。金融和概率论中常用前者，因为它具有鞅性质。扩散模型理论建立在伊藤积分之上。 - - 写出前向过程的Fokker-Planck方程 - - 使用Anderson定理，反向漂移项为：$b_{rev} = -b_{for} + \sigma^2 \nabla \log p_t$ - - 计算score函数 $\nabla \log p_t(x)$ - - 代入得到反向SDE +### A.3.2 伊藤公式 (Itô's Formula) +伊藤公式是随机微积分的链式法则，是处理SDE最重要的工具。 +> **定理 A.3 (伊藤公式)** +> 设 `X_t` 满足SDE `dX_t = μ_t dt + σ_t dB_t`，`f(x, t)` 是一个足够光滑的函数，则： +> $$df(X_t, t) = \left(\frac{\partial f}{\partial t} + \mu_t \frac{\partial f}{\partial x} + \frac{1}{2}\sigma_t^2 \frac{\partial^2 f}{\partial x^2}\right)dt + \sigma_t \frac{\partial f}{\partial x} dB_t$$ +> 核心区别在于比普通链式法则多出的一项：`1/2 * σ_t^2 * ∂^2f/∂x^2`，这被称为**伊藤修正项**，它正是来源于 `(dB_t)^2 = dt`。 -关键洞察：score函数编码了数据分布的信息，学习score函数等价于学习如何去噪。 +
+**练习 A.2：伊藤公式的应用** +1. **推导**：设 `B_t` 是标准布朗运动，使用伊藤公式计算 `d(B_t^3)`。 +2. **证明**：证明 `M_t = exp(B_t - t/2)` 是一个鞅。 +3. **研究思路**： + * **问题1**：对 `f(x) = x^3` 应用伊藤公式，其中 `μ_t=0, σ_t=1`。`df = (1/2 * 1^2 * 6B_t)dt + (3B_t^2 * 1)dB_t = 3B_t dt + 3B_t^2 dB_t`。 + * **问题2**：对 `f(x,t) = exp(x - t/2)` 应用伊藤公式。`df = (-1/2 * f)dt + (0)dt + (1/2 * 1^2 * f)dt + (f * 1)dB_t = f dB_t`。由于结果的 `dt` 项（漂移项）为0，所以它是一个鞅。 +
+## A.4 随机微分方程 (SDEs) +SDE描述了受随机扰动影响的动态系统，是扩散模型的数学语言。 -## A.12 进一步学习资源 +> **定义 A.4 (SDE)** +> 一个典型的SDE具有形式： +> $$dX_t = b(X_t, t)dt + \sigma(X_t, t)dB_t$$ +> - **漂移项 `b(X_t, t)`**: 描述系统的确定性平均行为。 +> - **扩散项 `σ(X_t, t)`**: 描述随机波动的强度。 +**存在唯一性**：如果漂移和扩散系数满足Lipschitz连续性和线性增长条件，那么SDE存在唯一的强解。这保证了我们讨论的扩散过程是良定义的。 +## A.5 数值方法简介 - **推荐阅读：** +大多数SDE没有解析解，需要数值方法来模拟。 +- **Euler-Maruyama方法**: 最简单的数值格式，直接将SDE离散化： + `X_{n+1} = X_n + b(X_n)Δt + σ(X_n) * sqrt(Δt) * Z_n`，其中 `Z_n ~ N(0, 1)`。 +- **Milstein方法**: 更高阶的方法，通过加入一个修正项来获得更高的收敛精度，特别是当扩散系数 `σ` 不为常数时。 - - Øksendal, B. "Stochastic Differential Equations" - SDE 的经典教材 - - Karatzas, I. & Shreve, S. "Brownian Motion and Stochastic Calculus" - 更深入的理论 - - Evans, L.C. "An Introduction to Stochastic Differential Equations" - 适合初学者 +💡 **实践洞察**：数值模拟显示，对于扩散系数依赖于状态 `X_t` 的SDE（例如金融中的一些模型），Milstein方法比Euler-Maruyama方法能更精确地收敛到真实解。对于扩散模型中常见的 `σ` 只依赖于时间 `t` 的情况，两种方法的差别不大。 +## A.6 与扩散模型的深层联系 +现在，我们可以将这些数学工具与扩散模型联系起来。 +### A.6.1 前向与反向SDE +- **前向SDE**: 精心设计的、将数据 `x_0` 转化为噪声 `x_T` 的过程。例如VP-SDE： + `dx = -1/2 * β(t) * x dt + sqrt(β(t)) * dB_t` +- **反向SDE**: Anderson定理告诉我们，存在一个对应的反向过程，其漂移项必须由分数函数 `∇log p_t(x)` 来修正： + `dx = [f(x, t) - g(t)^2 * ∇log p_t(x)] dt + g(t) d(bar(W)_t)` + 这揭示了**学习生成模型等价于学习分数函数**。 +### A.6.2 概率流ODE -## 本章小结 +- 每个SDE都对应一个确定性的ODE，称为概率流ODE，它描述了概率密度的平均流动方向： + `dx = [f(x, t) - 1/2 * g(t)^2 * ∇log p_t(x)] dt` +- 由于没有随机项，可以使用高效的ODE数值求解器进行快速、确定性的采样。这是DDIM等快速采样算法的理论基础。 +### A.6.3 Fokker-Planck方程 -在本附录中，我们快速回顾了理解连续时间扩散模型所需的数学基础： +- 这是一个偏微分方程（PDE），它从宏观上描述了概率密度 `p(x, t)` 随时间的演化。 +- 它将微观的粒子运动（SDE）与宏观的密度变化（PDE）联系起来，是进行理论分析的强大工具。 +
+**综合练习：统一视角** +考虑一个简单的一维Ornstein-Uhlenbeck过程：`dX_t = -θX_t dt + σdB_t`。 +1. **稳态分布**：使用Fokker-Planck方程，证明其稳态分布为 `N(0, σ^2/(2θ))`。 +2. **分数函数**：写出其稳态分布的分数函数。 +3. **反向SDE**：写出在稳态下的反向SDE。 +4. **概率流ODE**：写出在稳态下的概率流ODE。 - - 测度论提供了处理连续随机变量的严格框架 - - 布朗运动是扩散过程的基本构建块 - - 伊藤公式是随机微积分的链式法则，包含额外的二阶项 - - SDE 描述了随机系统的演化，扩散模型的前向过程就是一个 SDE +**解答思路**： +1. 在Fokker-Planck方程中令 `∂p/∂t = 0`，得到一个关于 `p(x)` 的常微分方程，求解可得高斯分布。 +2. 对于高斯分布 `N(μ, Σ^2)`，分数函数为 `-(x-μ)/Σ^2`。 +3. 将分数函数代入Anderson定理的公式。 +4. 将分数函数代入概率流ODE的公式。你会发现，在稳态下，ODE的漂移项恰好是前向SDE漂移项的两倍。 +
+## A.7 进一步学习资源 -这些工具将在第5章中用于理解扩散模型的连续时间公式化，特别是 Score-based SDE 框架。 \ No newline at end of file +- **Øksendal, B. "Stochastic Differential Equations"**: SDE的经典入门教材，理论与应用并重。 +- **Evans, L.C. "An Introduction to Stochastic Differential Equations"**: 更侧重于PDE方法的SDE介绍，适合数学背景较强的读者。 +- **Särkkä, S., & Solin, A. "Applied Stochastic Differential Equations"**: 侧重于数值方法和实际应用的优秀书籍。 diff --git a/appendix-b.md b/appendix-b.md index 156c905..7d8284e 100644 --- a/appendix-b.md +++ b/appendix-b.md @@ -1,883 +1,108 @@ -# 附录B：倒向随机微分方程 (BSDE) 速成 - - - - -倒向随机微分方程（Backward Stochastic Differential Equations, BSDE）是理解扩散模型反向过程的重要数学工具。虽然许多扩散模型的实践者可以在不深入BSDE理论的情况下使用这些模型，但理解BSDE能帮助我们更深刻地认识扩散模型的数学本质，特别是在连续时间框架下。 - - - -本附录将快速介绍BSDE的核心概念，重点关注与扩散模型相关的部分。我们假设读者已经熟悉附录A中的测度论和随机过程基础。 - +[← 附录A](appendix-a.md) | 附录B | [附录C →](appendix-c.md) +# 附录B：倒向随机微分方程 (BSDE) 速成 +倒向随机微分方程（Backward Stochastic Differential Equations, BSDE）是理解扩散模型反向过程，特别是其与最优控制和经济学联系的重要数学工具。本附录将快速介绍BSDE的核心概念，旨在为读者提供一个更深刻的理论视角。 ## B.1 从前向到倒向：问题的提出 +标准的前向SDE（FSDE）从一个已知的初始状态 `X_0` 出发，描述系统如何演化到未来。然而，在许多问题中，我们关心的是一个“目标导向”的问题：给定一个在未来时刻 `T` 的目标（或成本）`ξ`，我们想知道在当前时刻 `t` 的“价值”`Y_t` 以及为了达到该目标需要采取的“策略”`Z_t`。 +> **定义 B.1 (一般BSDE)** +> 一个BSDE的解是一对随机过程 `(Y_t, Z_t)`，满足： +> $$-dY_t = f(t, Y_t, Z_t)dt - Z_t dW_t$$ +> 并满足一个**终端条件** `Y_T = ξ`。 -### B.1.1 前向SDE回顾 - - - -在深入BSDE之前，让我们先回顾标准的（前向）随机微分方程。前向SDE描述了一个随机系统如何从已知的初始状态演化到未来： - - - - $$dX_t = b(t, X_t)dt + \sigma(t, X_t)dW_t, \quad X_0 = x_0$$ - - - -这个方程的特点是： - - - - - **因果性**：给定初始条件 $X_0 = x_0$，我们可以逐步计算未来的状态 - - **适应性**：$X_t$ 只依赖于到时刻 $t$ 为止的随机性（布朗运动的历史） - - **信息流向**：从过去流向未来，这符合我们的物理直觉 - - **马尔可夫性**：未来只依赖于当前状态，不依赖于历史路径 - - - - -在扩散模型的语境中，前向SDE描述了数据如何逐渐被噪声破坏的过程。例如，在DDPM中，前向过程将清晰的图像 $x_0$ 逐步转化为纯噪声 $x_T \sim \mathcal{N}(0, I)$。 - - -### B.1.2 倒向问题的动机 - - - -然而，在许多实际问题中，我们面临的是相反的情况：我们知道（或期望）系统在未来某个时刻的状态，需要推断现在应该采取什么行动，或者系统现在应该处于什么状态。这就引出了倒向问题。 - - - - 终端值问题的直观例子 - -想象你要在时刻 $T$ 到达某个目的地，但路径是随机的（受到风、交通等随机因素影响）。倒向问题问的是： - - - - - 现在（时刻 $t 期权定价：知道期权到期时的支付，求现在的价格 - - 对冲策略：如何动态调整投资组合以复制期权支付 - - 风险度量：从未来的损失分布推断现在的风险 - - - - - **随机控制**： - - - 动态规划的值函数满足BSDE - - 最优控制策略可以从BSDE的解中提取 - - - - - **偏微分方程**： - - - 非线性PDE的概率表示 - - 高维PDE的数值求解 - - - - - **扩散模型**： - - - 反向扩散过程的严格数学刻画 - - 分数函数（score function）的演化 - - 最优传输路径的构造 - - - - - - - - -在扩散模型中，BSDE的视角特别有启发性。前向过程将数据破坏成噪声，而我们真正关心的是反向过程：如何从噪声重构数据。这个反向过程的数学描述自然地导向BSDE理论。具体来说： - - - - - 终端条件：$Y_T$ 对应于纯噪声状态的对数概率密度 - - $Y_t$ 过程：表示中间时刻的对数概率密度 - - $Z_t$ 过程：与分数函数 $\nabla \log p_t$ 密切相关，指导去噪方向 - - - -## B.2 BSDE的数学定义 - - - -### B.2.1 线性BSDE - - - -最简单的BSDE形式是线性BSDE，它为理解一般BSDE奠定基础。让我们从积分形式开始，这样更容易理解： - - - - $$Y_t = \xi + \int_t^T [a(s)Y_s + b(s)Z_s + f(s)]ds - \int_t^T Z_s dW_s$$ - - - -改写成微分形式（注意负号）： - - - - $$\begin{cases} - -dY_t = [a(t)Y_t + b(t)Z_t + f(t)]dt - Z_t dW_t \\ - Y_T = \xi - \end{cases}$$ - - - - 直观理解：为什么是"倒向"？ - -考虑一个具体例子：你知道一支股票在时刻 $T$ 的价格是 $\xi$（可能是随机的），你想知道它在更早时刻 $t 在金融中：对冲组合中的股票数量 - - 在控制中：最优控制策略 - - 在扩散模型中：与分数函数 $\nabla \log p_t$ 相关 - - - - - **$\xi$**：终端条件，$\mathcal{F}_T$-可测（即在时刻 $T$ 已知） - - **$a(t), b(t), f(t)$**：系数过程，描述系统的动态特性 - - - - -#### 为什么需要 $Z_t$？三个视角 - - - -**1. 数学视角（鞅表示定理）** - - -根据鞅表示定理，任何关于布朗运动的平方可积鞅 $M_t$ 都可以唯一表示为： - - - $$M_t = M_0 + \int_0^t H_s dW_s$$ - - -在BSDE中，$Y_t - \int_0^t [a(s)Y_s + b(s)Z_s + f(s)]ds$ 是一个鞅，因此必然存在某个过程使其可以表示为随机积分，这个过程就是 $Z_t$。 - - - -**2. 金融视角（完备市场）** - - -在Black-Scholes模型中： - - - - - $Y_t$ = 期权在时刻 $t$ 的价值 - - $Z_t$ = 对冲组合中需要持有的股票数量（Delta对冲） - - 通过动态调整股票持仓 $Z_t$，可以完美复制期权的支付 - - - - -**3. PDE视角（梯度信息）** - - -如果 $Y_t = u(t, X_t)$ 其中 $u$ 满足某个PDE，则通过Itô公式可以证明： - - - $$Z_t = \sigma(t, X_t)^T \nabla_x u(t, X_t)$$ - - -即 $Z_t$ 编码了解关于空间变量的梯度信息。 - - - - - 最简单的线性BSDE例子 - -考虑最简单的情况：$a(t) = b(t) = 0$，$f(t) = r$（常数），则BSDE变为： - - - $$-dY_t = r \, dt - Z_t dW_t, \quad Y_T = \xi$$ - - - -这个BSDE的解是： - - - $$Y_t = \mathbb{E}[\xi | \mathcal{F}_t] + r(T-t)$$ - - - -物理意义：如果终端收益是 $\xi$，无风险利率是 $r$，那么时刻 $t$ 的公平价值是终端收益的条件期望加上期间的利息。 - - - -对应的 $Z_t$ 过程可以通过鞅表示定理得到。如果 $\xi = g(W_T)$，则： - - - $$Z_t = \mathbb{E}[g'(W_T) | \mathcal{F}_t]$$ - - - - -### B.2.2 一般（非线性）BSDE - - - -从线性到非线性的推广开启了BSDE理论的广阔应用空间。非线性BSDE不仅是数学上的推广，更重要的是它能够刻画许多线性模型无法描述的现象。 - - - - $$\begin{cases} - -dY_t = f(t, Y_t, Z_t)dt - Z_t dW_t \\ - Y_T = \xi - \end{cases}$$ - - - -这里 $f: [0,T] \times \mathbb{R} \times \mathbb{R}^d \to \mathbb{R}$ 称为**驱动函数**（driver），它决定了BSDE的特性。 - - - - -#### 驱动函数的重要性 - - -驱动函数 $f$ 就像是BSDE的"灵魂"，不同的 $f$ 对应不同的应用： - - - - - **$f(t,y,z) = 0$**：鞅，对应线性期望 - - **$f(t,y,z) = g(z)$**：风险度量，如期望缺口（Expected Shortfall） - - **$f(t,y,z) = \frac{1}{2}|z|^2$**：指数效用，对应风险敏感控制 - - **$f(t,y,z) = |z|^2 - \text{div}(z)$**：扩散模型中的分数演化 - - - - - - 非线性的必要性：一个金融例子 - -考虑一个面临**流动性约束**的交易者。他不能无限制地买卖资产，交易成本随交易量非线性增长。 - - - -此时，期权的对冲成本不再是线性的，必须用非线性BSDE来描述： - - - $$-dY_t = \left[\frac{\gamma}{2}|Z_t|^2 + h(t,Z_t)\right]dt - Z_t dW_t$$ - - - -其中： - - - - - $\gamma > 0$ 表示风险厌恶系数 - - $h(t,z)$ 表示交易成本（通常是 $z$ 的凸函数） - - 解 $Y_t$ 表示考虑交易成本后的期权价值 - - - - -这个BSDE的解通常**高于**Black-Scholes价格，差额反映了流动性成本。 - - - - - 非线性的必要性：扩散模型例子 - -在扩散模型中，对数密度 $Y_t = \log p_t(X_t)$ 的演化遵循非线性BSDE。考虑标准的扩散过程： - - - - $$dX_t = -\frac{1}{2}\beta(t)X_t dt + \sqrt{\beta(t)}dW_t$$ - - - -应用Itô公式到 $Y_t = \log p_t(X_t)$，可以得到： - - - - $$-dY_t = \left[\|Z_t\|^2 + \frac{1}{2}\beta(t)\text{div}(Z_t) + \text{其他项}\right]dt - Z_t \cdot dW_t$$ - - - -这里的非线性项 $\|Z_t\|^2$ 至关重要： - - - - - 它来自于扩散项的二阶效应（Itô修正） - - 它确保了概率密度的归一化 - - 它与分数函数的能量有关 - - - - - -#### 驱动函数的性质与分类 - - - -根据驱动函数的性质，BSDE可以分为几类： - - - - 1. Lipschitz驱动 - -如果 $f$ 满足Lipschitz条件： - - - $$|f(t,y_1,z_1) - f(t,y_2,z_2)| \leq L(|y_1-y_2| + |z_1-z_2|)$$ - - -则BSDE存在唯一解。这是最经典的情况，由Pardoux-Peng (1990)建立。 - - - - - 2. 二次增长驱动 - -如果 $f$ 关于 $z$ 有二次增长： - - - $$|f(t,y,z)| \leq C(1 + |y| + |z|^2)$$ - - -这类BSDE更具挑战性，但在许多应用中自然出现（如指数效用、扩散模型）。需要额外的技术处理，如BMO方法。 - - - - - 3. 单调驱动 - -如果 $f$ 关于 $y$ 单调： - - - $$(y_1 - y_2)(f(t,y_1,z) - f(t,y_2,z)) \leq 0$$ - - -这保证了比较定理成立，在风险度量和最优控制中很重要。 - - - - -#### g-期望理论 - - - -非线性BSDE引出了Peng提出的**g-期望**理论，这是对经典期望的非线性推广： - - - - g-期望 - -给定驱动函数 $g$（通常记为 $g$ 而非 $f$），定义g-期望： - - - $$\mathcal{E}_g[\xi | \mathcal{F}_t] := Y_t$$ - - -其中 $(Y,Z)$ 是BSDE的解： - +**与FSDE的核心区别**： +- **信息流向**：FSDE由初始条件决定，向未来求解。BSDE由终端条件决定，向过去求解。 +- **解的构成**：FSDE的解是一个过程 `X_t`。BSDE的解是一对过程 `(Y_t, Z_t)`。 - $$-dY_s = g(s,Y_s,Z_s)ds - Z_s dW_s, \quad Y_T = \xi$$ +**直观理解 `Y_t` 和 `Z_t`**： +- **`Y_t` (价值过程)**: 代表在时刻 `t`，为了满足终端条件 `ξ` 所需的“价值”或“成本”。 +- **`Z_t` (策略/对冲过程)**: 代表在时刻 `t`，为了应对随机性 `dW_t` 而需要采取的“策略”或“控制”。在金融中，这对应于对冲组合；在扩散模型中，它与分数函数 `∇log p_t` 密切相关。 +## B.2 核心理论 +### B.2.1 存在唯一性 -g-期望的性质依赖于 $g$ 的性质： +BSDE理论的基石是由Pardoux和彭实戈在1990年证明的存在唯一性定理。 +> **定理 B.2 (Pardoux-Peng, 1990)** +> 如果终端条件 `ξ` 是平方可积的，且驱动函数 `f(t, y, z)` 关于 `y` 和 `z` 满足Lipschitz连续性，那么BSDE存在唯一的平方可积解 `(Y, Z)`。 +这个定理保证了我们讨论的问题是良定义的。后续的研究将条件放宽到了二次增长的驱动函数，这对于连接BSDE和某些物理或金融模型至关重要。 - - 如果 $g \equiv 0$，则 $\mathcal{E}_g[\xi] = \mathbb{E}[\xi]$（经典期望） - - 如果 $g$ 是凸的，则 $\mathcal{E}_g$ 是凸的（风险厌恶） - - 如果 $g$ 满足某些条件，$\mathcal{E}_g$ 可以表示模型不确定性下的稳健期望 +### B.2.2 比较定理 +BSDE的一个强大性质是比较定理，它允许我们比较不同BSDE的解。 +**简而言之**：如果一个BSDE的终端条件和驱动函数都“更大”，那么它的解 `Y_t` 在任何时刻 `t` 也都“更大”。这在风险度量和最优控制中非常有用。 +### B.2.3 BSDE与PDE的联系：非线性Feynman-Kac公式 +BSDE与偏微分方程（PDE）之间存在深刻的对偶关系，这通过非线性Feynman-Kac公式建立。 +🌟 **理论核心**：一个（半）线性抛物型PDE的解，可以表示为一个BSDE的解的期望。反之，一个BSDE的解 `Y_t` 也可以看作是某个PDE `u(t, X_t)` 沿着随机路径 `X_t` 的演化。具体来说，`Y_t = u(t, X_t)`，而 `Z_t` 与 `u` 的空间梯度 `∇u` 相关：`Z_t = σ^T * ∇u`。 -### B.2.3 解的概念 +这个联系是双向的： +- 我们可以用概率方法（模拟BSDE）来求解高维PDE。 +- 我们可以用PDE的理论来分析BSDE的性质。 +## B.3 BSDE在扩散模型中的应用 +BSDE为连续时间扩散模型提供了严格的数学描述。 -理解BSDE解的概念需要仔细考虑几个微妙之处。与前向SDE不同，BSDE的解是一对过程 $(Y, Z)$，而不仅仅是 $Y$。 +1. **反向过程的刻画**：扩散模型的反向过程，即从噪声 `x_T` 生成数据 `x_0` 的过程，本质上是一个终端值问题，可以用BSDE来精确描述。 +2. **分数函数的演化**：定义 `Y_t = log p_t(X_t)`，即沿着随机路径 `X_t` 的对数概率密度。可以证明，`Y_t` 满足一个驱动函数 `f` 具有二次增长的非线性BSDE。在这个BSDE中，`Z_t` 过程与分数函数 `∇log p_t(X_t)` 直接相关。 + 💡 **关键洞察**：这意味着，学习分数函数的过程，可以被看作是求解一个非线性BSDE的过程。这为设计新的损失函数和训练算法提供了理论依据。例如，我们可以通过最小化BSDE的残差来学习分数模型。 - BSDE的解（严格定义） +3. **与最优传输的联系**：连接两个分布 `p_0` 和 `p_T` 的Schrödinger桥问题，可以被转化为求解一个耦合的前向-倒向SDE（FBSDE）系统。这个系统的解给出了在两个分布之间转换的最优随机路径，为扩散模型提供了最优传输的视角。 -一对适应过程 $(Y, Z)$ 称为BSDE的解，如果： +## B.4 数值方法简介 +由于大多数BSDE没有解析解，数值方法至关重要。 +- **时间离散化**：最常见的是向后欧拉格式。从 `Y_T = ξ` 开始，反向迭代求解 `(Y_{t_i}, Z_{t_i})`。每一步都需要计算一个条件期望，这是数值求解的难点。 - - **正则性条件**： +- **深度学习方法 (Deep BSDE)**：现代方法使用神经网络来参数化未知的 `Z_t` 过程。其核心思想是： + 1. 用一个神经网络 `Z_θ(t, x)` 来近似 `Z_t`。 + 2. 从 `t=0` 开始，使用 `Z_θ` 和一个猜测的初始值 `Y_0`，通过离散化格式前向模拟出 `Y_T`。 + 3. 最小化模拟得到的 `Y_T` 和真实的终端条件 `ξ` 之间的误差 `||Y_T - ξ||^2`。 + 4. 通过反向传播训练网络参数 `θ` 和初始值 `Y_0`。 +⚡ **实现挑战**：Deep BSDE方法将一个复杂的随机控制问题转化为了一个深度学习的优化问题，但在高维情况下，仍然面临“维度灾难”的挑战。 - $Y: [0,T] \times \Omega \to \mathbb{R}$ 是连续适应过程 - - $Z: [0,T] \times \Omega \to \mathbb{R}^d$ 是循序可测过程 - - $\mathbb{E}\left[\sup_{0 \leq t \leq T} |Y_t|^2\right] - - **积分方程**：对所有 $t \in [0,T]$，几乎必然有 - $$Y_t = \xi + \int_t^T f(s, Y_s, Z_s)ds - \int_t^T Z_s dW_s$$ +
+练习 B.1：线性BSDE的显式解 - - **终端条件**：$Y_T = \xi$ 几乎必然成立 +考虑线性BSDE：` -dY_t = (aY_t + f_t)dt - Z_t dW_t`，终端条件为 `Y_T = ξ`，其中 `a` 是常数，`f_t` 是确定性函数。 +1. **求解**：使用积分因子 `e^{at}`，求解 `Y_t` 的表达式。 +2. **分析**：解释解的表达式的金融学含义（将 `a` 视为贴现率）。 +3. **开放探索**：如果 `a` 也是一个随机过程 `a_t`，解会是什么形式？这在随机利率模型中很常见。 +**解答思路**： +1. 对 `tilde(Y)_t = e^{at}Y_t` 应用伊藤公式，可以消去 `Y_t` 的漂移项，得到一个只包含 `dt` 和 `dW_t` 的SDE。对其积分再整理，最终得到 `Y_t = E[e^{-a(T-t)}ξ + ∫_t^T e^{-a(s-t)}f_s ds | F_t]`。 +2. 这个解表示，时刻 `t` 的价值等于未来所有现金流 `f_s` 和终端价值 `ξ` 在考虑了贴现因子 `e^{-a(s-t)}` 后的条件期望。 +
+
+练习 B.2：BSDE与热方程 +证明热方程 `∂u/∂t + 1/2 * Δu = 0`，`u(T,x) = g(x)` 的解可以用一个BSDE表示。 +1. **构造过程**：定义一个前向过程 `X_t^x = x + W_t` 和一个新过程 `Y_t = u(t, X_t^x)`。 +2. **应用伊藤公式**：对 `Y_t` 应用伊藤公式。 +3. **建立联系**：利用 `u` 是热方程的解这一事实，证明 `Y_t` 满足一个驱动函数 `f=0` 的BSDE。 +**研究思路**：这个练习展示了Feynman-Kac公式最简单的情形。思考一下，如果PDE中有一个非线性的项，例如 `∂u/∂t + 1/2 * Δu + (∇u)^2 = 0`（Hamilton-Jacobi-Bellman方程），那么对应的BSDE的驱动函数 `f` 会是什么样的？ -#### 为什么需要这些条件？ - - - -**1. 适应性（Adaptedness）** - - -$(Y_t, Z_t)$ 必须是 $\mathcal{F}_t$-适应的，这意味着它们不能"预见未来"。这是因果性的数学表述。 - - - -**2. 平方可积性** - - -条件 $\mathbb{E}[\int_0^T |Z_t|^2 dt] 时间离散化（Euler格式） - - 空间离散化（有限差分、蒙特卡洛） - - 深度学习方法（神经网络逼近） - - - - - - -## B.3 基本理论结果 - - - -### B.3.1 存在唯一性定理 - - - - 定理（Pardoux-Peng, 1990） - -假设： - - - - - $\xi \in L^2(\mathcal{F}_T)$ - - $f$ 关于 $y, z$ 满足Lipschitz条件： - $$|f(t,y_1,z_1) - f(t,y_2,z_2)| \leq L(|y_1-y_2| + |z_1-z_2|)$$ - - - $f(t,0,0) \in L^2([0,T] \times \Omega)$ - - - -则BSDE存在唯一的平方可积解 $(Y,Z)$。 - - - - -### B.3.2 比较定理 - - - -BSDE的一个重要性质是比较定理，它允许我们比较不同BSDE解的大小关系： - - - - 比较定理 - -设 $(Y^1, Z^1)$ 和 $(Y^2, Z^2)$ 分别是以下两个BSDE的解： - - - - - BSDE 1: $-dY^1_t = f_1(t, Y^1_t, Z^1_t)dt - Z^1_t dW_t$, $Y^1_T = \xi_1$ - - BSDE 2: $-dY^2_t = f_2(t, Y^2_t, Z^2_t)dt - Z^2_t dW_t$, $Y^2_T = \xi_2$ - - - -如果 $\xi_1 \leq \xi_2$ a.s. 且 $f_1(t, y, z) \leq f_2(t, y, z)$ 对所有 $(t, y, z)$ 成立，则 $Y^1_t \leq Y^2_t$ a.s. 对所有 $t \in [0,T]$ 成立。 - - - - -## B.4 BSDE与PDE的联系：Feynman-Kac公式 - - - -BSDE与偏微分方程之间存在深刻的联系，这个联系通过Feynman-Kac公式体现。 - - -### B.4.1 线性情况 - - - -考虑线性PDE： - - - - $$\begin{cases} - \frac{\partial u}{\partial t}(t,x) + \mathcal{L}u(t,x) + f(t,x) = 0 \\ - u(T,x) = g(x) - \end{cases}$$ - - - -其中 $\mathcal{L}$ 是椭圆算子： - - - - $$\mathcal{L}u = b(t,x) \cdot \nabla u + \frac{1}{2}\text{Tr}[\sigma\sigma^T(t,x) \nabla^2 u]$$ - - - - Feynman-Kac公式（线性情况） - -PDE的解可以表示为： - - $$u(t,x) = \mathbb{E}\left[g(X_T^{t,x}) + \int_t^T f(s,X_s^{t,x})ds \,\Big|\, X_t = x\right]$$ - -其中 $X^{t,x}$ 是从时刻 $t$、位置 $x$ 出发的SDE的解。 - - - - -### B.4.2 非线性情况 - - - -对于非线性PDE： - - - - $$\begin{cases} - \frac{\partial u}{\partial t} + \mathcal{L}u + f(t,x,u,\sigma^T\nabla u) = 0 \\ - u(T,x) = g(x) - \end{cases}$$ - - - -解可以通过BSDE表示： - - - - 非线性Feynman-Kac公式 - -设 $(Y^{t,x}, Z^{t,x})$ 是BSDE的解： - - $$-dY_s = f(s, X_s^{t,x}, Y_s, Z_s)ds - Z_s dW_s, \quad Y_T = g(X_T^{t,x})$$ - -则 $u(t,x) = Y_t^{t,x}$，且 $\nabla u(t,x) = Z_t^{t,x}/\sigma(t,x)$。 - - - - -## B.5 BSDE在扩散模型中的应用 - - - -### B.5.1 反向扩散过程的BSDE表示 - - - -在连续时间扩散模型中，前向过程是： - - - - $$dX_t = f(X_t, t)dt + g(t)dW_t$$ - - - -Anderson (1982) 证明了反向过程可以写成： - - - - $$dX_t = [f(X_t, t) - g^2(t)\nabla_x \log p_t(X_t)]dt + g(t)d\bar{W}_t$$ - - - -其中 $\bar{W}_t$ 是反向布朗运动。这里的关键是分数函数 $\nabla_x \log p_t(x)$。 - - -### B.5.2 分数函数的BSDE刻画 - - - -定义 $Y_t = \log p_t(X_t)$，则可以证明 $(Y_t, Z_t)$ 满足某个BSDE，其中： - - - - - $Y_t$ 对应对数概率密度 - - $Z_t$ 与分数函数 $\nabla \log p_t$ 相关 - - - - -# BSDE视角下的分数匹配 -import torch -import torch.nn as nn - -class BSDEScoreMatching(nn.Module): - """ - 使用BSDE框架的分数匹配 - - 核心思想： - - Y_t 表示对数密度 - - Z_t 表示分数函数 - - 通过最小化BSDE残差来学习 - """ - def __init__(self, score_model, T=1.0): - super().__init__() - self.score_model = score_model - self.T = T - - def bsde_loss(self, x_0, t): - """ - 计算BSDE形式的损失函数 - - 理论基础： - 如果 (Y, Z) 满足BSDE，则残差应该为0 - 我们最小化这个残差来学习分数函数 - """ - # 前向扩散采样 - noise = torch.randn_like(x_0) - x_t = self.forward_diffusion(x_0, t, noise) - - # 预测分数（对应Z过程） - score_pred = self.score_model(x_t, t) - - # BSDE残差：这来自于Itô公式应用于 log p_t(X_t) - # 具体形式依赖于扩散系数的选择 - residual = self.compute_bsde_residual(x_t, t, score_pred, noise) - - return residual.pow(2).mean() - - def compute_bsde_residual(self, x_t, t, score, noise): - """计算BSDE残差（简化版本）""" - # 这里的具体形式依赖于所选择的SDE - # 对于标准的VP-SDE，残差与去噪分数匹配目标相关 - return score + noise # 简化示例 - - - -### B.5.3 最优传输视角 - - - BSDE理论还提供了扩散模型与最优传输之间的联系： - - - - 扩散桥与BSDE - -考虑连接两个分布 $\mu_0$ 和 $\mu_T$ 的扩散桥。相应的Schrödinger桥问题可以通过求解耦合的前向-倒向SDE系统来解决： - - - - - 前向SDE描述从 $\mu_0$ 出发的扩散 - - 倒向SDE施加终端条件 $\mu_T$ - - 最优控制（漂移）由BSDE的解给出 - - - - - -## B.6 数值方法 - - - -求解BSDE的数值方法对于实际应用至关重要。 - - -### B.6.1 时间离散化 - - - -最简单的方法是Euler格式的倒向版本： - - - - -def backward_euler_bsde(terminal_condition, driver_f, dt, num_steps): - """ - BSDE的倒向Euler格式 - - Args: - terminal_condition: 终端条件 ξ - driver_f: 驱动函数 f(t, y, z) - dt: 时间步长 - num_steps: 时间步数 - """ - # 初始化 - Y = [terminal_condition] - Z = [] - - # 倒向迭代 - for i in range(num_steps): - t = (num_steps - i) * dt - - # 条件期望的近似（这里需要具体的数值方法） - Y_prev, Z_curr = compute_conditional_expectation( - Y[-1], t, dt, driver_f - ) - - Y.append(Y_prev) - Z.append(Z_curr) - - return list(reversed(Y)), list(reversed(Z)) - - - -### B.6.2 深度学习方法 - - - 现代方法使用神经网络来参数化BSDE的解： - - - - -class DeepBSDE(nn.Module): - """ - 深度BSDE求解器 - - 使用神经网络逼近Z过程，通过最小化终端条件误差来训练 - """ - def __init__(self, dim, hidden_dim=256): - super().__init__() - # Z过程的神经网络逼近器 - self.z_net = nn.Sequential( - nn.Linear(dim + 1, hidden_dim), # x 和 t - nn.ReLU(), - nn.Linear(hidden_dim, hidden_dim), - nn.ReLU(), - nn.Linear(hidden_dim, dim) # 输出 Z - ) - - def solve(self, x_0, T, num_steps, terminal_g): - """ - 求解BSDE - - 通过前向模拟和神经网络预测Z， - 最小化终端条件误差 - """ - dt = T / num_steps - x = x_0 - y = self.initial_value(x_0) # Y_0的初始猜测 - - for i in range(num_steps): - t = i * dt - - # 预测Z - z = self.z_net(torch.cat([x, t.expand_as(x[:, :1])], dim=1)) - - # 前向演化 - dw = torch.randn_like(x) * torch.sqrt(dt) - x = x + self.drift(x, t) * dt + self.diffusion(t) * dw - y = y - self.driver(t, y, z) * dt + torch.sum(z * dw, dim=1, keepdim=True) - - # 终端条件误差 - terminal_error = (y - terminal_g(x)).pow(2).mean() - - return terminal_error - - - -## B.7 练习题 - - - - -练习 B.1：线性BSDE的显式解 - 考虑线性BSDE： - - $$-dY_t = (aY_t + f_t)dt - Z_t dW_t, \quad Y_T = \xi$$ - -其中 $a$ 是常数，$f_t$ 是确定性函数。求解 $(Y_t, Z_t)$ 的显式表达式。 - -使用变量替换 $\tilde{Y}_t = e^{at}Y_t$，可以得到： - - $$Y_t = e^{-a(T-t)}\mathbb{E}\left[\xi + \int_t^T e^{a(T-s)}f_s ds \,\Big|\, \mathcal{F}_t\right]$$ - -利用鞅表示定理，可以得到 $Z_t$ 的表达式。具体地，如果 $\xi = g(W_T)$，则： - - $$Z_t = e^{-a(T-t)}\mathbb{E}[g'(W_T) | \mathcal{F}_t]$$ - - - - - - -练习 B.2：BSDE与热方程 - -证明热方程的解可以用BSDE表示。具体地，设 $u(t,x)$ 满足： - - $$\frac{\partial u}{\partial t} + \frac{1}{2}\Delta u = 0, \quad u(T,x) = g(x)$$ - -证明 $u(t,x) = Y_t$，其中 $Y_t$ 是某个BSDE的解。 - -考虑布朗运动 $X_t^x = x + W_t$，定义 $Y_t = u(t, X_t^x)$。 - - -应用Itô公式： - - $$dY_t = \left(\frac{\partial u}{\partial t} + \frac{1}{2}\Delta u\right)dt + \nabla u \cdot dW_t = \nabla u \cdot dW_t$$ - -因此 $Y_t$ 满足BSDE： - - $$-dY_t = 0 \cdot dt - Z_t dW_t, \quad Y_T = g(X_T^x)$$ - -其中 $Z_t = -\nabla u(t, X_t^x)$。 - - - - - - -练习 B.3：扩散模型中的BSDE - -设前向扩散过程为 $dX_t = \sqrt{2}dW_t$（标准布朗运动的缩放）。 - - - - - 写出对应的Fokker-Planck方程 - - 证明反向过程涉及分数函数 $\nabla \log p_t$ - - 将分数函数的演化写成BSDE形式 - -1. Fokker-Planck方程： - - $$\frac{\partial p}{\partial t} = \Delta p$$ - - -2. 反向过程（Anderson, 1982）： - - $$dX_t = -2\nabla \log p_{T-t}(X_t)dt + \sqrt{2}d\bar{W}_t$$ - - -3. 定义 $Y_t = \log p_{T-t}(X_t)$，$Z_t = \nabla \log p_{T-t}(X_t)$，则： - - $$-dY_t = \left(\|Z_t\|^2 - \text{div}(Z_t)\right)dt - Z_t \cdot dW_t$$ - -这是一个非线性BSDE，其驱动函数为 $f(z) = \|z\|^2 - \text{div}(z)$。 - - - - - +
## 本章小结 +- **核心定义**：BSDE是从一个未来的终端条件出发，向后求解的随机微分方程，其解为一对 `(Y_t, Z_t)` 过程。 +- **理论基石**：存在唯一性定理和比较定理保证了BSDE的良好性质。非线性Feynman-Kac公式建立了BSDE与PDE的深刻联系。 +- **扩散模型应用**：BSDE为描述扩散模型的反向过程和分数函数的演化提供了严格的数学框架，并将其与最优控制和最优传输理论联系起来。 -在本附录中，我们快速介绍了BSDE的核心概念： - - - - - **基本定义**：BSDE是从终端条件出发的随机微分方程 - - **存在唯一性**：在Lipschitz条件下，BSDE有唯一解 - - **与PDE的联系**：通过Feynman-Kac公式连接 - - **在扩散模型中的应用**：刻画反向过程和分数函数 - - **数值方法**：从经典的Euler格式到现代的深度学习方法 - - - - -BSDE理论为理解扩散模型提供了严格的数学框架，特别是在连续时间设定下。虽然实践中我们通常使用离散化的版本，但BSDE的视角帮助我们理解模型的本质，并启发新的算法设计。 - - - -要深入学习BSDE理论，推荐阅读Pardoux和Peng的原始论文，以及El Karoui等人的综述文章。对于在机器学习中的应用，可以参考E, Han和Jentzen的深度BSDE工作。 \ No newline at end of file +虽然BSDE理论较为抽象，但它为我们理解“目标导向”的随机过程提供了统一而强大的语言，是连接概率论、PDE和机器学习的重要桥梁。 diff --git a/appendix-c.md b/appendix-c.md index 8f6080d..00af2e3 100644 --- a/appendix-c.md +++ b/appendix-c.md @@ -1,3296 +1,112 @@ -[← 上一章](appendix-b.md) - 附录C - [返回首页 →](index.md) - - +[← 附录B](appendix-b.md) | 附录C | [返回首页 →](index.md) # 附录C：信息几何与分数函数的力学解释 - - - 扩散模型的成功不仅仅是工程上的胜利，更是深刻数学原理的体现。本附录将从信息几何的角度重新审视扩散模型，揭示分数函数作为"力"的物理意义，并建立与能量优化的深刻联系。这种视角不仅提供了理论洞察，也为设计新算法提供了指导原则。 - - +扩散模型的成功不仅是工程上的胜利，更是深刻数学原理的体现。本附录将从信息几何（Information Geometry）的角度重新审视扩散模型，揭示分数函数作为“力”的物理意义，并建立与能量优化的深刻联系。这种视角不仅提供了强大的理论洞察，也为设计新算法提供了直观的指导原则。 ## C.1 信息几何基础 +信息几何将概率分布空间 `P` 视为一个具有内在几何结构的黎曼流形（Riemannian manifold），而不是一个平坦的欧几里得空间。 +### C.1.1 概率分布流形 -### C.1.1 概率分布的流形结构 - - - -信息几何将概率分布空间看作一个弯曲的流形，而不是平坦的欧几里得空间。这种视角对理解扩散模型至关重要。 - - - -#### 概率单纯形 - - - - 概率单纯形的定义 - -设 $\Omega$ 是样本空间，定义概率单纯形： - - - $$\mathcal{P} = \left\{p = (p_1, ..., p_n) : p_i \geq 0, \sum_{i=1}^n p_i = 1\right\}$$ - - - -这是一个 $(n-1)$ 维流形，嵌入在 $\mathbb{R}^n$ 中。对于连续分布，我们考虑： - - - $$\mathcal{P}(\mathcal{X}) = \left\{p : \mathcal{X} \to \mathbb{R}^+ \mid \int_{\mathcal{X}} p(x)dx = 1\right\}$$ - - - - -#### 切空间的结构 - - - -在每个点 $p \in \mathcal{P}$，切空间由满足约束的无穷小变化组成： - - - - -#### 切向量的特征 - - -对于概率分布 $p(x)$，切向量 $v(x) \in T_p\mathcal{P}$ 满足： - - - $$\int_{\mathcal{X}} v(x) dx = 0$$ - - - -这保证了沿着 $v$ 方向的无穷小移动仍然保持归一化。 - - - - -#### 指数族与自然参数 - - - - 指数族分布 - -指数族是信息几何中最重要的例子： - - - $$p(x; \theta) = \exp(\theta^T T(x) - A(\theta))$$ - - - -其中： - - - - - $\theta$ 是自然参数（natural parameters） - - $T(x)$ 是充分统计量 - - $A(\theta) = \log \int \exp(\theta^T T(x)) dx$ 是对数配分函数 - - - - - - -# 可视化概率分布流形 -import torch -import numpy as np - -class ProbabilityManifold: - """演示概率分布流形的概念""" - - def __init__(self, dim=3): - self.dim = dim # 单纯形的维度 - - def project_to_simplex(self, x): - """将点投影到概率单纯形上""" - # 使用softmax作为投影 - return torch.softmax(x, dim=-1) - - def tangent_projection(self, p, v): - """将向量投影到切空间""" - # 切空间约束: sum(v) = 0 - v_mean = v.mean(dim=-1, keepdim=True) - return v - v_mean - - def exponential_family_example(self): - """演示指数族的性质""" - print("指数族示例：二项分布") - print("="*50) - - # 自然参数空间 - theta_values = torch.linspace(-2, 2, 5) - - for theta in theta_values: - # 二项分布: p = exp(theta*x) / (1 + exp(theta)) - p = torch.sigmoid(theta) - - # 对数配分函数 - A_theta = torch.log(1 + torch.exp(theta)) - - # 期望参数（对偶参数） - mu = p # dA/dtheta = E[X] - - # Fisher信息（二阶导） - I_theta = p * (1 - p) # d²A/dtheta² = Var[X] - - print(f"\u03b8={theta:6.2f}: p={p:6.4f}, A(\u03b8)={A_theta:6.4f}, I(\u03b8)={I_theta:6.4f}") - - def geodesic_distance(self, p1, p2, metric='kl'): - """计算两个分布之间的测地线距离""" - eps = 1e-8 - - if metric == 'kl': - # KL散度（不对称） - return (p1 * (torch.log(p1 + eps) - torch.log(p2 + eps))).sum() - - elif metric == 'fisher_rao': - # Fisher-Rao距离（真正的测地线距离） - sqrt_p1 = torch.sqrt(p1 + eps) - sqrt_p2 = torch.sqrt(p2 + eps) - cos_angle = (sqrt_p1 * sqrt_p2).sum() - return 2 * torch.acos(torch.clamp(cos_angle, -1, 1)) - - elif metric == 'wasserstein': - # 简化的Wasserstein距离（一维情况） - # 这里只是示例，实际计算更复杂 - return torch.abs(p1 - p2).sum() - -# 演示概率流形的性质 -def demonstrate_probability_manifold(): - manifold = ProbabilityManifold() - - # 1. 指数族示例 - manifold.exponential_family_example() - - # 2. 测地线距离比较 - print("\n\n不同度量下的距离") - print("="*50) - - # 创建两个分布 - p1 = torch.tensor([0.7, 0.2, 0.1]) - p2 = torch.tensor([0.2, 0.3, 0.5]) - - metrics = ['kl', 'fisher_rao', 'wasserstein'] - for metric in metrics: - dist = manifold.geodesic_distance(p1, p2, metric) - print(f"{metric:15s}: {dist:8.4f}") - - # 3. 切空间投影 - print("\n\n切空间投影") - print("="*50) - - v = torch.tensor([1.0, -0.5, -0.5]) # 一个向量 - v_tangent = manifold.tangent_projection(p1, v) - - print(f"原始向量: {v.numpy()}") - print(f"切向量: {v_tangent.numpy()}") - print(f"切向量之和: {v_tangent.sum().item():.6f} (应为0)") - -demonstrate_probability_manifold() - - - -#### 为什么几何视角重要？ - - - - -#### 几何视角的优势 - - - - - **坐标无关性**：几何性质不依赖于特定的参数化 - - **自然的距离概念**：Fisher-Rao距离提供了分布间的内在度量 - - **优化的指导**：自然梯度比普通梯度更适合在流形上优化 - - **统一视角**：将不同的统计方法统一在几何框架下 - - - - - - 扩散模型中的流形结构 - 在扩散模型中，我们可以将整个过程看作在概率分布流形上的一条路径： - - - - - $p_0 = p_{data}$：起点是数据分布 - - $p_T \approx \mathcal{N}(0, I)$：终点是简单的高斯分布 - - $\{p_t\}_{t \in [0,T]}$：连接两者的光滑路径 - - - - -这条路径的选择（即SDE的设计）直接影响模型的性能！ - - - - -### C.1.2 Fisher信息度量 - - - -Fisher信息度量是概率分布流形上的自然黎曼度量。它不仅在统计学中扮演着核心角色，也为理解扩散模型的分数函数提供了几何基础。 - - - -#### Fisher信息矩阵的定义 - - - - Fisher信息矩阵 - -对于参数化的概率分布族 $\{p(x; \theta) : \theta \in \Theta\}$，Fisher信息矩阵定义为： - - - $$I_{ij}(\theta) = \mathbb{E}_{p(x;\theta)}\left[\frac{\partial \log p(x;\theta)}{\partial \theta_i} \frac{\partial \log p(x;\theta)}{\partial \theta_j}\right]$$ - - - -等价地，可以写成： - - - $$I_{ij}(\theta) = -\mathbb{E}_{p(x;\theta)}\left[\frac{\partial^2 \log p(x;\theta)}{\partial \theta_i \partial \theta_j}\right]$$ - - - - -#### 几何意义 - - - -Fisher信息矩阵定义了参数空间中的一个黎曼度量： - - - - -#### 度量的直观理解 - - - - - **局部距离**：$ds^2 = \sum_{i,j} I_{ij}(\theta) d\theta_i d\theta_j$ - - **可区分性**：矩阵元素越大，表示该方向上分布变化越快 - - **信息量**：从数据中提取参数信息的难易程度 - - **曲率**：反映了参数空间的弯曲程度 - - - - - - 例子：高斯分布的Fisher信息 - -考虑一维高斯分布 $\mathcal{N}(\mu, \sigma^2)$，参数 $\theta = (\mu, \sigma)$： - - - $$I(\theta) = \begin{pmatrix} - \frac{1}{\sigma^2} & 0 \\ - 0 & \frac{2}{\sigma^2} - \end{pmatrix}$$ - - - -观察： - - - - - $\mu$ 和 $\sigma$ 参数正交（非对角元为0） - - 方差越小，信息量越大（更容易估计参数） - - 估计 $\sigma$ 比估计 $\mu$ 更难（因子为2） - - - - - - -# 计算和可视化Fisher信息度量 -import torch -import numpy as np - -class FisherInformation: - """计算和分析Fisher信息度量""" - - def gaussian_fisher(self, mu, sigma): - """计算高斯分布的Fisher信息矩阵""" - I = torch.zeros(2, 2) - I[0, 0] = 1 / sigma**2 # I_{μμ} - I[1, 1] = 2 / sigma**2 # I_{σσ} - return I - - def exponential_family_fisher(self, theta, compute_hessian=True): - """计算指数族的Fisher信息 - - 对于指数族 p(x;\theta) = exp(\theta^T T(x) - A(\theta)) - Fisher信息 = A(\theta)的Hessian矩阵 - """ - # 例子：多项分布 - # A(\theta) = log(sum(exp(\theta))) - exp_theta = torch.exp(theta) - Z = exp_theta.sum() - - # 一阶导数（期望参数） - mu = exp_theta / Z - - if compute_hessian: - # 二阶导数（Fisher信息） - n = len(theta) - I = torch.zeros(n, n) - - for i in range(n): - for j in range(n): - if i == j: - I[i, j] = mu[i] * (1 - mu[i]) - else: - I[i, j] = -mu[i] * mu[j] - - return I, mu - - return mu - - def natural_gradient(self, grad, fisher_matrix, regularization=1e-8): - """计算自然梯度 - - 自然梯度 = Fisher信息矩阵的逆 × 普通梯度 - """ - # 添加正则化以保证数值稳定性 - I_reg = fisher_matrix + regularization * torch.eye(fisher_matrix.shape[0]) - - # 计算自然梯度 - natural_grad = torch.linalg.solve(I_reg, grad) - - return natural_grad - - def geodesic_distance(self, theta1, theta2, n_steps=100): - """计算两点间的测地线距离（数值近似）""" - # 使用线性插值作为路径的近似 - path = torch.linspace(0, 1, n_steps).unsqueeze(1) - thetas = theta1 + path * (theta2 - theta1) - - total_distance = 0 - for i in range(n_steps - 1): - # 计算当前点的Fisher信息 - I, _ = self.exponential_family_fisher(thetas[i]) - - # 计算微小步长 - d_theta = thetas[i+1] - thetas[i] - - # 计算度量距离 ds^2 = d\theta^T I d\theta - ds = torch.sqrt(d_theta @ I @ d_theta) - total_distance += ds - - return total_distance - -# 演示Fisher信息的性质 -def demonstrate_fisher_information(): - fisher = FisherInformation() - - print("Fisher信息度量分析") - print("="*60) - - # 1. 高斯分布的Fisher信息 - print("\n1. 高斯分布 N(μ, σ²)") - print("-"*40) - - mu, sigma = 0.0, 1.0 - I_gaussian = fisher.gaussian_fisher(mu, sigma) - print(f"Fisher信息矩阵：\n{I_gaussian}") - print(f"\n行列式: {torch.det(I_gaussian):.4f}") - print(f"迹: {torch.trace(I_gaussian):.4f}") - - # 2. 指数族的Fisher信息 - print("\n\n2. 多项分布（指数族）") - print("-"*40) - - theta = torch.tensor([1.0, 0.5, -0.5]) - I_exp, mu = fisher.exponential_family_fisher(theta) - - print(f"\u81ea然参数 \u03b8: {theta.numpy()}") - print(f"\u671f望参数 μ: {mu.numpy()}") - print(f"\nFisher信息矩阵：\n{I_exp}") - - # 3. 自然梯度 vs 普通梯度 - print("\n\n3. 自然梯度 vs 普通梯度") - print("-"*40) - - # 假设一个普通梯度 - grad = torch.tensor([1.0, -0.5, 0.2]) - natural_grad = fisher.natural_gradient(grad, I_exp) - - print(f"普通梯度: {grad.numpy()}") - print(f"自然梯度: {natural_grad.numpy()}") - print(f"范数比: {torch.norm(natural_grad) / torch.norm(grad):.4f}") - - # 4. 测地线距离 - print("\n\n4. 测地线距离") - print("-"*40) - - theta1 = torch.tensor([0.0, 0.0, 0.0]) - theta2 = torch.tensor([1.0, 1.0, 1.0]) - - geo_dist = fisher.geodesic_distance(theta1, theta2) - euclidean_dist = torch.norm(theta2 - theta1) - - print(f"欧几里得距离: {euclidean_dist:.4f}") - print(f"测地线距离: {geo_dist:.4f}") - print(f"比值: {geo_dist / euclidean_dist:.4f}") - - print("\n观察：测地线距离考虑了流形的弯曲，通常比欧几里得距离更长") - -demonstrate_fisher_information() - - - -#### Fisher信息与分数函数 - - - - 重要联系 - 分数函数 $s(x, \theta) = \nabla_x \log p(x; \theta)$ 与Fisher信息密切相关： - - - $$I_{ij}(\theta) = \mathbb{E}_{p(x;\theta)}[s_i(x, \theta) s_j(x, \theta)]$$ - - - -其中 $s_i = \frac{\partial \log p}{\partial \theta_i}$ 是关于参数的分数。 - - - -这表明：Fisher信息度量了分数函数的"变化率"。 - - - - -#### 在扩散模型中的应用 - - - - -#### 为什么Fisher信息对扩散模型重要？ - - - - - **自然参数化**：在训练分数网络时，使用自然梯度可以加速收敛 - - **距离度量**：提供了分布间的内在距离，用于设计更好的损失函数 - - **最优传输**：测地线提供了从数据分布到噪声分布的最优路径 - - **曲率信息**：帮助理解为什么某些区域的学习更困难 - - - - - -### C.1.3 自然梯度与普通梯度 - - - -在优化概率模型时，选择合适的梯度方向至关重要。自然梯度考虑了参数空间的几何结构，提供了比普通梯度更好的下降方向。 - - - -#### 普通梯度的问题 - - - - -#### 为什么普通梯度不够好？ - - -考虑一个简单的例子：优化二项分布的参数 $p \in [0,1]$。 - - - - - 当 $p \approx 0$ 或 $p \approx 1$ 时，小的参数变化会导致分布的大幅变化 - - 当 $p \approx 0.5$ 时，同样的参数变化对分布影响较小 - - 普通梯度没有考虑这种"不均匀性" - - - - - -#### 自然梯度的定义 - - - - 自然梯度 - -设 $L(\theta)$ 是关于参数 $\theta$ 的损失函数，普通梯度为 $g = \nabla_\theta L$。自然梯度定义为： - - - $$\tilde{g} = I(\theta)^{-1} g$$ - - +- **概率单纯形**: 对于离散分布，所有可能的概率向量构成一个单纯形。这是一个嵌入在高维空间中的弯曲子流形。 +- **Fisher信息度量**: 这个流形上的“距离”不是欧几里得距离，而是由**Fisher信息矩阵** `I(θ)` 定义的黎曼度量。两点之间的最短路径是测地线（geodesic）。 + > **定义 C.1 (Fisher信息矩阵)** + > 对于参数化的概率分布族 `{p(x; θ)}`，Fisher信息矩阵定义为： + > $$I_{ij}( heta) = \mathbb{E}_{p(x;\theta)}\left[\frac{\partial \log p(x;\theta)}{\partial \theta_i} \frac{\partial \log p(x;\theta)}{\partial \theta_j}\right]$$ + 它衡量了当我们微小地改变参数 `θ` 时，概率分布 `p(x; θ)` 的变化有多大。信息矩阵的元素越大，表示分布对该方向的参数变化越敏感。 -其中 $I(\theta)$ 是Fisher信息矩阵。更新规则为： +### C.1.2 自然梯度 (Natural Gradient) +在优化概率模型时，普通的梯度下降是在平坦的欧几里得空间中寻找最速下降方向。然而，在弯曲的概率流形上，真正的最速下降方向由**自然梯度**给出。 - $$\theta_{t+1} = \theta_t - \alpha I(\theta_t)^{-1} \nabla_\theta L(\theta_t)$$ +> **定义 C.2 (自然梯度)** +> 设 `L(θ)` 是关于参数 `θ` 的损失函数，普通梯度为 `g = ∇_θ L`。自然梯度 `g_nat` 定义为： +> $$\tilde{g} = I(\theta)^{-1} g$$ +> 优化步骤变为：`θ_{t+1} = θ_t - α * I(θ_t)^{-1} * g_t`。 +💡 **关键洞察**：自然梯度下降具有**参数化不变性**。无论我们如何对模型进行重新参数化（例如，线性变换），其在概率流形上的优化路径都是相同的。而普通梯度下降的路径则会随参数化的改变而改变。这使得自然梯度在理论上是优化概率模型的更优选择。 +⚡ **实现挑战**：计算完整的Fisher信息矩阵并求逆的代价非常高昂（`O(N^2)`，N为参数量）。在实践中，通常使用其对角近似、K-FAC等方法来降低计算成本。Adam等自适应优化算法也可以被看作是对自然梯度的一种简化近似。 +
+练习 C.1：Fisher信息计算 -#### 几何解释 +1. **计算**：对于一维高斯分布 `N(μ, σ^2)`，其参数为 `θ = (μ, σ)`。计算其2x2的Fisher信息矩阵 `I(μ, σ)`。 +2. **分析**：从矩阵的形式分析：a) 为什么估计均值 `μ` 和估计标准差 `σ` 是解耦的？b) 为什么当 `σ` 很小时，Fisher信息会变大？ +3. **开放探索**：自然梯度在训练扩散模型的分数网络 `s_θ` 时有何应用？`θ` 是网络权重，此时的Fisher信息矩阵该如何定义和计算？ +**解答思路**： +1. 写出对数似然 `log p(x; μ, σ)`，然后计算其对 `μ` 和 `σ` 的二阶偏导数的期望。你会发现非对角线项的期望为0，对角线项分别为 `1/σ^2` 和 `2/σ^2`。 +2. a) 非对角线项为0意味着参数 `μ` 和 `σ` 在Fisher度量下是正交的。b) `σ` 越小，分布越集中，从样本中推断参数位置的信息就越多，因此Fisher信息越大。 +
- 最陡下降方向 - -自然梯度是在Fisher信息度量下的最陡下降方向： - - - - - **普通梯度**：在欧几里得空间中的最陡下降 - - **自然梯度**：在曲线流形上的最陡下降 - - **优势**：不依赖于参数化方式（坐标无关） - - - - - - -# 比较自然梯度和普通梯度的优化路径 -import torch -import numpy as np - -class GradientComparison: - """比较自然梯度和普通梯度的优化效果""" - - def __init__(self, target_dist): - """ - Args: - target_dist: 目标分布的参数 - """ - self.target = target_dist - - def kl_divergence(self, theta, target): - """计算KL散度作为损失函数""" - # 简化：使用多项分布 - p = torch.softmax(theta, dim=0) - q = torch.softmax(target, dim=0) - - kl = (p * (torch.log(p + 1e-8) - torch.log(q + 1e-8))).sum() - return kl - - def compute_gradients(self, theta): - """计算普通梯度和Fisher信息""" - theta.requires_grad_(True) - - # 计算损失 - loss = self.kl_divergence(theta, self.target) - - # 普通梯度 - grad = torch.autograd.grad(loss, theta, retain_graph=True)[0] - - # Fisher信息（对于多项分布） - p = torch.softmax(theta, dim=0) - n = len(theta) - fisher = torch.zeros(n, n) - - for i in range(n): - for j in range(n): - if i == j: - fisher[i, j] = p[i] * (1 - p[i]) - else: - fisher[i, j] = -p[i] * p[j] - - return grad.detach(), fisher - - def natural_gradient_step(self, theta, grad, fisher, lr=0.1, reg=1e-4): - """执行自然梯度步""" - # 正则化Fisher矩阵 - fisher_reg = fisher + reg * torch.eye(fisher.shape[0]) - - # 计算自然梯度 - nat_grad = torch.linalg.solve(fisher_reg, grad) - - # 更新参数 - return theta - lr * nat_grad - - def ordinary_gradient_step(self, theta, grad, lr=0.1): - """执行普通梯度步""" - return theta - lr * grad - - def optimize(self, init_theta, method='natural', n_steps=50, lr=0.1): - """优化过程""" - theta = init_theta.clone() - history = {'theta': [theta.clone()], 'loss': []} - - for step in range(n_steps): - # 计算梯度 - grad, fisher = self.compute_gradients(theta) - - # 更新参数 - if method == 'natural': - theta = self.natural_gradient_step(theta, grad, fisher, lr) - else: - theta = self.ordinary_gradient_step(theta, grad, lr) - - # 记录 - loss = self.kl_divergence(theta, self.target).item() - history['theta'].append(theta.clone()) - history['loss'].append(loss) - - return history - -# 演示两种梯度的比较 -def demonstrate_gradient_comparison(): - print("自然梯度 vs 普通梯度优化比较") - print("="*60) - - # 设置 - target = torch.tensor([2.0, 1.0, -1.0]) # 目标分布参数 - init = torch.tensor([0.0, 0.0, 0.0]) # 初始参数 - - optimizer = GradientComparison(target) - - # 优化 - print("\n正在优化...") - history_natural = optimizer.optimize(init, method='natural', n_steps=20, lr=0.5) - history_ordinary = optimizer.optimize(init, method='ordinary', n_steps=20, lr=0.1) - - # 结果分析 - print("\n优化结果：") - print("-"*40) - print(f"目标分布: {torch.softmax(target, dim=0).numpy()}") - print(f"\n自然梯度最终结果: {torch.softmax(history_natural['theta'][-1], dim=0).numpy()}") - print(f"最终损失: {history_natural['loss'][-1]:.6f}") - print(f"收敛步数: {len([l for l in history_natural['loss'] if l > 0.01])}") - - print(f"\n普通梯度最终结果: {torch.softmax(history_ordinary['theta'][-1], dim=0).numpy()}") - print(f"最终损失: {history_ordinary['loss'][-1]:.6f}") - print(f"收敛步数: {len([l for l in history_ordinary['loss'] if l > 0.01])}") - - # 不同参数化下的行为 - print("\n\n参数化不变性测试") - print("-"*40) - - # 重新参数化：对参数进行线性变换 - A = torch.tensor([[2.0, 1.0, 0.0], - [1.0, 2.0, 1.0], - [0.0, 1.0, 2.0]]) - - target_reparam = A @ target - init_reparam = A @ init - - print("在新参数化下：") - optimizer_reparam = GradientComparison(target_reparam) - - # 普通梯度在新参数化下会受影响 - history_ordinary_reparam = optimizer_reparam.optimize(init_reparam, method='ordinary', n_steps=20, lr=0.1) - - print(f"普通梯度收敛步数（原参数化）: {len([l for l in history_ordinary['loss'] if l > 0.01])}") - print(f"普通梯度收敛步数（新参数化）: {len([l for l in history_ordinary_reparam['loss'] if l > 0.01])}") - print("\n观察：普通梯度的效率依赖于参数化，而自然梯度具有参数化不变性！") - -demonstrate_gradient_comparison() - - - -#### 在扩散模型中的应用 - - - - -#### 自然梯度与分数匹配 - - 在训练分数网络时，可以考虑使用自然梯度的思想： - - - - - **预条件化**：使用Fisher信息的近似来预条件化梯度 - - **自适应学习率**：不同参数方向使用不同的学习率 - - **二阶方法**：Adam等优化器部分地实现了自然梯度的思想 - - - - - - 实用建议 - - - - **完整Fisher矩阵**：计算成本高，通常只用于小规模问题 - - **对角近似**：只保留对角元素，大幅降低计算成本 - - **Kronecker因子分解**：对于神经网络，可以使用K-FAC等方法 - - **动量方法**：结合动量可以进一步提高收敛速度 - - - - - -## C.2 分数函数的几何意义 - - +## C.2 分数函数的几何与力学解释 ### C.2.1 分数函数作为切向量 +从信息几何的角度看，分数函数 `s(x) = ∇_x log p(x)` 不仅仅是一个梯度，它是在数据空间 `x` 中，定义了一个指向概率密度 `p(x)` 增长最快方向的**向量场**。 +- **与流形的关系**：可以证明 `E_p[s(x)] = 0`，这意味着分数函数属于概率分布流形在某一点的**切空间**。 +- **动力学意义**：如果我们让一个粒子沿着这个向量场流动，即 `dx/dt = s(x)`，粒子最终会收敛到概率分布的局部最大值（模式）。 -分数函数 $\nabla_x \log p(x)$ 不仅仅是一个梯度——从信息几何的角度看，它是概率分布流形上的切向量，指示着密度增长最快的方向。这种几何视角为理解扩散模型提供了深刻的洞察。 - - - -#### 分数函数的几何定义 - - - - 分数函数作为切向量 - -考虑概率密度函数的对数变换流形。在点 $p(x)$ 处，分数函数定义了一个切向量场： - - - $$s(x) = \nabla_x \log p(x) = \frac{\nabla_x p(x)}{p(x)}$$ - - - -这个向量场具有特殊性质： - - - - - 在高概率区域指向密度增加的方向 - - 在低概率区域具有大的模长 - - 满足积分约束：$\mathbb{E}_{p(x)}[s(x)] = 0$ - - - - - -#### 切向量的积分性质 - - - - -#### 为什么期望为零？ - - -分数函数的零期望性质来自于概率密度的归一化约束： - - - $$\int p(x) dx = 1 \Rightarrow \int \nabla_x p(x) dx = 0$$ - - - -因此： - - - $$\mathbb{E}_{p(x)}[s(x)] = \int p(x) \cdot \frac{\nabla_x p(x)}{p(x)} dx = \int \nabla_x p(x) dx = 0$$ - - - -这意味着分数函数确实是概率分布流形切空间中的向量！ - - - - -#### 流形上的向量场 - - - - 具体例子：高斯混合模型 - -对于二维高斯混合模型： - - - $$p(x) = \pi_1 \mathcal{N}(x; \mu_1, \Sigma_1) + \pi_2 \mathcal{N}(x; \mu_2, \Sigma_2)$$ - - - -分数函数为： - - - $$s(x) = \frac{\pi_1 \mathcal{N}_1(x) \cdot (-\Sigma_1^{-1}(x-\mu_1)) + \pi_2 \mathcal{N}_2(x) \cdot (-\Sigma_2^{-1}(x-\mu_2))}{\pi_1 \mathcal{N}_1(x) + \pi_2 \mathcal{N}_2(x)}$$ - - - -这是两个高斯分数的加权平均，权重随位置变化！ - - - - - -# 可视化分数函数作为向量场 -import torch -import numpy as np - -class ScoreVectorField: - """分数函数的向量场可视化和分析""" - - def __init__(self): - self.device = torch.device('cpu') - - def gaussian_mixture_score(self, x, weights, means, covs): - """计算高斯混合模型的分数函数""" - n_components = len(weights) - scores = [] - densities = [] - - for i in range(n_components): - # 计算每个分量的密度 - diff = x - means[i] - inv_cov = torch.inverse(covs[i]) - - # Mahalanobis距离 - mahal = torch.sum(diff @ inv_cov * diff, dim=-1) - log_det = torch.logdet(covs[i]) - - # 概率密度 - log_density = -0.5 * (mahal + log_det + 2 * np.log(2 * np.pi)) - density = torch.exp(log_density) * weights[i] - densities.append(density) - - # 该分量的分数 - score_i = -inv_cov @ diff.T - scores.append(score_i.T * density.unsqueeze(-1)) - - # 加权平均 - total_density = sum(densities) - weighted_score = sum(scores) / (total_density.unsqueeze(-1) + 1e-8) - - return weighted_score, total_density - - def analyze_vector_field(self, score_fn, x_range=(-3, 3), n_points=20): - """分析分数向量场的性质""" - # 创建网格 - x = torch.linspace(x_range[0], x_range[1], n_points) - y = torch.linspace(x_range[0], x_range[1], n_points) - X, Y = torch.meshgrid(x, y, indexing='xy') - - # 平展为点集 - points = torch.stack([X.flatten(), Y.flatten()], dim=1) - - # 计算分数 - scores = score_fn(points) - - # 分析性质 - results = { - 'points': points, - 'scores': scores, - 'magnitudes': torch.norm(scores, dim=1), - 'divergence': self.compute_divergence(score_fn, points), - 'curl': self.compute_curl_2d(score_fn, points) - } - - return results - - def compute_divergence(self, score_fn, points, h=1e-4): - """数值计算散度 div(s) = ∂s_x/∂x + ∂s_y/∂y""" - divergences = [] - - for point in points: - # x方向 - point_px = point.clone() - point_px[0] += h - score_px = score_fn(point_px.unsqueeze(0)).squeeze() - - point_mx = point.clone() - point_mx[0] -= h - score_mx = score_fn(point_mx.unsqueeze(0)).squeeze() - - ds_dx = (score_px[0] - score_mx[0]) / (2 * h) - - # y方向 - point_py = point.clone() - point_py[1] += h - score_py = score_fn(point_py.unsqueeze(0)).squeeze() - - point_my = point.clone() - point_my[1] -= h - score_my = score_fn(point_my.unsqueeze(0)).squeeze() - - ds_dy = (score_py[1] - score_my[1]) / (2 * h) - - divergences.append(ds_dx + ds_dy) - - return torch.tensor(divergences) - - def compute_curl_2d(self, score_fn, points, h=1e-4): - """计算2D旋度 curl(s) = ∂s_y/∂x - ∂s_x/∂y""" - curls = [] - - for point in points: - # ∂s_y/∂x - point_px = point.clone() - point_px[0] += h - score_px = score_fn(point_px.unsqueeze(0)).squeeze() - - point_mx = point.clone() - point_mx[0] -= h - score_mx = score_fn(point_mx.unsqueeze(0)).squeeze() - - dsy_dx = (score_px[1] - score_mx[1]) / (2 * h) - - # ∂s_x/∂y - point_py = point.clone() - point_py[1] += h - score_py = score_fn(point_py.unsqueeze(0)).squeeze() - - point_my = point.clone() - point_my[1] -= h - score_my = score_fn(point_my.unsqueeze(0)).squeeze() - - dsx_dy = (score_py[0] - score_my[0]) / (2 * h) - - curls.append(dsy_dx - dsx_dy) - - return torch.tensor(curls) - -# 演示分数函数的向量场性质 -def demonstrate_score_vector_field(): - """演示分数函数作为切向量场的性质""" - field = ScoreVectorField() - - print("分数函数的向量场分析") - print("="*60) - - # 1. 单高斯分布 - print("\n1. 单高斯分布的分数场") - print("-"*40) - - mean = torch.tensor([0.0, 0.0]) - cov = torch.eye(2) - - def single_gaussian_score(x): - diff = x - mean - return -diff # 对于标准高斯，分数就是 -(x-μ) - - results = field.analyze_vector_field(single_gaussian_score, n_points=10) - - print(f"平均散度: {results['divergence'].mean():.4f}") - print(f"散度标准差: {results['divergence'].std():.4f}") - print(f"平均旋度: {results['curl'].mean():.4f}") - print(f"旋度标准差: {results['curl'].std():.4f}") - print("\n观察：对于高斯分布，散度为常数-2（维度），旋度为0（无旋场）") - - # 2. 高斯混合模型 - print("\n\n2. 高斯混合模型的分数场") - print("-"*40) - - weights = torch.tensor([0.4, 0.6]) - means = [torch.tensor([-1.5, 0.0]), torch.tensor([1.5, 0.0])] - covs = [0.5 * torch.eye(2), 0.5 * torch.eye(2)] - - def gmm_score(x): - if x.dim() == 1: - x = x.unsqueeze(0) - score, _ = field.gaussian_mixture_score(x, weights, means, covs) - return score.squeeze(0) if score.shape[0] == 1 else score - - results_gmm = field.analyze_vector_field(gmm_score, x_range=(-4, 4), n_points=15) - - print(f"平均散度: {results_gmm['divergence'].mean():.4f}") - print(f"散度标准差: {results_gmm['divergence'].std():.4f}") - print(f"最大分数模长: {results_gmm['magnitudes'].max():.4f}") - print(f"最小分数模长: {results_gmm['magnitudes'].min():.4f}") - - # 3. 分数函数的积分性质验证 - print("\n\n3. 验证分数函数的积分性质") - print("-"*40) - - # 采样点 - n_samples = 10000 - - # 从高斯混合模型采样 - samples = [] - for _ in range(n_samples): - # 选择分量 - component = torch.multinomial(weights, 1).item() - # 从该分量采样 - sample = torch.randn(2) * torch.sqrt(torch.diag(covs[component])) + means[component] - samples.append(sample) - - samples = torch.stack(samples) - - # 计算分数的期望 - scores_at_samples = gmm_score(samples) - mean_score = scores_at_samples.mean(dim=0) - - print(f"E[s(x)] = {mean_score.numpy()}") - print(f"||E[s(x)]|| = {torch.norm(mean_score):.6f}") - print("\n验证：分数函数的期望确实接近零！") - - # 4. 切空间性质 - print("\n\n4. 切空间的正交性") - print("-"*40) - - # 在某个点计算 - x0 = torch.tensor([0.5, 0.5]) - score_at_x0 = gmm_score(x0.unsqueeze(0)).squeeze() - - # 密度梯度 - h = 1e-4 - density_grad = [] - - for i in range(2): - x_plus = x0.clone() - x_plus[i] += h - x_minus = x0.clone() - x_minus[i] -= h - - _, density_plus = field.gaussian_mixture_score(x_plus.unsqueeze(0), weights, means, covs) - _, density_minus = field.gaussian_mixture_score(x_minus.unsqueeze(0), weights, means, covs) - - grad_i = (density_plus - density_minus) / (2 * h) - density_grad.append(grad_i) - - density_grad = torch.tensor(density_grad) - - # 验证关系 s = ∇p / p - _, density_at_x0 = field.gaussian_mixture_score(x0.unsqueeze(0), weights, means, covs) - predicted_score = density_grad / (density_at_x0 + 1e-8) - - print(f"点 {x0.numpy()} 处：") - print(f"实际分数: {score_at_x0.numpy()}") - print(f"预测分数 (∇p/p): {predicted_score.numpy()}") - print(f"误差: {torch.norm(score_at_x0 - predicted_score):.6f}") - -demonstrate_score_vector_field() - - - -#### 切向量场的动力学意义 - - - - -#### 分数流（Score Flow） - - 将分数函数视为速度场，我们可以定义分数流： - - - $$\frac{dx}{dt} = s(x, t) = \nabla_x \log p_t(x)$$ - - - -这个ODE描述了粒子沿着概率密度增加最快的方向移动。关键性质： - - - - - **模式寻找**：粒子最终会收敛到概率分布的模式（局部最大值） - - **去噪效果**：从任意初始点出发，粒子会移向高概率区域 - - **流形结构保持**：流动保持在数据流形上 - - - - - - 与梯度流的类比 - - - 性质 - 梯度流 $\dot{x} = -\nabla f(x)$ - 分数流 $\dot{x} = \nabla \log p(x)$ - - - 目标 - 最小化能量 $f(x)$ - 最大化概率 $p(x)$ - - - 平衡点 - $\nabla f(x^*) = 0$ - $\nabla \log p(x^*) = 0$ - - - 稳定性 - 取决于Hessian - 取决于分数的Jacobian - - - 应用 - 优化、物理系统 - 采样、去噪 - - - - - -### C.2.2 Stein恒等式与无穷小生成元 - - - -Stein恒等式是连接分数函数与概率分布的核心桥梁。它不仅提供了分数匹配的理论基础，也揭示了分数函数作为无穷小生成元的深刻意义。 - - - -#### Stein恒等式 - - - - Stein恒等式 - -对于光滑函数 $f: \mathbb{R}^d \to \mathbb{R}^d$ 和概率密度 $p(x)$，如果 $\lim_{||x|| \to \infty} p(x)f(x) = 0$，则： - - - $$\mathbb{E}_{p(x)}[\text{trace}(\nabla_x f(x)) + f(x)^T \nabla_x \log p(x)] = 0$$ - - - -这可以写成算子形式： - - - $$\mathbb{E}_{p(x)}[\mathcal{A}_p f(x)] = 0$$ - - - -其中 $\mathcal{A}_p$ 是Stein算子：$\mathcal{A}_p f = \nabla \cdot f + s^T f$，$s = \nabla \log p$。 - - - - -#### 证明与直观 - - - - -#### 简单证明 - - -使用分部积分： - - - $$\int p(x) \nabla \cdot f(x) dx = -\int f(x) \cdot \nabla p(x) dx$$ - - - -由于 $\nabla p(x) = p(x) \nabla \log p(x)$： - - - $$= -\int f(x) \cdot p(x) \nabla \log p(x) dx = -\mathbb{E}_{p(x)}[f(x)^T \nabla \log p(x)]$$ - - - -移项得到Stein恒等式。 - - - - -#### Stein算子作为无穷小生成元 - - - - 从随机过程的角度 - -考虑以下随机微分方程： - - - $$dX_t = \nabla \log p(X_t) dt + \sqrt{2} dW_t$$ - - - -这个Langevin SDE的无穷小生成元正是Stein算子： - - - $$\mathcal{L}f = \Delta f + \nabla \log p \cdot \nabla f$$ - - - -它描述了函数 $f$ 沿着过程的期望变化率。 - - - - - -# Stein恒等式的验证和应用 -import torch -import numpy as np - -class SteinOperator: - """实现Stein算子和相关计算""" - - def __init__(self, score_fn): - """ - Args: - score_fn: 分数函数 s(x) = ∇ log p(x) - """ - self.score_fn = score_fn - - def apply(self, f, x, create_graph=True): - """应用Stein算子 A_p f = div(f) + s^T f - - Args: - f: 向量值函数 f(x) -> R^d - x: 输入点 - """ - # 计算f(x) - fx = f(x) - - # 计算散度 div(f) = trace(Jacobian) - div_f = 0 - for i in range(fx.shape[-1]): - # 对第i个输出分量求导 - grad_fi = torch.autograd.grad( - fx[..., i].sum(), x, - create_graph=create_graph, - retain_graph=True - )[0] - div_f = div_f + grad_fi[..., i] - - # 计算分数 - score = self.score_fn(x) - - # Stein算子的结果 - stein_result = div_f + (score * fx).sum(dim=-1) - - return stein_result - - def verify_stein_identity(self, test_fn, n_samples=10000): - """验证Stein恒等式 E[A_p f] = 0""" - # 假设我们有一个采样器（这里用简单的高斯分布） - samples = torch.randn(n_samples, 2, requires_grad=True) - - # 在每个样本点计算Stein算子 - stein_values = [] - - for i in range(min(1000, n_samples)): # 限制计算量 - x = samples[i:i+1] - stein_val = self.apply(test_fn, x) - stein_values.append(stein_val.detach()) - - stein_values = torch.stack(stein_values) - - # 计算期望 - expectation = stein_values.mean() - std_error = stein_values.std() / np.sqrt(len(stein_values)) - - return expectation.item(), std_error.item() - - def stein_discrepancy(self, f, g, x): - """计算两个函数的Stein差异""" - # S(f, g) = E[f^T A_p g] - Ag = self.apply(g, x) - fx = f(x) - - return (fx * Ag.unsqueeze(-1)).sum() - -# 示例：验证Stein恒等式 -def demonstrate_stein_identity(): - print("Stein恒等式验证") - print("="*60) - - # 定义一个简单的分数函数（标准高斯） - def gaussian_score(x): - return -x # 对于 N(0, I)，score = -x - - stein_op = SteinOperator(gaussian_score) - - # 测试不同的函数 - test_functions = [ - ("Linear", lambda x: x), - ("Quadratic", lambda x: x**2), - ("Sine", lambda x: torch.stack([torch.sin(x[:, 0]), torch.cos(x[:, 1])], dim=1)), - ("Exponential", lambda x: torch.exp(-0.5 * torch.sum(x**2, dim=1, keepdim=True)) * x) - ] - - print("\n函数\t\t\tE[A_p f]\t\t标准误差") - print("-"*60) - - for name, f in test_functions: - expectation, std_err = stein_op.verify_stein_identity(f, n_samples=5000) - print(f"{name:15s}\t{expectation:12.6f}\t±{std_err:10.6f}") - - print("\n结论：所有期望值都接近零，验证了Stein恒等式！") - -demonstrate_stein_identity() - -# 展示Stein算子的应用 -def demonstrate_stein_applications(): - print("\n\nStein算子的应用") - print("="*60) - - # 1. 分数匹配损失 - print("\n1. 分数匹配中的应用") - print("-"*40) - - # 真实分数 - def true_score(x): - return -x - - # 近似分数（有误差） - def approx_score(x, noise_level=0.1): - return -x + noise_level * torch.randn_like(x) - - # 使用Stein差异测量近似质量 - x_test = torch.randn(100, 2, requires_grad=True) - - stein_op_true = SteinOperator(true_score) - stein_op_approx = SteinOperator(lambda x: approx_score(x, 0.2)) - - # 计算差异 - def identity_fn(x): - return x - - true_stein = stein_op_true.apply(identity_fn, x_test) - approx_stein = stein_op_approx.apply(identity_fn, x_test) - - diff = torch.mean((true_stein - approx_stein)**2) - print(f"Stein差异: {diff.item():.6f}") - - # 2. Stein变分梯度下降 - print("\n\n2. Stein变分梯度下降 (SVGD)") - print("-"*40) - - # 目标分布：混合高斯 - def target_score(x): - # 两个高斯的混合 - mu1 = torch.tensor([-2.0, 0.0]) - mu2 = torch.tensor([2.0, 0.0]) - - p1 = torch.exp(-0.5 * torch.sum((x - mu1)**2, dim=-1)) - p2 = torch.exp(-0.5 * torch.sum((x - mu2)**2, dim=-1)) - - s1 = -(x - mu1) - s2 = -(x - mu2) - - w1 = p1 / (p1 + p2 + 1e-8) - w2 = p2 / (p1 + p2 + 1e-8) - - return w1.unsqueeze(-1) * s1 + w2.unsqueeze(-1) * s2 - - # SVGD更新 - def svgd_update(particles, score_fn, kernel_bandwidth=1.0, lr=0.1): - n_particles = particles.shape[0] - - # 计算核及其梯度 - pairwise_dist = torch.cdist(particles, particles) - h = kernel_bandwidth - K = torch.exp(-pairwise_dist**2 / (2 * h**2)) - - # 核梯度 - grad_K = torch.zeros(n_particles, n_particles, 2) - for i in range(n_particles): - for j in range(n_particles): - if i != j: - grad_K[i, j] = -K[i, j] * (particles[i] - particles[j]) / h**2 - - # SVGD梯度 - score = score_fn(particles) - phi = torch.zeros_like(particles) - - for i in range(n_particles): - phi[i] = (K[i, :].unsqueeze(-1) * score).mean(0) + grad_K[:, i].mean(0) - - # 更新粒子 - return particles + lr * phi - - # 初始化粒子 - n_particles = 50 - particles = torch.randn(n_particles, 2) * 0.5 - - print("正在运行SVGD...") - - # 迭代 - for step in range(100): - particles = svgd_update(particles, target_score, kernel_bandwidth=1.0, lr=0.05) - - if step % 25 == 0: - mean_pos = particles.mean(0) - std_pos = particles.std(0) - print(f"Step {step}: 平均位置={mean_pos.numpy()}, 标准差={std_pos.numpy()}") - - # 检查最终分布 - print("\n最终粒子分布：") - cluster1 = particles[particles[:, 0] 0] - - if len(cluster1) > 0: - print(f"簇集1: 中心={cluster1.mean(0).numpy()}, 数量={len(cluster1)}") - if len(cluster2) > 0: - print(f"簇集2: 中心={cluster2.mean(0).numpy()}, 数量={len(cluster2)}") - -demonstrate_stein_applications() - - - -#### Stein恒等式在扩散模型中的意义 - - - - -#### 核心联系 - - - - - **分数匹配的理论基础**：Stein恒等式提供了一种不需要知道归一化常数的分数学习方法 - - - **损失函数设计**：基于Stein差异可以设计新的损失函数： - - $$\mathcal{L}_{\text{Stein}} = \mathbb{E}_{x \sim p_{data}}[||\mathcal{A}_p s_\theta(x)||^2]$$ - - - - - **采样算法**：Stein变分梯度下降（SVGD）提供了一种基于粒子的采样方法 - - - **收敛性分析**：通过Stein算子的谱分析可以研究扩散过程的收敛速度 - - - - - - 与拉普拉斯算子的联系 - 对于能量函数 $E(x) = -\log p(x)$，Stein算子可以写成： - - - $$\mathcal{A}_p f = \nabla \cdot f - \nabla E \cdot f$$ - - - -这与Fokker-Planck算子和拉普拉斯算子密切相关，提供了从动力学系统到统计推断的桥梁。 - - - - -### C.2.3 分数匹配的几何解释 - - - -分数匹配不仅是一个统计学习问题，从信息几何的角度看，它是在学习概率分布流形上的切向量场。这种几何视角为理解和改进分数匹配算法提供了新的思路。 - - - -#### 分数匹配作为投影问题 - - - - 几何视角下的分数匹配 - -分数匹配可以理解为在函数空间中的投影问题： - - - $$\min_{s_\theta} \mathbb{E}_{p_{data}}[||s_\theta(x) - \nabla_x \log p_{data}(x)||^2]$$ - - - -这是将参数化的分数函数 $s_\theta$ 投影到真实分数的切空间上。由于Fisher信息度量，最佳投影应该使用Fisher内积： - - - $$\langle f, g \rangle_{Fisher} = \mathbb{E}_{p}[f(x)^T I(x) g(x)]$$ - - - - -#### 隐式分数匹配 - - - - -#### 去噪分数匹配的几何解释 - - -在去噪分数匹配中，我们不直接学习分数，而是学习一个变换： - - - $$x + \sigma^2 s_\theta(x, \sigma) \approx \mathbb{E}[x_0 | x_t = x]$$ - - - -几何上，这是学习一个将噪声数据映射回清晰数据流形的投影算子。分数提供了这个投影的方向。 - - - - -#### 流形上的最优传输 - - - - 分数匹配与最优传输 - -从Wasserstein几何的角度，分数函数定义了最优传输映射的梯度： - - - - - **Monge问题**：找到从 $p_0$ 到 $p_T$ 的最优传输映射 $T$ - - **动态视角**：通过速度场 $v_t$ 描述这个传输 - - **与分数的联系**：在某些情况下，$v_t \propto \nabla \log p_t$ - - - - - - -# 分数匹配的几何分析 -import torch -import numpy as np - -class GeometricScoreMatching: - """从几何角度分析分数匹配""" - - def __init__(self, data_dim=2): - self.data_dim = data_dim - - def implicit_score_matching_loss(self, score_model, x): - """隐式分数匹配损失（无需真实分数）""" - # 计算分数 - x.requires_grad_(True) - score = score_model(x) - - # 计算散度 - div_score = 0 - for i in range(self.data_dim): - grad_i = torch.autograd.grad( - score[:, i].sum(), x, - create_graph=True, - retain_graph=True - )[0] - div_score += grad_i[:, i] - - # 隐式分数匹配损失 - loss = 0.5 * (score ** 2).sum(dim=1).mean() + div_score.mean() - - return loss - - def sliced_score_matching_loss(self, score_model, x, n_projections=10): - """切片分数匹配：通过随机投影降低计算复杂度""" - x.requires_grad_(True) - score = score_model(x) - - # 随机投影方向 - projections = torch.randn(n_projections, self.data_dim) - projections = projections / torch.norm(projections, dim=1, keepdim=True) - - loss = 0 - for v in projections: - # 投影分数 - score_v = (score * v).sum(dim=1) - - # 计算方向导数 - grad_v = torch.autograd.grad( - score_v.sum(), x, - create_graph=True, - retain_graph=True - )[0] - - # 方向导数的方向导数 - tr_hess_v = (grad_v * v).sum(dim=1) - - # 累加损失 - loss += 0.5 * score_v.pow(2).mean() + tr_hess_v.mean() - - return loss / n_projections - - def denoising_score_matching(self, score_model, x, noise_level=0.1): - """去噪分数匹配：通过噪声扰动学习分数""" - # 添加噪声 - noise = torch.randn_like(x) * noise_level - x_noisy = x + noise - - # 预测分数 - score_pred = score_model(x_noisy) - - # 真实分数（对于加性高斯噪声） - score_true = -noise / (noise_level ** 2) - - # MSE损失 - loss = ((score_pred - score_true) ** 2).sum(dim=1).mean() - - return loss - - def analyze_score_field_geometry(self, score_fn, x_range=(-3, 3), n_points=20): - """分析分数场的几何性质""" - # 创建网格 - x = torch.linspace(x_range[0], x_range[1], n_points) - y = torch.linspace(x_range[0], x_range[1], n_points) - X, Y = torch.meshgrid(x, y, indexing='xy') - points = torch.stack([X.flatten(), Y.flatten()], dim=1) - - # 计算分数 - scores = score_fn(points) - - # 计算几何量 - results = { - 'curvature': self._compute_curvature(score_fn, points), - 'geodesic_distance': self._compute_geodesic_distance(scores), - 'jacobian_eigenvalues': self._compute_jacobian_spectrum(score_fn, points) - } - - return results - - def _compute_curvature(self, score_fn, points, h=1e-3): - """计算分数场的曲率""" - curvatures = [] - - for point in points[:100]: # 限制计算量 - # 计算Hessian矩阵的近似 - hessian_trace = 0 - - for i in range(self.data_dim): - point_p = point.clone() - point_p[i] += h - score_p = score_fn(point_p.unsqueeze(0)).squeeze() - - point_m = point.clone() - point_m[i] -= h - score_m = score_fn(point_m.unsqueeze(0)).squeeze() - - # 二阶导数 - d2s_di2 = (score_p[i] - 2*score_fn(point.unsqueeze(0)).squeeze()[i] + score_m[i]) / (h**2) - hessian_trace += d2s_di2 - - curvatures.append(abs(hessian_trace.item())) - - return np.mean(curvatures) - - def _compute_geodesic_distance(self, score_field): - """计算分数场中的测地线距离""" - # 简化：使用分数范数的变化作为度量 - score_norms = torch.norm(score_field, dim=1) - variation = torch.std(score_norms) - return variation.item() - - def _compute_jacobian_spectrum(self, score_fn, points, n_samples=50): - """计算分数函数Jacobian的谱""" - eigenvalues = [] - - for i in range(min(n_samples, len(points))): - point = points[i].requires_grad_(True) - score = score_fn(point.unsqueeze(0)).squeeze() - - # 计算Jacobian - jacobian = [] - for j in range(self.data_dim): - grad_j = torch.autograd.grad( - score[j], point, - create_graph=True, - retain_graph=True - )[0] - jacobian.append(grad_j) - - jacobian = torch.stack(jacobian) - - # 计算特征值 - eigvals = torch.linalg.eigvals(jacobian).real - eigenvalues.append(eigvals) - - eigenvalues = torch.stack(eigenvalues) - - return { - 'mean_eigenvalue': eigenvalues.mean().item(), - 'max_eigenvalue': eigenvalues.max().item(), - 'min_eigenvalue': eigenvalues.min().item() - } - -# 演示分数匹配的几何性质 -def demonstrate_geometric_score_matching(): - print("分数匹配的几何分析") - print("="*60) - - gsm = GeometricScoreMatching() - - # 1. 比较不同的分数匹配方法 - print("\n1. 不同分数匹配方法的比较") - print("-"*40) - - # 简单的分数模型 - class SimpleScoreModel(torch.nn.Module): - def __init__(self): - super().__init__() - self.net = torch.nn.Sequential( - torch.nn.Linear(2, 64), - torch.nn.ReLU(), - torch.nn.Linear(64, 64), - torch.nn.ReLU(), - torch.nn.Linear(64, 2) - ) - - def forward(self, x): - return self.net(x) - - model = SimpleScoreModel() - x_data = torch.randn(100, 2) - - # 计算不同损失 - loss_implicit = gsm.implicit_score_matching_loss(model, x_data) - loss_sliced = gsm.sliced_score_matching_loss(model, x_data) - loss_denoising = gsm.denoising_score_matching(model, x_data) - - print(f"隐式分数匹配损失: {loss_implicit.item():.4f}") - print(f"切片分数匹配损失: {loss_sliced.item():.4f}") - print(f"去噪分数匹配损失: {loss_denoising.item():.4f}") - - # 2. 分析分数场的几何性质 - print("\n\n2. 分数场的几何性质") - print("-"*40) - - # 使用一个已知的分数函数（高斯混合） - def gmm_score(x): - if x.dim() == 1: - x = x.unsqueeze(0) - - mu1 = torch.tensor([-1.0, 0.0]) - mu2 = torch.tensor([1.0, 0.0]) - - # 两个高斯分量 - p1 = torch.exp(-0.5 * torch.sum((x - mu1)**2, dim=1)) - p2 = torch.exp(-0.5 * torch.sum((x - mu2)**2, dim=1)) - - # 分数 - s1 = -(x - mu1) - s2 = -(x - mu2) - - # 加权平均 - w1 = p1 / (p1 + p2 + 1e-8) - w2 = p2 / (p1 + p2 + 1e-8) - - score = w1.unsqueeze(1) * s1 + w2.unsqueeze(1) * s2 - return score.squeeze(0) if score.shape[0] == 1 else score - - geometry = gsm.analyze_score_field_geometry(gmm_score, x_range=(-3, 3), n_points=15) - - print(f"平均曲率: {geometry['curvature']:.4f}") - print(f"测地线距离变化: {geometry['geodesic_distance']:.4f}") - print(f"\nJacobian谱分析:") - print(f" 平均特征值: {geometry['jacobian_eigenvalues']['mean_eigenvalue']:.4f}") - print(f" 最大特征值: {geometry['jacobian_eigenvalues']['max_eigenvalue']:.4f}") - print(f" 最小特征值: {geometry['jacobian_eigenvalues']['min_eigenvalue']:.4f}") - - # 3. 几何视角的意义 - print("\n\n3. 几何解释的意义") - print("-"*40) - print("• 曲率高的区域表示分布变化剧烈（如模式之间）") - print("• 负特征值表示收缩方向（向模式聚集）") - print("• 正特征值表示扩张方向（远离低概率区域）") - print("• 切片分数匹配通过随机投影近似高维几何") - -demonstrate_geometric_score_matching() - - - -#### 信息几何优化 - - - - -#### 利用几何结构改进分数匹配 - - - - - **自适应度量**：使用局部Fisher信息作为度量，在不同区域使用不同权重 - - - **流形正则化**：添加几何约束，使学习到的分数场更光滑： - - $$\mathcal{L}_{reg} = \lambda \mathbb{E}[||\nabla_x s_\theta(x)||_F^2]$$ - - - - - **曲率感知采样**：在高曲率区域（如模式边界）增加采样密度 - - - **测地线损失**：使用Wasserstein距离或其他几何距离作为损失函数 - - - - - -## C.3 分数函数的力学解释 - - - -### C.3.1 从梯度流到力场 - - - 分数函数不仅是数学上的梯度，更可以理解为物理上的"力"。这种力学类比为扩散模型提供了深刻的物理直觉，并建立了与能量优化的自然联系。 - - - -#### 分数作为保守力场 - - - - 力场的定义 - -对于概率密度 $p(x)$，定义能量函数： - - - $$E(x) = -\log p(x)$$ - - - -则分数函数定义了一个力场： - - - $$F(x) = -\nabla E(x) = \nabla \log p(x)$$ - - - -这是一个保守力场，因为它可以表示为势能的负梯度。 - - - - -#### 动力学系统的视角 - - - - -#### 三种相关的动力学 - - - - - **梯度流**（过阻尼动力学）： - - $$\frac{dx}{dt} = -\nabla E(x) = \nabla \log p(x)$$ - - - - - **Langevin动力学**（有噪声的梯度流）： - - $$dx = \nabla \log p(x) dt + \sqrt{2} dW_t$$ - - - - - **哈密顿动力学**（保守系统）： - - $$\frac{dx}{dt} = v, \quad \frac{dv}{dt} = -\nabla E(x)$$ - - - - - - - -#### 力的物理解释 - - - - 直观理解 - - - - **高概率区域**：能量低，粒子被"吸引" - - **低概率区域**：能量高，粒子被"排斥" - - **力的方向**：总是指向概率增加最快的方向 - - **平衡点**：概率分布的模式（局部最大值） - - - - -这种力学图像解释了为什么扩散模型能够生成高质量样本：粒子在力场的引导下自然地移向高概率区域。 - - - - -### C.3.2 能量景观与势函数 - - - -能量景观提供了理解扩散模型的另一个强大视角。通过将概率分布转化为能量景观，我们可以直观地理解生成过程的动力学。 - - - -#### 能量景观的构造 - - - - 从概率到能量 - -给定概率分布 $p(x)$，能量景观定义为： - - - $$E(x) = -\log p(x) + \text{const}$$ - - - -这个关系来自于Boltzmann分布： - - - $$p(x) \propto \exp(-E(x)/T)$$ - - - -其中 $T$ 是"温度"参数（在扩散模型中通常设为1）。 - - - - -#### 能量景观的特征 - - - - -#### 关键特性 - - - - - **局部最小值**：对应于概率分布的模式（高概率区域） - - **局部最大值**：对应于低概率区域 - - **點点**：连接不同模式的过渡区域 - - **能量屏障**：决定了模式间转换的难度 - - - - - -#### 扩散过程的能量视角 - - - - 动态能量景观 - -在扩散模型中，能量景观随时间变化： - - - - - **初始状态**：$E_0(x) = -\log p_{data}(x)$，复杂的多峰景观 - - **扩散过程**：能量景观逐渐平滑化 - - **终止状态**：$E_T(x) \approx \frac{||x||^2}{2}$，简单的二次势井 - - - - -反向过程则是在时变能量景观中的"下坡"运动。 - - - - -#### 势函数与分数的关系 - - - - 势能-分数对应 - -分数函数是势能的负梯度： - - - $$s(x,t) = \nabla_x \log p_t(x) = -\nabla_x E_t(x)$$ - - - -这意味着： - - - - - 分数指向能量下降最快的方向 - - 在能量最小值处，分数为零 - - 分数的模长反映了能量景观的陡峭程度 - - - - - -### C.3.3 Langevin动力学的物理图像 - - - -Langevin动力学最初用于描述布朗运动，现在成为扩散模型中的核心采样方法。从物理角度理解这个过程，可以揭示噪声与分数之间的微妙平衡。 - - - -#### 物理模型 - - - - Langevin方程 - -考虑一个在势场 $E(x)$ 中运动的粒子，受到两种力： - - - - - 确定性力：$F = -\nabla E(x)$ - - 随机力：来自环境的热扰动 - - - - -Langevin方程描述了这个系统： - - - $$m\ddot{x} = -\gamma \dot{x} - \nabla E(x) + \sqrt{2\gamma k_B T} \xi(t)$$ - - - -其中：$m$ 是质量，$\gamma$ 是摩擦系数，$k_B T$ 是热能，$\xi(t)$ 是白噪声。 - - - - -#### 过阻尼极限 - - - - 从物理到数学 - -在过阻尼极限（$m \to 0$ 或 $\gamma$ 很大），惯性项可以忽略： - - - $$\gamma \dot{x} = -\nabla E(x) + \sqrt{2\gamma k_B T} \xi(t)$$ - - - -整理得到： - - - $$dx = -\frac{1}{\gamma}\nabla E(x) dt + \sqrt{\frac{2k_B T}{\gamma}} dW_t$$ - - - -设置 $\gamma = 1$，$k_B T = 1$，并使用 $E(x) = -\log p(x)$： - - - $$dx = \nabla \log p(x) dt + \sqrt{2} dW_t$$ - - - - -#### 涛落定理与平衡分布 - - - - 物理直觉 - -**涛落定理**：阻尼力和随机力之间存在精确的平衡关系。 - - - -这个平衡保证了： - - - - - 系统最终达到热平衡（Boltzmann分布） - - 平衡分布正是 $p(x) \propto \exp(-E(x))$ - - 噪声强度和温度成正比 - - - - -在扩散模型中，这解释了为什么Langevin动力学能从目标分布采样。 - - - - -#### 退火动力学 - - - - 模拟退火 - -在实际应用中，常使用变温度的Langevin动力学： - - - $$dx = \nabla \log p(x) dt + \sqrt{2\beta(t)^{-1}} dW_t$$ - - - -其中 $\beta(t)$ 是逆温度，随时间增加（温度下降）。 - - - -物理意义： - - - - - **高温阶段**：大噪声帮助探索全局 - - **降温过程**：逐渐收敛到局部最优 - - **低温阶段**：精细调整，找到模式 - - - - - -## C.4 能量模型与扩散模型的统一 - - - -### C.4.1 能量函数与概率密度 - - - -能量基模型（EBM）和扩散模型看似不同，但实际上它们通过能量函数这一概念紧密相连。理解这种联系有助于我们从更广阔的视角看待生成模型。 - - - -#### Boltzmann分布 - - - - 基本关系 - -给定能量函数 $E_\theta(x)$，对应的概率分布为： - - - $$p_\theta(x) = \frac{1}{Z(\theta)} \exp(-E_\theta(x))$$ - - - -其中归一化常数（配分函数）为： - - - $$Z(\theta) = \int \exp(-E_\theta(x)) dx$$ - - - -这个积分通常难以计算，这是EBM的主要挑战。 - - - - -#### 能量模型的学习 - - - - -#### 两种视角 - - - - - **显式能量学习**： - - - 直接参数化 $E_\theta(x)$ - - 通过对比散度等方法学习 - - 需要MCMC采样 - - - - - - **隐式能量学习**： - - - 学习分数 $s_\theta(x) = -\nabla_x E_\theta(x)$ - - 无需归一化常数 - - 这正是扩散模型的方法！ - - - - - - - - -#### 从分数到能量 - - - - 重建能量函数 - -给定分数函数 $s(x)$，可以通过积分重建能量： - - - $$E(x) - E(x_0) = -\int_{x_0}^x s(\xi) \cdot d\xi$$ - - - -但这需要： - - - - - 分数场是保守的（旋度为零） - - 积分路径无关 - - 在实践中可能存在数值误差 - - - - - -### C.4.2 对比散度与分数匹配 - - - -对比散度（Contrastive Divergence）和分数匹配代表了两种不同的学习能量模型的方法。理解它们的联系和差异有助于我们更深入地理解扩散模型的优势。 - - - -#### 对比散度的原理 - - - - 对比散度算法 - -对于能量模型 $E_\theta(x)$，最大似然梯度为： - - - $$\nabla_\theta \log p_\theta(x) = -\nabla_\theta E_\theta(x) + \mathbb{E}_{p_\theta}[\nabla_\theta E_\theta(x')]$$ - - - -CD-k算法通过k步MCMC近似第二项： - - - - - 从数据 $x_0 \sim p_{data}$ 开始 - - 运行k步MCMC得到 $x_k \sim p_\theta$ - - 近似梯度：$\nabla_\theta E_\theta(x_k) - \nabla_\theta E_\theta(x_0)$ - - - - - -#### 分数匹配的优势 - - - - -#### 对比两种方法 - - - - 方面 - 对比散度 - 分数匹配 - - - 学习目标 - 能量函数 $E_\theta(x)$ - 分数函数 $s_\theta(x)$ - - - 采样需求 - 需要MCMC - 不需要（去噪版本） - - - 混合速度 - 受MCMC混合速度限制 - 不受影响 - - - 稳定性 - 可能不稳定 - 更稳定 - - - - - -#### 统一视角 - - - - 从变分推断的角度 - -两种方法都可以看作最小化某种散度： - - - - - - **对比散度**：最小化KL散度 - - $$KL(p_{data} || p_\theta) = \mathbb{E}_{p_{data}}[E_\theta(x)] + \log Z(\theta)$$ - - - - - **分数匹配**：最小化Fisher散度 - - $$\mathcal{J}(\theta) = \frac{1}{2}\mathbb{E}_{p_{data}}[||s_\theta(x) - \nabla \log p_{data}(x)||^2]$$ - - - - - - -Fisher散度可以看作是KL散度的二阶近似！ - - - - -#### 联系与转换 - - - - 关键联系 - -如果我们有一个完美的分数模型 $s_\theta(x) = \nabla \log p_\theta(x)$，那么： - - - - - - 可以通过Langevin动力学从 $p_\theta$ 采样 - - 可以通过积分重建能量函数（至少是差异） - - 可以计算任意两点间的能量差 - - - - -这表明分数模型实际上隐式地学习了能量模型！ - - - - -### C.4.3 从EBM到扩散模型的桥梁 - - - -扩散模型可以看作是能量基模型的一种特殊形式，其中能量函数随时间变化。这种联系为我们理解和改进两类模型提供了统一的框架。 - - - -#### 时变能量模型 - - - - 扩散模型作为动态EBM - -扩散模型定义了一系列时变的能量函数： - - - $$E_t(x) = -\log p_t(x)$$ - - - -其中： - - - - - $t = 0$: $E_0(x) = -\log p_{data}(x)$ （复杂的数据能量） - - $t = T$: $E_T(x) \approx \frac{||x||^2}{2}$ （简单的高斯能量） - - 中间时刻：平滑过渡 - - - - - -#### 桥梁机制 - - - - -#### 关键创新 - - -扩散模型通过以下机制解决了EBM的难题： - - - - - - **渐进式平滑**： - - - EBM直接学习复杂的数据分布 - - 扩散模型通过噪声注入逐渐平滑化 - - 在每个噪声级别学习更简单 - - - - - - **分数参数化**： - - - EBM参数化能量 $E_\theta(x)$ - - 扩散模型参数化分数 $s_\theta(x,t)$ - - 避免了归一化常数问题 - - - - - - **变分目标**： - - - EBM最大化似然 - - 扩散模型最小化加权去噪误差 - - 后者更稳定、更易优化 - - - - - - - - -#### 统一框架 - - - - 两类模型的统一 - -我们可以将两类模型统一在以下框架中： - - - - $$\min_\theta \int_0^T \lambda(t) \mathbb{E}_{p_t(x)}\left[\left\|s_\theta(x,t) - \nabla_x \log p_t(x)\right\|^2\right] dt$$ - - - -其中： - - - - - $\lambda(t)$ 是时间权重函数 - - $p_t(x)$ 是扩散过程在时刻 $t$ 的分布 - - $s_\theta(x,t)$ 是参数化的分数模型 - - - - -特殊情况： - - - - - $T = 0$: 退化为普通的分数匹配 - - $T > 0$: 完整的扩散模型 - - - - - -#### 实践意义 - - - - 相互借鉴 - -两类模型可以相互借鉴技术： - - - - - - **EBM → 扩散模型**： - - - 使用能量函数的架构设计 - - 借鉴采样技巧（如HMC） - - 应用能量正则化方法 - - - - - - **扩散模型 → EBM**： - - - 使用去噪训练策略 - - 应用多尺度思想 - - 利用连续时间框架 - - - - - - - - -## C.5 信息几何在扩散模型中的应用 - - - -### C.5.1 最优传输视角 - - - -最优传输理论为扩散模型提供了另一个强大的理论框架。从这个视角看，扩散过程可以理解为在概率分布空间中的最优传输路径。 - - - -#### Wasserstein距离与最优传输 - - - - 最优传输问题 - -给定两个概率分布 $\mu$ 和 $\nu$，最优传输问题寻找最小成本的传输方案： - - - $$W_2^2(\mu, \nu) = \inf_{\pi \in \Pi(\mu, \nu)} \int ||x - y||^2 d\pi(x,y)$$ - - - -其中 $\Pi(\mu, \nu)$ 是所有边缘分布为 $\mu$ 和 $\nu$ 的联合分布。 - - - -在动态版本中，我们寻找连接 $\mu$ 到 $\nu$ 的最短路径。 - - - - -#### 扩散模型与最优传输 - - - - -#### 关键联系 - - - - - **路径选择**： - - - 扩散模型定义了从 $p_{data}$ 到 $\mathcal{N}(0,I)$ 的路径 - - 这条路径不一定是最优传输路径 - - 但它有其他优点（如易于学习、稳定性好） - - - - - - **Schrödinger Bridge**： - - - 在给定边缘分布的情况下，找到最接近先验过程的路径 - - 可以看作带正则化的最优传输 - - 与扩散模型有深刻联系 - - - - - - - - -#### 速度场与传输映射 - - - - 两种描述 - -最优传输可以通过两种方式描述： - - - - - - **静态映射**：Monge映射 $T: \mathbb{R}^d \to \mathbb{R}^d$ - - $$T_\# \mu = \nu, \quad T = \nabla \phi$$ - - 其中 $\phi$ 是Kantorovich势函数。 - - - - **动态速度场**：Benamou-Brenier公式 - - $$\frac{\partial \rho_t}{\partial t} + \nabla \cdot (\rho_t v_t) = 0$$ - - 最小化动能：$\int_0^1 \int \frac{1}{2}\rho_t(x) ||v_t(x)||^2 dx dt$ - - - - - -分数函数在某些情况下与最优速度场相关！ - - - - -### C.5.2 Wasserstein梯度流 - - - -Wasserstein梯度流提供了一种在概率分布空间中进行梯度下降的自然方法。这种方法考虑了分布空间的几何结构，为理解和设计扩散模型提供了新的思路。 - - - -#### Wasserstein空间中的梯度流 - - - - Otto计算 - -在Wasserstein空间 $(\mathcal{P}_2(\mathbb{R}^d), W_2)$ 中，泛函 $\mathcal{F}[\rho]$ 的梯度流为： - - - $$\frac{\partial \rho}{\partial t} = \nabla \cdot \left(\rho \nabla \frac{\delta \mathcal{F}}{\delta \rho}\right)$$ - - - -其中 $\frac{\delta \mathcal{F}}{\delta \rho}$ 是泛函导数。这个方程描述了在Wasserstein度量下的最陡下降。 - - - - -#### 特殊情况：Fokker-Planck方程 - - - - -#### 重要例子 - - -对于熵泛函 $\mathcal{F}[\rho] = \int \rho \log \rho dx$： - - - $$\frac{\delta \mathcal{F}}{\delta \rho} = \log \rho + 1$$ - - - -Wasserstein梯度流变为： - - - $$\frac{\partial \rho}{\partial t} = \nabla \cdot (\rho \nabla \log \rho) = \Delta \rho$$ - - - -这正是热方程！说明热扩散是熵的Wasserstein梯度流。 - - - - -#### 与扩散模型的联系 - - - - 扩散作为梯度流 - -前向扩散过程可以理解为某种能量泛函的Wasserstein梯度流： - - - - - - **能量泛函**： - - $$\mathcal{E}[\rho] = \int \rho \log \rho dx + \int V(x) \rho(x) dx$$ - - 其中 $V(x) = \frac{||x||^2}{2}$ 是二次势。 - - - - **对应的梯度流**： - - $$\frac{\partial \rho}{\partial t} = \Delta \rho + \nabla \cdot (\rho \nabla V)$$ - - 这与VP-SDE的Fokker-Planck方程一致！ - - - - - - -#### JKO迭代格式 - - - - Jordan-Kinderlehrer-Otto格式 - -Wasserstein梯度流可以通过迭代最小化问题离散化： - - - $$\rho^{k+1} = \arg\min_{\rho} \left\{\frac{W_2^2(\rho, \rho^k)}{2\tau} + \mathcal{F}[\rho]\right\}$$ - - - -这提供了： - - - - - 数值计算方法 - - 变分解释 - - 与近端梯度方法的联系 - - - - - -### C.5.3 扩散过程的测地线 - - - -从信息几何的角度看，扩散过程定义了在概率分布流形上的一条路径。这条路径的几何性质决定了模型的性能和效率。 - - - -#### 测地线的定义 - - - - 不同度量下的测地线 - -在不同的度量下，连接两个分布的测地线不同： - - - - - - **Fisher-Rao测地线**： - - $$\gamma_{FR}(t) = \frac{\sin((1-t)\theta)}{\sin \theta}\sqrt{p_0} + \frac{\sin(t\theta)}{\sin \theta}\sqrt{p_1}$$ - - 其中 $\cos \theta = \int \sqrt{p_0 p_1} dx$。 - - - - **Wasserstein测地线**： - 通过最优传输映射 $T$ 定义： - - $$\gamma_W(t) = ((1-t)Id + tT)_\# p_0$$ - - - - - - - -#### 扩散路径的几何性质 - - - - -#### 路径选择的权衡 - - -扩散模型选择的路径通常不是测地线，而是平衡以下因素： - - - - - - **学习难度**：路径上每一点的分数函数应该容易学习 - - **采样效率**：反向过程应该快速收敛 - - **数值稳定性**：避免数值问题 - - **理论保证**：确保收敛到正确分布 - - - - - -#### 最优路径的探索 - - - - 新的研究方向 - -最近的研究探索了更优的扩散路径： - - - - - - **流匹配（Flow Matching）**： - - - 直接学习最优传输的速度场 - - 路径更直、更短 - - 采样效率更高 - - - - - - **变分扩散模型**： - - - 学习最优的噪声调度 - - 适应不同的数据分布 - - 最小化某种损失泛函 - - - - - - **Schrödinger Bridge**： - - - 在给定边界条件下的最优路径 - - 结合了最优传输和扩散的优点 - - 提供更灵活的框架 - - - - - - - - -#### 几何视角的启示 - - - - 设计原则 - -信息几何为设计更好的扩散模型提供了以下原则： - - - - - - **局部平坦性**：路径应该在每个时刻保持局部平坦 - - **曲率最小化**：减少不必要的弯曲 - - **信息保持**：在扩散过程中保持尽可能多的信息 - - **可逆性**：确保反向过程的数值稳定性 - - - - - -## C.6 计算考虑与实践意义 - - - -### C.6.1 自然参数化的优势 - - - -自然参数化在信息几何中占据特殊地位，因为它使得许多计算变得简单且高效。在扩散模型中利用这一点可以显著改善模型的性能。 - - - -#### 什么是自然参数 - - - - 自然参数的定义 - -对于指数族分布： - - - $$p(x|\theta) = h(x) \exp(\theta^T T(x) - A(\theta))$$ - - - -$\theta$ 是自然参数，它具有以下优美性质： - - - - - Fisher信息矩阵 = $\nabla^2 A(\theta)$ （对数配分函数的Hessian） - - 期望参数 $\eta = \mathbb{E}[T(x)] = \nabla A(\theta)$ - - 参数空间是凸的 - - - - - -#### 计算优势 - - - - -#### 为什么自然参数化重要 - - - - - **梯度计算简单**： - - - 对数似然的梯度 = $T(x) - \nabla A(\theta)$ - - 无需复杂的链式法则 - - 数值稳定 - - - - - - **凸优化**： - - - 负对数似然在自然参数下是凸的 - - 保证全局最优 - - 收敛速度快 - - - - - - **KL散度的简单形式**： - - $$KL(p||q) = A(\theta_q) - A(\theta_p) - (\theta_q - \theta_p)^T \nabla A(\theta_p)$$ - - 这是Bregman散度的形式！ - - - - - - -#### 在扩散模型中的应用 - - - - 利用自然参数化 - -虽然扩散模型中的分布通常不是指数族，但我们可以： - - - - - - **局部近似**： - - - 在小噪声极限下，分布接近高斯 - - 可以使用高斯的自然参数化 - - 简化计算和分析 - - - - - - **变分推断**： - - - 使用指数族作为变分家族 - - 利用自然参数化的优势 - - 获得更紧的下界 - - - - - - **分数函数参数化**： - - - 设计网络输出自然参数梯度 - - 通过变换得到分数 - - 改善数值稳定性 - - - - - - - - -### C.6.2 曲率与训练动力学 - - - -参数空间的曲率直接影响优化的难度和速度。理解和利用这种曲率信息可以显著改善扩散模型的训练效率。 - - - -#### 曲率的来源 - - - - 曲率与条件数 - -Fisher信息矩阵的条件数反映了参数空间的曲率： - - - $$\kappa(I) = \frac{\lambda_{\max}(I)}{\lambda_{\min}(I)}$$ - - - -高条件数意味着： - - - - - 不同方向的学习速度差异很大 - - 梯度下降可能震荡 - - 需要小学习率以保证稳定性 - - - - - -#### 扩散模型中的曲率问题 - - - - -#### 特有的挑战 - - - - - **时变曲率**： - - - 不同时刻 $t$ 的分布不同 - - 曲率随时间变化 - - 早期（高SNR）和晚期（低SNR）差异很大 - - - - - - **空间不均匀性**： - - - 数据流形附近曲率大 - - 远离数据的区域曲率小 - - 模式之间的过渡区曲率极大 - - - - - - - - -#### 利用曲率信息改善训练 - - - - 实用技术 - - - - **自适应学习率**： - - - 根据时刻 $t$ 调整学习率 - - 高曲率区域使用小学习率 - - 低曲率区域可以加速 - - - - - - **预条件化**： - - - 使用近似的Fisher信息 - - 自然梯度方法 - - Adam等二阶方法 - - - - - - **重要性采样**： - - - 在高曲率时刻增加采样 - - 平衡各时刻的学习 - - 减少方差 - - - - - - - - -#### 理论分析 - - - - 收敛速度与曲率 - -对于梯度下降，收敛速度受曲率影响： - - - $$||\theta_t - \theta^*|| \leq \left(1 - \frac{2\alpha}{\kappa + 1}\right)^t ||\theta_0 - \theta^*||$$ - - - -其中 $\alpha$ 是学习率，$\kappa$ 是条件数。这表明： - - - - - 条件数越大，收敛越慢 - - 最优学习率 $\propto 1/\kappa$ - - 预条件化可以改善 $\kappa$ - - - - - -### C.6.3 几何启发的算法设计 - - - -信息几何的洞察不仅加深了我们对扩散模型的理解，还启发了新的算法设计。这些几何启发的方法往往能带来显著的性能提升。 - - - -#### 几何感知的采样算法 - - - - 利用局部几何 - -基于分数函数的局部几何信息，可以设计更高效的采样算法： - - - - - - **自适应步长**： - - $$h(x,t) = \frac{c}{||\nabla s(x,t)||_F + \epsilon}$$ - - 在分数变化剧烈的区域使用小步长。 - - - - **曲率校正**： - - $$x_{t+1} = x_t + h \cdot (I + \lambda H)^{-1} s(x_t, t)$$ - - 其中 $H$ 是分数的Hessian矩阵。 - - - - - - -#### 流形感知的网络设计 - - - - -#### 架构创新 - - - - - **等变网络**： - - - 保持几何变换的等变性 - - 减少参数量 - - 提高泛化能力 - - - - - - **流形注意力**： - - - 在流形上计算注意力 - - 考虑局部度量 - - 更好地捕捉数据结构 - - - - - - **几何正则化**： - - - 惩罚过大的曲率 - - 鼓励平滑的分数场 - - 提高数值稳定性 - - - - - - - - -#### 最优传输启发的方法 - - - - 新一代算法 - - - - **流匹配（Flow Matching）**： - - - 直接学习最优传输映射 - - 更直的路径 - - 更快的采样 - - - - - - **整流模型（Rectified Flow）**： - - - 学习直线路径 - - 最小化路径曲率 - - 允许一步采样 - - - - - - **动态最优传输**： - - - 在训练过程中调整路径 - - 适应数据分布 - - 最小化总传输成本 - - - - - - - - -#### 未来方向 - - - - 几何方法的前景 - -信息几何为扩散模型的发展指明了几个重要方向： - - - - - - **非欧几何**： - - - 在更一般的流形上定义扩散 - - 处理结构化数据 - - 图、分子等非欧数据 - - - - - - **多尺度几何**： - - - 不同尺度的几何结构 - - 分层次的学习和采样 - - 提高效率 - - - - - - **动态几何**： - - - 学习和适应数据流形 - - 在线更新几何结构 - - 处理分布漂移 - - - - - - - - - -## 本章小结 - - -本附录从信息几何的角度深入探讨了扩散模型的数学基础，揭示了分数函数的多重意义——它既是流形上的切向量，也是物理上的力场，更是连接能量优化与概率建模的桥梁。 - - - -### 核心要点 - - - - - **信息几何基础**： - - - 概率分布空间是一个弯曲的流形 - - Fisher信息度量提供了自然的黎曼结构 - - 自然梯度考虑了流形的曲率 - - - - - - **分数函数的几何意义**： - - - 分数是概率流形上的切向量场 - - Stein恒等式提供了分数的刻画 - - 分数匹配是几何投影问题 - - - - - - **力学解释**： - - - 分数函数定义了一个保守力场 - - 能量景观随时间演化 - - Langevin动力学平衡噪声与漂移 - - - - - - **与能量模型的统一**： - - - 扩散模型是时变的能量模型 - - 分数匹配避免了归一化难题 - - 两类方法可以相互借鉴 - - - - - - **最优传输视角**： - - - 扩散定义了分布空间中的路径 - - Wasserstein梯度流提供了新视角 - - 启发了流匹配等新方法 - - - - - - **实践意义**： +### C.2.2 Stein恒等式 +Stein恒等式是连接分数函数与概率分布的桥梁，它构成了分数匹配的理论基础。 - 自然参数化简化计算 - - 曲率信息指导优化 - - 几何启发的算法设计 +> **定理 C.3 (Stein恒等式)** +> 对于一个足够光滑的测试函数 `φ(x)` 和概率密度 `p(x)`，在一定边界条件下成立： +> $$\mathbb{E}_{p(x)}[\nabla_x \cdot \phi(x) + \phi(x) \cdot \nabla_x \log p(x)] = 0$$ +💡 **关键洞察**：这个恒等式只涉及分数 `∇log p(x)` 和 `p(x)` 的期望，而完全不依赖于 `p(x)` 本身及其归一化常数。这使得我们可以在只拥有 `p(x)` 的样本的情况下，通过最小化Stein恒等式的残差来学习其分数函数，这正是**分数匹配**的核心思想。 - +### C.2.3 分数函数作为“力场” +我们可以从物理学的角度，为分数函数建立一个非常直观的力学类比。 +> **定义 C.4 (能量函数与力)** +> 给定一个概率分布 `p(x)`，我们可以定义一个对应的**能量函数**（或势能）： +> $$E(x) = -\log p(x)$$ +> 那么，分数函数就变成了作用在粒子上的**力**： +> $$F(x) = -\nabla E(x) = \nabla \log p(x)$$ +这是一个**保守力场**，因为它是一个标量势 `E(x)` 的梯度。 -### 展望 +**物理图像**： +- **高概率区域** (`p(x)` 大) ⇔ **低能量区域** (`E(x)` 小)。 +- 粒子会受到一个力的作用，将它从高能量区域（低概率）推向低能量区域（高概率）。 +- 概率分布的模式（modes）对应于能量景观的**势阱**（potential wells）。 +### C.2.4 Langevin动力学 -信息几何为理解和改进扩散模型提供了丰富的理论工具。未来的研究方向包括： +Langevin动力学描述了粒子在这个力场中，同时受到随机热噪声影响时的运动轨迹。 +> **定义 C.5 (Langevin SDE)** +> $$dX_t = \nabla \log p(X_t) dt + \sqrt{2} dW_t$$ +> - **漂移项 `∇log p(X_t)dt`**: 粒子受到分数“力”的作用，确定性地向能量更低处移动。 +> - **扩散项 `sqrt(2)dW_t`**: 粒子受到随机布朗运动的扰动，使其能够探索整个能量景观，而不是仅仅陷入最近的势阱。 +🌟 **核心联系**：Langevin动力学的稳态分布恰好是 `p(x)`。这意味着，无论从什么初始状态开始，只要我们模拟这个SDE足够长的时间，最终得到的粒子分布就会收敛到我们想要的目标分布 `p(x)`。这为从概率分布中采样提供了一个基于物理模拟的强大方法。 - - 在非欧流形上定义扩散过程 - - 利用曲率信息设计更高效的采样算法 - - 探索最优传输与扩散的更深联系 - - 开发几何感知的神经网络架构 +**扩散模型中的应用**： +- **前向过程**：可以看作是一个能量景观逐渐被“抚平”的过程。`E_0(x) = -log p_data(x)` 是一个复杂、多势阱的崎岖景观，而 `E_T(x) ≈ ||x||^2 / 2` 是一个简单的、单一的抛物线势阱。 +- **反向过程**：学习反向SDE `dx = [f - g^2 * s_θ]dt + g d(bar(W)_t)`，本质上是在学习一个时变的力场 `s_θ(x, t)`，这个力场可以在每个时刻 `t` 将粒子有效地引导回数据所在的高概率区域。 +
+综合练习：一维双势阱模型 +考虑一个一维能量函数 `E(x) = (x^2 - 1)^2`，它在 `x=-1` 和 `x=1` 处有两个势阱。 +1. **概率分布**：写出对应的概率分布 `p(x) ∝ exp(-E(x))` 的表达式。 +2. **分数函数/力**：计算其分数函数 `s(x) = ∇log p(x)`。分析在 `x=0`（势垒）和 `x=-1, 1`（势阱）附近，这个“力”的方向和大小。 +3. **Langevin动力学**：写出对应的Langevin SDE。如果一个粒子从 `x=0` 开始，它的长期行为会是怎样的？ +4. **开放探索**：在扩散模型中，我们学习的是一个时变的分数函数 `s_θ(x, t)`。对于这个双势阱例子，`s_θ(x, t)` 在 `t` 接近 `T`（高噪声）和 `t` 接近 `0`（低噪声）时，其形状应该分别是什么样的？ +**解答思路**： +1. `p(x) = (1/Z) * exp(-(x^2 - 1)^2)`，`Z`是归一化常数。 +2. `s(x) = -dE/dx = -2(x^2 - 1)(2x) = -4x(x^2 - 1)`。在 `x=0`，`s(0)=0`，但这是一个不稳定的平衡点。在 `x=-1, 1`，`s(x)=0`，是稳定的平衡点。在 `x` 略大于0时，`s(x)<0`，力指向左边；略小于0时，`s(x)>0`，力指向右边，因此粒子会被推离 `x=0`。 +3. `dX_t = -4X_t(X_t^2 - 1)dt + sqrt(2)dW_t`。长期来看，粒子会在两个势阱 `x=-1` 和 `x=1` 之间来回跳跃，其最终分布会收敛到 `p(x)`。 +4. 当 `t` 接近 `T` 时，能量景观被抚平，`s_θ(x, t)` 应该接近于一个单势阱（高斯分布）的分数函数，即 `s ≈ -x`。当 `t` 接近 `0` 时，`s_θ(x, t)` 应该精确地逼近我们计算出的 `s(x) = -4x(x^2 - 1)`，以恢复双峰结构。 -这些理论洞察不仅加深了我们对扩散模型的理解，也为设计下一代生成模型指明了方向。通过融合信息几何、物理直觉和机器学习技术，我们有望开发出更加强大和高效的生成模型。 \ No newline at end of file +
diff --git a/chapter2.md b/chapter2.md index 7b57a72..b44dbd6 100644 --- a/chapter2.md +++ b/chapter2.md @@ -1,1493 +1,193 @@ -[← 上一章](chapter1.md) - 第2章 / 共14章 - [下一章 →](chapter3.md) - - +[← 上一章](chapter1.md) | 第2章 / 共14章 | [下一章 →](chapter3.md) # 第2章：神经网络架构：U-Net与ViT - - - 扩散模型的成功离不开强大的神经网络架构。有趣的是，扩散模型并没有发明全新的网络结构，而是巧妙地借用了计算机视觉领域的两个里程碑式架构：U-Net和Vision Transformer。本章将追溯这两种架构的历史发展，理解它们的设计初衷，以及为什么它们恰好适合扩散模型的去噪任务。这种"历史的巧合"展示了深度学习领域知识迁移的魅力。 - - +扩散模型的成功离不开强大的神经网络架构。有趣的是，扩散模型并没有发明全新的网络结构，而是巧妙地借用了计算机视觉领域的两个里程碑式架构：U-Net和Vision Transformer (ViT)。本章将追溯这两种架构的历史发展，理解它们的设计初衷，并剖析它们为何能与扩散模型的去噪任务完美契合。这种“历史的巧合”不仅展示了深度学习领域知识迁移的魅力，也为我们设计未来更高效的生成模型提供了深刻的启示。 ## 2.1 从图像分割到去噪：U-Net的历史演变 +U-Net最初并非为生成模型设计。2015年，Ronneberger等人在论文《U-Net: Convolutional Networks for Biomedical Image Segmentation》中提出U-Net，旨在解决生物医学图像分割的难题。其独特的编码器-解码器结构配合跳跃连接（skip-connections），能够在保留高分辨率细节信息的同时进行深度的语义特征提取。这种多尺度处理能力恰好契合了扩散模型的需求。 +> **定义：历史脉络** +> - **2015年**：U-Net诞生，用于医学图像分割，在ISBI细胞追踪挑战赛中一举成名。 +> - **2017-2019年**：U-Net被广泛应用于各种像素级预测任务，如语义分割、深度估计等，成为该领域的标准架构之一。 +> - **2020年**：Ho等人在DDPM中采用U-Net作为核心的去噪网络，开启了U-Net在生成模型领域的辉煌篇章。 +> - **2021年至今**：各种改进版U-Net成为主流扩散模型的标配，例如加入注意力机制、自适应归一化等，如ADM、Stable Diffusion等。 -U-Net最初并非为扩散模型设计。2015年，Ronneberger等人提出U-Net用于生物医学图像分割，其独特的编码器-解码器结构配合跳跃连接，能够在保留细节信息的同时进行语义理解。这种架构特性恰好契合了扩散模型的需求。 - - - -> **定义** -> 历史脉络 - - - - - **2015年**：U-Net诞生，用于医学图像分割，在ISBI细胞追踪挑战赛中获胜 - - **2017-2019年**：U-Net被广泛应用于各种密集预测任务（语义分割、深度估计等） - - **2020年**：DDPM采用U-Net作为去噪网络，开启了U-Net在生成模型中的新篇章 - - **2021-2022年**：各种改进版U-Net成为扩散模型的标配（加入注意力机制、自适应归一化等） - - - - - -为什么U-Net特别适合扩散模型？关键在于扩散模型的去噪任务本质上是一个"图像到图像"的转换问题： - - - - - 输入：噪声图像 $\mathbf{x}_t$ → 输出：预测的噪声 $\boldsymbol{\epsilon}$ 或 清晰图像 $\mathbf{x}_0$ - - - - -这与U-Net最初设计的分割任务（输入：原始图像 → 输出：分割掩码）在结构上高度相似。U-Net的几个关键特性使其成为理想选择： - - - - - - **多尺度特征提取**：编码器逐步降低分辨率，捕获从局部纹理到全局结构的各层次特征 - - **跳跃连接保留细节**：直接将编码器的特征传递给解码器，避免细节信息在下采样过程中丢失 - - **对称结构**：编码器和解码器的对称设计，天然适合"加噪"和"去噪"的可逆过程 - - **参数效率**：相比全连接网络，卷积结构的参数共享大大减少了模型参数量 - - +为什么U-Net特别适合扩散模型？关键在于扩散模型的去噪任务本质上是一个“图像到图像”的转换问题：输入一张噪声图像 $\mathbf{x}_t$，输出对噪声 $\boldsymbol{\epsilon}$ 的预测。这与U-Net最初设计的分割任务（输入：原始图像 → 输出：分割掩码）在结构上高度相似。U-Net的几个关键特性使其成为理想选择： +- **多尺度特征提取**：编码器通过逐步下采样，捕获从局部纹理到全局结构的各层次特征。 +- **跳跃连接保留细节**：将编码器的浅层特征直接传递给解码器，有效避免了关键细节信息在下采样过程中的丢失，对于高质量生成至关重要。 +- **对称的U形结构**：编码器和解码器的对称设计，在直觉上与“加噪”和“去噪”这两个互逆的过程相呼应。 +- **参数效率**：相比于全连接网络，卷积结构的局部连接和参数共享大大减少了模型参数量，使其能够处理高分辨率图像。 ## 2.2 U-Net架构详解 +### 2.2.1 现代U-Net：为扩散模型重新设计 +当DDPM的作者们在2020年选择U-Net作为去噪网络时，他们面临着与原始分割任务完全不同的需求。因此，一个为扩散模型“现代化”的U-Net诞生了，它融合了自2015年以来深度学习架构的诸多进展。 -### 2.2.1 原始U-Net：优雅的对称设计 - - - -2015年的原始U-Net论文标题很有意思："U-Net: Convolutional Networks for Biomedical Image Segmentation"。作者们面临的挑战是：如何在训练数据极少的情况下（ISBI挑战赛只有30张训练图像！）实现精确的细胞分割？他们的解决方案展现了深度学习的一个重要原则：**好的架构设计可以弥补数据的不足**。 - - - - - - 原始 U-Net 架构 (2015) - - 输入图像 输出分割 - 572×572 388×388 - | ↑ - ↓ | - [Conv3×3, ReLU] × 2 ←―――――――――――――――――→ [Conv3×3, ReLU] × 2 - 64 channels 跳跃连接 (crop) 64 channels - | ↑ - ↓ MaxPool 2×2 ↑ Conv2×2 (上采样) - | | - [Conv3×3, ReLU] × 2 ←―――――――――――――――――→ [Conv3×3, ReLU] × 2 - 128 channels 128 channels - | ↑ - ↓ MaxPool 2×2 ↑ Conv2×2 (上采样) - | | - ... 继续下采样 ... ... 继续上采样 ... - | | - ↓ ↑ - 底部：1024 channels - - - - U-Net的几个关键设计决策至今仍然影响着深度学习架构设计： - - - - - - **非对称的输入输出尺寸**：原始U-Net使用valid卷积（无padding），导致每次卷积都会缩小特征图。这是为了避免边界伪影，确保输出的每个像素都有完整的感受野。 - - - **跳跃连接的crop操作**：由于尺寸不匹配，需要裁剪（crop）编码器特征再与解码器特征拼接。这个看似笨拙的设计其实确保了特征对齐的精确性。 - - - **数据增强的重要性**：原文特别强调了弹性形变（elastic deformation）对小数据集的重要性——这启发了后续研究中各种数据增强技术。 - - - - -### 2.2.2 现代U-Net：为扩散模型重新设计 - - - -当DDPM的作者们在2020年选择U-Net作为去噪网络时，他们面临着完全不同的需求。原始U-Net的一些设计（如valid卷积、非对称尺寸）对扩散模型来说是不必要的复杂。于是，一个"现代化"的U-Net诞生了： - - - -> **定义** -> 扩散模型U-Net的关键改进 - - - - 组件 - 原始U-Net (2015) - 扩散U-Net (2020+) - - - 卷积类型 - Valid卷积（无padding） - Same卷积（保持尺寸） - - - 归一化 - 无（后来加入BatchNorm） - GroupNorm（稳定训练） - - - 激活函数 - ReLU - SiLU/Swish（更平滑） - - - 残差连接 - 无 - 每个块都有（类ResNet） - - - 注意力机制 - 无 - 多分辨率自注意力 - - - 条件机制 - 无需条件 - 时间嵌入（必需） - - - - +> **定义：扩散U-Net的关键改进** +> | 组件 | 原始U-Net (2015) | 扩散U-Net (2020+) | +> | :--- | :--- | :--- | +> | **卷积类型** | Valid卷积 (无padding) | Same卷积 (保持尺寸) | +> | **归一化** | 无 (或后期加入BatchNorm) | GroupNorm (小批量稳定) | +> | **激活函数** | ReLU | SiLU / Swish (更平滑) | +> | **残差连接** | 无 | 每个块内部都有 (类ResNet) | +> | **注意力机制** | 无 | 多分辨率自注意力 | +> | **条件机制** | 无需条件 | 时间嵌入 (必需) | 让我们深入理解几个关键改进： +#### 1. 残差块 (ResNet Block) +现代U-Net的基本构建单元不再是简单的卷积层，而是借鉴了ResNet的残差块。一个典型的块流程如下： +1. 输入 `x` 首先通过 `GroupNorm` 和 `SiLU` 激活函数。 +2. 经过一个3x3的 `Conv2d` 层。 +3. 再次通过 `GroupNorm` 和 `SiLU`。 +4. 经过第二个3x3的 `Conv2d` 层。 +5. 将处理后的结果与原始输入 `x` 相加（残差连接）。 +#### 2. 时间嵌入注入 (Time Embedding) +时间步 `t` 的信息至关重要。它通常通过一个小型MLP从正弦编码转换为嵌入向量，然后通过自适应归一化层（Adaptive Group Normalization, AdaGN）注入到每个残差块中。其核心思想是调制残差块的统计特性： +`h_out = GroupNorm(h_in) * (1 + scale(t)) + shift(t)` +其中 `scale(t)` 和 `shift(t)` 是从时间嵌入向量线性变换得到的。 -#### 1. 残差块设计 - - - - - - 输入 x - ↓ - GroupNorm → SiLU → Conv3×3 - ↓ - GroupNorm → SiLU → Conv3×3 - ↓ - + ← x （残差连接） - ↓ - 输出 - - - - - -#### 2. 时间嵌入注入 - - 时间信息通过自适应归一化层注入到每个残差块中： - - - - $h = \text{GroupNorm}(h)$ - - $h = h \cdot (1 + \text{scale}(t)) + \text{shift}(t)$ - - 其中 $\text{scale}(t)$ 和 $\text{shift}(t)$ 是时间嵌入经过线性变换得到的 - - - - -#### 3. 自注意力的引入位置 - - -自注意力通常只在中等分辨率（如16×16、32×32）引入，原因是： - - - - - 高分辨率（64×64以上）：计算成本过高，且局部特征更重要 - - 低分辨率（8×8以下）：特征图太小，全局信息已经被压缩 - - 中等分辨率：平衡了计算效率和全局建模能力 - - - - -### 2.2.3 下采样的演进：从池化到步进卷积 - - - -下采样（downsampling）是U-Net的核心操作之一，但"如何正确地降低分辨率"这个看似简单的问题，却经历了深度学习历史上的多次范式转变。 - - - -#### 第一代：最大池化的统治时期（2012-2015） - - - -早期CNN几乎都使用最大池化（MaxPooling）进行下采样，包括原始U-Net： - - - - -# 经典的MaxPool下采样 -self.down = nn.MaxPool2d(kernel_size=2, stride=2) - -# 优点：保留最强激活，计算简单 -# 缺点：丢失位置信息，不可学习 - - - 最大池化的问题在于它是一个固定的、不可学习的操作。在每个2×2窗口中，75%的信息被直接丢弃，这对于需要精确重建的生成任务来说是灾难性的。 - - - -#### DCGAN的革命性发现（2015） - - - -> **定义** -> DCGAN论文的关键贡献 - - -Radford等人在"Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks"中提出了几条影响深远的架构指南： - - - - - **用步进卷积（strided convolution）替代池化**：让网络自己学习如何下采样 - - **去除全连接层**：保持全卷积架构 - - **批归一化的系统使用**：除了生成器输出层和判别器输入层 - - **ReLU vs LeakyReLU**：生成器用ReLU，判别器用LeakyReLU - - - - - -DCGAN的这些发现不仅影响了GAN，也深刻改变了后续所有生成模型的设计，包括扩散模型。特别是"可学习的下采样"这一理念，成为了现代架构的标准。 - - - -#### 步进卷积：让网络决定如何采样 - - - - -# DCGAN风格的可学习下采样 -self.down = nn.Conv2d(in_channels, out_channels, - kernel_size=3, stride=2, padding=1) +#### 3. 自注意力 (Self-Attention) +为了捕获长程依赖关系，自注意力机制被引入到U-Net中。但由于其计算复杂度与像素数的平方成正比，它通常只在特征图分辨率较低的层级（如16x16或8x8）使用，以在计算效率和全局建模能力之间取得平衡。 -# 为什么是3×3而不是2×2？ -# - 3×3提供更大的感受野 -# - 避免棋盘效应（稍后详述） -# - 与padding=1配合，输出正好是输入的一半 +### 2.2.2 采样方式的演进：从池化到可学习的卷积 +“如何正确地降低和恢复分辨率”是U-Net设计的核心问题之一，其演进过程反映了深度学习架构设计的范式转变。 +#### 下采样：从固定到可学习 +- **最大池化 (Max Pooling)**：早期CNN（包括原始U-Net）的标配。通过`nn.MaxPool2d`实现。优点是计算简单，但缺点是它是一个固定的、不可学习的操作，会丢弃大量位置信息，对生成任务不利。 +- **步进卷积 (Strided Convolution)**：DCGAN（2015）推广了这一理念，即用一个`stride=2`的`nn.Conv2d`来代替池化，让网络自己学习如何下采样。这是现代架构的标准。 +- **现代最佳实践**：为了更稳定的训练，通常将下采样分解为两步：一个标准的`nn.Conv2d`用于特征变换，然后接一个`stride=2`的`nn.Conv2d`专门用于下采样。 -#### 上采样的对称问题：棋盘效应 +#### 上采样：避免棋盘效应 +- **转置卷积 (Transposed Convolution)**：作为步进卷积的逆操作，`nn.ConvTranspose2d`是自然的选择。然而，当其`kernel_size`不能被`stride`整除时，会因重叠不均而产生棋盘状的伪影（Checkerboard Artifacts），严重影响生成质量。 +- **现代最佳实践**：为了彻底避免棋盘效应，现代架构倾向于将上采样和卷积解耦。最常用的方法是：先使用简单的最近邻插值（`nn.Upsample(scale_factor=2, mode='nearest')`）放大特征图，然后再进行一次标准的`nn.Conv2d`。这种方法简单、有效且不会产生伪影。 +### 2.2.3 归一化技术：从BatchNorm到AdaGN的演进 - 既然下采样可以用步进卷积，那么上采样自然想到用转置卷积（transposed convolution）。但这带来了一个意外的问题： +归一化是深度学习中最关键也最令人困惑的组件之一。它在扩散模型中的演进尤为重要。 +- **为什么不用BatchNorm？** `nn.BatchNorm2d`对扩散模型有几个致命问题：1) **批次依赖**，导致训练和推理行为不一致；2) **小批量下性能退化**，而扩散模型常因内存限制使用小批量；3) **混淆时间步信息**，将不同时间步的样本统计量混合在一起。 +- **GroupNorm成为标准**：`nn.GroupNorm`解决了上述所有问题。它在每个样本内部、沿通道的分组上计算统计量，与批次大小无关。通过调整组数（`num_groups`），可以在`LayerNorm`（G=1）和`InstanceNorm`（G=C）之间进行权衡，通常`num_groups=32`是一个鲁棒的选择。 +- **自适应归一化 (AdaGN) 的威力**：StyleGAN的革命性发现是，归一化可以作为注入外部信息的强大机制。扩散模型借鉴了这一思想，使用时间嵌入`t`来调制GroupNorm的增益（`scale`）和偏置（`shift`）。这比简单地将时间嵌入拼接到特征图上更有效，因为它允许模型根据时间步`t`动态地调整每一层的“去噪强度”。 -##### ⚠️ 棋盘效应（Checkerboard Artifacts） +
+练习 2.1：U-Net架构的权衡分析 +1. **深度 vs. 宽度**：分析U-Net的深度（下采样次数）和宽度（基础通道数）对模型性能和计算成本的影响。对于一个固定计算预算的模型，是更深好还是更宽好？ +2. **注意力位置**：讨论在U-Net的不同层级（高、中、低分辨率）插入自注意力模块的利弊。为什么大多数模型选择在中低分辨率层插入？ +3. **跳跃连接**：标准的跳跃连接使用拼接（concatenation）。分析如果改为逐元素相加（addition）会对信息流产生什么影响。在什么情况下相加可能是更好的选择？ +4. **开放探索**：设计一种“动态U-Net”，其深度或宽度可以根据输入的时间步`t`自适应调整。例如，在噪声水平高时使用更深的网络来捕捉全局结构，在噪声水平低时使用更浅的网络来关注细节。 +5. **研究思路**： + * 查阅有关神经架构搜索（NAS）在生成模型中应用的研究。 + * 从信息论角度分析跳跃连接，将其视为信息瓶颈的旁路。 + * 研究不同归一化层（如`RMSNorm`）与自适应调制结合的可能性。 -当转置卷积的kernel_size不能被stride整除时，会产生棋盘状的伪影： +
+## 2.3 从NLP到CV：Vision Transformer的跨界之旅 +### 2.3.1 Transformer的视觉革命 - kernel_size=3, stride=2 的重叠模式： - - 1 2 1 2 1 - 2 4 2 4 2 - 1 2 1 2 1 - 2 4 2 4 2 - 1 2 1 2 1 - - 某些像素被覆盖4次，某些只有1次！ - - - - -#### 现代解决方案：解耦采样和特征变换 - - - 为了避免棋盘效应，现代架构倾向于将采样和卷积分离： - - - - -# 下采样：先卷积，再降采样 -class DownBlock(nn.Module): - def __init__(self, in_channels, out_channels): - super().__init__() - self.conv = nn.Conv2d(in_channels, out_channels, 3, padding=1) - self.down = nn.Conv2d(out_channels, out_channels, 3, stride=2, padding=1) - -# 上采样：先插值，再卷积（推荐） -class UpBlock(nn.Module): - def __init__(self, in_channels, out_channels): - super().__init__() - self.up = nn.Upsample(scale_factor=2, mode='nearest') - self.conv = nn.Conv2d(in_channels, out_channels, 3, padding=1) - -# 或者使用PixelShuffle（对于学习型上采样） -class PixelShuffleUp(nn.Module): - def __init__(self, in_channels, out_channels): - super().__init__() - # 先增加通道数到4倍 - self.conv = nn.Conv2d(in_channels, out_channels * 4, 3, padding=1) - self.shuffle = nn.PixelShuffle(2) # 将通道重排为空间维度 - - - -#### 扩散模型中的最佳实践 - - - -> **定义** -> 下采样方式对比（扩散模型视角） - - - - 方法 - 优点 - 缺点 - 推荐度 - - - MaxPool - 简单、无参数 - 信息丢失严重 - ❌ 不推荐 - - - 步进卷积 - 可学习、灵活 - 可能有伪影 - ✅ 推荐 - - - Conv + 步进Conv - 更稳定 - 计算量略大 - ✅✅ 强烈推荐 - - - 平均池化 - 平滑、抗锯齿 - 模糊细节 - ⚡ 特定场景 - - - - - **实践建议**： - - - - - 对于扩散模型，推荐使用"Conv + 步进Conv"的组合，这在Stable Diffusion等SOTA模型中被广泛采用 - - 上采样优先使用"最近邻插值 + Conv"，避免棋盘效应 - - 如果需要学习型上采样，PixelShuffle是个不错的选择 - - 在高分辨率（>256）时，考虑使用抗锯齿下采样（blur pool） - - - - -### 2.2.4 权重共享之争：编码器与解码器是否应该绑定？ - - - -一个经常被忽视但值得深入讨论的设计决策是：U-Net的编码器和解码器是否应该共享权重（weight tying）？这个问题在自编码器领域有悠久的历史，但在扩散模型中有其独特的考量。 - - - -#### 权重共享的理论动机 - - - -权重共享的想法来源于一个优雅的对称性假设： - - - - - 如果编码器学习映射 $f: \mathcal{X} \rightarrow \mathcal{Z}$ - - 那么解码器应该学习逆映射 $f^{-1}: \mathcal{Z} \rightarrow \mathcal{X}$ - - 理想情况下，$f^{-1} = f^T$（转置关系） - - - - -在传统的去噪自编码器（Denoising Autoencoders）中，这种设计有几个吸引人的特性： - - - - - **参数效率**：模型参数量减少一半 - - **正则化效果**：强制编码器和解码器学习互逆的变换 - - **理论优雅**：符合某些流形学习的理论框架 - - - - -#### 扩散模型的特殊性：为什么不共享？ - - - -> **定义** -> 扩散模型中编码器和解码器的不对称性 - - - - 方面 - 编码器任务 - 解码器任务 - - - 主要目标 - 提取多尺度特征表示 - 基于特征重建细节 - - - 信息流向 - 从细节到语义（压缩） - 从语义到细节（生成） - - - 噪声敏感度 - 需要对噪声鲁棒 - 需要精确预测噪声 - - - 时间依赖性 - 提取与t相关的特征 - 根据t调整去噪策略 - - - - - -扩散模型的去噪任务本质上是**非对称的**： - - - - - **不同时间步需要不同策略**：早期（高噪声）需要全局结构恢复，后期（低噪声）需要细节润色 - - **跳跃连接的作用不同**：编码器的跳跃连接保留原始信息，解码器的跳跃连接用于精确重建 - - **注意力机制的需求不同**：编码器可能需要局部注意力，解码器可能需要全局注意力 - - - - -#### 实验证据：权重共享的实际效果 - -权重共享是一个有趣的理论问题。实验设计要点： - -**权重共享U-Net：** -- 解码器使用编码器权重的转置 -- 使用`F.conv_transpose2d`实现转置卷积 -- 需要仔细处理维度匹配问题 - -**独立权重U-Net（标准）：** -- 编码器和解码器完全独立 -- 参数量翻倍但表达能力更强 -- 当前所有SOTA模型的选择 - -💡 **研究方向：自适应权重共享** -能否设计一种"软"权重共享机制，在训练过程中自适应地调整共享程度？这可能结合`nn.Parameter`的灵活使用和正则化技术。 - - - 根据社区的实验和论文报告，权重共享在扩散模型中的表现： - - - - -##### 实验结果汇总 - - - - - **FID分数**：独立权重通常好2-5个点 - - **训练稳定性**：权重共享在某些配置下会导致训练不稳定 - - **参数效率**：权重共享确实减少50%参数，但性能下降不成比例 - - **泛化能力**：独立权重在out-of-distribution数据上表现更好 - - - - - -#### 特殊情况：部分权重共享 - - - -一些研究探索了折中方案： - - - - -部分权重共享是一种折中方案： - -**设计原则：** -- 高分辨率层（细节）：独立权重 -- 中间层（通用特征）：共享权重 -- 低分辨率层（语义）：独立权重 - -这种设计基于不同层次特征的语义差异。中间层学习的特征较为通用，适合共享；而浅层和深层的任务差异较大。 - -🔬 **研究线索：层级特定的归纳偏置** -不同深度的层是否需要不同的架构设计？如何根据层的语义级别自适应调整架构？这涉及到神经架构搜索（NAS）在扩散模型中的应用。 - - - 这种设计的直觉是：中间层学习的是较为通用的特征变换，可以共享；而浅层和深层由于任务差异较大，应该独立。 - - - -#### 现代实践：为什么主流模型都不用权重共享？ - - - -> **定义** -> 主流扩散模型的选择 - - - - - **DDPM (2020)**：独立权重 - - **IDDPM (2021)**：独立权重 + 更深的架构 - - **ADM (2021)**：独立权重 + 自适应归一化 - - **Stable Diffusion (2022)**：独立权重 + 交叉注意力 - - **DiT (2022)**：不适用（Transformer架构） - - - - - -**结论**：尽管权重共享在理论上很优雅，在扩散模型的实践中，独立权重已经成为事实标准。主要原因是： - - - - - 扩散模型的计算瓶颈不在参数量，而在推理步数 - - 编码器和解码器的任务确实存在本质差异 - - 现代GPU的内存已经足够大，参数效率不再是首要考虑 - - 性能提升（2-5个FID点）对于竞争激烈的生成模型领域很重要 - - - - - -思考练习：设计实验验证权重共享的效果 - -设计一个实验来验证权重共享对扩散模型性能的影响。考虑以下因素： - - - - - 如何确保公平比较（相同的总参数量 vs 相同的架构）？ - - 应该在哪些指标上评估（FID、IS、LPIPS、推理时间）？ - - 如何测试不同噪声水平下的表现差异？ - -**实验设计建议：** - +Transformer架构由Vaswani等人在2017年的论文《Attention Is All You Need》中为自然语言处理提出。2020年，Dosovitskiy等人的ViT论文证明了纯Transformer架构在图像分类上可以达到甚至超越顶尖的CNN，开启了Transformer在计算机视觉领域的革命。 +ViT的核心思想极其简洁： +1. 将输入图像分割成固定大小的patches（例如16×16像素）。 +2. 将每个patch线性投影（embedding）为一个向量（token）。 +3. 将这些tokens序列以及一个可学习的`[CLS]` token输入到标准的Transformer编码器中。 +4. 使用Transformer输出的`[CLS]` token进行分类。 - - **公平比较**： +这种设计的优雅之处在于它为视觉问题引入了新的归纳偏置：**世界是由可组合的“部件”构成的**。 +### 2.3.2 扩散Transformer (DiT) - 方案A：固定总参数量，权重共享版本可以更深 - - 方案B：固定架构深度，接受参数量差异 - - 推荐方案A，因为实际应用中参数效率很重要 +2022年，Peebles和Xie在论文《Scalable Diffusion Models with Transformers》中提出了DiT，成功将ViT架构应用于扩散模型。DiT对ViT进行了关键改造以适应去噪任务： +1. **输入处理**：输入不再是清晰图像，而是带噪声的图像patches。 +2. **无`[CLS]` Token**：生成任务需要对每个patch进行预测，因此去除了分类任务专用的`[CLS]` token。 +3. **条件注入**：时间步`t`和类别标签`c`的嵌入向量被视为额外的条件tokens，通过自适应LayerNorm（AdaLN）或交叉注意力（cross-attention）注入到模型中。 +4. **输出处理**：Transformer的输出tokens被重新排列，并通过一个线性解码器预测每个patch对应的噪声。 +DiT的成功，特别是其卓越的可扩展性（scaling law），使其迅速成为SOTA文生图模型（如Sora, Stable Diffusion 3）的首选架构。 - - **评估指标**： +
+练习 2.2：比较U-Net和DiT的归纳偏置与复杂度 +1. **归纳偏置**：对比CNN（U-Net的基础）和Transformer（DiT的基础）的核心归纳偏置。CNN的“局部性”和“平移等变性”与Transformer的“全局关系”和“排列不变性”分别如何影响它们作为去噪网络的性能？ +2. **计算复杂度**：对于一个分辨率为`H x W`的输入，推导U-Net和DiT的主要计算瓶颈。U-Net的复杂度与什么成正比？DiT的复杂度与什么成正比？（提示：考虑卷积操作和自注意力操作的复杂度） +3. **开放探索**：U-Net和DiT代表了两种不同的架构范式。近年来，出现了许多试图结合两者优点的混合架构（如U-ViT）。分析这种混合设计的动机，并提出一种你自己的混合块（hybrid block）设计。 +4. **研究思路**： + * 阅读ViT和DiT的原文，关注作者关于模型扩展性（scaling）的实验部分。 + * 探索卷积操作和自注意力在数学上的联系（例如，卷积可以被看作是一种特殊的、带强位置偏置的局部注意力）。 + * 研究最新的SOTA生成模型（如Sora的技术报告），分析其架构选择。 - 生成质量：FID、IS、Precision/Recall - - 去噪能力：不同t下的MSE - - 训练动态：损失曲线、梯度范数 - - 推理效率：内存使用、推理时间 +
+## 2.4 性能优化与实用技巧 +理论架构和实际部署之间往往存在巨大鸿沟。本节分享一些在实践中积累的优化技巧。 - - **噪声水平测试**： +### 2.4.1 内存优化：在GPU上塞下更大的模型 +训练扩散模型时，内存的最大消耗通常来自**激活值**，特别是U-Net中为跳跃连接而保存的各层特征图。 - 将t分为三段：[0,300]、[300,700]、[700,1000] - - 分别评估每段的去噪表现 - - 预期：高噪声段差异更大（解码器任务更难） +- **梯度检查点 (Gradient Checkpointing)**：核心思想是“用计算换内存”。通过`torch.utils.checkpoint.checkpoint`包裹模型的一部分（如一个ResBlock），在前向传播时不保存其内部的激活值，而在反向传播时重新计算它们。这可以显著降低内存占用（约30-50%），但会增加训练时间（约20-30%）。 +- **混合精度训练 (Mixed Precision)**：使用`torch.cuda.amp`（自动混合精度）可以利用现代GPU的Tensor Cores，将大部分计算从FP32转为FP16或BF16，内存减半，速度翻倍。关键是使用`GradScaler`来防止FP16梯度下溢。 +- **注意力优化**：标准自注意力的内存和计算复杂度与序列长度的平方成正比。对于高分辨率图像，这很快会成为瓶颈。FlashAttention等库通过融合内核操作，避免将巨大的注意力矩阵写入和读出GPU内存，从而实现显著的加速和内存节省。 +### 2.4.2 训练稳定性：让大模型稳定收敛 +- **初始化策略**：一个关键技巧是**将输出层的权重和偏置初始化为零**。这确保模型在训练开始时输出为零，即预测的噪声为零。这是一种“无为而治”的初始化，使得模型在学习初期不会对输入造成巨大扰动，有助于稳定训练。 -### 2.2.5 归一化技术FAQ：从BatchNorm到AdaGN的演进史 +- **数值稳定性**： + - **梯度裁剪**：通过`torch.nn.utils.clip_grad_norm_`来防止梯度爆炸，是训练大模型的标配。 + - **学习率调度**：使用预热（warmup）和余弦退火（cosine decay）的学习率调度器通常比固定学习率效果更好。 + - **AdamW优化器**：AdamW通过解耦权重衰减和梯度更新，通常比标准Adam更稳定。 +
+综合练习：为特定任务设计去噪网络 +假设你要为以下两种不同的任务设计去噪网络架构，你会如何选择和修改U-Net或DiT？请详细说明理由。 -归一化（Normalization）可能是深度学习中最令人困惑的组件之一。让我们通过FAQ的形式，追溯归一化技术的演进历程，特别是它如何影响了生成模型的发展。 - - - -> **定义** -> Q1: 为什么原始U-Net没有使用归一化？ - - -**A:** 2015年的U-Net发表时，BatchNorm刚刚被提出几个月（Ioffe & Szegedy, 2015）。原始U-Net依赖于良好的初始化和相对较浅的架构（只有4次下采样）来保持训练稳定。这在当时是常见做法，但限制了模型的深度。 - - - - -#### 归一化技术时间线 - - - - - - 年份 - 技术 - 关键创新 - 生成模型影响 - - - 2015 - BatchNorm - 标准化批次统计 - DCGAN采用，但需要大批次 - - - 2016 - LayerNorm - 标准化特征维度 - 主要用于RNN/Transformer - - - 2016 - InstanceNorm - 每个样本独立标准化 - 风格迁移的关键 - - - 2018 - GroupNorm - 组内标准化 - 成为扩散模型标准 - - - 2019 - AdaIN (StyleGAN) - 自适应实例标准化 - 革命性的风格控制 - - - 2020+ - AdaGN - 自适应组标准化 - 扩散模型时间调制 - - - - - -> **定义** -> Q2: 为什么扩散模型不用BatchNorm？ - - -**A:** BatchNorm有几个对扩散模型致命的问题： - - - - - **批次依赖**：生成质量受同批次其他样本影响，导致推理时行为不一致 - - **小批次退化**：扩散模型由于内存限制常用小批次（如4或8），BatchNorm统计不稳定 - - **时间步混淆**：不同时间步的样本混在一起计算统计量，违背了扩散过程的假设 - - - - - -#### StyleGAN的革命性发现：归一化即风格 - - - -StyleGAN (Karras et al., 2019) 带来了一个深刻洞察：**归一化操作本质上是在操纵特征的统计量，而这些统计量恰好编码了"风格"信息**。 - - - - -# StyleGAN的AdaIN实现 -class AdaIN(nn.Module): - def __init__(self, num_features): - super().__init__() - self.norm = nn.InstanceNorm2d(num_features, affine=False) - - def forward(self, x, style): - # style是从潜在码w映射而来的向量 - # 分别预测每个通道的均值和标准差调制 - style = style.view(style.size(0), 2, x.size(1), 1, 1) - gamma = style[:, 0] # 标准差调制 - beta = style[:, 1] # 均值调制 - - # 先标准化，再用style调制 - normalized = self.norm(x) - return gamma * normalized + beta - -# 扩散模型的AdaGN实现 -class AdaGN(nn.Module): - def __init__(self, num_features, num_groups=32): - super().__init__() - self.norm = nn.GroupNorm(num_groups, num_features, affine=False) - - def forward(self, x, time_emb): - # time_emb是时间步的嵌入 - # 通过MLP映射到scale和shift - scale, shift = self.time_mlp(time_emb).chunk(2, dim=1) - scale = scale.view(-1, x.size(1), 1, 1) - shift = shift.view(-1, x.size(1), 1, 1) - - normalized = self.norm(x) - return normalized * (1 + scale) + shift # 注意这里的(1 + scale) - - - -> **定义** -> Q3: 各种归一化方法的直观理解是什么？ - - - - -```python - -BatchNorm: 在批次维度求统计 → "这批图片的平均亮度是多少？" -LayerNorm: 在特征维度求统计 → "这个位置所有通道的平均激活是多少？" -InstanceNorm: 在空间维度求统计 → "这张图片的平均纹理强度是多少？" -GroupNorm: 在通道组内求统计 → "这组相关特征的平均响应是多少？" - -``` - - - - - - -#### 扩散模型中的GroupNorm：为什么是最佳选择？ - - - - -##### GroupNorm的独特优势 - - - - - **批次无关**：每个样本独立计算，推理一致 - - **参数可调**：通过调整组数在LN和IN之间平衡 - - - G=1：退化为LayerNorm（全局归一化） - - G=C：退化为InstanceNorm（逐通道归一化） - - G=8/16/32：实践中的甜点 - - - - - **语义分组**：相近的通道往往编码相似的特征，组归一化保持了这种局部性 - - - - - -> **定义** -> Q4: 为什么要用自适应归一化（AdaGN）而不是简单的条件拼接？ - - **A:** 这涉及到归一化的本质作用： - - - - - **统计调制 vs 特征叠加**： - - - 拼接：$h' = \text{Conv}([h, \text{cond}])$ - 加法式的特征组合 - - AdaGN：$h' = \gamma(t) \cdot \text{Norm}(h) + \beta(t)$ - 乘法式的统计调制 - - - - - **不同时间步需要不同的"去噪策略"**： - - - 早期（高噪声）：需要强归一化，关注全局结构 - - 后期（低噪声）：需要弱归一化，保留细节 - - AdaGN可以通过调整γ和β灵活控制归一化强度 - - - - - - - - -#### 实践建议：如何选择归一化？ - - - - -# 扩散模型的标准归一化配置 -def get_norm_layer(norm_type, num_features, num_groups=32): - if norm_type == 'batch': - # ❌ 不推荐：批次依赖 - return nn.BatchNorm2d(num_features) - elif norm_type == 'instance': - # ⚠️ 谨慎使用：可能丢失全局信息 - return nn.InstanceNorm2d(num_features) - elif norm_type == 'layer': - # ⚠️ 仅用于Transformer架构 - return nn.LayerNorm(num_features) - elif norm_type == 'group': - # ✅ 推荐：扩散模型标准选择 - return nn.GroupNorm(num_groups, num_features) - elif norm_type == 'ada_group': - # ✅✅ 强烈推荐：最灵活的选择 - return AdaGroupNorm(num_groups, num_features) - -# 组数选择指南 -def get_optimal_groups(num_channels): - """基于通道数选择最优组数""" - if num_channels - - - -> **定义** -> Q5: LayerNorm在扩散模型中完全没用吗？ - - **A:** 不是的！LayerNorm在Transformer架构（如DiT）中是标准配置。关键区别在于： - - - - - **CNN架构**：空间维度重要 → GroupNorm - - **Transformer架构**：token维度重要 → LayerNorm - - - -DiT使用的是自适应LayerNorm（AdaLN），原理与AdaGN相似，只是作用维度不同。 - - - - -#### 未来趋势：无归一化网络？ - - - -最新的研究（如NFNet）展示了通过精心的初始化和激活函数设计，可以训练无归一化的深度网络。但在扩散模型中，归一化不仅是为了训练稳定性，更是条件信息注入的重要机制，因此短期内仍将是必需组件。 - - - -### 2.2.6 实现细节：魔鬼在细节中 - - - -许多看似微小的实现细节对模型性能有巨大影响。以下是一些容易被忽视但很重要的点： - - - -> **定义** -> 实践经验：U-Net实现的"坑" - - - - - **上采样方式**：最近邻插值 + 卷积 比 转置卷积 更稳定，避免棋盘效应 - - **初始化策略**：零初始化最后一层卷积，使网络初始输出接近零（恒等映射） - - **通道数设计**：通常遵循 [C, 2C, 4C, 8C] 的倍增规律，但不要超过512-1024 - - **注意力头数**：通道数除以64作为头数是个不错的经验值 - - **跳跃连接处理**：拼接（concat）比相加（add）更常用，保留更多信息 - - - - - - -练习 2.1：构建简化的U-Net - -[待完成：实现一个最小化的U-Net结构] - -[待完成：答案代码和解释] - - - - - -## 2.3 从NLP到CV：Vision Transformer的跨界之旅 - - - -### 2.3.1 Transformer的计算机视觉革命 - - - -Transformer架构原本是2017年为自然语言处理设计的（"Attention is All You Need"），但2020年Google的ViT论文证明了纯Transformer架构在图像分类上可以达到甚至超越CNN的性能。这个突破性发现开启了Transformer在计算机视觉领域的广泛应用。 - - - -> **定义** -> ViT发展时间线 - - - - - **2017年**：Transformer提出，革新NLP领域 - - **2020年10月**：ViT论文发表，首次将纯Transformer应用于图像分类 - - **2021年**：Swin Transformer、DeiT等变体涌现，Transformer开始统治CV任务 - - **2022年**：Peebles和Xie提出DiT，将Transformer引入扩散模型 - - **2023年**：DiT成为大规模文生图模型的主流选择（如Stable Diffusion 3） - - - - - -ViT的核心思想极其简洁：将图像分割成固定大小的patches（例如16×16），将每个patch线性投影为向量，然后像处理NLP中的词序列一样处理这些patch序列。这种设计的优雅之处在于： - - - - - - **统一的架构**：图像和文本可以用相同的Transformer处理，促进多模态理解 - - **全局感受野**：自注意力机制让每个patch都能"看到"整张图像，不像CNN需要堆叠才能扩大感受野 - - **可扩展性**：Transformer的性能随模型规模增长呈现出色的scaling law - - **灵活的序列建模**：容易处理不同分辨率的图像，只需调整patch数量 - - - - -### 2.3.2 为什么Transformer适合扩散模型？ - - - -扩散模型采用Transformer并非偶然。DiT的作者发现，当扩散模型需要处理复杂的全局依赖关系时，Transformer的优势尤为明显： - - - - - 去噪任务的本质：理解图像的全局结构 + 恢复局部细节 - - - - -这恰好是Transformer的强项： - - - - - **长程依赖建模**：自注意力机制天然擅长捕获远距离像素间的关系 - - **并行计算**：相比U-Net的顺序计算，Transformer可以并行处理所有patches - - **条件信息融合**：通过cross-attention或AdaLN，轻松注入时间步、类别等条件信息 - - **训练稳定性**：LayerNorm和残差连接使深层Transformer训练更稳定 - - - - -### 2.3.3 实现用于扩散的ViT - - -[待完成：PyTorch实现，包括patch embedding、transformer blocks] - - - - -练习 2.2：比较U-Net和ViT的计算复杂度 - -[待完成：分析两种架构的参数量和计算量] - -[待完成：详细的复杂度分析] - - - - - -## 2.4 架构改造：从原始设计到扩散模型适配 - - - -将U-Net和ViT应用于扩散模型并非简单的"拿来主义"。研究者们对这些架构进行了巧妙的改造，使其能够处理扩散模型特有的需求。 - - - -### 2.4.1 关键改造：时间信息的注入 - - - -扩散模型最独特的需求是：网络必须知道当前处于哪个时间步 $t$，因为不同时间步的去噪策略完全不同。原始的U-Net和ViT都没有考虑这一点。主要的改造方案包括： - - - -> **定义** -> 时间嵌入技术 - - - - - **正弦位置编码**：借鉴Transformer的位置编码，将时间步 $t$ 编码为高维向量 - - - $\text{PE}(t, 2i) = \sin(t/10000^{2i/d})$, $\text{PE}(t, 2i+1) = \cos(t/10000^{2i/d})$ - - - - - **可学习嵌入**：通过MLP将时间步映射到高维空间，更加灵活 - - **自适应归一化（AdaGN）**：用时间嵌入调制归一化层的scale和shift参数 - - **注意力机制**：将时间嵌入作为额外的token加入序列 - - - - - -### 2.4.2 从分类到生成：架构哲学的转变 - - - -原始U-Net和ViT都是为判别任务（分割、分类）设计的，而扩散模型是生成任务。这带来了设计哲学的根本转变： - - - - - 方面 - 判别任务（原始设计） - 生成任务（扩散模型） - - - 输出要求 - 语义准确性 - 像素级精确度 - - - 特征重要性 - 高层语义特征 - 所有层次特征同等重要 - - - 归一化策略 - BatchNorm（依赖批统计） - GroupNorm（独立于批大小） - - - 注意力使用 - 主要在高层 - 多个分辨率都需要 - - - - -## 2.5 架构演进对比：一图看懂发展脉络 - - - - - - U-Net 演进路线 - - - - **原始U-Net (2015)** - - • 用途：医学图像分割 - - • 特点：编码器-解码器 + 跳跃连接 - - • 归一化：BatchNorm - - • 注意力：无 - - - **Diffusion U-Net (2020+)** - - • 用途：扩散模型去噪 - - • 新增：时间嵌入 (AdaGN) - - • 归一化：GroupNorm - - • 注意力：多尺度自注意力 - - - - Transformer 演进路线 - - - - **ViT (2020)** - - • 用途：图像分类 - - • 特点：Patch嵌入 + 位置编码 - - • 输出：分类logits - - • 条件：无 - - - **DiT (2022)** - - • 用途：扩散模型去噪 - - • 新增：时间/类别条件 (AdaLN) - - • 输出：噪声预测/速度预测 - - • 条件：灵活的条件机制 - - - - - - - -思考题：架构选择 - -假设你要为以下任务选择去噪网络架构，你会选择U-Net还是Transformer？说明理由： - - - - - 生成32×32的低分辨率图标 - - 生成1024×1024的高分辨率人脸 - - 生成需要强全局一致性的建筑设计图 - - 在计算资源受限的边缘设备上部署 - -**参考答案：** - - - - - **32×32图标**：U-Net。低分辨率下卷积的归纳偏置更有效，计算开销小。 - - **1024×1024人脸**：两者皆可。U-Net内存效率更高，但DiT在超大模型下质量可能更好。 - - **建筑设计图**：Transformer。需要强全局一致性，自注意力机制优势明显。 - - **边缘设备**：U-Net。参数量更少，计算效率更高，更适合部署。 - - - -实际选择还需考虑：训练数据量、具体质量要求、推理延迟限制等因素。 - - - - - - - - -`# 待完成：完整的U-Net代码实现 -import torch -import torch.nn as nn - -class UNet(nn.Module): - def __init__(self): - super().__init__() - # TODO: 实现完整的U-Net - pass` - - - - -## 2.6 性能优化与实用技巧 - - - 理论架构和实际部署之间往往存在巨大鸿沟。本节分享一些在实践中积累的优化技巧，这些技巧往往决定了模型能否真正落地。 - - - -### 2.6.1 内存优化：在GPU上塞下更大的模型 - - - -> **定义** -> 内存瓶颈分析 - - -训练扩散模型时，内存主要消耗在： - - - - - **激活值**：U-Net的跳跃连接需要保存所有中间特征（占用最大） - - **梯度**：反向传播需要的梯度存储 - - **优化器状态**：Adam需要存储一阶和二阶动量 - - **模型参数**：相对较小，但FP32下也不容忽视 - - - - - -#### 技巧1：梯度检查点（Gradient Checkpointing） - - -核心思想：用计算换内存。不保存中间激活值，反向传播时重新计算。 - - - - -import torch.utils.checkpoint as checkpoint - -class CheckpointedResBlock(nn.Module): - def forward(self, x, time_emb): - # 使用checkpoint包装计算密集但内存友好的部分 - def _forward(x): - h = self.norm1(x) - h = self.act(h) - h = self.conv1(h) - # ... 更多计算 - return h - - # 只在训练时使用checkpoint - if self.training: - return checkpoint.checkpoint(_forward, x) - else: - return _forward(x) - - - **经验法则**：在U-Net的每个分辨率级别使用1-2个checkpoint，可减少约40%内存，训练时间增加约20%。 - - - -#### 技巧2：混合精度训练（Mixed Precision） - - -使用FP16计算，FP32累积，充分利用现代GPU的Tensor Core： - - - - -from torch.cuda.amp import autocast, GradScaler - -scaler = GradScaler() - -for batch in dataloader: - optimizer.zero_grad() - - with autocast(): # 自动将合适的操作转为FP16 - noise_pred = model(noisy_images, timesteps) - loss = F.mse_loss(noise_pred, noise) - - # 梯度缩放，防止FP16下溢 - scaler.scale(loss).backward() - scaler.step(optimizer) - scaler.update() - - - **注意事项**： - - - - - LayerNorm和注意力机制的softmax保持FP32精度 - - 损失缩放（loss scaling）对稳定性至关重要 - - 某些操作（如上采样）可能需要显式转回FP32 - - - - -#### 技巧3：注意力优化 - - -自注意力是内存消耗大户，特别是在高分辨率特征图上： - - - - - 标准注意力内存复杂度：$O(N^2 \cdot d)$，其中$N = H \times W$ - - - - -优化方案： - - - - - **Flash Attention**：融合计算，减少内存读写 - - **分块注意力**：将特征图分块，只在块内计算注意力 - - **线性注意力近似**：用Performer或Linformer降低复杂度 - - - - -### 2.6.2 训练稳定性：让10亿参数模型稳定收敛 - - - -#### 初始化的艺术 - - - -> **定义** -> 扩散模型特殊的初始化需求 - - -目标：让模型初始预测接近零均值高斯噪声，实现"恒等映射" - - - - - **最后一层零初始化**： - -nn.init.zeros_(self.final_conv.weight) -nn.init.zeros_(self.final_conv.bias) - - - **残差分支缩放**： - -```python -self.residual_scale = nn.Parameter(torch.zeros(1)) -output = x + self.residual_scale * residual -``` - - - - **注意力输出零初始化**：初始时注意力不起作用 - - - - - -#### 数值稳定性技巧 - - - - - 问题 - 解决方案 - - - FP16训练NaN - - • 使用FP32 LayerNorm - - • 梯度裁剪：`torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0)` - - • 调整损失缩放因子 - - - - 注意力爆炸 - - • 缩放点积注意力（必须！） - - • 注意力dropout - - • QK归一化：`q = F.normalize(q, dim=-1)` - - - - 训练后期不稳定 - - • EMA权重平均 - - • 学习率预热和余弦退火 - - • AdamW权重衰减（通常0.01） - - - - - -#### 调试技巧：如何定位问题 - - - -> **定义** -> 扩散模型调试检查清单 - - - - - **单步测试**：固定 $t=500$，检查模型是否能学会去噪中等噪声 - - **可视化中间激活**： - -```python -# 在forward中加入 -if hasattr(self, 'debug_mode') and self.debug_mode: - self.activations[f'layer_{i}'] = h.detach() -``` - - - - **监控关键指标**： - - - 各层激活值的均值和方差 - - 梯度范数（应该随深度递减） - - 注意力权重分布（不应过度集中） - - - - - **噪声调度验证**：确认 $t=T$ 时 $x_T \approx \mathcal{N}(0,I)$ - - - - - -### 2.6.3 架构搜索：如何选择超参数 - - - 没有一种架构适合所有任务。以下是一些经过验证的经验规则： - - - - -#### U-Net超参数选择指南 - - - - 图像分辨率 - 基础通道数 - 下采样次数 - 注意力分辨率 - - - 32×32 - 128 - 2 - 16×16 - - - 64×64 - 128-256 - 3 - 16×16, 32×32 - - - 256×256 - 256-320 - 4-5 - 16×16, 32×32 - - - 512×512+ - 320-512 - 5-6 - 考虑使用DiT - - - - - -**最后的建议**：从小模型开始，逐步扩大。过早使用大模型只会让调试变得困难。记住，Stable Diffusion的成功很大程度上归功于其在64×64潜在空间而非512×512像素空间上操作的设计决策。 - - - - -综合练习：设计适合特定数据的去噪网络 - -[待完成：给定数据特性，选择和修改网络架构] - -[待完成：设计思路和实现] - - +**任务A：移动端实时人像风格化** +- **约束**：模型大小 < 50MB，在手机GPU上推理延迟 < 100ms。 +- **数据**：512x512的人像图片。 +**任务B：生成具有复杂物理规律的科学模拟数据（如流体动力学）** +- **约束**：追求最高的物理保真度，计算资源几乎无限。 +- **数据**：256x256x256的3D体数据，需要尊重物理守恒定律。 +**设计分析与研究方向：** +1. **架构选择**：为每个任务选择基础架构（U-Net, DiT, 或混合架构），并论证你的选择。 +2. **关键修改**：针对每个任务的约束和数据特性，你会对所选架构进行哪些关键修改？（例如，对于任务A，如何修改通道数、深度、注意力机制？对于任务B，如何处理3D数据、如何引入物理约束？） +3. **理论空白**：在任务B中，如何设计一个能内建物理不变量（如散度为零）的神经网络架构？这被称为物理信息神经网络（PINN）与生成模型的交叉领域，是一个活跃的研究方向。 +4. **研究思路**： + * 查阅有关模型量化、剪枝和知识蒸馏的文献，以满足任务A的部署要求。 + * 研究傅里叶神经算子（Fourier Neural Operator）等将物理方程求解器与神经网络结合的工作，以获取任务B的灵感。 + * 探索等变神经网络（Equivariant Neural Networks），它们被设计用来尊重数据的内在对称性（如旋转不变性）。 +
## 本章小结 +本章我们追溯了扩散模型中两种主流架构的历史渊源，并深入分析了它们的设计细节和演进过程。 -本章我们追溯了扩散模型中两种主流架构的历史渊源： - - - - - **U-Net**：从2015年的医学图像分割任务，到2020年成为DDPM的核心架构 - - **Vision Transformer**：从2017年的NLP革命，经2020年的CV突破，到2022年DiT的提出 - - - - -这两种架构能够成功应用于扩散模型并非偶然： - - - - - U-Net的编码器-解码器结构天然适合"加噪-去噪"的对称过程 - - ViT的全局注意力机制正好满足扩散模型对长程依赖建模的需求 - - 两种架构都经过改造：加入时间嵌入、调整归一化策略、优化注意力机制 - - - - -扩散模型的成功启示我们：创新并不总是需要"从零开始"，善于发现和利用已有技术的潜力，通过巧妙的改造和组合，往往能产生意想不到的突破。 +- **U-Net**：从2015年的医学图像分割任务，到2020年成为DDPM的核心架构，其多尺度特征融合能力是成功的关键。 +- **Vision Transformer (DiT)**：从2017年的NLP革命，经2020年的CV突破，到2022年成为可扩展扩散模型的主流选择，其全局关系建模能力和卓越的扩展性是其优势所在。 +这两种架构能够成功应用于扩散模型并非偶然，而是经过了精心的改造和适配： +- **共同的改造**：都引入了时间嵌入作为关键的条件信息，并发展出如AdaGN/AdaLN等高效的注入机制。 +- **不同的演进**：U-Net在卷积、采样和归一化等模块上不断优化；DiT则专注于如何将Transformer范式更好地应用于像素级的生成任务。 +扩散模型的架构演进史启示我们：创新并不总是需要“从零开始”。善于发现和利用已有技术的潜力，通过巧妙的改造和组合，往往能产生意想不到的突破。 -下一章，我们将深入DDPM的数学原理，看看这些架构是如何在具体的扩散模型训练中发挥作用的。 \ No newline at end of file +下一章，我们将深入DDPM的数学原理，看看这些强大的架构是如何在一个清晰的概率框架下进行训练和优化的。 diff --git a/chapter3.md b/chapter3.md index baaee5a..ace6241 100644 --- a/chapter3.md +++ b/chapter3.md @@ -1,3426 +1,169 @@ -[← 上一章](chapter2.md) - 第3章 / 共14章 - [下一章 →](chapter4.md) - - +[← 上一章](chapter2.md) | 第3章 / 共14章 | [下一章 →](chapter4.md) # 第3章：去噪扩散概率模型 (DDPM) - - - 2020年，Ho等人的论文"Denoising Diffusion Probabilistic Models"让扩散模型真正进入了实用阶段。DDPM不仅简化了训练过程，还达到了与GAN相媲美的生成质量。本章将深入剖析DDPM的数学原理、训练算法和实现细节。通过本章学习，你将掌握如何从零实现一个完整的DDPM，并理解其背后的概率论基础。 - - +2020年，Ho等人的论文《Denoising Diffusion Probabilistic Models》是扩散模型发展史上的一个分水岭，它不仅极大地简化了模型的训练过程，更是在多个图像生成基准上达到了与GAN相媲美的生成质量。本章将深入剖析DDPM的数学原理、训练算法和实现细节。通过本章学习，你将掌握DDPM的核心思想，并理解其背后的概率论基础是如何被巧妙地简化为一个优雅的去噪目标的。 ## 3.1 DDPM的核心思想：简化与统一 +在DDPM之前，扩散模型虽然理论优雅，但实践起来却充满挑战。DDPM的革命性贡献在于：**将复杂的变分推断问题简化为了一个简单直观的去噪任务**。 +> **定义：DDPM的三个关键简化** +> 1. **固定前向过程**：前向加噪过程使用一个预先设定的、固定的方差调度 `β_t`，无需学习。 +> 2. **简化反向过程**：假设反向去噪过程也是高斯分布，且其方差也是固定的。因此，模型只需要学习高斯分布的均值。 +> 3. **重参数化目标**：将学习“去噪后的图像均值”这一困难任务，巧妙地转换为学习“添加到图像中的噪声”，极大地稳定了训练过程。 -在DDPM之前，扩散模型虽然理论优雅，但实践困难。2015年Sohl-Dickstein等人的开创性工作需要估计整个反向过程的熵，训练极其复杂。DDPM的革命性贡献在于：**将复杂的变分推断简化为简单的去噪任务**。 - - - -> **定义** -> DDPM的三个关键简化 - - - - - **固定方差调度**：前向过程使用预定义的 $\beta_t$ 序列，无需学习 - - **简化反向过程**：假设反向过程也是高斯分布，只需学习均值（实际上是学习噪声） - - **重参数化目标**：将预测均值转换为预测噪声，大幅提升训练稳定性 - - - - - -### 3.1.1 从复杂到简单：DDPM的洞察 - - - -让我们通过一个类比来理解DDPM的核心思想： - - - - -#### 墨水扩散的类比 - - -想象一滴墨水在水中扩散： - - - - - **前向过程**：墨水逐渐扩散，最终均匀分布（物理过程，确定的） - - **反向过程**：如何让扩散的墨水重新聚集？（需要学习的） - - - -DDPM的关键洞察：**在每个时间步，我们只需要知道"墨水应该向哪个方向聚集"**，而这个方向恰好与添加的噪声方向相反！ - - - - -### 3.1.2 数学框架概览 - - - -DDPM定义了两个过程： - - - - - **前向过程（固定）**： - - $q(\mathbf{x}_t | \mathbf{x}_{t-1}) = \mathcal{N}(\mathbf{x}_t; \sqrt{1-\beta_t}\mathbf{x}_{t-1}, \beta_t\mathbf{I})$ - - - **反向过程（学习）**： - - $p_\theta(\mathbf{x}_{t-1} | \mathbf{x}_t) = \mathcal{N}(\mathbf{x}_{t-1}; \boldsymbol{\mu}_\theta(\mathbf{x}_t, t), \sigma_t^2\mathbf{I})$ - - - - -关键创新在于如何参数化 $\boldsymbol{\mu}_\theta$： - - - - -# 早期方法：直接预测均值（不稳定） -mean = model(x_t, t) - -# DDPM创新：预测噪声（稳定且有效） -noise_pred = model(x_t, t) -mean = (x_t - beta_t / sqrt(1 - alpha_bar_t) * noise_pred) / sqrt(alpha_t) - - - -### 3.1.3 为什么预测噪声更好？ - - - 这个看似简单的改变带来了巨大的好处： - - - -> **定义** -> 预测噪声的优势 - - - - 方面 - 预测均值 - 预测噪声 - - - 输出范围 - 需要匹配数据分布 - 标准高斯（已归一化） - - - 训练信号 - 随t变化剧烈 - 各时间步相对一致 - - - 梯度流 - 可能梯度消失 - 梯度传播良好 - - - 物理意义 - 预测去噪后的图像 - 预测添加的噪声 - - - - - -### 3.1.4 DDPM vs 早期扩散模型 - - - -让我们对比DDPM与2015年的原始扩散模型： - - - - -# 2015年的扩散模型（复杂） -# 需要估计： -# 1. 前向过程的熵 -# 2. 反向过程的完整分布 -# 3. 变分参数的优化 -# 训练极其不稳定，生成质量差 - -# DDPM（2020年）的训练（极简） -for x_0, _ in dataloader: - t = torch.randint(0, num_timesteps, (batch_size,)) - noise = torch.randn_like(x_0) - x_t = sqrt_alpha_bar[t] * x_0 + sqrt_one_minus_alpha_bar[t] * noise - - noise_pred = model(x_t, t) - loss = F.mse_loss(noise_pred, noise) - loss.backward() - - - 这种简化不是以牺牲性能为代价的——相反，DDPM首次让扩散模型在生成质量上与GAN竞争，同时保持了训练的稳定性。 - - - - -思考题 3.1：直觉理解 - -为什么在高噪声情况下（大的t），预测噪声比预测原始图像更容易？提示：考虑信噪比。 - -**答案：** - - -当t很大时，$\mathbf{x}_t \approx \mathcal{N}(0, \mathbf{I})$，几乎是纯噪声。此时： - - - - - 原始图像 $\mathbf{x}_0$ 的信息几乎完全丢失，预测它需要"凭空想象" - - 但添加的噪声 $\boldsymbol{\epsilon}$ 是已知的，且占主导地位 - - 网络只需要识别噪声模式，而不是重建复杂的图像结构 - - - -类比：在雪花噪声的电视屏幕上，识别噪声模式比重建原始节目容易得多。 - - - - - -## 3.2 前向过程：数学推导与性质 - - - -前向过程是扩散模型的基础，它定义了如何将数据逐步转换为噪声。虽然这个过程在训练和推理时都不需要实际执行完整的马尔可夫链，但理解其数学性质对掌握DDPM至关重要。 - - - -### 3.2.1 马尔可夫链的构建 - - - -前向过程定义为一个马尔可夫链： - - - - - $$\mathbf{x}_0 \to \mathbf{x}_1 \to \mathbf{x}_2 \to \cdots \to \mathbf{x}_T$$ - - - - -其中每一步的转移概率为： - - - - - $$q(\mathbf{x}_t|\mathbf{x}_{t-1}) = \mathcal{N}(\mathbf{x}_t; \sqrt{1-\beta_t}\mathbf{x}_{t-1}, \beta_t\mathbf{I})$$ - - - - -> **定义** -> 关键性质1：方差调度的约束 - - -为什么是 $\sqrt{1-\beta_t}$ 而不是其他系数？这是为了保持信号的期望能量： - - - - $$\mathbb{E}[\|\mathbf{x}_t\|^2 | \mathbf{x}_{t-1}] = (1-\beta_t)\|\mathbf{x}_{t-1}\|^2 + \beta_t \cdot d$$ +### 3.1.1 为什么预测噪声更好？ +这个看似简单的改变是DDPM成功的关键。预测原始图像 `x_0` 意味着网络需要输出一个具有复杂结构和特定分布的物体，而预测噪声 `ε` 意味着网络只需要输出一个来自标准正态分布的样本。 +> **定义：预测噪声的优势** +> | 方面 | 预测均值 `μ_θ` | 预测噪声 `ε_θ` | +> | :--- | :--- | :--- | +> | **输出范围** | 需要匹配数据的复杂分布 | 目标是标准高斯分布（已归一化） | +> | **训练信号** | 随时间步 `t` 变化剧烈 | 各时间步的训练目标相对一致 | +> | **梯度流** | 在高噪声时可能梯度消失 | 梯度传播更稳定 | +> | **物理意义** | 预测去噪后的图像 | 预测被添加的噪声 | -其中 $d$ 是数据维度。当 $\beta_t$ 很小时，信号能量近似保持不变。 +🔬 **研究线索**：DDPM预测噪声 `ε`，而一些后续工作（如Cold Diffusion）则探索直接预测 `x_0`。这两种参数化方式的优劣在不同场景下仍有争议。例如，在处理视频时，预测帧间差（类似于噪声）可能比预测完整帧更有效。 +### 3.1.2 DDPM训练算法概览 +得益于上述简化，DDPM的训练过程变得异常简洁。 +**DDPM训练伪代码** +1. 从数据集中随机抽取一批原始图像 `x_0`。 +2. 为该批次中的每个图像随机选择一个时间步 `t` (从1到T)。 +3. 从标准正态分布中采样一个噪声 `ε`。 +4. 使用闭式解计算 `t` 时刻的噪声图像 `x_t`：`x_t = sqrt(ᾱ_t) * x_0 + sqrt(1 - ᾱ_t) * ε`。 +5. 将 `x_t` 和 `t` 输入到神经网络 `ε_θ` 中，得到预测的噪声 `ε_pred`。 +6. 计算损失：`loss = MSE(ε, ε_pred)`。 +7. 使用梯度下降更新模型参数 `θ`。 -让我们验证这个性质： +这种端到端的去噪训练方式，是DDPM易于实现和训练稳定的核心原因。 +## 3.2 前向过程：从数据到噪声 +前向过程定义了一个固定的马尔可夫链，它逐步将数据分布 `q(x_0)` 转换为一个已知的先验分布（通常是标准正态分布 `N(0, I)`）。 +$$q(\mathbf{x}_t|\mathbf{x}_{t-1}) = \mathcal{N}(\mathbf{x}_t; \sqrt{1-\beta_t}\mathbf{x}_{t-1}, \beta_t\mathbf{I})$$ -import torch -import matplotlib.pyplot as plt +### 3.2.1 重参数化技巧 -# 验证能量保持性质 -x_0 = torch.randn(1000, 3, 32, 32) # 1000个32x32的RGB图像 -beta = 0.02 # 典型的beta值 +DDPM的一个关键数学技巧是，我们可以直接从 `x_0` 采样任意时刻的 `x_t`，而无需迭代计算。 -# 一步前向过程 -noise = torch.randn_like(x_0) -x_1 = torch.sqrt(1 - beta) * x_0 + torch.sqrt(beta) * noise +> **定理：闭式采样公式** +> 定义 `α_t = 1 - β_t` 和 `ᾱ_t = Π_{s=1 to t} α_s`，则： +> $$q(\mathbf{x}_t|\mathbf{x}_0) = \mathcal{N}(\mathbf{x}_t; \sqrt{\bar{\alpha}_t}\mathbf{x}_0, (1-\bar{\alpha}_t)\mathbf{I})$$ +> 这个公式的证明基于高斯分布的可加性，是一个简单的归纳法练习。它的重要性在于，它使得我们可以在训练中随机采样任意时间步 `t` 并直接计算出 `x_t`，极大地提高了训练效率。 -print(f"原始信号能量: {x_0.pow(2).mean():.4f}") -print(f"扩散后信号能量: {x_1.pow(2).mean():.4f}") -print(f"理论预期: {(1-beta)*x_0.pow(2).mean() + beta*3*32*32:.4f}") +### 3.2.2 噪声调度 (Noise Schedule) +噪声调度 `{β_t}` 的选择对模型性能有重要影响。 +> **定义：调度策略对比** +> | 调度类型 | 特点 | 优势 | 劣势 | +> | :--- | :--- | :--- | :--- | +> | **线性 (Linear)** | `β_t` 线性增长。 | 简单直观，DDPM原始选择。 | 过程早期破坏信息过快，后期变化又太慢。 | +> | **余弦 (Cosine)** | 基于信噪比(SNR)的余弦曲线设计。 | 过程早期缓慢加噪，保留更多结构，感知质量更好。 | 理论相对复杂，末期可能收敛过慢。 | +> | **二次 (Quadratic)** | `β_t` 呈二次方增长。 | 在线性的基础上，进一步减缓早期加噪。 | 后期加噪可能过于激进。 | -### 3.2.2 重参数化技巧 +💡 **开放问题**：是否存在一个“最优”的噪声调度？理论上，最优调度应与数据的内在属性（如维度、复杂度）相关。目前，设计数据自适应的噪声调度或在训练中学习调度本身，仍然是一个活跃的研究领域。 +
+练习 3.1：设计与分析噪声调度 - DDPM的一个关键技巧是：我们可以直接从 $\mathbf{x}_0$ 采样任意时刻的 $\mathbf{x}_t$，而不需要逐步模拟整个马尔可夫链。 +1. **S形调度设计**：设计一个“S形”的噪声调度，使得加噪过程满足：a) 前期缓慢；b) 中期快速；c) 后期再次放缓。写出其数学表达式。 +2. **信噪比(SNR)分析**：对于线性和余弦调度，推导并绘制其信噪比 `SNR(t) = ᾱ_t / (1 - ᾱ_t)` 的对数曲线。从曲线形状解释为什么余弦调度通常能取得更好的生成质量。 +3. **研究思路**： + * 从信息论的角度出发，将前向过程视为一个信息通道，分析不同调度下的信道容量变化。 + * 探索噪声调度与最优传输理论（Optimal Transport）的联系。前向过程可以看作是从数据分布到噪声分布的一条路径，最优调度是否对应着某种“最短”路径？ +
+## 3.3 反向过程：从噪声到数据 -> **定义** -> 定理：闭式采样公式 - - -定义 $\alpha_t = 1 - \beta_t$ 和 $\bar{\alpha}_t = \prod_{s=1}^{t}\alpha_s$，则： - - - - $$q(\mathbf{x}_t|\mathbf{x}_0) = \mathcal{N}(\mathbf{x}_t; \sqrt{\bar{\alpha}_t}\mathbf{x}_0, (1-\bar{\alpha}_t)\mathbf{I})$$ - - - - - -**证明**（这个证明很重要，值得仔细理解）： - - - - - -我们用归纳法证明。 - - -**基础情况**（$t=1$）：显然成立，因为 $\bar{\alpha}_1 = \alpha_1 = 1 - \beta_1$。 - - - -**归纳步骤**：假设对 $t-1$ 成立，即： - - $$\mathbf{x}_{t-1} = \sqrt{\bar{\alpha}_{t-1}}\mathbf{x}_0 + \sqrt{1-\bar{\alpha}_{t-1}}\boldsymbol{\epsilon}_{t-1}$$ - - -其中 $\boldsymbol{\epsilon}_{t-1} \sim \mathcal{N}(0, \mathbf{I})$。根据前向过程定义： - - $$\mathbf{x}_t = \sqrt{\alpha_t}\mathbf{x}_{t-1} + \sqrt{1-\alpha_t}\boldsymbol{\epsilon}_t$$ - - -代入 $\mathbf{x}_{t-1}$ 的表达式： - - $$\mathbf{x}_t = \sqrt{\alpha_t}(\sqrt{\bar{\alpha}_{t-1}}\mathbf{x}_0 + \sqrt{1-\bar{\alpha}_{t-1}}\boldsymbol{\epsilon}_{t-1}) + \sqrt{1-\alpha_t}\boldsymbol{\epsilon}_t$$ - - $$= \sqrt{\alpha_t\bar{\alpha}_{t-1}}\mathbf{x}_0 + \sqrt{\alpha_t(1-\bar{\alpha}_{t-1})}\boldsymbol{\epsilon}_{t-1} + \sqrt{1-\alpha_t}\boldsymbol{\epsilon}_t$$ - - -注意到 $\alpha_t\bar{\alpha}_{t-1} = \bar{\alpha}_t$，且两个独立高斯噪声的线性组合仍是高斯噪声： - - $$\text{Var}[\sqrt{\alpha_t(1-\bar{\alpha}_{t-1})}\boldsymbol{\epsilon}_{t-1} + \sqrt{1-\alpha_t}\boldsymbol{\epsilon}_t] = \alpha_t(1-\bar{\alpha}_{t-1}) + (1-\alpha_t) = 1-\bar{\alpha}_t$$ - - -因此： - - $$\mathbf{x}_t = \sqrt{\bar{\alpha}_t}\mathbf{x}_0 + \sqrt{1-\bar{\alpha}_t}\boldsymbol{\epsilon}$$ - - -其中 $\boldsymbol{\epsilon} \sim \mathcal{N}(0, \mathbf{I})$。证毕。 - - - - - -### 3.2.3 噪声调度的设计 - - - -噪声调度 $\{\beta_t\}_{t=1}^T$ 的选择对模型性能有重要影响。DDPM原文使用线性调度，但后续研究发现其他调度可能更优。 - - - - -import numpy as np -import matplotlib.pyplot as plt - -def linear_beta_schedule(timesteps, beta_start=0.0001, beta_end=0.02): - """DDPM原始的线性调度""" - return np.linspace(beta_start, beta_end, timesteps) - -def cosine_beta_schedule(timesteps, s=0.008): - """Improved DDPM的余弦调度""" - steps = timesteps + 1 - t = np.linspace(0, timesteps, steps) - alphas_cumprod = np.cos(((t / timesteps) + s) / (1 + s) * np.pi * 0.5) ** 2 - alphas_cumprod = alphas_cumprod / alphas_cumprod[0] - betas = 1 - (alphas_cumprod[1:] / alphas_cumprod[:-1]) - return np.clip(betas, 0.0001, 0.9999) - -def quadratic_beta_schedule(timesteps, beta_start=0.0001, beta_end=0.02): - """二次调度（较少使用）""" - t = np.linspace(0, 1, timesteps) - return beta_start + (beta_end - beta_start) * t ** 2 - -# 可视化不同调度 -timesteps = 1000 -linear_betas = linear_beta_schedule(timesteps) -cosine_betas = cosine_beta_schedule(timesteps) -quadratic_betas = quadratic_beta_schedule(timesteps) - -# 计算信噪比（更直观的指标） -# 比较不同噪声调度 -linear_betas = linear_beta_schedule(1000) -cosine_betas = cosine_beta_schedule(1000) -quadratic_betas = quadratic_beta_schedule(1000) - -# 计算信噪比 -def compute_snr(betas): - alphas = 1 - betas - alphas_cumprod = np.cumprod(alphas) - return alphas_cumprod / (1 - alphas_cumprod) - -# 展示不同调度下的关键统计数据 -alphas_cumprod_linear = np.cumprod(1 - linear_betas) -alphas_cumprod_cosine = np.cumprod(1 - cosine_betas) - -t_vis = [0, 250, 500, 750, 999] -print("Signal preservation (√ᾱ_t) at key timesteps:") -print("Timestep | Linear | Cosine") -for t in t_vis: - print(f"{t:8d} | {np.sqrt(alphas_cumprod_linear[t]):.4f} | {np.sqrt(alphas_cumprod_cosine[t]):.4f}") - -print("\nSNR at key timesteps:") -snr_linear = compute_snr(linear_betas) -snr_cosine = compute_snr(cosine_betas) -for t in t_vis: - print(f"{t:8d} | {snr_linear[t]:.4f} | {snr_cosine[t]:.4f}") - - - -> **定义** -> 调度策略对比 - - - - 调度类型 - 特点 - 优势 - 劣势 - - - 线性 (Linear) - β线性增长 - 简单直观 - 前期破坏过快 - - - 余弦 (Cosine) - 基于SNR设计 - 更好的感知质量 - 末期可能过慢 - - - 二次 (Quadratic) - β二次增长 - 前期保留更多信息 - 后期可能太激进 - - - - - - -练习 3.2：实现自定义噪声调度 - 设计一个"S形"噪声调度，使得： - - - - - 前期（t 800）：再次放缓，确保收敛到纯噪声 - - - -实现这个调度并与标准调度对比SNR曲线。 - -def sigmoid_beta_schedule(timesteps, beta_start=0.0001, beta_end=0.02): - """S形噪声调度""" - t = np.linspace(-6, 6, timesteps) - sigmoid = 1 / (1 + np.exp(-t)) - betas = beta_start + (beta_end - beta_start) * sigmoid - return betas - -# 也可以分段设计 -def piecewise_beta_schedule(timesteps, beta_start=0.0001, beta_end=0.02): - """分段噪声调度""" - betas = np.zeros(timesteps) - - # 前期：缓慢增长 - t1 = int(0.2 * timesteps) - betas[:t1] = np.linspace(beta_start, beta_start * 5, t1) - - # 中期：快速增长 - t2 = int(0.8 * timesteps) - betas[t1:t2] = np.linspace(beta_start * 5, beta_end * 0.8, t2 - t1) - - # 后期：缓慢增长到beta_end - betas[t2:] = np.linspace(beta_end * 0.8, beta_end, timesteps - t2) - - return betas - **关键洞察**：好的噪声调度应该在保留足够信息和充分探索噪声空间之间取得平衡。余弦调度之所以优于线性调度，正是因为它更好地平衡了这两个需求。 - - - - - -## 3.3 反向过程：从噪声到图像 - - - -反向过程是扩散模型的核心——如何从纯噪声逐步恢复出清晰的数据。DDPM的关键贡献之一是推导出了在已知 $\mathbf{x}_0$ 时的反向条件分布的闭式解。 - - +反向过程是扩散模型的核心——学习如何从纯噪声 `x_T` 逐步恢复出清晰的数据 `x_0`。 ### 3.3.1 反向条件概率的推导 +这是DDPM论文中最重要的数学推导之一。通过贝叶斯定理，可以证明在已知 `x_0` 的条件下，反向的条件概率 `q(x_{t-1}|x_t, x_0)` 也是一个高斯分布。 +> **定理：反向过程的后验分布** +> $$q(\mathbf{x}_{t-1}|\mathbf{x}_t, \mathbf{x}_0) = \mathcal{N}(\mathbf{x}_{t-1}; \tilde{\boldsymbol{\mu}}_t(\mathbf{x}_t, \mathbf{x}_0), \tilde{\beta}_t\mathbf{I})$$ +> 其中均值 `μ̃_t` 是 `x_t` 和 `x_0` 的线性组合，方差 `β̃_t` 只与预设的 `β_t` 相关。 -这是DDPM中最重要的数学推导之一。我们想要计算 $q(\mathbf{x}_{t-1}|\mathbf{x}_t, \mathbf{x}_0)$。 - - - -> **定义** -> 定理：反向过程的后验分布 - - -给定 $\mathbf{x}_t$ 和 $\mathbf{x}_0$，反向过程的后验分布为： - - - - $$q(\mathbf{x}_{t-1}|\mathbf{x}_t, \mathbf{x}_0) = \mathcal{N}(\mathbf{x}_{t-1}; \tilde{\boldsymbol{\mu}}_t(\mathbf{x}_t, \mathbf{x}_0), \tilde{\beta}_t\mathbf{I})$$ - +这个定理的**关键洞察**在于：如果我们能以某种方式从 `x_t` 中估计出 `x_0`，我们就能近似真实的反向过程。这正是神经网络需要做的事情。 +利用 `x_0 = (x_t - sqrt(1 - ᾱ_t) * ε) / sqrt(ᾱ_t)` 的关系，我们可以将后验均值 `μ̃_t` 完全用 `x_t` 和噪声 `ε` 来表达： +$$\tilde{\boldsymbol{\mu}}_t(\mathbf{x}_t, \boldsymbol{\epsilon}) = \frac{1}{\sqrt{\alpha_t}}\left(\mathbf{x}_t - \frac{\beta_t}{\sqrt{1-\bar{\alpha}_t}}\boldsymbol{\epsilon}\right)$$ +这个表达式优雅地揭示了：**学习反向过程等价于学习预测噪声 `ε`**。 -其中： +### 3.3.2 方差的处理：固定 vs 可学习 +DDPM的另一个简化是固定反向过程的方差 `σ_t^2`。论文中探讨了两种选择：`σ_t^2 = β̃_t`（理论上更优）和 `σ_t^2 = β_t`（实现上更简单，效果也很好）。后续工作（如Improved DDPM）则探索了让网络同时预测方差，这可以提高对数似然（log-likelihood），但对生成质量的提升通常不明显。对于大多数应用，固定方差是足够的。 +
+练习 3.2：参数化的等价性与差异 - $$\tilde{\boldsymbol{\mu}}_t(\mathbf{x}_t, \mathbf{x}_0) = \frac{\sqrt{\bar{\alpha}_{t-1}}\beta_t}{1-\bar{\alpha}_t}\mathbf{x}_0 + \frac{\sqrt{\alpha_t}(1-\bar{\alpha}_{t-1})}{1-\bar{\alpha}_t}\mathbf{x}_t$$ +1. **数学推导**：从后验均值 `μ̃_t(x_t, x_0)` 的表达式出发，代入 `x_0` 与 `x_t, ε` 的关系式，推导出 `μ̃_t(x_t, ε)` 的表达式，从而证明“预测`x_0`”和“预测`ε`”在数学上是等价的。 +2. **稳定性分析**：从优化的角度，分析为什么预测一个目标为 `N(0, I)` 的噪声 `ε`，比预测一个目标为复杂数据分布 `q(x_0)` 的 `x_0` 更稳定？（提示：考虑不同时间步 `t` 下目标函数的尺度和梯度。） +3. **开放探索**：DDPM选择固定方差。但在某些情况下，让方差可学习可能很重要。设想一个场景（例如，生成具有不同纹理区域的图像），其中自适应的去噪方差可能带来优势，并解释原因。 - $$\tilde{\beta}_t = \frac{1-\bar{\alpha}_{t-1}}{1-\bar{\alpha}_t}\beta_t$$ +
+## 3.4 训练目标：从变分下界到简单均方误差 +DDPM的最终妙笔是将复杂的变分下界（Variational Lower Bound, VLB）损失函数简化为一个简单的均方误差（MSE）。 +完整的VLB损失可以写成三项之和：`L_VLB = L_T + Σ L_{t-1} + L_0`。其中 `L_{t-1}` 是主要的去噪匹配项，可以表示为两个高斯分布（真实后验 `q` 和模型预测 `p_θ`）之间的KL散度。通过我们上面的推导，这一项可以简化为对两个均值 `μ̃_t` 和 `μ_θ` 差值的L2损失。 +> **🎯 DDPM的简化训练目标** +> Ho等人发现，如果忽略VLB损失中复杂的加权系数，直接优化一个更简单的目标函数，效果反而更好： +> $$L_{\text{simple}} = \mathbb{E}_{t,\mathbf{x}_0,\boldsymbol{\epsilon}}\left[\|\boldsymbol{\epsilon} - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t)\|^2\right]$$ +> 这就是DDPM最终的训练目标：**在随机的时间步 `t`，让神经网络 `ε_θ` 预测出添加到 `x_0` 上的原始噪声 `ε`**。 -**证明**：使用贝叶斯定理： - - - - - $$q(\mathbf{x}_{t-1}|\mathbf{x}_t, \mathbf{x}_0) = \frac{q(\mathbf{x}_t|\mathbf{x}_{t-1}, \mathbf{x}_0)q(\mathbf{x}_{t-1}|\mathbf{x}_0)}{q(\mathbf{x}_t|\mathbf{x}_0)}$$ - - - - -由于前向过程的马尔可夫性质，$q(\mathbf{x}_t|\mathbf{x}_{t-1}, \mathbf{x}_0) = q(\mathbf{x}_t|\mathbf{x}_{t-1})$。现在我们知道： - - - - - - $q(\mathbf{x}_t|\mathbf{x}_{t-1}) = \mathcal{N}(\mathbf{x}_t; \sqrt{\alpha_t}\mathbf{x}_{t-1}, \beta_t\mathbf{I})$ - - $q(\mathbf{x}_{t-1}|\mathbf{x}_0) = \mathcal{N}(\mathbf{x}_{t-1}; \sqrt{\bar{\alpha}_{t-1}}\mathbf{x}_0, (1-\bar{\alpha}_{t-1})\mathbf{I})$ - - $q(\mathbf{x}_t|\mathbf{x}_0) = \mathcal{N}(\mathbf{x}_t; \sqrt{\bar{\alpha}_t}\mathbf{x}_0, (1-\bar{\alpha}_t)\mathbf{I})$ - - - - -将三个高斯分布代入贝叶斯公式，经过繁琐但直接的代数运算（主要是配方），可以得到上述结果。 - - - - -#### 💡 关键洞察 - - -注意 $\tilde{\boldsymbol{\mu}}_t$ 是 $\mathbf{x}_0$ 和 $\mathbf{x}_t$ 的**线性组合**！这意味着： - - - - - 如果我们知道 $\mathbf{x}_0$，反向过程就是确定的（除了小的高斯噪声） - - 实践中我们不知道 $\mathbf{x}_0$，所以需要神经网络来预测它 - - 这解释了为什么扩散模型本质上是在学习"去噪" - - - - - -### 3.3.2 参数化选择：预测噪声 vs 预测均值 - +⚡ **实现挑战与研究前沿**：虽然简单损失效果很好，但它对所有时间步 `t` 的误差一视同仁。后续研究（如Min-SNR-γ加权策略）表明，对不同 `t` 的损失进行加权（例如，降低高信噪比、即低噪声区域的损失权重）可以显著提高生成质量，尤其是在高分辨率生成任务中。 +## 3.5 采样算法：从理论到实践 -既然 $\tilde{\boldsymbol{\mu}}_t$ 依赖于未知的 $\mathbf{x}_0$，我们需要用神经网络来近似它。DDPM提供了几种参数化方式： +训练完成后，我们就可以从随机噪声中生成图像了。采样过程是反向过程的实际执行。 +**DDPM标准采样算法** +1. 从标准正态分布中采样一个初始噪声图像 `x_T`。 +2. 从 `t = T` 循环到 `t = 1`： + a. 将当前的 `x_t` 和时间步 `t` 输入模型，得到噪声预测 `ε_θ(x_t, t)`。 + b. 使用 `ε_θ` 和 `x_t` 计算去噪后的均值 `μ_θ(x_t, t)`。 + c. 从标准正态分布中采样一个随机噪声 `z`。 + d. 计算 `x_{t-1} = μ_θ(x_t, t) + σ_t * z`。（其中 `σ_t` 是固定的方差） +3. 最终得到的 `x_0` 就是生成的图像。 +这个迭代过程通常需要1000步，因此速度较慢，这是DDPM的主要缺点之一，也催生了后续大量的快速采样算法研究（将在第8章讨论）。 +
+综合练习：DDPM的局限性与改进方向 -# 方式1：直接预测均值（最直接但不稳定） -mu_theta = model(x_t, t) - -# 方式2：预测x_0（需要clip到合理范围） -x_0_pred = model(x_t, t) -mu_theta = (sqrt_alpha_bar_prev * beta_t * x_0_pred + - sqrt_alpha_t * (1 - alpha_bar_prev) * x_t) / (1 - alpha_bar_t) - -# 方式3：预测噪声（DDPM的选择，最稳定） -epsilon_pred = model(x_t, t) -x_0_pred = (x_t - sqrt_one_minus_alpha_bar_t * epsilon_pred) / sqrt_alpha_bar_t -mu_theta = (sqrt_alpha_bar_prev * beta_t * x_0_pred + - sqrt_alpha_t * (1 - alpha_bar_prev) * x_t) / (1 - alpha_bar_t) - - - 为什么预测噪声更好？让我们通过重参数化来理解： - - - - - -由于 $\mathbf{x}_t = \sqrt{\bar{\alpha}_t}\mathbf{x}_0 + \sqrt{1-\bar{\alpha}_t}\boldsymbol{\epsilon}$，我们可以表示： - - $$\mathbf{x}_0 = \frac{\mathbf{x}_t - \sqrt{1-\bar{\alpha}_t}\boldsymbol{\epsilon}}{\sqrt{\bar{\alpha}_t}}$$ - - -代入 $\tilde{\boldsymbol{\mu}}_t$ 的表达式，经过化简可得： - - $$\tilde{\boldsymbol{\mu}}_t = \frac{1}{\sqrt{\alpha_t}}\left(\mathbf{x}_t - \frac{\beta_t}{\sqrt{1-\bar{\alpha}_t}}\boldsymbol{\epsilon}\right)$$ - - - - -这个表达式揭示了一个优雅的事实：**反向过程的均值只需要知道添加的噪声 $\boldsymbol{\epsilon}$！** - - - -> **定义** -> 三种参数化的对比 - - - - 参数化 - 优点 - 缺点 - 使用场景 - - - 预测 $\boldsymbol{\mu}_\theta$ - 直接，无需转换 - 不同t的输出尺度差异大 - 几乎不用 - - - 预测 $\mathbf{x}_0$ - 语义清晰 - 高噪声时预测困难 - 某些条件生成任务 - - - 预测 $\boldsymbol{\epsilon}$ - 输出标准化，训练稳定 - 间接，需要转换 - 标准选择 - - - - - -### 3.3.3 方差的处理：固定 vs 可学习 - - - -DDPM的另一个简化是使用固定的方差 $\tilde{\beta}_t$。但这是最优的吗？ - - - - -# DDPM：固定方差（两种选择） -# 选择1：使用后验方差 -variance = (1 - alpha_bar_prev) / (1 - alpha_bar_t) * beta_t - -# 选择2：使用β_t（DDPM论文的选择） -variance = beta_t - -# 改进的DDPM：学习方差 -# 网络同时预测噪声和方差 -epsilon_pred, v_pred = model(x_t, t).chunk(2, dim=1) - -# 参数化方差（在对数空间插值） -min_log = torch.log(beta_t) -max_log = torch.log((1 - alpha_bar_prev) / (1 - alpha_bar_t) * beta_t) -log_variance = v_pred * max_log + (1 - v_pred) * min_log -variance = torch.exp(log_variance) - - - - -#### ⚠️ 实践经验 - - 尽管学习方差理论上更优（可以获得更好的似然），但在实践中： - - - - - 固定方差的DDPM已经能生成高质量图像 - - 学习方差增加了训练的复杂度 - - 对于大多数应用，固定方差是足够的 - - 如果追求最优似然（如压缩任务），才考虑学习方差 - - - - - - -练习 3.3：验证不同参数化的等价性 - -实现三种参数化方式，验证它们在数学上是等价的： - - - - - 给定相同的 $\mathbf{x}_t$、$\mathbf{x}_0$ 和 $t$ - - 计算真实的噪声 $\boldsymbol{\epsilon}$ - - 用三种方式计算 $\tilde{\boldsymbol{\mu}}_t$ - - 验证结果相同（在数值精度内） - -import torch - -# 设置 -batch_size = 4 -channels = 3 -size = 32 -t = 500 -T = 1000 - -# 初始化 -x_0 = torch.randn(batch_size, channels, size, size) -epsilon = torch.randn_like(x_0) - -# 计算alpha相关值 -betas = torch.linspace(0.0001, 0.02, T) -alphas = 1 - betas -alphas_bar = torch.cumprod(alphas, dim=0) -alpha_t = alphas[t] -alpha_bar_t = alphas_bar[t] -alpha_bar_prev = alphas_bar[t-1] -beta_t = betas[t] - -# 前向过程 -x_t = torch.sqrt(alpha_bar_t) * x_0 + torch.sqrt(1 - alpha_bar_t) * epsilon - -# 方式1：直接计算真实的后验均值 -mu_true = (torch.sqrt(alpha_bar_prev) * beta_t * x_0 + - torch.sqrt(alpha_t) * (1 - alpha_bar_prev) * x_t) / (1 - alpha_bar_t) - -# 方式2：通过预测x_0 -x_0_pred = x_0 # 假设完美预测 -mu_x0 = (torch.sqrt(alpha_bar_prev) * beta_t * x_0_pred + - torch.sqrt(alpha_t) * (1 - alpha_bar_prev) * x_t) / (1 - alpha_bar_t) - -# 方式3：通过预测噪声 -epsilon_pred = epsilon # 假设完美预测 -x_0_from_eps = (x_t - torch.sqrt(1 - alpha_bar_t) * epsilon_pred) / torch.sqrt(alpha_bar_t) -mu_eps = (torch.sqrt(alpha_bar_prev) * beta_t * x_0_from_eps + - torch.sqrt(alpha_t) * (1 - alpha_bar_prev) * x_t) / (1 - alpha_bar_t) - -# 或者直接用简化公式 -mu_eps_direct = (x_t - beta_t / torch.sqrt(1 - alpha_bar_t) * epsilon_pred) / torch.sqrt(alpha_t) - -# 验证 -print(f"方式1和方式2的差异: {(mu_true - mu_x0).abs().max():.6f}") -print(f"方式1和方式3的差异: {(mu_true - mu_eps).abs().max():.6f}") -print(f"方式1和方式3(直接)的差异: {(mu_true - mu_eps_direct).abs().max():.6f}") - -# 输出应该都接近0（在浮点精度范围内） - **关键洞察**：三种参数化在数学上等价，但训练动态不同。预测噪声之所以更稳定，是因为噪声 $\boldsymbol{\epsilon} \sim \mathcal{N}(0, \mathbf{I})$ 始终是标准化的，而 $\mathbf{x}_0$ 的分布可能很复杂。 - - - - - -## 3.4 训练目标：变分下界的简化 - - - -DDPM的另一个重要贡献是将复杂的变分下界（ELBO）简化为一个简单的去噪目标。这一节我们将详细推导这个过程。 - - - -### 3.4.1 完整的变分下界 - - - -我们的目标是最大化数据的对数似然 $\log p_\theta(\mathbf{x}_0)$。由于直接计算困难，我们优化其变分下界： - - - - - $$\log p_\theta(\mathbf{x}_0) \geq \mathbb{E}_q\left[\log \frac{p_\theta(\mathbf{x}_{0:T})}{q(\mathbf{x}_{1:T}|\mathbf{x}_0)}\right] = -L_{\text{VLB}}$$ - - - - -其中 $L_{\text{VLB}}$ 是变分下界损失。经过展开（使用马尔可夫性质），可以得到： - - - - - $$L_{\text{VLB}} = L_T + \sum_{t=2}^{T} L_{t-1} + L_0$$ - - - - -其中各项定义为： - - - -> **定义** -> 变分下界的三个组成部分 - - - - $$L_T = D_{\text{KL}}(q(\mathbf{x}_T|\mathbf{x}_0) \| p(\mathbf{x}_T))$$ - $$L_{t-1} = \mathbb{E}_q\left[D_{\text{KL}}(q(\mathbf{x}_{t-1}|\mathbf{x}_t, \mathbf{x}_0) \| p_\theta(\mathbf{x}_{t-1}|\mathbf{x}_t))\right]$$ - $$L_0 = \mathbb{E}_q\left[-\log p_\theta(\mathbf{x}_0|\mathbf{x}_1)\right]$$ - - - - - - $L_T$：先验匹配项，通常很小可以忽略（因为 $q(\mathbf{x}_T|\mathbf{x}_0) \approx \mathcal{N}(0, \mathbf{I})$） - - $L_{t-1}$：去噪匹配项，这是主要的优化目标 - - $L_0$：重建项，决定最终输出质量 - - - - - -关键在于如何处理 $L_{t-1}$ 项。由于我们知道 $q(\mathbf{x}_{t-1}|\mathbf{x}_t, \mathbf{x}_0)$ 的闭式解（见3.3.1节），且假设 $p_\theta$ 也是高斯分布，KL散度可以简化为： - - - - - $$L_{t-1} = \mathbb{E}_q\left[\frac{1}{2\sigma_t^2}\|\tilde{\boldsymbol{\mu}}_t(\mathbf{x}_t, \mathbf{x}_0) - \boldsymbol{\mu}_\theta(\mathbf{x}_t, t)\|^2\right] + C$$ - - - - -其中 $C$ 是与 $\theta$ 无关的常数。 - - - -### 3.4.2 简化的去噪目标 - - - -DDPM的关键洞察是：通过选择噪声预测参数化，可以将上述目标进一步简化。回忆3.3.2节的结果： - - - - - $$\tilde{\boldsymbol{\mu}}_t = \frac{1}{\sqrt{\alpha_t}}\left(\mathbf{x}_t - \frac{\beta_t}{\sqrt{1-\bar{\alpha}_t}}\boldsymbol{\epsilon}\right)$$ - - - - -如果我们参数化 $\boldsymbol{\mu}_\theta$ 为： - - - - - $$\boldsymbol{\mu}_\theta(\mathbf{x}_t, t) = \frac{1}{\sqrt{\alpha_t}}\left(\mathbf{x}_t - \frac{\beta_t}{\sqrt{1-\bar{\alpha}_t}}\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t)\right)$$ - - - - -那么 $L_{t-1}$ 可以简化为： - - - - - $$L_{t-1} = \mathbb{E}_{\mathbf{x}_0, \boldsymbol{\epsilon}}\left[\frac{\beta_t^2}{2\sigma_t^2\alpha_t(1-\bar{\alpha}_t)}\|\boldsymbol{\epsilon} - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t)\|^2\right]$$ - - - - -其中 $\mathbf{x}_t = \sqrt{\bar{\alpha}_t}\mathbf{x}_0 + \sqrt{1-\bar{\alpha}_t}\boldsymbol{\epsilon}$。 - - - - -#### 🎯 DDPM的简化训练目标 - - -Ho等人发现，忽略权重系数并对所有时间步求和，得到的简化目标效果更好： - - - - $$L_{\text{simple}} = \mathbb{E}_{t,\mathbf{x}_0,\boldsymbol{\epsilon}}\left[\|\boldsymbol{\epsilon} - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t)\|^2\right]$$ - - - -这就是著名的"简单损失"——只需要预测噪声！ - - - - -### 3.4.3 损失函数的加权策略 - - - -虽然简单损失效果很好，但不同时间步的重要性确实不同。后续研究提出了各种加权策略： - - - - -import torch -import matplotlib.pyplot as plt - -# 不同的损失加权策略 -def get_loss_weight(t, strategy='simple', snr_gamma=5.0): - """ - 计算时间步t的损失权重 - - 策略: - - simple: 所有时间步权重相同（DDPM原始） - - snr: 基于信噪比的加权 - - truncated_snr: 截断的SNR加权（防止极端值） - - importance: 基于重要性采样 - """ - if strategy == 'simple': - return 1.0 - - elif strategy == 'snr': - # 权重与信噪比成反比 - snr = alpha_bar[t] / (1 - alpha_bar[t]) - return 1.0 / (1.0 + snr) - - elif strategy == 'truncated_snr': - # Min-SNR-γ 加权（Hang et al., 2023） - snr = alpha_bar[t] / (1 - alpha_bar[t]) - return torch.minimum(snr, torch.tensor(snr_gamma)) / snr - - elif strategy == 'importance': - # 基于L_t系数的重要性加权 - return beta[t]**2 / (2 * sigma[t]**2 * alpha[t] * (1 - alpha_bar[t])) - -# 分析不同加权策略 -T = 1000 -t = torch.arange(T) -beta = torch.linspace(0.0001, 0.02, T) -alpha = 1 - beta -alpha_bar = torch.cumprod(alpha, dim=0) -sigma = beta # DDPM的选择 - -# 计算不同策略的权重 -strategies = ['simple', 'snr', 'truncated_snr', 'importance'] -weight_stats = {} - -for strategy in strategies: - weights = torch.tensor([get_loss_weight(i, strategy) for i in range(T)]) - weight_stats[strategy] = { - 'min': weights.min().item(), - 'max': weights.max().item(), - 'mean': weights.mean().item(), - 'std': weights.std().item() - } - -# 打印权重统计 -print("Loss weight statistics for different strategies:") -for strategy, stats in weight_stats.items(): - print(f"\n{strategy}:") - print(f" Min: {stats['min']:.6f}") - print(f" Max: {stats['max']:.6f}") - print(f" Mean: {stats['mean']:.6f}") - print(f" Std: {stats['std']:.6f}") - - - -> **定义** -> 加权策略对比 - - - - 策略 - 动机 - 效果 - 计算开销 - - - 简单 (Simple) - 简化训练 - 基准，效果已经不错 - 最低 - - - SNR加权 - 平衡不同噪声水平 - 改善高噪声区域 - 低 - - - Min-SNR-γ - 避免极端权重 - 目前最优 - 低 - - - 重要性采样 - 理论最优 - 实践中不稳定 - 中等 - - - - - -### 3.4.4 训练算法总结 - - - 综合以上推导，DDPM的训练算法极其简洁： - - - - -def train_ddpm(model, dataloader, num_epochs, T=1000): - """DDPM训练循环""" - optimizer = torch.optim.Adam(model.parameters(), lr=2e-4) - - # 预计算噪声调度相关值 - betas = linear_beta_schedule(T) - alphas = 1 - betas - alphas_bar = torch.cumprod(alphas, dim=0) - sqrt_alphas_bar = torch.sqrt(alphas_bar) - sqrt_one_minus_alphas_bar = torch.sqrt(1 - alphas_bar) - - for epoch in range(num_epochs): - for batch_idx, (x_0, _) in enumerate(dataloader): - batch_size = x_0.shape[0] - - # 随机采样时间步 - t = torch.randint(0, T, (batch_size,), device=x_0.device) - - # 采样噪声 - epsilon = torch.randn_like(x_0) - - # 前向扩散：计算x_t - x_t = (sqrt_alphas_bar[t, None, None, None] * x_0 + - sqrt_one_minus_alphas_bar[t, None, None, None] * epsilon) - - # 预测噪声 - epsilon_pred = model(x_t, t) - - # 计算损失 - loss = F.mse_loss(epsilon_pred, epsilon) - - # 反向传播 - optimizer.zero_grad() - loss.backward() - optimizer.step() - - if batch_idx % 100 == 0: - print(f'Epoch {epoch}, Batch {batch_idx}, Loss: {loss.item():.4f}') - - - - -练习 3.4：实现加权损失 - 修改上述训练代码，实现Min-SNR-γ加权策略： - - - - - 计算每个时间步的SNR - - 应用Min-SNR-γ加权（建议γ=5） - - 比较加权前后的训练曲线 - -def train_ddpm_weighted(model, dataloader, num_epochs, T=1000, snr_gamma=5.0): - """带Min-SNR加权的DDPM训练""" - optimizer = torch.optim.Adam(model.parameters(), lr=2e-4) - - # 预计算 - betas = linear_beta_schedule(T) - alphas = 1 - betas - alphas_bar = torch.cumprod(alphas, dim=0) - sqrt_alphas_bar = torch.sqrt(alphas_bar) - sqrt_one_minus_alphas_bar = torch.sqrt(1 - alphas_bar) - - # 预计算SNR和权重 - snr = alphas_bar / (1 - alphas_bar) - snr_clipped = torch.minimum(snr, torch.tensor(snr_gamma)) - loss_weights = snr_clipped / snr - - for epoch in range(num_epochs): - for batch_idx, (x_0, _) in enumerate(dataloader): - batch_size = x_0.shape[0] - - # 采样时间步 - t = torch.randint(0, T, (batch_size,), device=x_0.device) - - # 前向扩散 - epsilon = torch.randn_like(x_0) - x_t = (sqrt_alphas_bar[t, None, None, None] * x_0 + - sqrt_one_minus_alphas_bar[t, None, None, None] * epsilon) - - # 预测噪声 - epsilon_pred = model(x_t, t) - - # 计算加权损失 - mse_loss = (epsilon_pred - epsilon).pow(2).mean(dim=[1,2,3]) - weights = loss_weights[t] - loss = (weights * mse_loss).mean() - - # 反向传播 - optimizer.zero_grad() - loss.backward() - optimizer.step() - -# 关键改进： -# 1. 高SNR（低噪声）区域的权重被降低，避免过拟合细节 -# 2. 低SNR（高噪声）区域保持较高权重，确保结构学习 -# 3. γ参数控制截断程度，通常5-10效果较好 - **实践建议**：Min-SNR-γ加权在高分辨率图像生成中特别有效，可以显著改善生成质量。但对于低分辨率或简单数据集，简单损失可能已经足够。 - - - - - -## 3.5 采样算法：从理论到实践 - - - -训练好DDPM后，如何生成新的样本？这一节我们将详细介绍DDPM的采样算法，从标准的1000步采样到各种实用技巧。 - - - -### 3.5.1 标准DDPM采样 - - - -DDPM的采样过程是从纯噪声 $\mathbf{x}_T \sim \mathcal{N}(0, \mathbf{I})$ 开始，逐步去噪直到得到清晰的图像 $\mathbf{x}_0$。 - - - -> **定义** -> DDPM采样算法 - - -对于每一步 $t = T, T-1, ..., 1$： - - - - $$\mathbf{x}_{t-1} = \frac{1}{\sqrt{\alpha_t}}\left(\mathbf{x}_t - \frac{\beta_t}{\sqrt{1-\bar{\alpha}_t}}\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t)\right) + \sigma_t \mathbf{z}$$ - - - -其中： - - - - - $\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t)$ 是训练好的噪声预测网络 - - $\mathbf{z} \sim \mathcal{N}(0, \mathbf{I})$ 是采样噪声（当 $t > 1$ 时） - - $\sigma_t$ 是方差，DDPM使用 $\sigma_t = \beta_t$ - - - - - -完整的实现代码： - - - - -@torch.no_grad() -def ddpm_sample(model, shape, num_timesteps=1000, device='cuda'): - """ - DDPM标准采样算法 - - Args: - model: 训练好的噪声预测模型 - shape: 生成图像的形状，如 (batch_size, 3, 32, 32) - num_timesteps: 总时间步数 - device: 计算设备 - - Returns: - 生成的图像 x_0 - """ - # 预计算噪声调度 - betas = linear_beta_schedule(num_timesteps).to(device) - alphas = 1 - betas - alphas_bar = torch.cumprod(alphas, dim=0) - sqrt_alphas = torch.sqrt(alphas) - sqrt_one_minus_alphas_bar = torch.sqrt(1 - alphas_bar) - - # 从纯噪声开始 - x_t = torch.randn(shape, device=device) - - # 逐步去噪 - for t in reversed(range(num_timesteps)): - # 创建时间步张量 - t_tensor = torch.full((shape[0],), t, device=device, dtype=torch.long) - - # 预测噪声 - epsilon_pred = model(x_t, t_tensor) - - # 计算均值 - mean = (x_t - betas[t] / sqrt_one_minus_alphas_bar[t] * epsilon_pred) / sqrt_alphas[t] - - # 添加噪声（除了最后一步） - if t > 0: - noise = torch.randn_like(x_t) - std = torch.sqrt(betas[t]) # DDPM使用β_t作为方差 - x_t = mean + std * noise - else: - x_t = mean - - return x_t - - - -#### 采样过程的可视化 - - - 为了更好地理解采样过程，让我们可视化不同时间步的中间结果： - - - - -def get_sampling_trajectory(model, num_steps_to_show=10): - """获取DDPM采样过程的中间结果""" - # 采样并保存中间结果 - shape = (1, 3, 32, 32) - T = 1000 - - # 选择要展示的时间步 - steps_to_show = torch.linspace(T-1, 0, num_steps_to_show, dtype=torch.long) - intermediate_results = [] - - # 初始化 - x_t = torch.randn(shape, device='cuda') - betas = linear_beta_schedule(T).to('cuda') - alphas = 1 - betas - alphas_bar = torch.cumprod(alphas, dim=0) - - # 采样过程 - for t in reversed(range(T)): - t_tensor = torch.full((1,), t, device='cuda', dtype=torch.long) - - # 预测并更新 - epsilon_pred = model(x_t, t_tensor) - # ... (采样步骤同上) - - # 保存中间结果 - if t in steps_to_show: - # 将x_t映射到[0, 1]范围（用于可视化） - img = (x_t.clamp(-1, 1) + 1) / 2 - intermediate_results.append({ - 'timestep': t, - 'image': img.cpu() - }) - - return intermediate_results - -# 使用示例 -trajectory = get_sampling_trajectory(model, num_steps_to_show=10) -print(f"Saved {len(trajectory)} intermediate results") -for i, result in enumerate(trajectory): - print(f"Step {i}: t={result['timestep']}, shape={result['image'].shape}") - - - - -#### 采样过程的特点 - - - - - **前期（t ≈ 1000）**：主要恢复全局结构和大致形状 - - **中期（t ≈ 500）**：细化对象轮廓和主要特征 - - **后期（t ≈ 0）**：添加纹理细节和高频信息 - - - 这个过程类似于艺术家作画：先勾勒轮廓，再填充颜色，最后添加细节。 - - - - -#### 计算效率分析 - - - -标准DDPM采样的主要问题是速度慢。让我们分析一下计算成本： - - - - -def analyze_sampling_cost(model, batch_size=16, image_size=256): - """分析DDPM采样的计算成本""" - import time - - shape = (batch_size, 3, image_size, image_size) - T = 1000 - - # 测量单次前向传播时间 - x = torch.randn(shape, device='cuda') - t = torch.randint(0, T, (batch_size,), device='cuda') - - # 预热GPU - for _ in range(10): - _ = model(x, t) - torch.cuda.synchronize() - - # 计时 - start = time.time() - num_runs = 50 - for _ in range(num_runs): - _ = model(x, t) - torch.cuda.synchronize() - end = time.time() - - time_per_forward = (end - start) / num_runs - total_time = time_per_forward * T - - print(f"图像尺寸: {image_size}×{image_size}") - print(f"批次大小: {batch_size}") - print(f"单次前向传播: {time_per_forward*1000:.2f} ms") - print(f"完整采样 (1000步): {total_time:.2f} 秒") - print(f"每秒生成图像数: {batch_size/total_time:.3f}") - - # 内存使用估计 - model_params = sum(p.numel() for p in model.parameters()) * 4 / 1024**3 # GB - activation_memory = batch_size * 3 * image_size**2 * 4 * 50 / 1024**3 # 粗略估计 - print(f"\n内存使用:") - print(f"模型参数: {model_params:.2f} GB") - print(f"激活值 (估计): {activation_memory:.2f} GB") - - - -> **定义** -> 典型性能数据 - - - - 配置 - 单步时间 - 总采样时间 - 吞吐量 - - - 32×32, batch=64 - ~5ms - 5秒 - 12.8 图像/秒 - - - 256×256, batch=8 - ~50ms - 50秒 - 0.16 图像/秒 - - - 512×512, batch=4 - ~200ms - 200秒 - 0.02 图像/秒 - - - *基于RTX 3090，实际性能因模型架构而异 - - - - - -练习 3.5.1：实现采样进度条 - -修改DDPM采样函数，添加： - - - - - tqdm进度条显示采样进度 - - 可选的中间结果保存 - - EMA（指数移动平均）模型支持 - -from tqdm import tqdm - -@torch.no_grad() -def ddpm_sample_with_progress( - model, - shape, - num_timesteps=1000, - device='cuda', - use_ema=True, - ema_model=None, - save_intermediate=False, - save_steps=None -): - """增强版DDPM采样""" - # 选择模型 - if use_ema and ema_model is not None: - sample_model = ema_model - else: - sample_model = model - - sample_model.eval() - - # 预计算 - betas = linear_beta_schedule(num_timesteps).to(device) - alphas = 1 - betas - alphas_bar = torch.cumprod(alphas, dim=0) - sqrt_alphas = torch.sqrt(alphas) - sqrt_one_minus_alphas_bar = torch.sqrt(1 - alphas_bar) - - # 初始化 - x_t = torch.randn(shape, device=device) - intermediates = [] - - # 采样循环 - for t in tqdm(reversed(range(num_timesteps)), desc='Sampling', total=num_timesteps): - t_tensor = torch.full((shape[0],), t, device=device, dtype=torch.long) - - # 预测噪声 - epsilon_pred = sample_model(x_t, t_tensor) - - # 更新x_t - mean = (x_t - betas[t] / sqrt_one_minus_alphas_bar[t] * epsilon_pred) / sqrt_alphas[t] - - if t > 0: - noise = torch.randn_like(x_t) - std = torch.sqrt(betas[t]) - x_t = mean + std * noise - else: - x_t = mean - - # 保存中间结果 - if save_intermediate and save_steps is not None and t in save_steps: - intermediates.append({ - 't': t, - 'x_t': x_t.cpu().clone(), - 'pred_x_0': self._predict_x0_from_eps(x_t, t, epsilon_pred) - }) - - if save_intermediate: - return x_t, intermediates - else: - return x_t - -def _predict_x0_from_eps(x_t, t, epsilon_pred): - """从噪声预测恢复x_0（用于可视化）""" - return (x_t - sqrt_one_minus_alphas_bar[t] * epsilon_pred) / sqrt_alphas_bar[t] - **使用技巧**： - - - - - EMA模型通常生成质量更好，训练时应同时维护 - - 保存中间结果有助于调试和理解模型行为 - - 对于批量生成，考虑使用DataLoader风格的生成器以节省内存 - - - - - -### 3.5.2 采样的随机性控制 - - - -DDPM采样过程中的随机性来源于两个地方：初始噪声 $\mathbf{x}_T$ 和每步添加的噪声 $\mathbf{z}_t$。通过控制这些随机性，我们可以影响生成结果的多样性和质量。 - - - -#### 温度参数的引入 - - - -类似于其他生成模型，我们可以引入温度参数来控制采样的随机性： - - - - -def ddpm_sample_with_temperature( - model, - shape, - temperature=1.0, - noise_temperature=1.0, - num_timesteps=1000, - device='cuda' -): - """ - 带温度控制的DDPM采样 - - Args: - temperature: 控制初始噪声的温度 - noise_temperature: 控制每步噪声的温度 - """ - # 预计算（同前） - betas = linear_beta_schedule(num_timesteps).to(device) - alphas = 1 - betas - alphas_bar = torch.cumprod(alphas, dim=0) - - # 温度调整的初始噪声 - x_t = torch.randn(shape, device=device) * temperature - - for t in reversed(range(num_timesteps)): - t_tensor = torch.full((shape[0],), t, device=device, dtype=torch.long) - - # 预测噪声 - epsilon_pred = model(x_t, t_tensor) - - # 计算均值 - mean = (x_t - betas[t] / torch.sqrt(1 - alphas_bar[t]) * epsilon_pred) / torch.sqrt(alphas[t]) - - if t > 0: - # 温度调整的步进噪声 - noise = torch.randn_like(x_t) * noise_temperature - std = torch.sqrt(betas[t]) - x_t = mean + std * noise - else: - x_t = mean - - return x_t - - - -> **定义** -> 温度参数的效果 - - - - - **temperature 1.0**：增加初始随机性，生成更多样但可能质量较低的样本 - - **noise_temperature 1.0**：增加去噪随机性，可能产生更多细节但也可能引入伪影 - - - - - -#### 确定性采样：DDIM预览 - - - 一个有趣的观察是：如果我们完全去除步进噪声（设置 $\sigma_t = 0$），采样过程变成确定性的。这就是DDIM的核心思想： - - - - -def ddpm_deterministic_sample(model, shape, num_timesteps=1000, eta=0.0): - """ - 确定性或部分确定性采样 - eta=0: 完全确定性（DDIM） - eta=1: 标准DDPM（完全随机） - """ - x_t = torch.randn(shape, device='cuda') - - for t in reversed(range(num_timesteps)): - # 预测噪声 - epsilon_pred = model(x_t, t) - - # 预测x_0 - x_0_pred = (x_t - torch.sqrt(1 - alphas_bar[t]) * epsilon_pred) / torch.sqrt(alphas_bar[t]) - - if t > 0: - # 计算方向指向x_{t-1} - direction = torch.sqrt(1 - alphas_bar[t-1]) * epsilon_pred - - # 确定性部分 - x_t = torch.sqrt(alphas_bar[t-1]) * x_0_pred + direction - - # 随机部分（由eta控制） - if eta > 0: - noise = torch.randn_like(x_t) - variance = eta * betas[t] * (1 - alphas_bar[t-1]) / (1 - alphas_bar[t]) - x_t = x_t + torch.sqrt(variance) * noise - else: - x_t = x_0_pred - - return x_t - - - -#### 采样种子与可重复性 - - - 对于需要可重复结果的应用，控制随机种子至关重要： - - - - -class SeededSampler: - """可重复的采样器""" - def __init__(self, model, device='cuda'): - self.model = model - self.device = device - - def sample_with_seed(self, seed, shape, **kwargs): - """使用指定种子采样""" - # 保存当前随机状态 - cpu_state = torch.get_rng_state() - cuda_state = torch.cuda.get_rng_state(self.device) - - # 设置种子 - torch.manual_seed(seed) - torch.cuda.manual_seed(seed) - - # 采样 - result = ddpm_sample(self.model, shape, device=self.device, **kwargs) - - # 恢复随机状态 - torch.set_rng_state(cpu_state) - torch.cuda.set_rng_state(cuda_state, self.device) - - return result - - def sample_variations(self, base_seed, num_variations, shape, temperature_range=(0.8, 1.2)): - """生成同一种子的多个变体""" - variations = [] - - for i in range(num_variations): - # 使用相同的基础种子但不同的温度 - temp = np.linspace(temperature_range[0], temperature_range[1], num_variations)[i] - - torch.manual_seed(base_seed) - torch.cuda.manual_seed(base_seed) - - sample = ddpm_sample_with_temperature( - self.model, shape, - temperature=temp, - device=self.device - ) - variations.append(sample) - - return torch.stack(variations) - - - -#### 高级技巧：引导采样（Guided Sampling） - - - 我们可以在采样过程中加入额外的引导信号，这是条件生成的基础： - - - - -def guided_sample(model, shape, guidance_fn=None, guidance_scale=1.0): - """ - 带引导的采样 - guidance_fn: 计算引导梯度的函数 - guidance_scale: 引导强度 - """ - x_t = torch.randn(shape, device='cuda') - x_t.requires_grad = True - - for t in reversed(range(num_timesteps)): - # 标准DDPM更新 - with torch.no_grad(): - epsilon_pred = model(x_t, t) - mean = compute_mean(x_t, epsilon_pred, t) - std = torch.sqrt(betas[t]) - - # 计算引导梯度 - if guidance_fn is not None and t > 0: - # 计算引导损失 - guidance_loss = guidance_fn(x_t, t) - - # 计算梯度 - grad = torch.autograd.grad(guidance_loss, x_t)[0] - - # 应用引导（注意符号：我们要最小化损失） - mean = mean - guidance_scale * std**2 * grad - - # 更新x_t - if t > 0: - noise = torch.randn_like(x_t) - x_t = mean + std * noise - else: - x_t = mean - - x_t = x_t.detach().requires_grad_(True) - - return x_t.detach() - -# 示例：类别引导 -def classifier_guidance(x_t, t, classifier, target_class): - """使用分类器引导生成特定类别""" - logits = classifier(x_t, t) - log_prob = F.log_softmax(logits, dim=1) - return -log_prob[:, target_class].sum() # 负对数概率作为损失 - - - - -练习 3.5.2：探索温度参数的影响 - 实现一个实验，系统地探索不同温度参数对生成结果的影响： - - - - - 固定种子，改变temperature（0.5, 0.7, 1.0, 1.3, 1.5） - - 固定种子，改变noise_temperature（0, 0.5, 1.0, 1.5） - - 可视化结果并计算多样性指标（如平均像素方差） - -def temperature_ablation_study(model, seed=42): - """温度参数消融实验""" - shape = (1, 3, 32, 32) - - # 实验1：初始温度的影响 - init_temps = [0.5, 0.7, 1.0, 1.3, 1.5] - init_results = [] - - for temp in init_temps: - torch.manual_seed(seed) - torch.cuda.manual_seed(seed) - - sample = ddpm_sample_with_temperature( - model, shape, - temperature=temp, - noise_temperature=1.0 - ) - init_results.append(sample) - - # 实验2：噪声温度的影响 - noise_temps = [0.0, 0.5, 1.0, 1.5] - noise_results = [] - - for noise_temp in noise_temps: - torch.manual_seed(seed) - torch.cuda.manual_seed(seed) - - sample = ddpm_sample_with_temperature( - model, shape, - temperature=1.0, - noise_temperature=noise_temp - ) - noise_results.append(sample) - - # 分析结果 - results = { - 'init_temperature': {}, - 'noise_temperature': {} - } - - # 计算初始温度的影响 - print("初始温度对图像统计特性的影响:") - for temp, img in zip(init_temps, init_results): - stats = { - 'mean': img.mean().item(), - 'std': img.std().item(), - 'min': img.min().item(), - 'max': img.max().item() - } - results['init_temperature'][temp] = stats - print(f" T_init={temp}: mean={stats['mean']:.4f}, std={stats['std']:.4f}") - - # 计算噪声温度的影响 - print("\n噪声温度对图像统计特性的影响:") - for temp, img in zip(noise_temps, noise_results): - stats = { - 'mean': img.mean().item(), - 'std': img.std().item(), - 'min': img.min().item(), - 'max': img.max().item() - } - results['noise_temperature'][temp] = stats - print(f" T_noise={temp}: mean={stats['mean']:.4f}, std={stats['std']:.4f}") - - return results - -# 额外分析：多次采样的多样性 -def diversity_analysis(model, num_samples=100): - """分析不同温度设置下的样本多样性""" - shape = (num_samples, 3, 32, 32) - - # 标准采样 - samples_standard = ddpm_sample(model, shape) - - # 低温采样 - samples_low_temp = ddpm_sample_with_temperature( - model, shape, temperature=0.7, noise_temperature=0.7 - ) - - # 计算成对距离 - def pairwise_l2_distance(samples): - # 展平样本 - flat = samples.view(num_samples, -1) - # 计算成对L2距离 - distances = torch.cdist(flat, flat, p=2) - # 取上三角部分（避免重复） - mask = torch.triu(torch.ones_like(distances), diagonal=1).bool() - return distances[mask].mean().item() - - div_standard = pairwise_l2_distance(samples_standard) - div_low_temp = pairwise_l2_distance(samples_low_temp) - - print(f"标准采样的平均成对距离: {div_standard:.4f}") - print(f"低温采样的平均成对距离: {div_low_temp:.4f}") - print(f"多样性降低比例: {(1 - div_low_temp/div_standard)*100:.1f}%") - **关键发现**： - - - - - 降低初始温度会使生成结果更接近"平均"图像，减少极端情况 - - noise_temperature=0 会产生过度平滑的结果，丢失纹理细节 - - 适度降低温度（0.7-0.9）通常能提高感知质量，但会牺牲多样性 - - 对于特定应用，需要在质量和多样性之间找到平衡 - - - - - -### 3.5.3 常见问题与调试技巧 - - - -DDPM采样过程中可能遇到各种问题。本节总结常见问题及其解决方案，帮助你快速定位和修复问题。 - - - -#### 问题1：生成结果全是噪声 - - - -> **定义** -> 症状与原因 - - - - - **症状**：采样结果看起来像随机噪声，没有任何结构 - - **可能原因**： - - - 模型未正确加载或权重损坏 - - 噪声调度计算错误 - - 时间步编码错误 - - 输入归一化不匹配 - - - - - - - - - -# 调试步骤1：验证模型预测 -def debug_model_predictions(model, device='cuda'): - """检查模型在不同时间步的预测""" - # 创建测试输入 - x = torch.randn(1, 3, 32, 32, device=device) - - # 测试几个关键时间步 - test_timesteps = [0, 250, 500, 750, 999] - - for t in test_timesteps: - t_tensor = torch.tensor([t], device=device) - with torch.no_grad(): - pred = model(x, t_tensor) - - print(f"t={t}:") - print(f" Input stats: mean={x.mean():.4f}, std={x.std():.4f}") - print(f" Pred stats: mean={pred.mean():.4f}, std={pred.std():.4f}") - - # 预测应该接近标准正态分布 - if abs(pred.mean()) > 0.5 or abs(pred.std() - 1.0) > 0.5: - print(" ⚠️ 警告：预测统计量异常！") - -# 调试步骤2：验证噪声调度 -def debug_noise_schedule(num_timesteps=1000): - """检查噪声调度的合理性""" - betas = linear_beta_schedule(num_timesteps) - alphas = 1 - betas - alphas_bar = torch.cumprod(alphas, dim=0) - - print("噪声调度检查:") - print(f"β_0 = {betas[0]:.6f}, β_T = {betas[-1]:.6f}") - print(f"ᾱ_0 = {alphas_bar[0]:.6f}, ᾱ_T = {alphas_bar[-1]:.6f}") - - # 检查关键属性 - if alphas_bar[-1] > 0.01: - print("⚠️ 警告：ᾱ_T 太大，最终噪声水平不够") - if betas[0] > 0.01: - print("⚠️ 警告：β_0 太大，初始破坏太严重") - - # 检查单调性 - if not torch.all(alphas_bar[1:] - - - -#### 问题2：生成结果模糊或过度平滑 - - - - -##### 常见原因及解决方案 - - - - - **方差设置过小**：检查是否使用了过小的 $\sigma_t$ - - **提前停止采样**：确保完成所有1000步（或设定的步数） - - **模型过拟合到均值**：可能需要调整训练时的噪声调度 - - **数值精度问题**：使用FP16时某些操作可能损失精度 - - - - - - -```python -# 诊断过度平滑问题 -def diagnose_smoothness(model, num_samples=10): - """诊断生成结果的平滑度问题""" - samples = [] - - # 生成多个样本 - for _ in range(num_samples): - sample = ddpm_sample(model, (1, 3, 32, 32)) - samples.append(sample) - - samples = torch.cat(samples, dim=0) - - # 计算高频信息 - def compute_high_freq_energy(images): - # 使用Sobel滤波器检测边缘 - sobel_x = torch.tensor([[-1, 0, 1], [-2, 0, 2], [-1, 0, 1]], - dtype=torch.float32).view(1, 1, 3, 3) - sobel_y = torch.tensor([[-1, -2, -1], [0, 0, 0], [1, 2, 1]], - dtype=torch.float32).view(1, 1, 3, 3) - - # 转换为灰度 - gray = images.mean(dim=1, keepdim=True) - - # 计算梯度 - edges_x = F.conv2d(gray, sobel_x, padding=1) - edges_y = F.conv2d(gray, sobel_y, padding=1) - edges = torch.sqrt(edges_x**2 + edges_y**2) - - return edges.mean().item() - - # 与真实数据对比 - real_data = next(iter(train_loader))[0][:num_samples] - - gen_hf = compute_high_freq_energy(samples) - real_hf = compute_high_freq_energy(real_data) - - print(f"生成样本的高频能量: {gen_hf:.4f}") - print(f"真实数据的高频能量: {real_hf:.4f}") - print(f"比率: {gen_hf/real_hf:.2f}") - - if gen_hf/real_hf DDPM的主要性能瓶颈在于需要1000步迭代，每步都需要通过U-Net进行一次前向传播。典型的性能特征： - - - - - **预计算阶段**：约0.1秒，包括噪声调度的计算 - - **模型推理**：每步15-50ms（取决于模型大小和GPU），总计15-50秒 - - **更新计算**：每步1-2ms，相对可忽略 - - - - -**优化建议**： - - - - - 使用更小的模型架构（减少通道数或层数） - - 启用混合精度推理（torch.cuda.amp） - - 使用torch.compile()进行图优化（PyTorch 2.0+） - - 采用DDIM等快速采样方法（可减少到50步以下） - - 批量生成以提高GPU利用率 - - - - - -#### 问题4：内存溢出（OOM） - - - - -# 内存友好的批量采样 -def memory_efficient_batch_sampling(model, total_samples, batch_size=16, - image_shape=(3, 32, 32)): - """内存高效的批量采样""" - all_samples = [] - - # 分批生成 - num_batches = (total_samples + batch_size - 1) // batch_size - - for i in tqdm(range(num_batches), desc="Batch sampling"): - current_batch_size = min(batch_size, total_samples - i * batch_size) - shape = (current_batch_size,) + image_shape - - # 生成当前批次 - with torch.cuda.amp.autocast(): # 使用混合精度节省内存 - samples = ddpm_sample(model, shape) - - # 立即移到CPU以释放GPU内存 - all_samples.append(samples.cpu()) - - # 清理GPU缓存 - if i % 10 == 0: - torch.cuda.empty_cache() - - return torch.cat(all_samples, dim=0) - -# 诊断内存使用 -def diagnose_memory_usage(model, batch_sizes=[1, 2, 4, 8, 16]): - """诊断不同批次大小的内存使用""" - import gc - - for bs in batch_sizes: - torch.cuda.empty_cache() - gc.collect() - - try: - # 记录初始内存 - init_mem = torch.cuda.memory_allocated() / 1024**3 - - # 尝试采样 - shape = (bs, 3, 256, 256) # 使用较大尺寸测试 - _ = ddpm_sample(model, shape, num_timesteps=50) # 只测试50步 - - # 记录峰值内存 - peak_mem = torch.cuda.max_memory_allocated() / 1024**3 - - print(f"Batch size {bs}: 峰值内存 {peak_mem:.2f}GB " - f"(增加 {peak_mem - init_mem:.2f}GB)") - - except torch.cuda.OutOfMemoryError: - print(f"Batch size {bs}: OOM!") - break - finally: - torch.cuda.empty_cache() - - - -#### 可视化调试工具 - - - - -```python -def analyze_sampling_debug(model): - """分析采样过程用于调试""" - # 设置 - shape = (1, 3, 32, 32) - checkpoints = [999, 800, 600, 400, 200, 100, 50, 20, 10, 0] - - # 收集数据 - x_t = torch.randn(shape, device='cuda') - debug_data = { - 'x_t_history': [x_t.cpu()], - 'pred_x0_history': [], - 'noise_pred_history': [], - 'noise_stats': [] - } - - # 采样并记录 - betas = linear_beta_schedule(1000).cuda() - alphas = 1 - betas - alphas_bar = torch.cumprod(alphas, dim=0) - - for t in reversed(range(1000)): - t_tensor = torch.tensor([t], device='cuda') - - # 预测 - epsilon_pred = model(x_t, t_tensor) - - # 预测的x_0 - pred_x0 = (x_t - torch.sqrt(1 - alphas_bar[t]) * epsilon_pred) / torch.sqrt(alphas_bar[t]) - - # 更新 - mean = (x_t - betas[t] / torch.sqrt(1 - alphas_bar[t]) * epsilon_pred) / torch.sqrt(alphas[t]) - if t > 0: - noise = torch.randn_like(x_t) - x_t = mean + torch.sqrt(betas[t]) * noise - else: - x_t = mean - - # 记录检查点 - if t in checkpoints: - debug_data['x_t_history'].append(x_t.cpu()) - debug_data['pred_x0_history'].append(pred_x0.cpu()) - debug_data['noise_pred_history'].append(epsilon_pred.cpu()) - debug_data['noise_stats'].append({ - 't': t, - 'mean': epsilon_pred.mean().item(), - 'std': epsilon_pred.std().item(), - 'min': epsilon_pred.min().item(), - 'max': epsilon_pred.max().item() - }) - - # 打印分析结果 - print("采样过程调试分析:") - print("==================") - print("\n噪声预测统计:") - print("Timestep | Mean | Std | Min | Max") - print("-" * 55) - for stats in debug_data['noise_stats']: - print(f"{stats['t']:8d} | {stats['mean']:9.6f} | {stats['std']:9.6f} | {stats['min']:9.6f} | {stats['max']:9.6f}") - - # 检查x_0预测的稳定性 - print("\nx_0预测稳定性分析:") - for i, (t, x0) in enumerate(zip(checkpoints[:-1], debug_data['pred_x0_history'])): - x0_range = x0.max().item() - x0.min().item() - x0_clipped = (x0 1).sum().item() - total_pixels = x0.numel() - clip_ratio = x0_clipped / total_pixels - print(f"t={t:3d}: range={x0_range:.3f}, clipped pixels={clip_ratio:.1%}") - - return debug_data -``` - - - - - -练习 3.5.3：实现采样质量诊断工具 - 创建一个综合诊断工具，能够： - - - - - 自动检测常见的采样问题 - - 生成诊断报告 - - 提供具体的修复建议 - -class DDPMSamplingDiagnostics: - """DDPM采样综合诊断工具""" - - def __init__(self, model, device='cuda'): - self.model = model - self.device = device - self.diagnostics = {} - - def run_full_diagnostics(self, num_samples=5): - """运行完整诊断""" - print("=== DDPM采样诊断开始 ===\n") - - # 1. 模型基础检查 - self._check_model_basics() - - # 2. 噪声调度检查 - self._check_noise_schedule() - - # 3. 采样质量检查 - self._check_sampling_quality(num_samples) - - # 4. 性能检查 - self._check_performance() - - # 5. 生成报告 - self._generate_report() - - def _check_model_basics(self): - """检查模型基础设置""" - print("1. 检查模型基础设置...") - - # 检查模型是否在eval模式 - if self.model.training: - self.diagnostics['model_mode'] = 'WARNING: 模型在训练模式' - else: - self.diagnostics['model_mode'] = 'OK: 模型在评估模式' - - # 检查参数统计 - params = [] - for p in self.model.parameters(): - params.append(p.data.flatten()) - params = torch.cat(params) - - param_mean = params.mean().item() - param_std = params.std().item() - - if abs(param_mean) > 1.0 or param_std > 10.0: - self.diagnostics['param_stats'] = f'WARNING: 参数统计异常 (mean={param_mean:.3f}, std={param_std:.3f})' - else: - self.diagnostics['param_stats'] = 'OK: 参数统计正常' - - def _check_noise_schedule(self): - """检查噪声调度""" - print("2. 检查噪声调度...") - - betas = linear_beta_schedule(1000) - alphas_bar = torch.cumprod(1 - betas, dim=0) - - # 检查端点 - if alphas_bar[0] 0.01: - self.diagnostics['schedule_end'] = f'WARNING: α̅_T={alphas_bar[-1]:.4f} 太大' - else: - self.diagnostics['schedule_end'] = 'OK: 终点正常' - - def _check_sampling_quality(self, num_samples): - """检查采样质量""" - print(f"3. 检查采样质量 (生成{num_samples}个样本)...") - - samples = [] - for _ in range(num_samples): - sample = ddpm_sample(self.model, (1, 3, 32, 32), device=self.device) - samples.append(sample) - samples = torch.cat(samples) - - # 检查输出范围 - sample_min = samples.min().item() - sample_max = samples.max().item() - - if sample_min 3: - self.diagnostics['output_range'] = f'WARNING: 输出范围异常 [{sample_min:.2f}, {sample_max:.2f}]' - else: - self.diagnostics['output_range'] = 'OK: 输出范围正常' - - # 检查多样性 - if num_samples > 1: - diversity = samples.std(dim=0).mean().item() - if diversity 60: - self.diagnostics['performance'] = f'WARNING: 预计采样时间过长 ({total_time:.1f}秒)' - else: - self.diagnostics['performance'] = f'OK: 预计采样时间 {total_time:.1f}秒' - - def _generate_report(self): - """生成诊断报告""" - print("\n=== 诊断报告 ===") - - warnings = 0 - for key, value in self.diagnostics.items(): - if value.startswith('WARNING'): - print(f"❌ {value}") - warnings += 1 - else: - print(f"✅ {value}") - - print(f"\n总结: {len(self.diagnostics)}项检查, {warnings}个警告") - - if warnings > 0: - print("\n建议的修复步骤:") - if 'model_mode' in self.diagnostics and 'WARNING' in self.diagnostics['model_mode']: - print("- 调用 model.eval() 切换到评估模式") - if 'schedule_end' in self.diagnostics and 'WARNING' in self.diagnostics['schedule_end']: - print("- 增加总时间步数或调整beta_end") - if 'diversity' in self.diagnostics and 'WARNING' in self.diagnostics['diversity']: - print("- 检查模型是否过拟合或模式崩塌") - if 'performance' in self.diagnostics and 'WARNING' in self.diagnostics['performance']: - print("- 考虑使用DDIM或其他快速采样方法") - -# 使用示例 -diagnostics = DDPMSamplingDiagnostics(model) -diagnostics.run_full_diagnostics() - **诊断工具的扩展**：可以添加更多检查项，如： - - - - - 检查是否使用了EMA模型 - - 验证条件生成的正确性 - - 检测特定的视觉伪影（棋盘效应、色彩偏移等） - - 与真实数据分布的统计对比 - - - - - -## 3.6 完整实现：构建你的第一个DDPM - - -本节将把前面学到的所有概念整合成一个完整的DDPM实现。我们将构建一个可以在MNIST数据集上训练的完整系统。 - - - -### 3.6.1 模型架构 - - -首先，让我们实现一个适合DDPM的U-Net架构。这个架构需要： - - - - - 接受带噪声的图像 $x_t$ 作为输入 - - 接受时间步 $t$ 作为条件信息 - - 输出预测的噪声 $\epsilon_\theta(x_t, t)$ - - - - -import torch -import torch.nn as nn -import torch.nn.functional as F -import math - -class SinusoidalPositionalEmbedding(nn.Module): - """正弦位置编码，用于时间步嵌入""" - def __init__(self, dim): - super().__init__() - self.dim = dim - - def forward(self, time): - device = time.device - half_dim = self.dim // 2 - embeddings = math.log(10000) / (half_dim - 1) - embeddings = torch.exp(torch.arange(half_dim, device=device) * -embeddings) - embeddings = time[:, None] * embeddings[None, :] - embeddings = torch.cat((embeddings.sin(), embeddings.cos()), dim=-1) - return embeddings - -class ResidualBlock(nn.Module): - """带时间嵌入的残差块""" - def __init__(self, in_channels, out_channels, time_emb_dim, dropout=0.1): - super().__init__() - self.conv1 = nn.Conv2d(in_channels, out_channels, 3, padding=1) - self.conv2 = nn.Conv2d(out_channels, out_channels, 3, padding=1) - self.time_emb = nn.Linear(time_emb_dim, out_channels) - self.dropout = nn.Dropout(dropout) - self.norm1 = nn.GroupNorm(8, out_channels) - self.norm2 = nn.GroupNorm(8, out_channels) - self.shortcut = nn.Conv2d(in_channels, out_channels, 1) if in_channels != out_channels else nn.Identity() - - def forward(self, x, t): - h = self.conv1(x) - h = self.norm1(h) - h = F.silu(h) - - # 添加时间嵌入 - h = h + self.time_emb(F.silu(t))[:, :, None, None] - - h = self.conv2(h) - h = self.norm2(h) - h = F.silu(h) - h = self.dropout(h) - - return h + self.shortcut(x) - -class AttentionBlock(nn.Module): - """自注意力块""" - def __init__(self, channels, num_heads=4): - super().__init__() - self.num_heads = num_heads - self.norm = nn.GroupNorm(8, channels) - self.qkv = nn.Conv2d(channels, channels * 3, 1) - self.proj = nn.Conv2d(channels, channels, 1) - - def forward(self, x): - B, C, H, W = x.shape - h = self.norm(x) - qkv = self.qkv(h) - q, k, v = qkv.chunk(3, dim=1) - - # 重塑为多头格式 - q = q.view(B, self.num_heads, C // self.num_heads, H * W).transpose(2, 3) - k = k.view(B, self.num_heads, C // self.num_heads, H * W).transpose(2, 3) - v = v.view(B, self.num_heads, C // self.num_heads, H * W).transpose(2, 3) - - # 计算注意力 - scale = (C // self.num_heads) ** -0.5 - attn = torch.softmax(torch.matmul(q, k.transpose(-2, -1)) * scale, dim=-1) - out = torch.matmul(attn, v) - - # 重塑回原始格式 - out = out.transpose(2, 3).contiguous().view(B, C, H, W) - return x + self.proj(out) - - - - 架构设计要点 - - - - **时间嵌入**：使用正弦位置编码将离散时间步转换为连续表示 - - **残差连接**：每个块都包含残差连接，有助于梯度流动 - - **注意力机制**：在低分辨率特征图上使用自注意力，捕获长程依赖 - - **GroupNorm**：使用组归一化而非批归一化，更适合小批量训练 - - - - - -#### 轻量级DDPM U-Net - - 对于简单任务（如MNIST），可以使用更轻量的架构： - - - -class SimpleDDPMUNet(nn.Module): - """轻量级DDPM U-Net，适用于MNIST等简单数据集""" - def __init__(self, image_channels=1, n_channels=32, ch_mults=(1, 2, 2, 4), - n_blocks=2): - super().__init__() - - # 时间嵌入 - self.time_emb = nn.Sequential( - SinusoidalPositionalEmbedding(n_channels), - nn.Linear(n_channels, n_channels * 4), - nn.GELU(), - nn.Linear(n_channels * 4, n_channels * 4) - ) - - # 输入层 - self.conv_in = nn.Conv2d(image_channels, n_channels, 3, padding=1) - - # 下采样 - self.downs = nn.ModuleList() - chs = [n_channels] - now_ch = n_channels - - for i, mult in enumerate(ch_mults): - out_ch = n_channels * mult - for _ in range(n_blocks): - self.downs.append(ResidualBlock(now_ch, out_ch, n_channels * 4)) - now_ch = out_ch - chs.append(now_ch) - - if i 0: - self.ups.append(nn.ConvTranspose2d(now_ch, now_ch, 4, stride=2, padding=1)) - - # 输出层 - self.conv_out = nn.Sequential( - nn.GroupNorm(8, now_ch), - nn.SiLU(), - nn.Conv2d(now_ch, image_channels, 3, padding=1) - ) - - def forward(self, x, t): - # 获取时间嵌入 - t = self.time_emb(t) - - # 初始卷积 - h = self.conv_in(x) - - # 下采样 - hs = [h] - for layer in self.downs: - if isinstance(layer, ResidualBlock): - h = layer(h, t) - else: - h = layer(h) - hs.append(h) - - # 中间层 - for layer in self.middle: - h = layer(h, t) - - # 上采样 - for layer in self.ups: - if isinstance(layer, ResidualBlock): - h = layer(torch.cat([h, hs.pop()], dim=1), t) - else: - h = layer(h) - - # 输出 - return self.conv_out(h) - - - - -练习 3.6.1：模型参数计算 - 实现一个函数来计算U-Net模型的参数量，并比较不同配置的模型大小。 - -def count_parameters(model): - """计算模型参数量""" - return sum(p.numel() for p in model.parameters() if p.requires_grad) - -def compare_model_sizes(): - """比较不同模型配置的参数量""" - configs = [ - {"name": "Tiny", "n_channels": 16, "ch_mults": (1, 2, 2)}, - {"name": "Small", "n_channels": 32, "ch_mults": (1, 2, 2, 4)}, - {"name": "Base", "n_channels": 64, "ch_mults": (1, 2, 4, 8)}, - {"name": "Large", "n_channels": 128, "ch_mults": (1, 2, 4, 8)} - ] - - for config in configs: - model = SimpleDDPMUNet( - n_channels=config["n_channels"], - ch_mults=config["ch_mults"] - ) - params = count_parameters(model) - print(f"{config['name']}: {params:,} parameters ({params/1e6:.2f}M)") - -# 输出示例： -# Tiny: 461,729 parameters (0.46M) -# Small: 3,652,481 parameters (3.65M) -# Base: 35,742,785 parameters (35.74M) -# Large: 142,836,097 parameters (142.84M) - - - - - -### 3.6.2 训练循环 - - 现在让我们实现完整的DDPM训练循环。这个实现包含了前面章节介绍的所有关键组件。 - - - -import torch -import torch.optim as optim -from torch.utils.data import DataLoader -from torchvision import datasets, transforms -from tqdm import tqdm -import matplotlib.pyplot as plt -import numpy as np - -class DDPMTrainer: - """DDPM训练器""" - def __init__(self, model, device='cuda', num_timesteps=1000, - beta_start=1e-4, beta_end=0.02, loss_type='l2'): - self.model = model.to(device) - self.device = device - self.num_timesteps = num_timesteps - self.loss_type = loss_type - - # 设置噪声调度 - self.betas = torch.linspace(beta_start, beta_end, num_timesteps).to(device) - self.alphas = 1 - self.betas - self.alphas_bar = torch.cumprod(self.alphas, dim=0) - self.sqrt_alphas_bar = torch.sqrt(self.alphas_bar) - self.sqrt_one_minus_alphas_bar = torch.sqrt(1 - self.alphas_bar) - - # 用于采样的预计算值 - self.sqrt_recip_alphas = torch.sqrt(1.0 / self.alphas) - self.sqrt_alphas_bar_prev = torch.sqrt( - torch.cat([torch.tensor([1.0]).to(device), self.alphas_bar[:-1]]) - ) - self.sqrt_one_minus_alphas_bar_prev = torch.sqrt( - 1 - torch.cat([torch.tensor([1.0]).to(device), self.alphas_bar[:-1]]) - ) - self.posterior_variance = self.betas * (1.0 - self.alphas_bar_prev) / (1.0 - self.alphas_bar) - - def forward_diffusion(self, x_0, t, noise=None): - """前向扩散过程""" - if noise is None: - noise = torch.randn_like(x_0) - - sqrt_alphas_bar_t = self.sqrt_alphas_bar[t].view(-1, 1, 1, 1) - sqrt_one_minus_alphas_bar_t = self.sqrt_one_minus_alphas_bar[t].view(-1, 1, 1, 1) - - x_t = sqrt_alphas_bar_t * x_0 + sqrt_one_minus_alphas_bar_t * noise - return x_t, noise - - def compute_loss(self, x_0, t): - """计算训练损失""" - noise = torch.randn_like(x_0) - x_t, _ = self.forward_diffusion(x_0, t, noise) - noise_pred = self.model(x_t, t) - - if self.loss_type == 'l2': - loss = torch.nn.functional.mse_loss(noise_pred, noise) - elif self.loss_type == 'l1': - loss = torch.nn.functional.l1_loss(noise_pred, noise) - else: - raise ValueError(f"Unknown loss type: {self.loss_type}") - - return loss - - def train_step(self, batch, optimizer): - """单步训练""" - x_0 = batch[0].to(self.device) - batch_size = x_0.shape[0] - - # 随机采样时间步 - t = torch.randint(0, self.num_timesteps, (batch_size,), device=self.device) - - # 计算损失 - loss = self.compute_loss(x_0, t) - - # 反向传播 - optimizer.zero_grad() - loss.backward() - optimizer.step() - - return loss.item() - - @torch.no_grad() - def sample(self, num_samples, image_size=(1, 28, 28), return_trajectory=False): - """DDPM采样""" - self.model.eval() - - # 从纯噪声开始 - x_t = torch.randn(num_samples, *image_size, device=self.device) - - trajectory = [x_t.cpu()] if return_trajectory else None - - # 逐步去噪 - for t in tqdm(reversed(range(self.num_timesteps)), desc="Sampling"): - t_batch = torch.full((num_samples,), t, device=self.device, dtype=torch.long) - - # 预测噪声 - noise_pred = self.model(x_t, t_batch) - - # 计算均值 - beta_t = self.betas[t] - sqrt_one_minus_alpha_bar_t = self.sqrt_one_minus_alphas_bar[t] - sqrt_recip_alpha_t = self.sqrt_recip_alphas[t] - - mean = sqrt_recip_alpha_t * ( - x_t - beta_t / sqrt_one_minus_alpha_bar_t * noise_pred - ) - - # 添加噪声（除了最后一步） - if t > 0: - noise = torch.randn_like(x_t) - posterior_variance_t = self.posterior_variance[t] - x_t = mean + torch.sqrt(posterior_variance_t) * noise - else: - x_t = mean - - if return_trajectory and t % 100 == 0: - trajectory.append(x_t.cpu()) - - self.model.train() - - if return_trajectory: - return x_t, trajectory - return x_t - -def train_ddpm(model, train_loader, num_epochs=100, lr=2e-4, - device='cuda', save_interval=10): - """完整的DDPM训练流程""" - trainer = DDPMTrainer(model, device=device) - optimizer = optim.Adam(model.parameters(), lr=lr) - - # 训练历史 - losses = [] - - for epoch in range(num_epochs): - epoch_losses = [] - pbar = tqdm(train_loader, desc=f"Epoch {epoch+1}/{num_epochs}") - - for batch in pbar: - loss = trainer.train_step(batch, optimizer) - epoch_losses.append(loss) - pbar.set_postfix({'loss': f"{loss:.4f}"}) - - avg_loss = np.mean(epoch_losses) - losses.append(avg_loss) - print(f"Epoch {epoch+1}, Average Loss: {avg_loss:.4f}") - - # 定期生成样本 - if (epoch + 1) % save_interval == 0: - samples = trainer.sample(16) - save_samples(samples, epoch + 1) - - # 保存检查点 - torch.save({ - 'epoch': epoch, - 'model_state_dict': model.state_dict(), - 'optimizer_state_dict': optimizer.state_dict(), - 'loss': avg_loss, - }, f'ddpm_checkpoint_epoch_{epoch+1}.pt') - - return trainer, losses - -def save_samples(samples, epoch, save_dir='./samples'): - """保存生成的样本""" - import os - os.makedirs(save_dir, exist_ok=True) - - # 保存为PyTorch张量格式 - torch.save(samples, os.path.join(save_dir, f'samples_epoch_{epoch}.pt')) - - # 可选：保存为单独的图像文件 - if samples.shape[1] == 1: # 单通道图像 - from torchvision.utils import save_image - # 将值域从[-1, 1]映射到[0, 1] - samples_normalized = (samples + 1) / 2 - save_image(samples_normalized, - os.path.join(save_dir, f'grid_epoch_{epoch}.png'), - nrow=4, normalize=False) - - print(f"已保存 {len(samples)} 个样本到 {save_dir}") - - - -#### 使用示例：在MNIST上训练DDPM - - - -```python -# 准备数据集 -transform = transforms.Compose([ - transforms.ToTensor(), - transforms.Normalize((0.5,), (0.5,)) # 归一化到[-1, 1] -]) - -train_dataset = datasets.MNIST(root='./data', train=True, - download=True, transform=transform) -train_loader = DataLoader(train_dataset, batch_size=128, - shuffle=True, num_workers=4) - -# 创建模型 -model = SimpleDDPMUNet( - image_channels=1, - n_channels=32, - ch_mults=(1, 2, 2, 4), - n_blocks=2 -) - -# 训练模型 -trainer, losses = train_ddpm( - model=model, - train_loader=train_loader, - num_epochs=50, - lr=2e-4, - device='cuda' if torch.cuda.is_available() else 'cpu', - save_interval=10 -) - -# 生成新样本 -new_samples = trainer.sample(64, image_size=(1, 28, 28)) - -# 分析训练损失 -print("训练损失统计:") -print(f" 初始损失: {losses[0]:.4f}") -print(f" 最终损失: {losses[-1]:.4f}") -print(f" 最低损失: {min(losses):.4f} (Epoch {losses.index(min(losses)) + 1})") -print(f" 损失下降: {(losses[0] - losses[-1]) / losses[0] * 100:.1f}%") -``` - - - - - 训练技巧 - - - - **学习率调度**：使用余弦退火或线性衰减可以提升训练稳定性 - - **EMA**：使用指数移动平均（EMA）可以获得更稳定的生成质量 - - **梯度裁剪**：防止梯度爆炸，特别是在训练初期 - - **混合精度训练**：使用FP16可以加速训练并减少显存占用 - - - - - -#### 高级训练技术 - - - -```python -class EMA: - """指数移动平均""" - def __init__(self, model, decay=0.995): - self.model = model - self.decay = decay - self.shadow = {} - self.backup = {} - self.register() - - def register(self): - for name, param in self.model.named_parameters(): - if param.requires_grad: - self.shadow[name] = param.data.clone() - - def update(self): - for name, param in self.model.named_parameters(): - if param.requires_grad: - self.shadow[name] = self.decay * self.shadow[name] + \ - (1 - self.decay) * param.data - - def apply_shadow(self): - for name, param in self.model.named_parameters(): - if param.requires_grad: - self.backup[name] = param.data - param.data = self.shadow[name] - - def restore(self): - for name, param in self.model.named_parameters(): - if param.requires_grad: - param.data = self.backup[name] - self.backup = {} - -def train_ddpm_with_ema(model, train_loader, num_epochs=100): - """带EMA的DDPM训练""" - trainer = DDPMTrainer(model) - optimizer = optim.Adam(model.parameters(), lr=2e-4) - scheduler = optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max=num_epochs) - ema = EMA(model) - - scaler = torch.cuda.amp.GradScaler() # 混合精度训练 - - for epoch in range(num_epochs): - for batch in train_loader: - x_0 = batch[0].to(trainer.device) - batch_size = x_0.shape[0] - t = torch.randint(0, trainer.num_timesteps, (batch_size,), - device=trainer.device) - - # 混合精度训练 - with torch.cuda.amp.autocast(): - loss = trainer.compute_loss(x_0, t) - - optimizer.zero_grad() - scaler.scale(loss).backward() - - # 梯度裁剪 - scaler.unscale_(optimizer) - torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0) - - scaler.step(optimizer) - scaler.update() - - # 更新EMA - ema.update() - - scheduler.step() - - # 使用EMA权重生成样本 - if (epoch + 1) % 10 == 0: - ema.apply_shadow() - samples = trainer.sample(16) - save_samples(samples, epoch + 1) - ema.restore() - - return trainer, ema -``` - - - - - -练习 3.6.2：实现学习率预热 - 修改训练代码，添加学习率预热（warmup）功能，在训练初期逐渐增加学习率。 - -class WarmupCosineScheduler(optim.lr_scheduler._LRScheduler): - """带预热的余弦退火调度器""" - def __init__(self, optimizer, warmup_epochs, total_epochs, - warmup_lr=1e-5, base_lr=2e-4, min_lr=1e-6): - self.warmup_epochs = warmup_epochs - self.total_epochs = total_epochs - self.warmup_lr = warmup_lr - self.base_lr = base_lr - self.min_lr = min_lr - super().__init__(optimizer) - - def get_lr(self): - if self.last_epoch - - - - - -### 3.6.3 评估与可视化 - - 评估生成模型的质量是一个重要但富有挑战性的任务。本节介绍常用的评估指标和可视化方法。 - - -#### 常用评估指标 - - - 生成模型评估指标 - - - - **FID (Fréchet Inception Distance)**：衡量生成分布与真实分布的距离 - - **IS (Inception Score)**：评估生成样本的质量和多样性 - - **LPIPS**：感知相似度，更符合人类视觉感知 - - **Precision/Recall**：分别衡量质量和覆盖度 - - - - - -#### FID计算实现 - - - -import torch -import numpy as np -from scipy import linalg -from torchvision.models import inception_v3 -from torch.nn.functional import adaptive_avg_pool2d - -class FIDCalculator: - """FID (Fréchet Inception Distance) 计算器""" - def __init__(self, device='cuda'): - self.device = device - self.inception = inception_v3(pretrained=True, transform_input=False).to(device) - self.inception.eval() - # 移除最后的全连接层 - self.inception.fc = torch.nn.Identity() - - @torch.no_grad() - def extract_features(self, images): - """提取Inception特征""" - # 确保图像大小至少为299x299（Inception-v3要求） - if images.shape[2] - - - -#### Inception Score实现 - - - -```python -class InceptionScore: - """Inception Score计算器""" - def __init__(self, device='cuda'): - self.device = device - self.inception = inception_v3(pretrained=True, transform_input=False).to(device) - self.inception.eval() - - @torch.no_grad() - def compute_is(self, images, batch_size=32, splits=10): - """计算Inception Score - - Args: - images: 生成的图像张量 - batch_size: 批处理大小 - splits: 用于计算IS的分割数 - - Returns: - is_mean: IS均值 - is_std: IS标准差 - """ - # 获取预测 - preds = [] - for i in range(0, len(images), batch_size): - batch = images[i:i+batch_size].to(self.device) - - # 调整大小和通道 - if batch.shape[2] = num_samples: - break - real_samples = torch.cat(real_samples, dim=0)[:num_samples] - - # 计算FID - print("计算FID...") - fid_score = self.fid_calculator.compute_fid_from_samples( - real_samples, generated_samples, batch_size=batch_size - ) - - # 计算IS - print("计算Inception Score...") - is_mean, is_std = self.is_calculator.compute_is( - generated_samples, batch_size=batch_size - ) - - # 计算样本多样性 - diversity = self.compute_diversity(generated_samples) - - results = { - 'fid': fid_score, - 'is_mean': is_mean, - 'is_std': is_std, - 'diversity': diversity - } - - return results, generated_samples - - def compute_diversity(self, samples): - """计算样本多样性（使用LPIPS或简单的L2距离）""" - # 简化版：使用L2距离 - n_samples = min(1000, len(samples)) - indices = torch.randperm(len(samples))[:n_samples] - subset = samples[indices] - - # 计算两两之间的L2距离 - distances = [] - for i in range(n_samples): - for j in range(i+1, n_samples): - dist = torch.norm(subset[i] - subset[j], p=2) - distances.append(dist.item()) - - return np.mean(distances) - - def save_results(self, results, samples, save_path='evaluation_results.pt'): - """保存评估结果""" - # 保存样本和评估指标 - torch.save({ - 'samples': samples, - 'metrics': results, - 'timestamp': np.datetime64('now') - }, save_path) - - # 打印评估报告 - print("\n" + "="*50) - print("评估结果报告") - print("="*50) - print(f"FID Score: {results['fid']:.2f} (越低越好)") - print(f"Inception Score: {results['is_mean']:.2f} ± {results['is_std']:.2f} (越高越好)") - print(f"Diversity Score: {results['diversity']:.4f} (越高越好)") - print(f"\n结果已保存到: {save_path}") - - return results -``` - - - - -#### 使用示例 - - - -```python -# 创建评估器 -evaluator = DDPMEvaluator(trainer, test_loader) - -# 运行完整评估 -results, generated_samples = evaluator.evaluate(num_samples=5000) - -# 打印结果 -print(f"FID Score: {results['fid']:.2f}") -print(f"Inception Score: {results['is_mean']:.2f} ± {results['is_std']:.2f}") -print(f"Diversity Score: {results['diversity']:.4f}") - -# 保存结果 -evaluator.save_results(results, generated_samples) - -# 分析采样轨迹 -def analyze_sampling_trajectory(trainer, num_steps_show=10): - """分析采样轨迹""" - # 生成带轨迹的样本 - samples, trajectory = trainer.sample(4, return_trajectory=True) - - # 选择要显示的步骤 - total_steps = len(trajectory) - step_indices = np.linspace(0, total_steps-1, num_steps_show, dtype=int) - - print("\n采样轨迹分析:") - print("="*50) - print(f"总步数: {trainer.num_timesteps}") - print(f"轨迹采样点: {len(step_indices)}") - - # 分析每个阶段的统计特性 - for i, step_idx in enumerate(step_indices): - t = trainer.num_timesteps - step_idx * 100 if step_idx > 0 else trainer.num_timesteps - img_batch = trajectory[step_idx] - - stats = { - 'mean': img_batch.mean().item(), - 'std': img_batch.std().item(), - 'min': img_batch.min().item(), - 'max': img_batch.max().item() - } - - print(f"\n步骤 {i+1}/{num_steps_show} (t={t}):") - print(f" 均值: {stats['mean']:6.3f}, 标准差: {stats['std']:6.3f}") - print(f" 范围: [{stats['min']:6.3f}, {stats['max']:6.3f}]") - - return samples, trajectory - -# 分析采样轨迹 -final_samples, full_trajectory = analyze_sampling_trajectory(trainer) -``` - - - - - -练习 3.6.3：实现Precision和Recall指标 - 实现改进的Precision和Recall指标，分别衡量生成质量和模式覆盖度。 - -def compute_precision_recall(real_features, gen_features, k=3): - """计算改进的Precision和Recall - - 基于k-最近邻的方法： - - Precision: 生成样本中有多少落在真实数据的支撑集内 - - Recall: 真实数据的支撑集有多少被生成样本覆盖 - """ - from sklearn.neighbors import NearestNeighbors - - # 构建k-NN模型 - nbrs_real = NearestNeighbors(n_neighbors=k+1, metric='euclidean').fit(real_features) - nbrs_gen = NearestNeighbors(n_neighbors=k+1, metric='euclidean').fit(gen_features) - - # 计算真实样本的k-NN距离 - distances_real, _ = nbrs_real.kneighbors(real_features) - distances_real = distances_real[:, -1] # 第k个最近邻的距离 - - # 计算生成样本的k-NN距离 - distances_gen, _ = nbrs_gen.kneighbors(gen_features) - distances_gen = distances_gen[:, -1] - - # 计算Precision：生成样本到真实流形的距离 - distances_gen_to_real, _ = nbrs_real.kneighbors(gen_features, n_neighbors=1) - distances_gen_to_real = distances_gen_to_real[:, 0] - precision = np.mean(distances_gen_to_real - - - - - -## 3.7 DDPM的局限性与改进方向 - - 虽然DDPM在生成质量上取得了重大突破，但它仍存在一些重要的局限性。理解这些局限性有助于我们理解后续的改进方法。 - - -### 3.7.1 主要局限性 - - - - DDPM的核心问题 - - - - **采样速度慢** - - - 需要1000步迭代才能生成一张图像 - - 相比GAN的单次前向传播，效率差距巨大 - - 限制了实时应用的可能性 - - - - - **固定的噪声调度** - - - 线性β调度并非最优 - - 不同数据集可能需要不同的调度策略 - - 训练和采样必须使用相同的调度 - - - - - **固定的后验方差** - - - DDPM使用固定的后验方差 $\sigma_t^2 = \beta_t$ - - 这可能不是最优选择 - - 限制了模型的表达能力 - - - - - **计算资源需求高** - - - 训练需要大量GPU时间 - - 推理时的内存占用较大 - - 难以在边缘设备上部署 - - - - - - - - -### 3.7.2 性能分析 - - - - -def analyze_ddpm_performance(trainer, num_samples=100): - """分析DDPM的性能瓶颈""" - import time - - results = { - 'sampling_times': [], - 'memory_usage': [], - 'step_times': [] - } - - # 测试不同步数的采样时间 - for num_steps in [10, 50, 100, 500, 1000]: - # 修改采样步数 - original_steps = trainer.num_timesteps - trainer.num_timesteps = num_steps - - # 计时 - start_time = time.time() - samples = trainer.sample(num_samples, image_size=(1, 28, 28)) - end_time = time.time() - - sampling_time = end_time - start_time - results['sampling_times'].append({ - 'steps': num_steps, - 'total_time': sampling_time, - 'time_per_sample': sampling_time / num_samples, - 'time_per_step': sampling_time / (num_samples * num_steps) - }) - - trainer.num_timesteps = original_steps - - # 分析每步的时间分布 - with torch.profiler.profile( - activities=[torch.profiler.ProfilerActivity.CPU, - torch.profiler.ProfilerActivity.CUDA], - record_shapes=True - ) as prof: - trainer.sample(1, image_size=(1, 28, 28)) - - # 打印分析结果 - print("=== DDPM Performance Analysis ===") - print(f"\nSampling Time vs Steps:") - for result in results['sampling_times']: - print(f"Steps: {result['steps']:4d} | " - f"Total: {result['total_time']:6.2f}s | " - f"Per Sample: {result['time_per_sample']:6.4f}s | " - f"Per Step: {result['time_per_step']*1000:6.2f}ms") - - print(f"\nTop operations by time:") - print(prof.key_averages().table(sort_by="cuda_time_total", row_limit=10)) - - return results - -# 分析性能结果 -def analyze_performance_results(results): - """分析性能测试结果""" - steps = [r['steps'] for r in results['sampling_times']] - times = [r['time_per_sample'] for r in results['sampling_times']] - - print("\n性能分析报告:") - print("="*60) - print("步数 | 每样本时间(s) | 相对1000步加速比 | 质量影响") - print("-"*60) - - baseline_time = times[-1] # 1000步的时间 - for i, (step, time) in enumerate(zip(steps, times)): - speedup = baseline_time / time - quality_impact = "高" if step >= 500 else ("中" if step >= 100 else "低") - print(f"{step:8d} | {time:13.4f} | {speedup:15.1f}x | {quality_impact}") - - print("\n关键发现:") - print(f"- 从1000步减少到50步可获得 {baseline_time/times[1]:.1f}x 加速") - print(f"- 每步平均耗时: {times[-1]/1000*1000:.2f}ms") - print(f"- 主要瓶颈: U-Net前向传播") - - return results - - - -### 3.7.3 改进方向概览 - - - - 主要改进方向 - - - - 问题 - 改进方法 - 关键思想 - 相关章节 - - - - - 采样速度慢 - DDIM - 确定性采样，跳步 - 第8章 - - - 采样速度慢 - DPM-Solver - 高阶ODE求解器 - 第8章 - - - 固定噪声调度 - Improved DDPM - 余弦调度，学习方差 - 第8章 - - - 理论框架 - Score-based Models - 分数匹配视角 - 第4章 - - - 连续时间 - SDE/ODE - 连续时间框架 - 第5章 - - - 计算效率 - Latent Diffusion - 潜在空间扩散 - 第10章 - - - 一步生成 - Consistency Models - 自一致性映射 - 第14章 - - - - - - -### 3.7.4 实验：不同改进的效果 - - - - -```python -class ImprovedDDPMExperiments: - """实验不同的DDPM改进方法""" - - @staticmethod - def cosine_beta_schedule(num_timesteps, s=0.008): - """余弦噪声调度（Improved DDPM）""" - steps = num_timesteps + 1 - x = torch.linspace(0, num_timesteps, steps) - alphas_bar = torch.cos(((x / num_timesteps) + s) / (1 + s) * torch.pi * 0.5) ** 2 - alphas_bar = alphas_bar / alphas_bar[0] - betas = 1 - (alphas_bar[1:] / alphas_bar[:-1]) - return torch.clip(betas, 0.0001, 0.9999) - - @staticmethod - def learned_variance_output(model_output, num_channels): - """学习方差的模型输出（Improved DDPM）""" - # 模型输出两倍通道：前半部分是均值，后半部分是对数方差 - mean, log_variance = torch.split(model_output, num_channels, dim=1) - - # 参数化对数方差在[beta_t, beta_tilde_t]之间 - # log_variance = log(beta_t) + v * log(beta_tilde_t / beta_t) - # 其中v是模型预测的插值参数 - return mean, log_variance - - @staticmethod - def ddim_sampling_step(x_t, epsilon_pred, t, t_prev, alphas_bar, eta=0): - """DDIM采样步骤（可调节随机性）""" - alpha_bar_t = alphas_bar[t] - alpha_bar_t_prev = alphas_bar[t_prev] if t_prev >= 0 else 1.0 - - # 计算x_0的预测 - x_0_pred = (x_t - torch.sqrt(1 - alpha_bar_t) * epsilon_pred) / torch.sqrt(alpha_bar_t) - - # 计算方差 - sigma_t = eta * torch.sqrt((1 - alpha_bar_t_prev) / (1 - alpha_bar_t)) * \ - torch.sqrt(1 - alpha_bar_t / alpha_bar_t_prev) - - # 预测x_{t-1} - mean = torch.sqrt(alpha_bar_t_prev) * x_0_pred + \ - torch.sqrt(1 - alpha_bar_t_prev - sigma_t**2) * epsilon_pred - - if t_prev > 0: - noise = torch.randn_like(x_t) - x_t_prev = mean + sigma_t * noise - else: - x_t_prev = mean - - return x_t_prev - - @staticmethod - def compare_sampling_methods(model, device='cuda'): - """比较不同采样方法的效果""" - results = {} - - # 标准DDPM采样 - print("Testing standard DDPM sampling...") - start_time = time.time() - ddpm_samples = standard_ddpm_sample(model, num_samples=16, num_steps=1000) - ddpm_time = time.time() - start_time - results['ddpm'] = {'samples': ddpm_samples, 'time': ddpm_time} - - # DDIM采样（50步） - print("Testing DDIM sampling (50 steps)...") - start_time = time.time() - ddim_samples = ddim_sample(model, num_samples=16, num_steps=50, eta=0) - ddim_time = time.time() - start_time - results['ddim'] = {'samples': ddim_samples, 'time': ddim_time} - - # 带随机性的DDIM采样 - print("Testing stochastic DDIM (eta=0.5)...") - start_time = time.time() - stochastic_samples = ddim_sample(model, num_samples=16, num_steps=50, eta=0.5) - stochastic_time = time.time() - start_time - results['stochastic'] = {'samples': stochastic_samples, 'time': stochastic_time} - - return results -``` - - - - - -练习 3.7：实现简化版DDIM - 基于本章学到的DDPM知识，实现一个简化版的DDIM采样器，支持可变步数采样。 - -@torch.no_grad() -def simplified_ddim_sample(model, shape, num_inference_steps=50, - num_train_steps=1000, eta=0.0, device='cuda'): - """简化版DDIM采样实现 - - Args: - model: 训练好的噪声预测模型 - shape: 生成图像的形状 - num_inference_steps: 推理步数（= 0 else 1.0 - - # 预测x_0 - x_0_pred = (x_t - torch.sqrt(1 - alpha_bar_t) * epsilon_pred) / torch.sqrt(alpha_bar_t) - x_0_pred = torch.clamp(x_0_pred, -1, 1) # 数值稳定性 - - # 计算方差 - sigma_t = eta * torch.sqrt((1 - alpha_bar_t_prev) / (1 - alpha_bar_t)) * \ - torch.sqrt(1 - alpha_bar_t / alpha_bar_t_prev) if t_prev >= 0 else 0 - - # 计算均值 - mean = torch.sqrt(alpha_bar_t_prev) * x_0_pred + \ - torch.sqrt(1 - alpha_bar_t_prev - sigma_t**2) * epsilon_pred - - # 添加噪声 - if t_prev >= 0: - noise = torch.randn_like(x_t) if eta > 0 else 0 - x_t = mean + sigma_t * noise - else: - x_t = mean - - return x_t - -# 测试不同步数和eta值 -test_configs = [ - {'steps': 10, 'etas': [0.0, 0.3, 0.7, 1.0]}, - {'steps': 25, 'etas': [0.0, 0.3, 0.7, 1.0]}, - {'steps': 50, 'etas': [0.0, 0.3, 0.7, 1.0]} -] - -print("DDIM采样测试结果:") -print("="*60) -print("步数 | η值 | 采样时间(s) | 相对质量评估") -print("-"*60) - -for config in test_configs: - num_steps = config['steps'] - for eta in config['etas']: - import time - start = time.time() - samples = simplified_ddim_sample( - model, shape=(1, 1, 28, 28), - num_inference_steps=num_steps, - eta=eta - ) - elapsed = time.time() - start - - # 简单的质量评估（基于样本统计） - quality = "高" if samples.std() > 0.3 else ("中" if samples.std() > 0.2 else "低") - - print(f"{num_steps:4d} | {eta:4.1f} | {elapsed:11.4f} | {quality}") - -print("\n关键观察:") -print("- η=0 (确定性采样) 速度最快，质量稳定") -print("- η=1 (完全随机，等同于DDPM) 质量最高但速度慢") -print("- 步数减少显著提升速度，但可能影响质量") - - - +DDPM虽然强大，但并非完美。请分析其潜在的局限性，并为每个局限性提出一个可能的研究方向或改进思路。 +1. **局限一：采样速度慢**。标准DDPM需要上千步迭代。 + * **改进思路**：？（提示：反向过程是否必须是马尔可夫的？） +2. **局限二：高斯假设**。整个框架基于高斯噪声和高斯转移核。 + * **改进思路**：？（提示：对于某些具有特定结构噪声的数据，如JPEG压缩伪影，非高斯噪声是否更合适？） +3. **局限三：固定的前向过程**。前向过程与数据无关。 + * **改进思路**：？（提示：能否设计一个依赖于数据内容的前向过程，例如，在图像的平滑区域加更多噪声，在纹理区域加更少噪声？） +4. **研究思路**： + * 阅读DDIM、DEIS等快速采样算法的论文。 + * 查阅关于非高斯扩散或泊松流生成模型（PFGM）的研究。 + * 探索将扩散模型与自编码器结合（如LDM）或与最优传输理论结合的工作。 +
## 本章小结 - 在本章中，我们深入学习了DDPM（去噪扩散概率模型）的核心原理和实现细节： - - - -#### 主要收获 - - - - - **理论基础**：理解了前向扩散过程、反向去噪过程和变分下界的推导 - - **实践实现**：构建了完整的DDPM系统，包括U-Net架构、训练循环和采样算法 - - **评估方法**：学习了FID、IS等生成模型评估指标的计算和使用 - - **局限认识**：了解了DDPM的主要问题，为学习后续改进方法打下基础 - - - - -#### 关键要点 - - - - - DDPM通过逐步添加噪声和学习逆过程来生成数据 - - 训练目标简化为预测每一步添加的噪声 - - 采样过程需要多步迭代，这是主要的效率瓶颈 - - 模型质量高但推理速度慢，这推动了后续的众多改进 - - - - -#### 展望 - - -在接下来的章节中，我们将探索： - - - - - **第4章**：从分数匹配的角度重新理解扩散模型 - - **第5章**：连续时间框架下的SDE/ODE表述 - - **第8章**：DDIM等快速采样方法的原理与实现 - - - +在本章中，我们深入剖析了DDPM的内部工作原理： +- **核心思想**：通过将复杂的变分下界目标简化为预测噪声的均方误差，DDPM极大地简化了扩散模型的训练。 +- **数学推导**：我们理解了前向过程的闭式解、反向过程的后验分布，以及它们如何共同导出了最终的简化损失函数。 +- **关键组件**：我们分析了噪声调度、网络参数化（预测噪声vs预测图像）、方差选择等关键设计决策的重要性。 +- **训练与采样**：我们掌握了DDPM的完整训练和采样算法流程。 -DDPM奠定了现代扩散模型的基础，理解它的原理对于掌握后续的高级技术至关重要。继续前进，让我们在下一章探索扩散模型的另一种视角——基于分数的生成模型！ \ No newline at end of file +DDPM为后续扩散模型的发展奠定了坚实的基础。下一章，我们将从另一个角度——分数匹配（Score Matching）——来理解扩散过程，并看到这两个看似不同的框架如何最终在统一的SDE/PDE视角下完美融合。 diff --git a/chapter5.md b/chapter5.md index 556165d..10a7033 100644 --- a/chapter5.md +++ b/chapter5.md @@ -1,6278 +1,114 @@ -[← 上一章](chapter4.md) - 第5章 / 共14章 - [下一章 →](chapter6.md) - - +[← 上一章](chapter4.md) | 第5章 / 共14章 | [下一章 →](chapter6.md) # 第5章：连续时间扩散模型 (PDE/SDE) +到目前为止，我们学习的扩散模型都是在离散时间步上定义的。但如果我们让时间步数趋于无穷，会发生什么？答案是：我们得到了一个更强大、更灵活的数学框架——随机微分方程（Stochastic Differential Equations, SDEs）。Song等人在2021年的工作《Score-Based Generative Modeling through Stochastic Differential Equations》中，将DDPM和NCSN等模型统一在SDE的视角下，开启了连续时间生成建模的新纪元。本章将深入探讨SDE框架，理解其与离散模型的联系，并介绍其对应的反向SDE、概率流ODE和Fokker-Planck方程等核心概念。 +## 5.1 从离散到连续：SDE的极限之美 - 到目前为止，我们学习的扩散模型都是在离散时间步上定义的。但如果我们让时间步数趋于无穷，会发生什么？答案是：我们得到了随机微分方程（SDE）！Song等人在2021年的工作"Score-Based Generative Modeling through Stochastic Differential Equations"统一了之前的所有方法，并开启了连续时间建模的新纪元。本章将深入探讨SDE框架，以及相关的概率流ODE和Fokker-Planck方程。 - - - -## 5.1 从离散到连续：极限过程 - - - -### 5.1.1 离散扩散过程的回顾 - - - -在前面的章节中，我们学习了离散时间的扩散模型。让我们回顾其核心结构，为理解连续时间做准备。 - - - -#### DDPM的前向过程 - - - -DDPM定义了一个马尔可夫链，逐步向数据添加噪声： - - - - $$q(x_t | x_{t-1}) = \mathcal{N}(x_t; \sqrt{1-\beta_t} x_{t-1}, \beta_t I)$$ - - - -其中 $\beta_t$ 是预定义的噪声调度。通过重参数化技巧，我们可以直接从 $x_0$ 采样 $x_t$： - - - - $$x_t = \sqrt{\bar{\alpha}_t} x_0 + \sqrt{1-\bar{\alpha}_t} \epsilon, \quad \epsilon \sim \mathcal{N}(0, I)$$ - - - -其中 $\alpha_t = 1 - \beta_t$，$\bar{\alpha}_t = \prod_{s=1}^t \alpha_s$。 - - - -#### 关键观察：小步长近似 - - - - -#### 离散步长的含义 - - -当 $\beta_t$ 很小时，前向过程可以理解为： - - - $$x_t = x_{t-1} - \frac{\beta_t}{2} x_{t-1} + \sqrt{\beta_t} z_{t-1}, \quad z_{t-1} \sim \mathcal{N}(0, I)$$ - - - -这看起来像是一个离散化的方程： - - - - - 漂移项：$-\frac{\beta_t}{2} x_{t-1}$（向原点收缩） - - 扩散项：$\sqrt{\beta_t} z_{t-1}$（添加随机性） - - - - - -#### Score-based模型的视角 - - - -在NCSN中，我们考虑不同噪声水平下的分布： - - - - $$p_\sigma(x) = \int p_{data}(x') \mathcal{N}(x; x', \sigma^2 I) dx'$$ - - - -如果我们让 $\sigma$ 随时间连续变化，$\sigma(t)$，会发生什么？ - - - - 离散与连续的对应 - - - 离散时间 - 连续时间 - 含义 - - - $t \in \{0, 1, ..., T\}$ - $t \in [0, T]$ - 时间变量 - - - $x_t - x_{t-1}$ - $dx_t$ - 无穷小变化 - - - $\beta_t$ - $\beta(t)dt$ - 噪声强度 - - - $z_t \sim \mathcal{N}(0, I)$ - $dW_t$ - 布朗运动增量 - - - - - - -# 可视化离散步长的影响 -import torch -import numpy as np - -def discrete_diffusion_path(x0, betas, return_all=True): - """模拟离散扩散路径""" - x = x0.clone() - path = [x.clone()] - - for beta in betas: - # 前向扩散步 - noise = torch.randn_like(x) - x = np.sqrt(1 - beta) * x + np.sqrt(beta) * noise - - if return_all: - path.append(x.clone()) - - return torch.stack(path) if return_all else x - -# 比较不同步数的路径 -def compare_discretizations(x0, T=1.0, num_steps_list=[10, 50, 1000]): - """比较不同离散化的效果""" - paths = {} - - for num_steps in num_steps_list: - # 线性噪声调度 - betas = torch.linspace(0.0001, 0.02, num_steps) - - # 调整到相同的总噪声量 - betas = betas * T / num_steps - - path = discrete_diffusion_path(x0, betas) - paths[num_steps] = path - - # 分析路径的统计性质 - for num_steps, path in paths.items(): - final_mean = path[-1].mean() - final_std = path[-1].std() - print(f"步数={num_steps:4d}: 最终均值={final_mean:.3f}, 标准差={final_std:.3f}") - - return paths - -# 演示 -x0 = torch.randn(1000, 2) # 1000个2D点 -paths = compare_discretizations(x0) -print("\n观察：随着步数增加，离散路径趋于某个极限过程") - - - -#### 为什么需要连续时间？ - - - - -#### 连续时间的优势 - - - - - **理论优雅**：可以使用强大的SDE理论工具 - - **灵活采样**：可以在任意时刻停止或评估 - - **数值方法**：可以使用高阶ODE/SDE求解器 - - **统一框架**：不同的离散模型成为同一SDE的不同离散化 - - - - - -### 5.1.2 时间步趋于无穷的极限 - - - 现在让我们严格地推导当时间步数趋于无穷时会发生什么。这个过程揭示了SDE的自然出现。 - - - -#### 极限过程的设置 - - - -考虑将时间区间 $[0, T]$ 分成 $N$ 份，每份长度 $\Delta t = T/N$。在离散设置中： - - - - $$x_{k+1} = \sqrt{1 - \beta_k} x_k + \sqrt{\beta_k} z_k, \quad z_k \sim \mathcal{N}(0, I)$$ - - - -为了保持合理的扩散速度，我们需要让 $\beta_k = \tilde{\beta}(t_k) \Delta t$，其中 $\tilde{\beta}(t)$ 是连续函数。 - - - - 关键洞察：Taylor展开 - -当 $\Delta t \to 0$ 时，我们可以展开： - - - $$\sqrt{1 - \tilde{\beta}(t)\Delta t} = 1 - \frac{\tilde{\beta}(t)}{2}\Delta t + O((\Delta t)^2)$$ - - - -因此离散更新变为： - - - $$x_{k+1} - x_k = -\frac{\tilde{\beta}(t_k)}{2} x_k \Delta t + \sqrt{\tilde{\beta}(t_k)\Delta t} z_k$$ - - - - -#### 布朗运动的出现 - - - -关键观察：$\sqrt{\Delta t} z_k$ 在极限下收敛到布朗运动的增量！ - - - - -#### 从离散噪声到布朗运动 - - -定义 $W_N(t) = \sum_{k=0}^{\lfloor t/\Delta t \rfloor} \sqrt{\Delta t} z_k$，则： - - - - - $\mathbb{E}[W_N(t)] = 0$ - - $\mathbb{E}[W_N(t)^2] = t$ - - 增量独立且正态分布 - - - -根据Donsker定理，$W_N(t) \xrightarrow{d} W(t)$（标准布朗运动）。 - - - - -#### SDE的导出 - - - -取极限 $N \to \infty$（即 $\Delta t \to 0$），我们得到： - - - - $$dx_t = -\frac{\tilde{\beta}(t)}{2} x_t dt + \sqrt{\tilde{\beta}(t)} dW_t$$ - - - -更一般地，我们可以写成： - - - - $$dx_t = f(x_t, t) dt + g(t) dW_t$$ - - - -其中 $f(x_t, t) = -\frac{\tilde{\beta}(t)}{2} x_t$ 是漂移系数，$g(t) = \sqrt{\tilde{\beta}(t)}$ 是扩散系数。 - - - - 具体例子：VP (Variance Preserving) SDE - -DDPM的连续时间极限给出VP-SDE： - - - $$dx = -\frac{1}{2}\beta(t)x dt + \sqrt{\beta(t)} dW_t$$ - - - -其中 $\beta(t)$ 是连续的噪声调度函数。常见选择： - - - - - 线性：$\beta(t) = \beta_{\min} + t(\beta_{\max} - \beta_{\min})$ - - 余弦：$\beta(t) = \pi \sin^2(\frac{t}{T} \cdot \frac{\pi}{2})$ - - - - - - -# 数值验证：离散过程收敛到SDE -import torch -import numpy as np -from scipy.stats import kstest - -class DiscreteToSDE: - """验证离散过程收敛到SDE的数值实验""" - - def __init__(self, beta_fn, T=1.0): - self.beta_fn = beta_fn - self.T = T - - def discrete_evolution(self, x0, N): - """离散扩散过程""" - dt = self.T / N - x = x0.clone() - - for k in range(N): - t = k * dt - beta_dt = self.beta_fn(t) * dt - - # 离散更新 - noise = torch.randn_like(x) - x = np.sqrt(1 - beta_dt) * x + np.sqrt(beta_dt) * noise - - return x - - def sde_solution(self, x0, t): - """VP-SDE的解析解（当beta为常数时）""" - # 对于一般的beta(t)，需要数值积分 - # 这里简化为常数情况 - beta_avg = self.beta_fn(self.T/2) # 近似 - - mean_factor = np.exp(-0.5 * beta_avg * t) - var_factor = 1 - np.exp(-beta_avg * t) - - mean = mean_factor * x0 - std = np.sqrt(var_factor) - - return mean, std - - def test_convergence(self, x0, N_values=[10, 50, 100, 500, 1000]): - """测试收敛性""" - n_samples = 10000 - x0_batch = x0.repeat(n_samples, 1) - - results = {} - - for N in N_values: - # 运行离散过程 - x_final = self.discrete_evolution(x0_batch, N) - - # 理论分布 - mean_theory, std_theory = self.sde_solution(x0, self.T) - - # 比较统计量 - mean_empirical = x_final.mean(dim=0) - std_empirical = x_final.std(dim=0) - - # KS检验（对第一个维度） - x_normalized = (x_final[:, 0] - mean_theory[0]) / std_theory - ks_stat, p_value = kstest(x_normalized.numpy(), 'norm') - - results[N] = { - 'mean_error': torch.norm(mean_empirical - mean_theory).item(), - 'std_error': torch.norm(std_empirical - std_theory).item(), - 'ks_stat': ks_stat, - 'p_value': p_value - } - - return results - -# 运行实验 -def demonstrate_convergence(): - # 定义beta函数 - beta_fn = lambda t: 0.1 + 10 * t # 线性调度 - - # 初始点 - x0 = torch.tensor([1.0, -0.5]) - - # 测试收敛 - tester = DiscreteToSDE(beta_fn) - results = tester.test_convergence(x0) - - print("离散过程 → SDE 收敛性分析") - print("="*60) - print(f"{'N':>6} | {'均值误差':>10} | {'标准差误差':>10} | {'KS统计量':>10} | {'p值':>10}") - print("-"*60) - - for N, res in results.items(): - print(f"{N:6d} | {res['mean_error']:10.6f} | {res['std_error']:10.6f} | " - f"{res['ks_stat']:10.6f} | {res['p_value']:10.6f}") - - print("\n结论：随着N增加，离散过程的分布收敛到SDE的理论分布") - -demonstrate_convergence() - - - -#### 数学严格性 - - - - 收敛定理（简化版） - 设离散过程 $\{X^N_k\}$ 由以下递归定义： - - - $$X^N_{k+1} = X^N_k + f(X^N_k, t_k)\Delta t + g(t_k)\sqrt{\Delta t} Z_k$$ - - - -在适当的正则性条件下（Lipschitz连续性等），当 $N \to \infty$ 时： - - - $$X^N_{\lfloor t/\Delta t \rfloor} \xrightarrow{d} X_t$$ - - - -其中 $X_t$ 是SDE的解：$dX_t = f(X_t, t)dt + g(t)dW_t$。 - - - - -### 5.1.3 SDE的直观理解 - - - -随机微分方程（SDE）初看起来可能很抽象，但它描述的是一个非常自然的现象：带有随机扰动的动力系统。让我们通过多个角度来建立直观理解。 - - - -#### 粒子运动的视角 - - - - -#### 布朗运动的发现 - - -1827年，植物学家Robert Brown观察到花粉在水中的无规则运动。Einstein在1905年解释了这一现象： - - - - - 花粉受到水分子的随机碰撞 - - 宏观运动 = 确定性漂移 + 随机扰动 - - 这正是SDE描述的内容！ - - - - - -SDE的一般形式 $dx_t = f(x_t, t)dt + g(t)dW_t$ 可以理解为： - - - - 物理类比 - - - SDE项 - 物理含义 - 在扩散模型中 - - - $f(x_t, t)dt$ - 确定性力（如重力、摩擦） - 向噪声分布的漂移 - - - $g(t)dW_t$ - 随机碰撞（热运动） - 注入的高斯噪声 - - - $x_t$ - 粒子位置 - 数据点的状态 - - - - - -#### 信号处理的视角 - - - -在信号处理中，SDE描述了信号如何被噪声逐渐破坏： - - - - $$\text{带噪信号}(t) = \text{衰减} \cdot \text{原始信号}(t) + \text{累积噪声}(t)$$ - - - -这正对应于扩散模型的前向过程：清晰图像逐渐变成噪声。 - - - -#### 概率演化的视角 - - - - 从点到分布 - -SDE不仅描述单个粒子的轨迹，更重要的是描述概率分布的演化： - - - - - $x_0$ 开始是一个确定的点（或某个初始分布） - - 随着时间推移，不确定性增加 - - $p(x_t|x_0)$ 变得越来越分散 - - 最终收敛到某个稳态分布（如标准正态） - - - - - - -# 可视化SDE的直观含义 -import torch -import numpy as np - -class SDEVisualization: - """通过模拟展示SDE的不同方面""" - - def __init__(self, drift_fn, diffusion_fn): - """ - Args: - drift_fn: f(x, t) - 漂移函数 - diffusion_fn: g(t) - 扩散系数函数 - """ - self.f = drift_fn - self.g = diffusion_fn - - def simulate_paths(self, x0, T, dt=0.01, n_paths=100): - """模拟多条SDE路径""" - n_steps = int(T / dt) - paths = torch.zeros(n_paths, n_steps + 1, x0.shape[-1]) - paths[:, 0] = x0 - - for i in range(n_steps): - t = i * dt - x = paths[:, i] - - # Euler-Maruyama方法 - drift = self.f(x, t) * dt - diffusion = self.g(t) * np.sqrt(dt) * torch.randn_like(x) - - paths[:, i + 1] = x + drift + diffusion - - return paths - - def analyze_distribution_evolution(self, x0, T, checkpoints=[0.1, 0.5, 1.0, 2.0]): - """分析分布随时间的演化""" - print("分布演化分析") - print("="*50) - - for t in checkpoints: - if t > T: - continue - - # 模拟到时刻t - paths = self.simulate_paths(x0, t, n_paths=10000) - final_x = paths[:, -1] - - # 统计量 - mean = final_x.mean(dim=0) - std = final_x.std(dim=0) - - print(f"t = {t:.1f}:") - print(f" 均值: {mean.numpy()}") - print(f" 标准差: {std.numpy()}") - print(f" 数据范围: [{final_x.min():.2f}, {final_x.max():.2f}]") - print() - -# 示例1：Ornstein-Uhlenbeck过程（均值回归） -def ou_drift(x, t, theta=1.0, mu=0.0): - """OU过程的漂移：回归到均值mu""" - return theta * (mu - x) - -def constant_diffusion(t, sigma=1.0): - """常数扩散系数""" - return sigma - -print("示例1: Ornstein-Uhlenbeck过程（金融中的均值回归模型）") -print("-"*50) -ou_sde = SDEVisualization(ou_drift, constant_diffusion) -x0 = torch.tensor([5.0]) # 从远离均值的点开始 -ou_sde.analyze_distribution_evolution(x0, T=5.0) - -# 示例2：扩散模型的VP-SDE -def vp_drift(x, t, beta_min=0.1, beta_max=20.0): - """VP-SDE的漂移""" - beta_t = beta_min + t * (beta_max - beta_min) - return -0.5 * beta_t * x - -def vp_diffusion(t, beta_min=0.1, beta_max=20.0): - """VP-SDE的扩散系数""" - beta_t = beta_min + t * (beta_max - beta_min) - return np.sqrt(beta_t) - -print("\n示例2: VP-SDE（扩散模型）") -print("-"*50) -vp_sde = SDEVisualization(vp_drift, vp_diffusion) -x0 = torch.randn(2) # 2D随机初始点 -vp_sde.analyze_distribution_evolution(x0, T=1.0) - - - -#### 几何视角：流形上的随机游走 - - - 在高维空间中，SDE可以理解为数据流形上的随机游走： - - - - -#### 数据流形的破坏与重建 - - - - - **前向SDE**：将数据从低维流形"推离"到整个高维空间 - - **反向SDE**：学习如何将散布的点"拉回"到原始流形 - - **分数函数**：在每个点指示回到流形的方向 - - - - - -#### 控制论视角：噪声作为正则化 - - - - 为什么要加噪声？ - -添加噪声看似是破坏信息，但实际上有多个好处： - - - - - **覆盖支撑集**：确保模型见过所有可能的输入 - - **平滑优化景观**：避免分数函数的奇异性 - - **连接数据点**：在数据点之间建立概率路径 - - **隐式正则化**：防止模型记忆训练数据 - - - - - -#### 信息论视角：熵的增加与减少 - - - - 熵的演化 - -前向SDE增加熵（不确定性），反向SDE减少熵： - - - $$H[p_t] = H[p_0] + \int_0^t \mathbb{E}_{p_s}\left[\frac{|g(s)|^2}{2}\right] ds$$ - - -这解释了为什么： - - - - - 前向过程最终收敛到最大熵分布（高斯分布） - - 反向过程需要学习分数函数来"注入"信息 - - - - - - -# 演示信息论视角 -def entropy_evolution_demo(): - """展示熵随时间的变化""" - import torch.distributions as dist - - # 初始分布：混合高斯（低熵） - mix_weights = torch.tensor([0.3, 0.7]) - components = [ - dist.Normal(-2.0, 0.5), - dist.Normal(2.0, 0.5) - ] - - def estimate_entropy(samples): - """估计样本的差分熵（使用KDE）""" - # 简化：使用高斯核密度估计 - n = len(samples) - h = 1.06 * samples.std() * (n ** (-1/5)) # Silverman's rule - - # 计算每个点的密度 - densities = [] - for x in samples[:100]: # 子采样以加速 - kde = torch.exp(-0.5 * ((samples - x) / h) ** 2) / (h * np.sqrt(2 * np.pi)) - density = kde.mean() - densities.append(density) - - # 熵 = -E[log p(x)] - log_densities = torch.log(torch.tensor(densities) + 1e-10) - entropy = -log_densities.mean() - return entropy.item() - - # 模拟扩散过程 - t_values = [0, 0.1, 0.5, 1.0, 2.0] - n_samples = 5000 - - print("熵的演化（扩散过程）") - print("="*40) - - for t in t_values: - # 采样初始分布 - component_idx = torch.multinomial(mix_weights, n_samples, replacement=True) - samples = torch.zeros(n_samples) - for i, comp in enumerate(components): - mask = component_idx == i - samples[mask] = comp.sample((mask.sum(),)) - - # 应用扩散（简化：直接加噪声） - noise_scale = np.sqrt(1 - np.exp(-t)) # 对应VP-SDE - signal_scale = np.exp(-t/2) - - diffused_samples = signal_scale * samples + noise_scale * torch.randn_like(samples) - - # 估计熵 - entropy = estimate_entropy(diffused_samples) - - # 理论最大熵（标准正态分布） - max_entropy = 0.5 * np.log(2 * np.pi * np.e) - - print(f"t = {t:.1f}: 熵 ≈ {entropy:.3f} (最大熵 = {max_entropy:.3f})") - - print("\n观察：熵单调增加，趋向于高斯分布的最大熵") - -entropy_evolution_demo() - - - -#### 实践指南：选择SDE的艺术 - - - - -#### 不同SDE的特点 - - - - SDE类型 - 特点 - 适用场景 - - - VP-SDE - 方差保持，信号逐渐衰减 - 图像生成（DDPM类） - - - VE-SDE - 方差爆炸，信号保持 - 分数匹配（NCSN类） - - - sub-VP-SDE - 介于两者之间 - 通用框架 - - - - - -## 5.2 前向SDE：连续时间的扩散过程 - - - -### 5.2.1 SDE的一般形式 - - - 现在让我们系统地研究用于扩散模型的SDE。我们将看到，不同的SDE选择对应于不同的离散扩散模型。 - - - -#### 扩散SDE的标准形式 - - - -用于生成建模的前向SDE通常具有以下形式： - - - - $$dx = f(x, t) dt + g(t) dW_t$$ - - - -其中： - - - - - $x \in \mathbb{R}^d$ 是状态变量（如图像） - - $f: \mathbb{R}^d \times [0, T] \to \mathbb{R}^d$ 是漂移系数 - - $g: [0, T] \to \mathbb{R}$ 是扩散系数（标量函数） - - $W_t$ 是标准布朗运动 - - - - - -#### 为什么g(t)是标量？ - - -在大多数扩散模型中，我们假设噪声在各个维度上是独立同分布的。这简化了理论分析和实际实现。更一般的情况下，$g(t)$ 可以是矩阵值函数。 - - - - -#### 边缘分布的演化 - - - -给定初始分布 $p_0(x) = p_{data}(x)$，SDE诱导了一个时变的边缘分布 $p_t(x)$。我们希望： - - - - 设计目标 - - - - **覆盖数据分布**：$p_0(x) = p_{data}(x)$ - - **收敛到已知分布**：$p_T(x) \approx \pi(x)$，其中 $\pi$ 是易于采样的先验分布 - - **平滑过渡**：$p_t$ 随 $t$ 连续变化 - - **可逆性**：存在反向SDE从 $p_T$ 回到 $p_0$ - - - - - -#### 三种经典SDE家族 - - - -Song等人(2021)总结了三种主要的SDE家族： - - - - 1. Variance Exploding (VE) SDE - - $$dx = \sqrt{\frac{d[\sigma^2(t)]}{dt}} dW_t$$ - - -特点： - - - - - 没有漂移项（$f(x,t) = 0$） - - 方差随时间增加：$\mathbb{E}[||x_t||^2] = ||x_0||^2 + \sigma^2(t)$ - - 对应于NCSN中的噪声注入过程 - - - - - - 2. Variance Preserving (VP) SDE - - $$dx = -\frac{1}{2}\beta(t)x dt + \sqrt{\beta(t)} dW_t$$ - - -特点： - - - - - 线性漂移项使信号衰减 - - 在适当的 $\beta(t)$ 下，方差保持接近常数 - - 对应于DDPM的连续时间扩展 - - - - - - 3. Sub-VP SDE - - $$dx = -\frac{1}{2}\beta(t)x dt + \sqrt{\beta(t)(1-e^{-2\int_0^t \beta(s)ds})} dW_t$$ - - -特点： - - - - - 漂移项与VP-SDE相同 - - 扩散系数被调整以确保良好的收敛性质 - - 提供更灵活的框架 - - - - - - -# 实现三种SDE家族 -import torch -import numpy as np -from abc import ABC, abstractmethod - -class SDE(ABC): - """SDE基类""" - - def __init__(self, T=1.0): - self.T = T - - @abstractmethod - def drift(self, x, t): - """漂移系数 f(x,t)""" - pass - - @abstractmethod - def diffusion(self, t): - """扩散系数 g(t)""" - pass - - @abstractmethod - def marginal_prob(self, x0, t): - """边缘分布 p(x_t|x_0) 的均值和标准差""" - pass - - def sample_trajectory(self, x0, n_steps=1000): - """使用Euler-Maruyama方法采样轨迹""" - dt = self.T / n_steps - trajectory = [x0] - x = x0.clone() - - for i in range(n_steps): - t = i * dt - drift = self.drift(x, t) * dt - diffusion = self.diffusion(t) * np.sqrt(dt) * torch.randn_like(x) - x = x + drift + diffusion - trajectory.append(x.clone()) - - return torch.stack(trajectory) - -class VESDE(SDE): - """Variance Exploding SDE""" - - def __init__(self, sigma_min=0.01, sigma_max=50.0, T=1.0): - super().__init__(T) - self.sigma_min = sigma_min - self.sigma_max = sigma_max - - def sigma(self, t): - """噪声调度函数""" - return self.sigma_min * (self.sigma_max / self.sigma_min) ** (t / self.T) - - def drift(self, x, t): - return torch.zeros_like(x) - - def diffusion(self, t): - sigma_t = self.sigma(t) - # d\sigma^2/dt = 2\sigma d\sigma/dt - return sigma_t * np.sqrt(2 * np.log(self.sigma_max / self.sigma_min) / self.T) - - def marginal_prob(self, x0, t): - sigma_t = self.sigma(t) - mean = x0 - std = sigma_t - return mean, std - -class VPSDE(SDE): - """Variance Preserving SDE""" - - def __init__(self, beta_min=0.1, beta_max=20.0, T=1.0): - super().__init__(T) - self.beta_min = beta_min - self.beta_max = beta_max - - def beta(self, t): - """线性噪声调度""" - return self.beta_min + (self.beta_max - self.beta_min) * t / self.T - - def drift(self, x, t): - return -0.5 * self.beta(t) * x - - def diffusion(self, t): - return np.sqrt(self.beta(t)) - - def marginal_prob(self, x0, t): - # 线性SDE的解析解 - log_mean_coeff = -0.25 * t**2 * (self.beta_max - self.beta_min) / self.T - 0.5 * t * self.beta_min - mean = torch.exp(log_mean_coeff) * x0 - std = torch.sqrt(1 - torch.exp(2 * log_mean_coeff)) - return mean, std - -class SubVPSDE(SDE): - """Sub-VP SDE""" - - def __init__(self, beta_min=0.1, beta_max=20.0, T=1.0): - super().__init__(T) - self.beta_min = beta_min - self.beta_max = beta_max - - def beta(self, t): - return self.beta_min + (self.beta_max - self.beta_min) * t / self.T - - def drift(self, x, t): - return -0.5 * self.beta(t) * x - - def diffusion(self, t): - # 简化：使用近似积分 - integral = 0.5 * t**2 * (self.beta_max - self.beta_min) / self.T + t * self.beta_min - return np.sqrt(self.beta(t) * (1 - np.exp(-2 * integral))) - - def marginal_prob(self, x0, t): - # 与VP-SDE相同的边缘均值 - log_mean_coeff = -0.25 * t**2 * (self.beta_max - self.beta_min) / self.T - 0.5 * t * self.beta_min - mean = torch.exp(log_mean_coeff) * x0 - # 但标准差不同 - integral = 0.5 * t**2 * (self.beta_max - self.beta_min) / self.T + t * self.beta_min - std = torch.sqrt(1 - torch.exp(-integral)) - return mean, std - -# 比较不同SDE的性质 -def compare_sdes(): - """比较三种SDE的边缘分布""" - x0 = torch.randn(2) # 2D初始点 - - sdes = { - 'VE-SDE': VESDE(), - 'VP-SDE': VPSDE(), - 'Sub-VP': SubVPSDE() - } - - t_values = torch.linspace(0, 1.0, 5) - - print("不同SDE的边缘分布演化") - print("="*70) - print(f"{'SDE类型':^10} | {'t':^5} | {'均值范数':^12} | {'标准差':^12} | {'信噪比':^12}") - print("-"*70) - - for name, sde in sdes.items(): - for t in t_values: - mean, std = sde.marginal_prob(x0, t) - mean_norm = torch.norm(mean) - snr = mean_norm / (std + 1e-8) # 信噪比 - - print(f"{name:^10} | {t:5.2f} | {mean_norm:12.6f} | {std:12.6f} | {snr:12.6f}") - print("-"*70) - -compare_sdes() - - - -#### 从ODE视角理解SDE - - - - 确定性 vs 随机性 - SDE可以看作是ODE加上随机扰动： - - - $$\underbrace{dx = f(x,t)dt}_{\text{ODE部分}} + \underbrace{g(t)dW_t}_{\text{随机扰动}}$$ - - - -这种分解有助于： - - - - - 理解概率流ODE（去除随机项后的确定性动力学） - - 设计数值求解器（借鉴ODE方法） - - 分析稳定性和收敛性 - - - - - -#### 选择SDE的实用指南 - - - - -#### 如何选择适合的SDE？ - - - - - **VE-SDE**： - - - 适合高分辨率图像 - - 保留原始信号结构 - - 但最终分布难以控制 - - - - - **VP-SDE**： - - - 最终收敛到标准正态 - - 理论分析更简单 - - 与DDPM兼容 - - - - - **Sub-VP-SDE**： - - - 更灵活的框架 - - 可以调节收敛速度 - - 数值稳定性更好 - - - - - - - - -### 5.2.2 常见的SDE选择 - - - -在实践中，选择合适的SDE至关重要。不同的选择会影响模型的训练稳定性、生成质量和采样效率。让我们深入探讨实际应用中的SDE设计。 - - - -#### 噪声调度的设计 - - - -SDE的核心是噪声调度函数，它控制着扩散过程的速度和特性。 - - - - 常见的噪声调度 - - - - **线性调度**（Linear Schedule） - $$\beta(t) = \beta_{\text{min}} + t(\beta_{\text{max}} - \beta_{\text{min}})$$ - - - 简单直观 - - DDPM的原始选择 - - 可能在开始时太快，结束时太慢 - - - - - - **余弦调度**（Cosine Schedule） - $$\bar{\alpha}(t) = \cos\left(\frac{t/T + s}{1 + s} \cdot \frac{\pi}{2}\right)^2$$ - - - 由Nichol & Dhariwal (2021)提出 - - 在整个过程中更均匀地破坏信息 - - 特别适合高分辨率图像 - - - - - - **二次调度**（Quadratic Schedule） - $$\beta(t) = \beta_{\text{min}} + (\beta_{\text{max}} - \beta_{\text{min}})t^2$$ - - - 开始时缓慢，后期加速 - - 保留更多的早期信息 - - - - - - - - - -# 实现和比较不同的噪声调度 -import torch -import numpy as np - -class NoiseSchedule: - """噪声调度的基类""" - - def __init__(self, T=1.0): - self.T = T - - def beta(self, t): - """返回时刻t的beta值""" - raise NotImplementedError - - def alpha_bar(self, t): - """返回累积alpha值""" - # 对于连续时间，需要积分 - # 这里使用数值近似 - n_steps = 1000 - dt = t / n_steps - alpha_bar = 1.0 - - for i in range(n_steps): - t_i = i * dt - alpha_bar *= (1 - self.beta(t_i) * dt) - - return alpha_bar - - def snr(self, t): - """信噪比 (Signal-to-Noise Ratio)""" - alpha_bar = self.alpha_bar(t) - return alpha_bar / (1 - alpha_bar + 1e-8) - -class LinearSchedule(NoiseSchedule): - """线性噪声调度""" - - def __init__(self, beta_min=0.0001, beta_max=0.02, T=1.0): - super().__init__(T) - self.beta_min = beta_min - self.beta_max = beta_max - - def beta(self, t): - return self.beta_min + (t / self.T) * (self.beta_max - self.beta_min) - -class CosineSchedule(NoiseSchedule): - """余弦噪声调度""" - - def __init__(self, s=0.008, T=1.0): - super().__init__(T) - self.s = s - - def alpha_bar(self, t): - # 直接定义alpha_bar而不是beta - return np.cos((t / self.T + self.s) / (1 + self.s) * np.pi / 2) ** 2 - - def beta(self, t): - # 从alpha_bar推导beta - dt = 1e-5 - alpha_bar_t = self.alpha_bar(t) - alpha_bar_t_dt = self.alpha_bar(min(t + dt, self.T)) - - # beta = 1 - alpha_t = 1 - alpha_bar_t / alpha_bar_{t-1} - return 1 - alpha_bar_t_dt / (alpha_bar_t + 1e-8) - -class QuadraticSchedule(NoiseSchedule): - """二次噪声调度""" - - def __init__(self, beta_min=0.0001, beta_max=0.02, T=1.0): - super().__init__(T) - self.beta_min = beta_min - self.beta_max = beta_max - - def beta(self, t): - return self.beta_min + (t / self.T) ** 2 * (self.beta_max - self.beta_min) - -# 比较不同调度的特性 -def compare_schedules(): - """可视化和比较不同的噪声调度""" - schedules = { - 'Linear': LinearSchedule(), - 'Cosine': CosineSchedule(), - 'Quadratic': QuadraticSchedule() - } - - t_values = np.linspace(0, 1.0, 11) - - print("噪声调度比较") - print("="*80) - print(f"{'Schedule':^10} | {'t':^5} | {'beta(t)':^10} | {'alpha_bar(t)':^12} | {'SNR':^10} | {'log10(SNR)':^10}") - print("-"*80) - - for name, schedule in schedules.items(): - for t in t_values: - beta_t = schedule.beta(t) - alpha_bar_t = schedule.alpha_bar(t) - snr_t = schedule.snr(t) - log_snr = np.log10(snr_t + 1e-10) - - print(f"{name:^10} | {t:5.2f} | {beta_t:10.6f} | {alpha_bar_t:12.6f} | {snr_t:10.2f} | {log_snr:10.2f}") - print("-"*80) - - # 分析关键指标 - print("\n关键观察：") - print("1. Linear: SNR下降最快，可能导致早期信息丢失过快") - print("2. Cosine: SNR下降更均匀，在中间阶段保留更多信息") - print("3. Quadratic: 早期保留最多信息，后期快速下降") - -compare_schedules() - - - -#### 离散化与连续时间的对应 - - - - 从离散到连续的映射 - 给定离散扩散模型的参数 $\{\beta_i\}_{i=1}^T$，如何构造对应的连续SDE？ - - - - - - **时间映射**：将离散步骤 $i \in \{1, ..., T\}$ 映射到连续时间 $t \in [0, 1]$： - $$t = i/T$$ - - - - **插值beta函数**： - $$\beta(t) = T \cdot \beta_{\lfloor tT \rfloor}$$ - 需要乘以T来保持正确的时间尺度。 - - - - **验证等价性**：确保离散采样和SDE模拟给出相似的边缘分布。 - - - - - -#### 特殊SDE设计 - - - - 1. 保持数据范围的SDE - -对于图像数据（通常在[-1, 1]范围内），我们可能希望设计保持这个范围的SDE： - - - - $$dx = -\frac{\beta(t)}{2}(x - \tanh(x))dt + \sqrt{\beta(t)} dW_t$$ - - - -这里的非线性漂移项 $\tanh(x)$ 在边界附近提供"推力"，防止样本逃离有效范围。 - - - - - 2. 条件SDE - -对于条件生成，我们可以修改SDE以包含条件信息 $y$： - - - - $$dx = f(x, t, y)dt + g(t)dW_t$$ - - - -常见选择： - - - - - 条件漂移：$f(x, t, y) = -\frac{\beta(t)}{2}x + h(y, t)$ - - 条件扩散：$g(t, y) = \sqrt{\beta(t)} \cdot \sigma(y)$ - - - - - - -# 特殊SDE的实现 -class BoundedSDE(SDE): - """保持数据在有界范围内的SDE""" - - def __init__(self, beta_fn, bounds=(-1, 1), T=1.0): - super().__init__(T) - self.beta_fn = beta_fn - self.lower, self.upper = bounds - self.range = self.upper - self.lower - - def drift(self, x, t): - beta_t = self.beta_fn(t) - # 归一化到[-1, 1] - x_norm = 2 * (x - self.lower) / self.range - 1 - # 非线性漂移 - drift_norm = -0.5 * beta_t * (x_norm - torch.tanh(x_norm)) - # 转换回原始范围 - return drift_norm * self.range / 2 - - def diffusion(self, t): - return np.sqrt(self.beta_fn(t)) - -class ConditionalVPSDE(SDE): - """条件VP-SDE""" - - def __init__(self, beta_min=0.1, beta_max=20.0, condition_dim=128, T=1.0): - super().__init__(T) - self.beta_min = beta_min - self.beta_max = beta_max - self.condition_dim = condition_dim - - # 条件编码器（简化示例） - self.condition_encoder = torch.nn.Sequential( - torch.nn.Linear(condition_dim, 256), - torch.nn.ReLU(), - torch.nn.Linear(256, 1) - ) - - def beta(self, t): - return self.beta_min + (self.beta_max - self.beta_min) * t / self.T - - def drift(self, x, t, condition=None): - base_drift = -0.5 * self.beta(t) * x - - if condition is not None: - # 条件调制 - with torch.no_grad(): - modulation = self.condition_encoder(condition) - base_drift = base_drift * (1 + 0.1 * modulation) - - return base_drift - - def diffusion(self, t, condition=None): - base_diffusion = np.sqrt(self.beta(t)) - - if condition is not None: - # 条件可以影响噪声强度 - return base_diffusion - - return base_diffusion - -# 测试特殊SDE -def test_special_sdes(): - """测试特殊设计的SDE""" - print("\n特殊SDE测试") - print("="*60) - - # 1. 有界SDE - print("1. 有界SDE（保持数据在[-1, 1]内）") - beta_fn = lambda t: 0.1 + 10 * t - bounded_sde = BoundedSDE(beta_fn, bounds=(-1, 1)) - - # 测试边界行为 - x_boundary = torch.tensor([0.9, -0.9, 0.0]) - drift = bounded_sde.drift(x_boundary, 0.5) - print(f"边界点的漂移: {drift.numpy()}") - print("观察：接近边界的点有向内的漂移\n") - - # 2. 条件SDE - print("2. 条件SDE") - cond_sde = ConditionalVPSDE() - - # 不同条件下的漂移 - x = torch.randn(3) - t = 0.5 - - # 无条件 - drift_uncond = cond_sde.drift(x, t, condition=None) - - # 有条件 - condition = torch.randn(128) - drift_cond = cond_sde.drift(x, t, condition=condition) - - print(f"无条件漂移: {drift_uncond.numpy()}") - print(f"有条件漂移: {drift_cond.numpy()}") - print(f"差异: {(drift_cond - drift_uncond).numpy()}") - -test_special_sdes() - - - -#### 实用建议：如何选择和调试SDE - - - - -#### SDE设计清单 - - - - - **检查信噪比曲线** - - - log SNR应该从正值（高信号）单调下降到负值（高噪声） - - 下降速度影响信息保留和生成质量的平衡 - - - - - - **验证最终分布** - - - $p_T(x)$应该接近先验分布（如标准正态） - - 可以通过蒙特卡罗模拟验证 - - - - - - **测试数值稳定性** - - - 确保drift和diffusion项在整个时间范围内有界 - - 避免在t=0或t=T附近出现数值问题 - - - - - - **考虑计算效率** - - - 简单的函数形式（如线性）计算更快 - - 复杂的调度可能提供更好的质量但增加计算成本 - - - - - - - - - 经验法则 - - - - **低分辨率图像**：线性调度通常足够 - - **高分辨率图像**：余弦调度表现更好 - - **非图像数据**：可能需要专门设计的SDE - - **条件生成**：考虑让条件影响噪声调度 - - - - - -### 5.2.3 边缘分布的演化 - - - 理解边缘分布 $p_t(x)$ 如何随时间演化是掌握扩散模型的关键。这不仅关系到理论分析，更直接影响到实际的训练和采样。 - - - -#### 边缘分布的定义 - - - - 边缘分布 - -给定SDE $dx_t = f(x_t, t)dt + g(t)dW_t$ 和初始分布 $p_0(x)$，边缘分布定义为： - - - $$p_t(x) = \int p(x_t = x | x_0) p_0(x_0) dx_0$$ - - - -其中 $p(x_t | x_0)$ 是转移核（transition kernel），描述了从 $x_0$ 到 $x_t$ 的概率转移。 - - - - -#### 线性SDE的解析解 - - - -对于线性SDE（如VP-SDE），我们可以得到边缘分布的显式解。 - - - - 以VP-SDE为例 - -对于 $dx = -\frac{1}{2}\beta(t)x dt + \sqrt{\beta(t)} dW_t$，转移核为： - - - $$p(x_t | x_0) = \mathcal{N}(x_t; \sqrt{\bar{\alpha}(t)} x_0, (1-\bar{\alpha}(t))I)$$ - - - -其中： - - - $$\bar{\alpha}(t) = \exp\left(-\int_0^t \beta(s) ds\right)$$ - - - -这个结果告诉我们： - - - - - 均值随时间指数衰减 - - 方差逐渐增加到接近1 - - 最终分布接近标准正态 - - - - - - -# 可视化边缘分布的演化 -import torch -import numpy as np -from scipy import stats - -class MarginalDistribution: - """计算和分析SDE的边缘分布""" - - def __init__(self, sde): - self.sde = sde - - def sample_marginal(self, x0, t, n_samples=1000): - """通过蒙特卡罗采样边缘分布""" - if hasattr(self.sde, 'marginal_prob'): - # 如果有解析解，直接使用 - mean, std = self.sde.marginal_prob(x0, t) - samples = mean + std * torch.randn(n_samples, *x0.shape) - else: - # 否则通过模拟 - samples = [] - for _ in range(n_samples): - trajectory = self.sde.sample_trajectory(x0, n_steps=100) - samples.append(trajectory[-1]) - samples = torch.stack(samples) - - return samples - - def analyze_evolution(self, x0, time_points): - """分析边缘分布随时间的变化""" - results = [] - - for t in time_points: - samples = self.sample_marginal(x0, t, n_samples=5000) - - # 统计量 - mean = samples.mean(dim=0) - std = samples.std(dim=0) - - # 峰度和偏度（用于检测非高斯性） - kurtosis = ((samples - mean) ** 4).mean() / (std ** 4) - 3 - skewness = ((samples - mean) ** 3).mean() / (std ** 3) - - # KL散度（与标准正态的距离） - # 简化：使用moment matching估计 - kl_div = 0.5 * (mean.norm()**2 + std.norm()**2 - std.log().sum() - len(mean)) - - results.append({ - 't': t, - 'mean': mean.numpy(), - 'std': std.numpy(), - 'kurtosis': kurtosis.item(), - 'skewness': skewness.item(), - 'kl_to_normal': kl_div.item() - }) - - return results - -# 演示不同SDE的边缘分布演化 -def demonstrate_marginal_evolution(): - """演示不同SDE的边缘分布演化""" - # 初始化不同SDE - from functools import partial - - # 重新定义简单的SDE类以避免循环引用 - class SimpleVPSDE: - def __init__(self, beta_min=0.1, beta_max=20.0, T=1.0): - self.beta_min = beta_min - self.beta_max = beta_max - self.T = T - - def marginal_prob(self, x0, t): - log_mean_coeff = -0.25 * t**2 * (self.beta_max - self.beta_min) / self.T - 0.5 * t * self.beta_min - mean = torch.exp(log_mean_coeff) * x0 - std = torch.sqrt(1 - torch.exp(2 * log_mean_coeff)) - return mean, std - - class SimpleVESDE: - def __init__(self, sigma_min=0.01, sigma_max=50.0, T=1.0): - self.sigma_min = sigma_min - self.sigma_max = sigma_max - self.T = T - - def marginal_prob(self, x0, t): - sigma_t = self.sigma_min * (self.sigma_max / self.sigma_min) ** (t / self.T) - mean = x0 - std = sigma_t - return mean, std - - # 初始化 - x0 = torch.tensor([1.0, -0.5]) # 2D初始点 - time_points = [0.0, 0.1, 0.3, 0.5, 0.7, 0.9, 1.0] - - sdes = { - 'VP-SDE': SimpleVPSDE(), - 'VE-SDE': SimpleVESDE() - } - - print("边缘分布演化分析") - print("="*90) - - for sde_name, sde in sdes.items(): - print(f"\n{sde_name}：") - print("-"*90) - print(f"{'t':^5} | {'均值范数':^12} | {'标准差':^12} | {'峰度':^10} | {'偏度':^10} | {'KL散度':^12}") - print("-"*90) - - analyzer = MarginalDistribution(sde) - results = analyzer.analyze_evolution(x0, time_points) - - for res in results: - mean_norm = np.linalg.norm(res['mean']) - std_avg = np.mean(res['std']) - - print(f"{res['t']:5.2f} | {mean_norm:12.6f} | {std_avg:12.6f} | " - f"{res['kurtosis']:10.4f} | {res['skewness']:10.4f} | {res['kl_to_normal']:12.6f}") - - print("\n关键观察：") - print("1. VP-SDE: 均值逐渐衰减到零，标准差趋近于1") - print("2. VE-SDE: 均值保持不变，标准差爆炸式增长") - print("3. 两者的峰度和偏度都接近零，说明分布接近高斯") - -demonstrate_marginal_evolution() - - - -#### Fokker-Planck方程：密度演化的PDE - - - 边缘分布的演化可以用Fokker-Planck方程（也称为Kolmogorov前向方程）来描述： - - - - Fokker-Planck方程 - -对于SDE $dx = f(x,t)dt + g(t)dW_t$，概率密度 $p_t(x)$ 满足： - - - $$\frac{\partial p_t(x)}{\partial t} = -\nabla \cdot (f(x,t)p_t(x)) + \frac{g(t)^2}{2} \Delta p_t(x)$$ - - - -其中： - - - - - $\nabla \cdot$ 是散度算子 - - $\Delta$ 是拉普拉斯算子 - - 第一项是漂移项（传输） - - 第二项是扩散项（平滑） - - - - - -#### 分数函数与边缘分布 - - - -分数函数 $\nabla \log p_t(x)$ 在扩散模型中扮演着核心角色。它描述了概率密度增长最快的方向。 - - - - -#### 分数函数的性质 - - - - - **梯度流**：$\nabla \log p_t(x)$ 指向高概率区域 - - **归一化**：不需要知道归一化常数 - - **光滑性**：随着噪声增加，分数函数变得更平滑 - - **可学习性**：可以用神经网络近似 - - - - - - 特殊情况：高斯分布 - -对于高斯分布 $p(x) = \mathcal{N}(x; \mu, \Sigma)$： - - - $$\nabla \log p(x) = -\Sigma^{-1}(x - \mu)$$ - - - -这是一个线性函数，指向均值点！ - - - - - -# 分析分数函数随时间的变化 -class ScoreFunctionAnalysis: - """分析分数函数的演化""" - - def __init__(self, sde): - self.sde = sde - - def analytical_score(self, x, x0, t): - """计算解析分数函数（仅适用于线性SDE）""" - if hasattr(self.sde, 'marginal_prob'): - mean, std = self.sde.marginal_prob(x0, t) - # 对于高斯分布：score = -(x - mean) / std^2 - score = -(x - mean) / (std ** 2 + 1e-8) - return score - else: - raise NotImplementedError("需要解析边缘分布") - - def score_magnitude_analysis(self, x0, t_values, x_test_points): - """分析分数函数的幅度""" - results = [] - - for t in t_values: - scores = [] - for x in x_test_points: - score = self.analytical_score(x, x0, t) - scores.append(torch.norm(score).item()) - - results.append({ - 't': t, - 'mean_magnitude': np.mean(scores), - 'max_magnitude': np.max(scores), - 'min_magnitude': np.min(scores) - }) - - return results - -# 演示分数函数的演化 -def demonstrate_score_evolution(): - """演示分数函数随时间的变化""" - # 使用VP-SDE - class SimpleVPSDE: - def __init__(self, beta_min=0.1, beta_max=20.0, T=1.0): - self.beta_min = beta_min - self.beta_max = beta_max - self.T = T - - def marginal_prob(self, x0, t): - log_mean_coeff = -0.25 * t**2 * (self.beta_max - self.beta_min) / self.T - 0.5 * t * self.beta_min - mean = torch.exp(log_mean_coeff) * x0 - std = torch.sqrt(1 - torch.exp(2 * log_mean_coeff)) - return mean, std - - sde = SimpleVPSDE() - analyzer = ScoreFunctionAnalysis(sde) - - # 设置 - x0 = torch.tensor([1.0]) - t_values = [0.1, 0.3, 0.5, 0.7, 0.9] - x_test_points = [torch.tensor([x]) for x in np.linspace(-3, 3, 20)] - - print("\n分数函数幅度分析") - print("="*60) - print(f"{'t':^5} | {'平均幅度':^12} | {'最大幅度':^12} | {'最小幅度':^12}") - print("-"*60) - - results = analyzer.score_magnitude_analysis(x0, t_values, x_test_points) - - for res in results: - print(f"{res['t']:5.2f} | {res['mean_magnitude']:12.6f} | " - f"{res['max_magnitude']:12.6f} | {res['min_magnitude']:12.6f}") - - print("\n观察：") - print("1. 随着t增加，分数函数的幅度逐渐减小") - print("2. 这反映了分布变得更加平坦（接近均匀分布）") - print("3. 在噪声很大时，分数函数几乎为零") - -demonstrate_score_evolution() - - - -#### 实际应用：训练时的边缘分布 - - - - -#### 训练时的采样策略 - - 在训练扩散模型时，我们需要： - - - - - **采样时间 $t \sim \mathcal{U}[0, T]$** - - **采样数据点 $x_0 \sim p_{data}$** - - **根据 $p(x_t|x_0)$ 生成噪声样本 $x_t$** - - **训练模型预测噪声或分数** - - - - -边缘分布的解析形式使得第3步变得非常高效！ - - - - - 重要性采样 - -不同的时间点对学习的难度不同。我们可以使用重要性采样： - - - - $$p(t) \propto \mathbb{E}_{x_0, x_t}[||\nabla_{x_t} \log p(x_t|x_0)||^2]$$ - - - -这使得模型更多地关注"难"的时间点。 - - - - -## 5.3 反向时间SDE：去噪过程 - - - -### 5.3.1 Anderson定理 - - - -Anderson定理是扩散模型理论的基石之一。它告诉我们，任何满足一定条件的前向SDE都存在一个对应的反向时间SDE，而这正是生成过程的数学基础。 - - - -#### 定理的背景 - - - -在物理学中，时间反演（time reversal）是一个重要概念。对于确定性系统，时间反演通常很简单。但对于随机过程，情况就复杂得多。Anderson在1982年的工作回答了这个问题。 - - - - Anderson定理（简化版） - -考虑前向SDE： - - - $$dx = f(x, t) dt + g(t) dW_t, \quad t \in [0, T]$$ - - - -定义反向时间 $\tau = T - t$，则存在反向SDE： - - - $$dx = [f(x, T-\tau) - g(T-\tau)^2 \nabla_x \log p_{T-\tau}(x)] d\tau + g(T-\tau) d\bar{W}_\tau$$ - - - -其中： - - - - - $\bar{W}_\tau$ 是关于反向时间的布朗运动 - - $p_t(x)$ 是前向过程在时刻 $t$ 的边缘分布 - - $\nabla_x \log p_t(x)$ 是分数函数 - - - - - -#### 直观理解 - - - - -#### 为什么需要分数函数？ - - -反向过程不仅仅是前向过程的"倒带"。关键差异在于： - - - - - **信息不对称**：前向过程丢失信息，反向过程需要恢复信息 - - **概率流**：反向过程需要知道"哪里来的概率更高" - - **分数作为指引**：$\nabla \log p_t(x)$ 正好指向高概率方向 - - - - - - 一个简单的例子：Ornstein-Uhlenbeck过程 - -考虑前向OU过程： - - - $$dx = -\theta x dt + \sigma dW_t$$ - - - -其稳态分布为 $\mathcal{N}(0, \frac{\sigma^2}{2\theta})$。分数函数为： - - - $$\nabla \log p_{\infty}(x) = -\frac{2\theta}{\sigma^2} x$$ - - - -因此反向SDE为： - - - $$dx = \left[-\theta x - \sigma^2 \cdot \left(-\frac{2\theta}{\sigma^2} x\right)\right] d\tau + \sigma d\bar{W}_\tau = \theta x d\tau + \sigma d\bar{W}_\tau$$ - - - -注意漂移项的符号变了！ - - - - - -# 验证Anderson定理 -import torch -import numpy as np - -class SDEReversal: - """验证和演示时间反演SDE""" - - def __init__(self, forward_drift, forward_diffusion, score_fn): - """ - Args: - forward_drift: f(x, t) - 前向漂移 - forward_diffusion: g(t) - 前向扩散 - score_fn: \nabla log p_t(x) - 分数函数 - """ - self.f = forward_drift - self.g = forward_diffusion - self.score = score_fn - - def reverse_drift(self, x, t, T): - """计算反向SDE的漂移项""" - # 时间变换 -tau = t - forward_time = T - tau - - # Anderson公式 - f_reverse = self.f(x, forward_time) - self.g(forward_time)**2 * self.score(x, forward_time) - - return f_reverse - - def simulate_forward_backward(self, x0, T, n_steps=100): - """模拟前向和反向过程""" - dt = T / n_steps - - # 前向过程 - forward_path = [x0] - x = x0.clone() - - for i in range(n_steps): - t = i * dt - drift = self.f(x, t) * dt - diffusion = self.g(t) * np.sqrt(dt) * torch.randn_like(x) - x = x + drift + diffusion - forward_path.append(x.clone()) - - # 反向过程 - reverse_path = [x] - - for i in range(n_steps): - tau = i * dt - drift = self.reverse_drift(x, tau, T) * dt - diffusion = self.g(T - tau) * np.sqrt(dt) * torch.randn_like(x) - x = x + drift + diffusion - reverse_path.append(x.clone()) - - return torch.stack(forward_path), torch.stack(reverse_path) - -# 示例：VP-SDE的时间反演 -def demonstrate_vp_sde_reversal(): - """演示VP-SDE的时间反演""" - # VP-SDE参数 - beta_min, beta_max = 0.1, 20.0 - T = 1.0 - - def beta(t): - return beta_min + (beta_max - beta_min) * t / T - - def forward_drift(x, t): - return -0.5 * beta(t) * x - - def forward_diffusion(t): - return np.sqrt(beta(t)) - - def score_fn(x, t): - # 对于VP-SDE，边缘分布是高斯的 - # p_t(x|x_0) = N(x; sqrt(alpha_bar_t) * x_0, (1 - alpha_bar_t) * I) - # 但我们需要边缘分数 \nabla log p_t(x) - # 这在实践中是通过神经网络学习的 - # 这里用一个简化的近似 - alpha_bar = np.exp(-0.5 * beta_min * t - 0.25 * (beta_max - beta_min) * t**2 / T) - return -x / (1 - alpha_bar + 1e-8) - - # 创建反演器 - reverser = SDEReversal(forward_drift, forward_diffusion, score_fn) - - # 模拟 - x0 = torch.randn(2) # 2D初始点 - forward_path, reverse_path = reverser.simulate_forward_backward(x0, T, n_steps=100) - - # 分析结果 - print("时间反演SDE分析") - print("="*60) - print(f"初始点: {x0.numpy()}") - print(f"前向终点: {forward_path[-1].numpy()}") - print(f"反向终点: {reverse_path[-1].numpy()}") - print(f"\n前向过程统计:") - print(f" 初始范数: {torch.norm(forward_path[0]).item():.3f}") - print(f" 终点范数: {torch.norm(forward_path[-1]).item():.3f}") - print(f"\n反向过程统计:") - print(f" 初始范数: {torch.norm(reverse_path[0]).item():.3f}") - print(f" 终点范数: {torch.norm(reverse_path[-1]).item():.3f}") - - # 路径对比 - forward_norms = [torch.norm(x).item() for x in forward_path] - reverse_norms = [torch.norm(x).item() for x in reverse_path] - - print(f"\n路径分析:") - print(f"前向路径范数变化: {forward_norms[0]:.3f} → {forward_norms[-1]:.3f}") - print(f"反向路径范数变化: {reverse_norms[0]:.3f} → {reverse_norms[-1]:.3f}") - print("\n注意: 由于随机性，反向过程不会完美回到原点，") - print("但会回到同样的分布！") - -demonstrate_vp_sde_reversal() - - - -#### 数学严格性 - - - - 存在性条件 - Anderson定理成立需要以下条件： - - - - - **正则性**：$f(x,t)$ 和 $g(t)$ 满足Lipschitz条件 - - **非退化性**：$g(t) > 0$ 对所有 $t \in [0,T]$ - - **分数存在**：$\nabla \log p_t(x)$ 存在且满足适当的增长条件 - - - - - -#### 与其他理论的联系 - - - - -#### 联系与应用 - - - - - **Jarzynski等式**：在非平衡统计物理中的应用 - - **最优传输**：Schrödinger bridge问题的特例 - - **信息论**：与信息熵的增减相关 - - **BSDE**：反向SDE可以看作一类特殊的BSDE - - - - - - 实践意义 - -Anderson定理对扩散模型的重要性： - - - - - **理论保证**：确保了反向过程的存在性 - - **学习目标**：明确了需要学习的是分数函数 - - **采样算法**：提供了从噪声生成数据的数学公式 - - **理论分析**：可以分析生成过程的性质 - - - - - -### 5.3.2 反向SDE的推导 - - - -反向SDE是扩散模型的核心，它告诉我们如何从噪声生成数据。这个推导虽然技术性较强，但其物理直觉非常清晰。 - - - -#### 时间反演的基本想法 - - - - -#### 直觉：电影倒放 - - -想象你录制了墨水在水中扩散的过程： - - - - - **正向播放**：墨水从一点扩散到整个水体 - - **反向播放**：分散的墨水神奇地聚集回一点 - - - -反向SDE就是找到这个"倒放过程"的数学描述。 - - - - -#### Anderson定理的应用 - - - -根据Anderson定理，如果前向过程是： - - - - $$dx = f(x, t)dt + g(t)dw$$ - - - -那么反向过程（时间从T到0）是： - - - - $$dx = \left[f(x, t) - g(t)^2 \nabla_x \log p_t(x)\right]dt + g(t)d\bar{w}$$ - - - -其中$\bar{w}$是反向布朗运动。 - - - -#### 关键洞察：分数函数的作用 - - - - 为什么需要分数函数？ - -比较前向和反向SDE，唯一的区别是多了一项：$-g(t)^2 \nabla_x \log p_t(x)$ - - -这项的作用是： - - - - - **补偿扩散**：抵消随机项带来的扩散效应 - - **指引方向**：指向概率密度增加的方向 - - **时变修正**：随时间调整"拉回"的强度 - - - - - -#### 推导步骤（简化版） - - - - 关键步骤 - - - - **考虑联合分布**：$(x_t, t)$的演化 - - **应用Fokker-Planck方程**：得到$p_t(x)$的演化 - - **时间反演**：令$\tau = T - t$ - - **匹配系数**：使反向过程的FP方程与原方程一致 - - - - - -#### 具体例子：VP-SDE的反向过程 - - - -对于VP-SDE（方差保持）： - - - - $$dx = -\frac{1}{2}\beta(t)x dt + \sqrt{\beta(t)}dw$$ - - - -其反向SDE是： - - - - $$dx = \left[-\frac{1}{2}\beta(t)x - \beta(t)\nabla_x \log p_t(x)\right]dt + \sqrt{\beta(t)}d\bar{w}$$ - - - - -# 验证反向SDE的正确性 -import torch -import torch.nn as nn - -class ReverseSDE: - """反向SDE的数值验证""" - - def __init__(self, beta_schedule): - """ - Args: - beta_schedule: 函数，返回时刻t的beta(t) - """ - self.beta = beta_schedule - - def forward_marginal(self, x0, t): - """计算前向过程的边缘分布 p(x_t|x_0)""" - # 对于VP-SDE，有解析解 - alpha_bar = torch.exp(-0.5 * self.integral_beta(t)) - mean = alpha_bar * x0 - var = 1 - alpha_bar**2 - return mean, var - - def integral_beta(self, t): - """计算 ∫_0^t beta(s) ds""" - # 简单起见，假设beta(t) = beta_min + t*(beta_max - beta_min) - beta_min, beta_max = 0.1, 20.0 - return beta_min * t + 0.5 * (beta_max - beta_min) * t**2 - - def score_function(self, xt, x0, t): - """计算真实的分数函数（用于验证）""" - mean, var = self.forward_marginal(x0, t) - score = -(xt - mean) / var - return score - - def verify_reverse_sde(self, x0, T=1.0, dt=0.01): - """验证反向SDE确实能恢复x0""" - print("验证反向SDE") - print("="*50) - - # 1. 前向过程：x0 -> xT - t = 0 - x = x0.clone() - trajectory_forward = [x.clone()] - - while t xT = {xT.numpy():.3f}") - - # 2. 反向过程：xT -> x0 - t = T - x = xT.clone() - trajectory_reverse = [x.clone()] - - while t > dt: - beta_t = self.beta(t) - # 使用真实分数（实际中需要学习） - score = self.score_function(x, x0, t) - - # 反向SDE - drift = -0.5 * beta_t * x - beta_t * score - diffusion = torch.sqrt(beta_t * dt) * torch.randn_like(x) - x = x + drift * dt + diffusion - t -= dt - trajectory_reverse.append(x.clone()) - - x0_recovered = x - print(f"反向过程完成: xT = {xT.numpy():.3f} -> x0_recovered = {x0_recovered.numpy():.3f}") - print(f"恢复误差: {torch.abs(x0 - x0_recovered).item():.4f}") - - # 3. 分析轨迹 - forward_std = torch.stack(trajectory_forward).std() - reverse_std = torch.stack(trajectory_reverse).std() - print(f"\n轨迹分析:") - print(f"前向轨迹标准差: {forward_std:.3f} (扩散)") - print(f"反向轨迹标准差: {reverse_std:.3f} (聚集)") - - return trajectory_forward, trajectory_reverse - -# 测试 -def beta_schedule(t, beta_min=0.1, beta_max=20.0): - """线性beta调度""" - return beta_min + t * (beta_max - beta_min) - -reverse_sde = ReverseSDE(beta_schedule) -x0 = torch.tensor([2.0]) -reverse_sde.verify_reverse_sde(x0) - - - -#### 物理类比：势能场中的粒子 - - - - -#### 分数函数作为"力" - - 反向SDE可以理解为粒子在势能场中的运动： - - - - - **原始漂移项** $f(x,t)$：外加的确定性力 - - **分数修正项** $-g^2\nabla\log p$：势能场的梯度力 - - **随机项** $g(t)d\bar{w}$：热运动 - - - -分数函数创造了一个"势能井"，将粒子拉向数据分布的高概率区域。 - - - - -#### 实用考虑 - - - - 实现反向SDE的挑战 - - - - **分数估计**：需要神经网络学习$\nabla\log p_t(x)$ - - **数值稳定性**：小的$dt$带来大的计算成本 - - **边界条件**：$t=0$附近需要特殊处理 - - **随机性控制**：如何平衡确定性和随机性 - - - - - - -# 实用的反向采样器 -class PracticalReverseSDESampler: - """实际使用的反向SDE采样器""" - - def __init__(self, score_model, beta_schedule): - self.score_model = score_model - self.beta = beta_schedule - - def sample(self, shape, T=1.0, dt=0.01, device='cpu'): - """从噪声生成样本""" - # 初始化为高斯噪声 - x = torch.randn(shape, device=device) - - # 时间步 - timesteps = torch.linspace(T, dt, int(T/dt), device=device) - - for t in timesteps: - # 估计分数 - with torch.no_grad(): - score = self.score_model(x, t) - - # 计算系数 - beta_t = self.beta(t) - drift_coeff = -0.5 * beta_t - score_coeff = -beta_t - noise_coeff = torch.sqrt(beta_t * dt) - - # 反向SDE更新 - drift = drift_coeff * x + score_coeff * score - noise = torch.randn_like(x) - - x = x + drift * dt + noise_coeff * noise - - # 可选：动态调整步长或使用高阶求解器 - if t - - - -#### 总结：反向SDE的意义 - - - - 核心要点 - - - - 反向SDE = 前向SDE + 分数修正 - - 分数函数是连接前向和反向过程的桥梁 - - 物理直觉：从无序到有序需要"信息注入" - - 计算挑战：准确估计分数函数是关键 - - - - - -### 5.3.3 分数函数的作用 - - - 分数函数 $\nabla_x \log p_t(x)$ 是连续时间扩散模型的核心。它不仅是数学上的必需品，更有深刻的几何和物理意义。 - - - -#### 几何意义：指向高概率区域 - - - - -#### 梯度上升的视角 - - -分数函数指向概率密度增加最快的方向： - - - - - 在低概率区域，它指向高概率区域 - - 在概率峰值附近，它的幅度较小 - - 它定义了概率景观上的"最陡上升路径" - - - - - -#### 动力学意义：时变的引导 - - - -分数函数在不同时刻扮演不同角色： - - - - 时间演化的三个阶段 - - - - **早期（$t \approx 0$）**： - - - 数据分布还很清晰 - - 分数函数提供精确的局部结构信息 - - 主要作用：保持数据的精细特征 - - - - - **中期（$0 数据结构部分模糊 - - 分数函数引导全局结构的形成 - - 主要作用：建立大尺度的模式 - - - - - **后期（$t \approx T$）**： - - - 接近纯噪声分布 - - 分数函数提供初始的方向指引 - - 主要作用：从噪声中"点燃"生成过程 - - - - - - - - -#### 信息论意义：负熵流 - - - - 分数函数与信息 - -从信息论角度看，分数函数代表了"信息梯度"： - - - - - **前向过程**：信息逐渐丢失，熵增加 - - **反向过程**：分数函数注入信息，熵减少 - - **平衡点**：分数函数恰好补偿扩散造成的信息损失 - - - - - -#### 与其他概念的联系 - - - - -#### 1. 与Stein分数的关系 - - -分数函数满足Stein恒等式： - - - $$\mathbb{E}_{p_t}[\nabla_x \log p_t(x)] = 0$$ - - -这保证了分数函数的"平衡性"——它不会整体偏向某个方向。 - - - - - -#### 2. 与最优传输的关系 - - -在某些条件下，分数函数定义了从$p_t$到$p_0$的最优传输映射的速度场。这建立了扩散模型与最优传输理论的桥梁。 - - - - - -#### 3. 与能量模型的关系 - - -如果定义能量函数$E_t(x) = -\log p_t(x)$，则： - - - $$\nabla_x \log p_t(x) = -\nabla_x E_t(x)$$ - - -分数函数就是能量函数的负梯度，指向能量下降的方向。 - - - - -#### 实践中的重要性 - - - - 为什么学习分数函数？ - - - - **参数化简单**： - - - 不需要归一化常数 - - 可以用标准神经网络表示 - - 训练目标明确（去噪任务） - - - - - **局部性质**： - - - 只需要局部信息 - - 不需要全局积分 - - 计算效率高 - - - - - **稳定性好**： - - - 梯度匹配是稳定的优化问题 - - 避免了密度估计的数值问题 - - 适合高维数据 - - - - - - - - -#### 分数函数的多尺度特性 - - - - 跨尺度的信息编码 - -分数函数在不同噪声水平下编码不同尺度的信息： - - - - - **低噪声**：编码精细纹理、边缘等高频信息 - - **中等噪声**：编码物体形状、整体结构 - - **高噪声**：编码全局布局、大尺度模式 - - - -这种多尺度特性使得扩散模型能够生成具有丰富细节的高质量样本。 - - - - -#### 总结：分数函数的核心地位 - - - - 关键认识 - -分数函数是扩散模型的"灵魂"： - - - - - 它编码了数据分布的所有信息 - - 它连接了前向扩散和反向生成 - - 它统一了多个理论视角（SDE、ODE、能量模型） - - 它提供了实用的参数化和训练方法 - - - -理解分数函数就是理解扩散模型的关键。 - - - - -## 5.4 概率流ODE：确定性的替代 - - - -### 5.4.1 从SDE到ODE - - - -一个令人惊讶的发现是：每个SDE都有一个对应的ODE，它们产生相同的边缘分布演化。这个ODE被称为概率流ODE（Probability Flow ODE）。 - - - -#### 核心思想：去除随机性 - - - - -#### 从随机到确定 - - -SDE包含两部分： - - - - - **确定性漂移**：$f(x,t)dt$ - - **随机扩散**：$g(t)dw$ - - - -概率流ODE通过修改漂移项来补偿随机项的效果，使得整体演化变成确定性的。 - - - - -#### 概率流ODE的形式 - - - -对于前向SDE： - - - $$dx = f(x,t)dt + g(t)dw$$ - - - -对应的概率流ODE是： - - - $$\frac{dx}{dt} = f(x,t) - \frac{1}{2}g(t)^2\nabla_x \log p_t(x)$$ - - - - 关键性质 - - - - ODE是确定性的——给定初始条件，轨迹唯一确定 - - 边缘分布相同——$p_t(x)$的演化与SDE一致 - - 可逆性——可以精确地前向和反向求解 - - - - - -#### 直观理解：流场视角 - - - - 流体动力学类比 - -可以把概率流ODE理解为不可压缩流体的流动： - - - - - **流体元素**：概率质量的小块 - - **速度场**：$v(x,t) = f(x,t) - \frac{1}{2}g(t)^2\nabla\log p_t$ - - **流线**：ODE的解轨迹 - - **守恒律**：概率总量守恒 - - - - - -#### 为什么这个ODE有效？ - - - -概率流ODE的设计基于以下观察： - - - - -#### Fokker-Planck方程的分解 - - -SDE对应的Fokker-Planck方程可以写成： - - - $$\frac{\partial p_t}{\partial t} = -\nabla \cdot (p_t v_{total})$$ - - -其中总速度场： - - - $$v_{total} = \underbrace{f(x,t)}_{\text{漂移}} - \underbrace{\frac{1}{2}g(t)^2\nabla\log p_t}_{\text{扩散修正}}$$ - - - - -#### SDE vs ODE：轨迹的差异 - - - - 两种演化方式的对比 - - - 特性 - SDE - 概率流ODE - - - 轨迹性质 - 随机、不可预测 - 确定性、可预测 - - - 计算复杂度 - 需要多次采样 - 单次求解即可 - - - 可逆性 - 统计意义上可逆 - 精确可逆 - - - 适用场景 - 生成多样性样本 - 图像编辑、插值 - - - - - -#### 概率流ODE的优势 - - - - 为什么使用ODE？ - - - - **精确编码**： - - - 可以将数据精确编码为潜在表示 - - 支持语义操作和编辑 - - - - - **数值稳定性**： - - - 可以使用高阶ODE求解器 - - 自适应步长控制 - - - - - **理论分析**： - - - 更容易分析收敛性 - - 可以研究流形结构 - - - - - - - - -#### 与神经ODE的联系 - - - - -#### 统一框架 - - -概率流ODE可以看作一种特殊的神经ODE： - - - - - 状态：数据点 $x$ - - 时间：噪声水平 $t$ - - 动力学：由分数函数参数化 - - - -这建立了扩散模型与连续深度模型之间的桥梁。 - - - - -### 5.4.2 概率流的性质 - - - -概率流ODE具有一系列优美的数学性质，这些性质使它成为理解和应用扩散模型的重要工具。 - - - -#### 1. 体积保持性（Liouville定理） - - - - 概率质量守恒 - -概率流保持相空间的体积元： - - - $$\nabla \cdot v(x,t) = 0$$ - - -其中 $v(x,t) = f(x,t) - \frac{1}{2}g(t)^2\nabla\log p_t(x)$ 是速度场。 - - -这意味着： - - - - - 流动是不可压缩的 - - 局部概率密度沿流线保持不变 - - 拓扑性质得以保持 - - - - - -#### 2. 双射性与可逆性 - - - - -#### 一一对应关系 - - -概率流ODE建立了以下双射： - - - - - $\phi_t: \mathcal{X}_0 \rightarrow \mathcal{X}_t$（前向流） - - $\phi_t^{-1}: \mathcal{X}_t \rightarrow \mathcal{X}_0$（反向流） - - - -每个数据点 $x_0$ 对应唯一的噪声表示 $x_T$，反之亦然。 - - - - -#### 3. 最优传输视角 - - - - 动态最优传输 - -在某些条件下，概率流ODE给出了从 $p_0$ 到 $p_T$ 的最优传输路径： - - - - - **路径最短**：在适当的度量下，流线是测地线 - - **能量最优**：最小化传输成本 - - **保持结构**：相邻点保持相邻 - - - - - -#### 4. 连续性与正则性 - - - - 光滑演化 - -如果分数函数 $\nabla\log p_t(x)$ 满足适当的正则性条件，则： - - - - - **解的存在唯一性**：给定初值，ODE有唯一解 - - **连续依赖性**：解连续依赖于初始条件 - - **时间可逆性**：可以精确地前向和后向求解 - - - - - -#### 5. 与Wasserstein梯度流的关系 - - - - -#### 能量泛函的梯度流 - - -概率流ODE可以理解为某个能量泛函的Wasserstein梯度流： - - - $$\frac{\partial p_t}{\partial t} = \nabla \cdot \left(p_t \nabla \frac{\delta \mathcal{F}[p_t]}{\delta p_t}\right)$$ - - -其中 $\mathcal{F}[p]$ 是适当选择的能量泛函。 - - - - -#### 6. 信息几何性质 - - - - Fisher信息的演化 - -沿着概率流，Fisher信息矩阵的演化遵循特定规律： - - - - - **信息损失**：前向流中Fisher信息单调递减 - - **度量保持**：某些几何结构得以保持 - - **自然梯度**：流动方向与自然梯度相关 - - - - - -#### 7. 数值性质 - - - - 计算优势 - - - 性质 - 含义 - - - Lipschitz连续性 - 数值稳定，可用标准ODE求解器 - - - 自适应步长 - 可根据局部误差调整步长 - - - 高阶方法适用 - Runge-Kutta等方法有效 - - - 并行化友好 - 批量样本可并行处理 - - - - - -#### 8. 语义插值性质 - - - - -#### 平滑的语义过渡 - - -概率流ODE的轨迹提供了自然的插值路径： - - - - - 两个数据点之间的插值通过其噪声表示的线性插值实现 - - 插值路径反映了数据流形的几何结构 - - 中间状态保持语义连贯性 - - - - - -#### 应用价值 - - - - 实际应用中的重要性 - - - - **精确反演**：可以精确重构原始数据 - - **潜在空间操作**：在噪声空间进行语义编辑 - - **概率估计**：通过变换公式计算似然 - - **轨迹分析**：研究生成过程的动力学 - - - - - -### 5.4.3 ODE vs SDE：权衡与选择 - - - -在实际应用中，选择使用SDE还是概率流ODE需要考虑多个因素。每种方法都有其优势和局限性。 - - - -#### 生成质量对比 - - - - 质量-多样性权衡 - - - 方面 - SDE - ODE - - - **样本质量** - 通常更高，随机性有助于避免局部缺陷 - 可能陷入次优路径 - - - **多样性** - 自然产生多样化样本 - 确定性导致多样性受限 - - - **模式覆盖** - 更好地覆盖所有模式 - 可能错过某些模式 - - - **细节保真度** - 随机噪声可能模糊细节 - 精确轨迹保持细节 - - - - - -#### 计算效率分析 - - - - -#### 速度与精度的平衡 - - -**SDE的计算特点：** - - - - - 需要固定的小步长（通常1000步） - - 每步需要生成随机噪声 - - 难以使用自适应步长 - - 并行化效率高 - - - -**ODE的计算特点：** - - - - - 可使用高阶求解器（如RK45） - - 自适应步长大幅减少NFE - - 通常只需100-200次函数评估 - - 数值误差可控 - - - - - -#### 应用场景适配 - - - - 选择指南 - -**适合使用SDE的场景：** - - - - - **纯生成任务**：需要高质量、多样化的样本 - - **数据增强**：随机性带来的变化是优势 - - **对抗鲁棒性**：随机性增强模型鲁棒性 - - **探索性应用**：需要发现新的样本模式 - - - -**适合使用ODE的场景：** - - - - - **图像编辑**：需要精确的编码-解码 - - **插值任务**：生成中间过渡状态 - - **反演重构**：从噪声恢复原始输入 - - **可解释性研究**：分析生成轨迹 - - - - - -#### 混合策略 - - - - 结合两者优势 - -实践中常用的混合策略： - - - - - **分段切换**： - - - 早期阶段（高噪声）使用ODE快速去噪 - - 后期阶段（低噪声）使用SDE精细化 - - - - - **温度调节**： - - - 引入温度参数 $\tau$ 控制随机性 - - $dx = f dt + \tau \cdot g dw$ - - $\tau=0$ 退化为ODE，$\tau=1$ 为标准SDE - - - - - **条件切换**： - - - 根据当前状态的置信度动态选择 - - 高置信区域用ODE，低置信区域用SDE - - - - - - - - -#### 数值稳定性考虑 - - - - -#### 数值挑战与解决方案 - - -**SDE的数值挑战：** - - - - - 步长过大导致数值爆炸 - - 累积误差难以控制 - - 需要仔细选择离散化方案 - - - -**ODE的数值挑战：** - - - - - 刚性问题需要隐式求解器 - - 分数函数的数值误差会累积 - - 需要监控局部截断误差 - - - - - -#### 理论保证对比 - - - - 收敛性分析 - - - 理论性质 - SDE - ODE - - - 收敛阶 - 弱收敛 O(√dt) - 可达高阶 O(dt^p) - - - 误差界 - 概率意义上的界 - 确定性误差界 - - - 长时间行为 - 遍历性保证 - 轨迹稳定性 - - - - - -#### 实践建议 - - - - 最佳实践总结 - - - - **默认选择**：对于大多数生成任务，SDE仍是首选 - - **速度优先**：当推理速度关键时，考虑ODE - - **精度要求**：需要精确控制时使用ODE - - **实验验证**：具体选择应基于实际效果 - - **混合使用**：不同阶段可以使用不同方法 - - - - - -## 5.5 Fokker-Planck方程：密度视角 - - - -### 5.5.1 从粒子到密度 - - - -Fokker-Planck方程提供了扩散过程的另一个视角：从跟踪单个粒子转向描述整体概率密度的演化。这是理解扩散模型的关键数学工具。 - - - -#### 两种描述方式的对偶性 - - - - -#### 微观 vs 宏观 - - - - SDE（微观） - Fokker-Planck（宏观） - - - 描述单个粒子的随机轨迹 - 描述概率密度的确定性演化 - - - $dx_t = f(x_t,t)dt + g(t)dw_t$ - $\frac{\partial p}{\partial t} = -\nabla \cdot (fp) + \frac{g^2}{2}\Delta p$ - - - 随机微分方程 - 偏微分方程 - - - - - -#### Fokker-Planck方程的推导直觉 - - - - 守恒律视角 - -Fokker-Planck方程本质上是概率的守恒律： - - - $$\frac{\partial p}{\partial t} + \nabla \cdot J = 0$$ - - -其中概率流 $J$ 包含两部分： - - - - - **漂移流**：$J_{drift} = f(x,t)p(x,t)$ - - **扩散流**：$J_{diff} = -\frac{g(t)^2}{2}\nabla p(x,t)$ - - - - - -#### 标准形式与物理意义 - - - -对于一般的SDE，Fokker-Planck方程为： - - - - $$\frac{\partial p(x,t)}{\partial t} = -\sum_i \frac{\partial}{\partial x_i}[f_i(x,t)p(x,t)] + \frac{1}{2}\sum_{i,j}\frac{\partial^2}{\partial x_i \partial x_j}[g_{ij}(t)p(x,t)]$$ - - - - 各项的物理解释 - - - - **时间导数项** $\frac{\partial p}{\partial t}$：密度的局部变化率 - - **对流项** $-\nabla \cdot (fp)$：由确定性漂移引起的概率流动 - - **扩散项** $\frac{g^2}{2}\Delta p$：由随机涨落引起的概率扩散 - - - - - -#### 特殊情况：线性Fokker-Planck方程 - - - -对于扩散模型中常见的线性SDE： - - - $$dx = -\frac{\beta(t)}{2}x dt + \sqrt{\beta(t)}dw$$ - - - -对应的Fokker-Planck方程是： - - - $$\frac{\partial p}{\partial t} = \frac{\beta(t)}{2}\nabla \cdot (xp) + \frac{\beta(t)}{2}\Delta p$$ - - - - -#### 解的高斯性 - - -线性Fokker-Planck方程的一个重要性质是：如果初始分布是高斯的，那么任意时刻的分布都保持高斯形式。这解释了为什么扩散模型的前向过程最终收敛到高斯分布。 - - - - -#### 与热方程的联系 - - - - 扩散作为热传导 - -在纯扩散情况下（$f=0$），Fokker-Planck方程退化为热方程： - - - $$\frac{\partial p}{\partial t} = D\Delta p$$ - - -这建立了以下类比： - - - - - 概率密度 ↔ 温度分布 - - 扩散系数 ↔ 热导率 - - 概率流 ↔ 热流 - - - - - -#### 稳态与平衡分布 - - - - 长时间行为 - -当 $t \to \infty$ 时，系统趋向稳态：$\frac{\partial p}{\partial t} = 0$ - - -稳态分布 $p_\infty(x)$ 满足： - - - $$\nabla \cdot (f p_\infty) = \frac{g^2}{2}\Delta p_\infty$$ - - -对于扩散模型，这通常是标准高斯分布 $\mathcal{N}(0,I)$。 - - - - -#### 边界条件的重要性 - - - - -#### 自然边界条件 - - -在 $\mathbb{R}^d$ 上，通常采用自然边界条件： - - - - - $p(x,t) \to 0$ 当 $|x| \to \infty$ - - $\int_{\mathbb{R}^d} p(x,t)dx = 1$（概率守恒） - - - -这些条件确保了物理意义和数学良定性。 - - - - -#### 数值求解的挑战 - - - - 维数灾难 - -直接求解Fokker-Planck方程面临严重的维数灾难： - - - - - 对于 $d$ 维问题，计算复杂度为 $O(N^d)$ - - 存储需求随维数指数增长 - - 高维空间中的数值格式不稳定 - - - -这就是为什么扩散模型选择通过学习分数函数来间接求解。 - - - - -### 5.5.2 Fokker-Planck方程的推导 - - - -Fokker-Planck方程的推导展示了随机过程与偏微分方程之间的深刻联系。这里我们从直观到严格，逐步推导这个方程。 - - - -#### 方法一：从Chapman-Kolmogorov方程出发 - - - - 基本思路 - -考虑转移概率密度 $p(x,t|x_0,t_0)$，它满足Chapman-Kolmogorov方程： - - - $$p(x,t+\Delta t|x_0,t_0) = \int p(x,t+\Delta t|y,t)p(y,t|x_0,t_0)dy$$ - - -对小时间步 $\Delta t$，展开转移核并取极限即可得到Fokker-Planck方程。 - - - - -#### 方法二：Itô公式方法（更直观） - - - -这是理解Fokker-Planck方程的现代方法： - - - - -#### 核心步骤 - - - - - **考虑测试函数**：对任意光滑函数 $\phi(x)$，计算期望值的演化 - - **应用Itô公式**： - - $$d\phi(x_t) = \nabla\phi \cdot dx_t + \frac{1}{2}\text{Tr}(\nabla^2\phi \cdot d\langle x\rangle_t)$$ - - - - **取期望**：利用 $\mathbb{E}[dw_t] = 0$ - - **分部积分**：将作用在 $\phi$ 上的算子转移到 $p$ 上 - - - - - -#### 详细推导：一维情况 - - - - 从SDE到Fokker-Planck - -设一维SDE为：$dx_t = f(x_t,t)dt + g(t)dw_t$ - - - -**步骤1**：对测试函数 $\phi(x)$ 应用Itô公式 - - - $$d\phi(x_t) = \phi'(x_t)dx_t + \frac{1}{2}\phi''(x_t)(dx_t)^2$$ - - - -**步骤2**：计算二次变分 $(dx_t)^2 = g(t)^2dt$ - - - -**步骤3**：代入并取期望 - - - $$\frac{d}{dt}\mathbb{E}[\phi(x_t)] = \mathbb{E}[f(x_t,t)\phi'(x_t) + \frac{g(t)^2}{2}\phi''(x_t)]$$ - - - -**步骤4**：用密度函数表示期望 - - - $$\frac{d}{dt}\int \phi(x)p(x,t)dx = \int \left[f(x,t)\phi'(x) + \frac{g(t)^2}{2}\phi''(x)\right]p(x,t)dx$$ - - - -**步骤5**：分部积分 - - - $$\int \phi(x)\frac{\partial p}{\partial t}dx = \int \phi(x)\left[-\frac{\partial}{\partial x}(f p) + \frac{g^2}{2}\frac{\partial^2 p}{\partial x^2}\right]dx$$ - - - -由于 $\phi$ 任意，得到Fokker-Planck方程。 - - - - -#### 高维推广 - - - - 多维Fokker-Planck方程 - -对于 $d$ 维SDE：$dx_i = f_i(x,t)dt + \sum_j g_{ij}(t)dw_j$ - - -Fokker-Planck方程为： - - - $$\frac{\partial p}{\partial t} = -\sum_i \frac{\partial}{\partial x_i}(f_i p) + \frac{1}{2}\sum_{i,j}\frac{\partial^2}{\partial x_i \partial x_j}(D_{ij}p)$$ - - -其中扩散矩阵 $D_{ij} = \sum_k g_{ik}g_{jk}$。 - - - - -#### 反向Fokker-Planck方程 - - - - -#### 时间反演 - - -对于反向SDE，对应的Fokker-Planck方程（也称为Kolmogorov反向方程）是： - - - $$-\frac{\partial p}{\partial t} = f \cdot \nabla p + \frac{g^2}{2}\Delta p$$ - - -注意时间导数的符号变化，这反映了时间反演的本质。 - - - - -#### 与分数函数的关系 - - - - 分数函数的出现 - -Fokker-Planck方程可以重写为： - - - $$\frac{\partial p}{\partial t} = -\nabla \cdot \left[p\left(f - \frac{g^2}{2}\nabla \log p\right)\right] - \frac{g^2}{2}\Delta p$$ - - -这里自然出现了分数函数 $\nabla \log p$，暗示了它在扩散过程中的核心作用。 - - - - -#### 物理解释：概率流的分解 - - - - 流的物理图像 - -Fokker-Planck方程描述了两种概率流的竞争： - - - - - **确定性流**：由漂移 $f(x,t)$ 驱动，可以聚集或分散概率 - - **扩散流**：总是使概率分散，趋向均匀分布 - - - -扩散模型巧妙地平衡这两种流，实现数据与噪声之间的可逆转换。 - - - - -#### 数学性质 - - - - -#### 重要性质 - - - - - **线性性**：Fokker-Planck方程对 $p$ 是线性的 - - **保正性**：如果初值 $p_0 \geq 0$，则 $p_t \geq 0$ 对所有 $t$ 成立 - - **质量守恒**：$\int p(x,t)dx = 1$ 对所有 $t$ 成立 - - **最大值原理**：密度的最大值不会增加（纯扩散情况） - - - - - -### 5.5.3 与分数函数的联系 - - - -Fokker-Planck方程与分数函数之间存在深刻的联系。这种联系不仅是数学上的巧合，更揭示了扩散模型的核心机制。 - - - -#### 分数函数在Fokker-Planck方程中的出现 - - - - 概率流的分解 - -Fokker-Planck方程可以写成流的形式： - - - $$\frac{\partial p}{\partial t} = -\nabla \cdot J$$ - - -其中总概率流 $J$ 可以分解为： - - - $$J = \underbrace{fp}_{\text{漂移流}} - \underbrace{\frac{g^2}{2}\nabla p}_{\text{扩散流}} = p\left(f - \frac{g^2}{2}\nabla \log p\right)$$ - - -这里自然出现了分数函数 $\nabla \log p$。 - - - - -#### 分数函数的物理意义 - - - - -#### 三种解释 - - - - - **热力学力**：分数函数代表将系统推向平衡态的"力" - - **信息梯度**：指向信息含量增加的方向 - - **最可能路径**：在给定约束下的最可能演化方向 - - - - - -#### 稳态条件与分数函数 - - - - 平衡态的特征 - -在稳态（$\frac{\partial p}{\partial t} = 0$）时，概率流必须为零： - - - $$J = p\left(f - \frac{g^2}{2}\nabla \log p\right) = 0$$ - - -这给出稳态条件： - - - $$f(x) = \frac{g^2}{2}\nabla \log p_{\infty}(x)$$ - - -即漂移必须恰好平衡扩散引起的概率流出。 - - - - -#### 分数函数与熵产生 - - - - 熵的演化 - -相对熵（KL散度）的时间导数为： - - - $$\frac{d}{dt}D_{KL}(p_t \| p_{\infty}) = -\int p_t |\nabla \log p_t - \nabla \log p_{\infty}|^2 dx \leq 0$$ - - -这表明： - - - - - 分数函数的差异驱动系统向平衡态演化 - - 演化速率正比于分数函数差的平方 - - 当且仅当 $p_t = p_{\infty}$ 时演化停止 - - - - - -#### 反向过程中分数函数的作用 - - - - -#### 时间反演的关键 - - -考虑前向Fokker-Planck方程： - - - $$\frac{\partial p}{\partial t} = -\nabla \cdot (fp) + \frac{g^2}{2}\Delta p$$ - - -对应的反向Fokker-Planck方程需要额外的分数项： - - - $$\frac{\partial p}{\partial \tau} = -\nabla \cdot \left[\left(-f + g^2\nabla \log p\right)p\right] + \frac{g^2}{2}\Delta p$$ - - -分数函数 $\nabla \log p$ 提供了反向演化所需的"信息"。 - - - - -#### 分数匹配与Fokker-Planck方程 - - - - 学习目标的等价性 - -扩散模型的训练可以从两个角度理解： - - - - - **分数匹配**：最小化 $\mathbb{E}_{p_t}[|\nabla \log p_t - s_\theta|^2]$ - - **密度演化**：使神经网络参数化的流满足Fokker-Planck方程 - - - -这两个目标在数学上是等价的。 - - - - -#### 变分视角：最小作用量原理 - - - - Onsager-Machlup泛函 - -扩散过程的路径概率可以用作用量表示： - - - $$S[x] = \int_0^T \left[\frac{|\dot{x} - f|^2}{2g^2} - \frac{1}{2}\nabla \cdot f\right]dt$$ - - -分数函数通过Fokker-Planck方程进入这个作用量，决定了最可能的演化路径。 - - - - -#### 计算优势 - - - - -#### 为什么学习分数而非密度 - - - - - **局部性**：分数函数只需要局部信息，而密度需要全局归一化 - - **维数可扩展**：分数匹配避免了高维空间的积分 - - **数值稳定**：梯度估计比密度估计更稳定 - - **训练简单**：去噪任务提供了自然的训练信号 - - - - - -#### 总结：分数函数的中心地位 - - - - 统一视角 - -分数函数 $\nabla \log p$ 是连接多个概念的桥梁： - - - - - **SDE视角**：使反向过程成为可能 - - **PDE视角**：出现在Fokker-Planck方程中 - - **ODE视角**：定义概率流的速度场 - - **优化视角**：提供了可学习的参数化 - - **几何视角**：是概率流形上的切向量 - - - -理解这些联系是掌握连续时间扩散模型的关键。 - - - - -## 5.6 统一框架：Score SDE - - - -### 5.6.1 VP-SDE、VE-SDE和sub-VP-SDE - - - -Score SDE框架统一了各种扩散模型，将它们表示为不同的SDE选择。这里介绍三种主要的SDE类型及其特点。 - - - -#### VP-SDE（Variance Preserving） - - - - 方差保持SDE - -VP-SDE对应于DDPM，其形式为： - - - $$dx = -\frac{1}{2}\beta(t)x dt + \sqrt{\beta(t)}dw$$ - - -其中 $\beta(t)$ 是噪声调度函数。 - - -**关键性质**： - - - - - 保持信号和噪声的总方差近似为1 - - 边缘分布：$p(x_t|x_0) = \mathcal{N}(\sqrt{\bar{\alpha}_t}x_0, (1-\bar{\alpha}_t)I)$ - - 终态分布：$p(x_T) \approx \mathcal{N}(0, I)$ - - - - - -#### VE-SDE（Variance Exploding） - - - - 方差爆炸SDE - -VE-SDE对应于NCSN/SMLD，其形式为： - - - $$dx = \sqrt{\frac{d[\sigma^2(t)]}{dt}}dw$$ - - -其中 $\sigma(t)$ 是递增的噪声水平函数。 - - -**关键性质**： - - - - - 没有漂移项，纯扩散过程 - - 边缘分布：$p(x_t|x_0) = \mathcal{N}(x_0, \sigma^2(t)I)$ - - 方差随时间单调增加至无穷 - - - - - -#### sub-VP-SDE - - - - 次方差保持SDE - -sub-VP-SDE是VP-SDE的连续时间极限： - - - $$dx = -\frac{1}{2}\beta(t)x dt + \sqrt{\beta(t)(1-e^{-2\int_0^t \beta(s)ds})}dw$$ - - -**关键性质**： - - - - - 更精确地保持离散DDPM的边缘分布 - - 扩散系数依赖于历史 - - 数值稳定性更好 - - - - - -#### 三种SDE的比较 - - - - 特性对比 - - - 特性 - VP-SDE - VE-SDE - sub-VP-SDE - - - 漂移项 - 线性 - 无 - 线性 - - - 扩散系数 - $\sqrt{\beta(t)}$ - $\sqrt{\dot{\sigma}^2(t)}$ - 状态依赖 - - - 终态分布 - $\mathcal{N}(0,I)$ - $\mathcal{N}(0,\sigma_T^2 I)$ - $\mathcal{N}(0,I)$ - - - 计算效率 - 高 - 最高 - 中等 - - - - - -#### 噪声调度的选择 - - - - -#### 常用的噪声调度 - - -**VP-SDE的β调度**： - - - - - 线性：$\beta(t) = \beta_{min} + t(\beta_{max} - \beta_{min})$ - - 余弦：$\beta(t) = \beta_{max} \cdot \sin^2(\frac{\pi t}{2T})$ - - 改进线性：考虑信噪比的平滑变化 - - - -**VE-SDE的σ调度**： - - - - - 几何级数：$\sigma_i = \sigma_{min} \cdot (\sigma_{max}/\sigma_{min})^{i/N}$ - - 多项式：$\sigma(t) = \sigma_{min} + t^p(\sigma_{max} - \sigma_{min})$ - - - - - -#### 选择指南 - - - - 何时使用哪种SDE - - - - **VP-SDE**： - - - 标准选择，适合大多数任务 - - 训练稳定，理论完善 - - 与DDPM兼容 - - - - - **VE-SDE**： - - - 需要精确控制噪声水平 - - 多尺度建模 - - 计算效率要求高 - - - - - **sub-VP-SDE**： - - - 需要精确匹配离散模型 - - 理论研究 - - 高精度要求 - - - - - - - - -#### 统一视角的优势 - - - - Score SDE框架的贡献 - - - - **理论统一**：不同方法只是SDE的不同选择 - - **灵活设计**：可以设计新的SDE形式 - - **统一训练**：相同的分数匹配目标 - - **统一采样**：通用的求解器（如PC采样器） - - - - - -### 5.6.2 离散模型作为SDE的特例 - - - -一个深刻的洞察是：所有离散时间的扩散模型都可以看作连续SDE的数值离散化。这个视角不仅统一了理论，还指导了算法改进。 - - - -#### DDPM与VP-SDE的对应关系 - - - - 从离散到连续 - -DDPM的前向过程： - - - $$x_t = \sqrt{\alpha_t}x_{t-1} + \sqrt{1-\alpha_t}\epsilon_t$$ - - -当时间步 $\Delta t \to 0$ 时，设 $\alpha_t = 1 - \beta_t\Delta t$，可得： - - - $$\frac{x_t - x_{t-1}}{\Delta t} \approx -\frac{\beta_t}{2}x_t + \frac{\sqrt{\beta_t}}{\sqrt{\Delta t}}\epsilon_t$$ - - -这正是VP-SDE的Euler-Maruyama离散化。 - - - - -#### NCSN与VE-SDE的对应关系 - - - - -#### 多尺度噪声的连续化 - - -NCSN使用离散的噪声水平 $\{\sigma_i\}_{i=1}^L$，每个水平对应一个加噪分布： - - - $$p_{\sigma_i}(x|x_0) = \mathcal{N}(x_0, \sigma_i^2 I)$$ - - -当 $L \to \infty$ 且噪声水平连续化时，得到VE-SDE： - - - $$dx = \sqrt{\frac{d\sigma^2(t)}{dt}}dw$$ - - - - -#### 离散化误差分析 - - - - 数值格式的影响 - - - 离散化方法 - 局部误差 - 特点 - - - Euler-Maruyama - $O(\Delta t)$ - 简单但精度低 - - - Heun方法 - $O(\Delta t^2)$ - 需要两次函数评估 - - - 随机Runge-Kutta - $O(\Delta t^{3/2})$ - 高精度但复杂 - - - - - -#### 时间步的选择 - - - - 离散步数与连续时间 - -离散模型的步数 $T$ 与连续时间的关系： - - - - - **DDPM**：通常 $T=1000$，对应连续时间 $[0,1]$ - - **改进DDPM**：$T=4000$，更好地逼近连续极限 - - **连续模型**：$T \to \infty$，完全连续 - - - -步数越多，离散模型越接近连续SDE，但计算成本也越高。 - - - - -#### 训练目标的统一 - - - - -#### 分数匹配的一致性 - - -无论是离散还是连续模型，训练目标都是分数匹配： - - - - - **DDPM**：$\mathcal{L} = \mathbb{E}_{t,x_0,\epsilon}[\|\epsilon - \epsilon_\theta(x_t, t)\|^2]$ - - **Score SDE**：$\mathcal{L} = \mathbb{E}_{t,x_0,x_t}[\|s_\theta(x_t, t) - \nabla \log p_{t|0}(x_t|x_0)\|^2]$ - - - -两者通过关系 $\epsilon = -\sigma_t \nabla \log p_{t|0}$ 联系起来。 - - - - -#### 采样算法的继承 - - - - 从离散到连续的算法迁移 - - - - **DDPM采样** → **SDE求解器**： - - - 祖先采样 → Euler-Maruyama方法 - - DDIM → 概率流ODE - - - - - **加速技巧**： - - - 步长调整在连续框架下更自然 - - 自适应求解器可以自动选择步长 - - - - - - - - -#### 连续视角的优势 - - - - 为什么采用连续框架？ - - - - **理论优势**： - - - 更清晰的数学结构 - - 丰富的SDE/PDE理论可用 - - 更容易分析收敛性 - - - - - **算法优势**： - - - 可以使用成熟的ODE/SDE求解器 - - 自适应时间步长 - - 高阶数值方法 - - - - - **灵活性**： - - - 容易设计新的SDE - - 可以在不同SDE之间转换 - - 统一的训练和采样框架 - - - - - - - - -#### 实践指南 - - - - -#### 何时使用离散vs连续 - - - - - **使用离散模型**： - - - 已有成熟的离散实现 - - 固定步数的应用场景 - - 需要与现有DDPM代码兼容 - - - - - **使用连续模型**： - - - 需要灵活的时间步长 - - 追求理论优雅性 - - 探索新的模型设计 - - - - - - - - -### 5.6.3 新的可能性 - - - -Score SDE框架不仅统一了现有方法，更重要的是开启了设计新型扩散模型的大门。这里探讨一些令人兴奋的新方向。 - - - -#### 设计新的SDE - - - - 超越标准选择 - -除了VP-SDE和VE-SDE，我们可以设计具有特殊性质的新SDE： - - - - - **自适应SDE**： - - $$dx = f(x,t,\text{SNR}(x))dt + g(t,\text{SNR}(x))dw$$ - - -根据局部信噪比调整扩散速率 - - - - **各向异性SDE**： - - $$dx = f(x,t)dt + G(x,t)dw$$ - - -$G$是状态依赖的扩散矩阵，不同方向扩散速率不同 - - - - **非线性SDE**： - - $$dx = -\nabla V(x)dt + \sqrt{2T(t)}dw$$ - - -引入势能函数$V(x)$，实现特定的稳态分布 - - - - - - - -#### 混合采样策略 - - - - -#### SDE-ODE混合 - - -在生成过程的不同阶段使用不同的动力学： - - - - - **初始阶段（高噪声）**：使用ODE快速确定大致结构 - - **中间阶段**：使用SDE增加多样性 - - **最终阶段（低噪声）**：再次使用ODE精确细节 - - - -这种策略结合了两者的优势：速度、质量和多样性。 - - - - -#### 条件生成的新方法 - - - - 通过修改SDE实现条件生成 - - - - **引导漂移**： - - $$dx = [f(x,t) + \lambda\nabla\log p(y|x)]dt + g(t)dw$$ - - -在漂移项中加入条件信息 - - - - **条件扩散**： - - $$dx = f(x,t)dt + g(t,y)dw$$ - - -扩散系数依赖于条件$y$ - - - - **约束SDE**： - -在流形上定义SDE，自动满足某些约束 - - - - - - - -#### 加速采样的创新 - - - - 新型求解器设计 - - - - **预测-校正方法**： - - - 预测步：使用高阶ODE求解器 - - 校正步：使用少量Langevin动力学步骤 - - - - - **自适应时间重参数化**： - -在关键区域（如$t \approx 0$）使用更密集的时间步 - - - - **学习型求解器**： - -使用神经网络学习最优的离散化方案 - - - - - - - -#### 多模态扩散 - - - - -#### 不同模态的联合建模 - - -设计处理多种数据类型的统一SDE： - - - - - **图像-文本联合SDE**：不同模态使用不同的扩散速率 - - **层次化SDE**：粗粒度和细粒度特征的分层扩散 - - **图结构SDE**：在图上定义的扩散过程 - - - - - -#### 理论创新方向 - - - - 推动理论边界 - - - - **最优传输视角**： - - - 设计最小化传输成本的SDE - - 学习数据流形间的最优映射 - - - - - **信息几何**： - - - 在概率流形上设计测地线SDE - - 利用Fisher信息优化扩散路径 - - - - - **控制论方法**： - - - 将生成过程视为最优控制问题 - - 学习最优的控制策略 - - - - - - - - -#### 实际应用的新可能 - - - - 突破性应用 - - - - **科学计算**： - - - 分子动力学模拟 - - 量子系统建模 - - 气候模型 - - - - - **逆问题求解**： - - - 医学成像重建 - - 地震波反演 - - 超分辨率 - - - - - **生成式设计**： - - - 材料设计 - - 药物发现 - - 建筑设计 - - - - - - - - -#### 未来展望 - - - - -#### 连续时间框架的潜力 - - -Score SDE框架为扩散模型开辟了广阔的研究空间： - - - - - **理论深度**：与数学物理的深度连接还有待挖掘 - - **算法创新**：新的数值方法和优化技术 - - **应用广度**：从图像生成到科学计算的全方位应用 - - **硬件协同**：为专用硬件设计的SDE - - - -这个框架不仅是技术工具，更是理解生成模型的新范式。 - - - - -## 5.7 数值方法与实现 - - - -### 5.7.1 SDE的数值解法 - - - -准确高效地求解SDE是实现扩散模型的关键。这里介绍主要的数值方法及其在扩散模型中的应用。 - - - -#### Euler-Maruyama方法 - - - - 最基本的SDE求解器 - -对于SDE：$dx = f(x,t)dt + g(t)dw$ - - -Euler-Maruyama离散化为： - - - $$x_{n+1} = x_n + f(x_n, t_n)\Delta t + g(t_n)\sqrt{\Delta t}\cdot z_n$$ - - -其中 $z_n \sim \mathcal{N}(0, I)$。 - - -**特点**： - - - - - 实现简单，计算效率高 - - 强收敛阶：$O(\sqrt{\Delta t})$ - - 弱收敛阶：$O(\Delta t)$ - - 对于线性SDE是精确的 - - - - - -#### Heun方法（改进Euler） - - - - -#### 预测-校正方法 - - -Heun方法通过两步提高精度： - - - - - **预测步**： - - $$\tilde{x}_{n+1} = x_n + f(x_n, t_n)\Delta t + g(t_n)\sqrt{\Delta t}\cdot z_n$$ - - - - **校正步**： - - $$x_{n+1} = x_n + \frac{1}{2}[f(x_n, t_n) + f(\tilde{x}_{n+1}, t_{n+1})]\Delta t + g(t_n)\sqrt{\Delta t}\cdot z_n$$ - - - - - -弱收敛阶提高到 $O(\Delta t^2)$。 - - - - -#### 随机Runge-Kutta方法 - - - - 高阶方法 - -类似于确定性ODE的Runge-Kutta方法，但需要考虑随机积分： - - - - - **阶数选择**：通常使用1.5阶或2.5阶方法 - - **计算成本**：每步需要多次函数评估 - - **稳定性**：对刚性问题更稳定 - - - -适用于需要高精度的场景，但计算成本较高。 - - - - -#### 指数积分器 - - - - 利用线性结构 - -对于具有线性漂移的SDE（如VP-SDE）： - - - $$dx = -\frac{\beta(t)}{2}x dt + \sqrt{\beta(t)}dw$$ - - -可以精确积分线性部分： - - - $$x_{n+1} = e^{-\frac{1}{2}\int_{t_n}^{t_{n+1}}\beta(s)ds} x_n + \text{随机项}$$ - - -**优势**： - - - - - 对线性部分是精确的 - - 数值稳定性好 - - 适合大步长 - - - - - -#### 自适应步长方法 - - - - -#### 动态调整时间步 - - -根据局部误差估计自动调整步长： - - - - - **误差估计**：比较不同阶数方法的结果 - - **步长控制**： - - $$\Delta t_{new} = \Delta t_{old} \cdot \left(\frac{\text{容差}}{\text{误差估计}}\right)^{1/p}$$ - - - - **拒绝机制**：误差过大时重新计算 - - - -在扩散模型中，通常在 $t \approx 0$ 附近需要更小的步长。 - - - - -#### 反向SDE的特殊处理 - - - - 数值挑战与解决方案 - -**挑战**： - - - - - 分数函数在 $t \approx 0$ 附近可能很大 - - 数值误差累积 - - 需要处理边界条件 - - - -**解决方案**： - - - - - **时间重缩放**：使用 $\tau = \log(t)$ 等变换 - - **截断技巧**：在很小的 $t_{min}$ 停止 - - **方差缩放**：调整最后几步的噪声强度 - - - - - -#### 并行化策略 - - - - 提高计算效率 - - - - **批量并行**： - - - 同时处理多个样本 - - 共享分数函数计算 - - - - - **时间并行**： - - - Parareal算法 - - 多重打靶法 - - - - - **GPU优化**： - - - 向量化随机数生成 - - 融合核函数 - - - - - - - - -#### 实践建议 - - - - -#### 选择合适的求解器 - - - - 场景 - 推荐方法 - 原因 - - - 快速原型 - Euler-Maruyama - 简单易实现 - - - 生产部署 - 自适应Heun - 精度与效率平衡 - - - 高质量生成 - 高阶RK + 自适应 - 最高精度 - - - 线性SDE - 指数积分器 - 利用特殊结构 - - - - - -### 5.7.2 ODE求解器的应用 - - - -概率流ODE为扩散模型带来了确定性采样的可能。这里介绍如何有效地使用ODE求解器，以及相关的技巧和挑战。 - - - -#### 标准ODE求解器 - - - - 经典方法在扩散模型中的应用 - -概率流ODE的一般形式： - - - $$\frac{dx}{dt} = f(x,t) - \frac{1}{2}g(t)^2 s_\theta(x,t)$$ - - -**常用求解器**： - - - - - **RK45**：自适应步长的4/5阶Runge-Kutta - - **DOP853**：8阶Dormand-Prince方法 - - **LSODA**：自动刚性检测 - - **Radau**：隐式方法，适合刚性问题 - - - - - -#### DDIM作为ODE求解器 - - - - -#### 从离散到连续的视角 - - -DDIM可以理解为概率流ODE的特殊离散化： - - - - - **DDIM更新规则**： - - $$x_{t-1} = \sqrt{\bar{\alpha}_{t-1}}\left(\frac{x_t - \sqrt{1-\bar{\alpha}_t}\epsilon_\theta(x_t,t)}{\sqrt{\bar{\alpha}_t}}\right) + \sqrt{1-\bar{\alpha}_{t-1}}\epsilon_\theta(x_t,t)$$ - - - - **对应的ODE**：VP-SDE的概率流ODE - - **优势**：专门为扩散模型设计，数值性质好 - - - - - -#### DPM-Solver系列 - - - - 专用高阶求解器 - -DPM-Solver利用扩散ODE的特殊结构： - - - - - **指数积分**：精确处理线性部分 - - **多步方法**：利用历史信息提高精度 - - **阶数**：1阶到3阶版本 - - - -**关键创新**： - - - - - 变量变换：$\lambda_t = \log(\alpha_t/\sigma_t)$ - - 线性多步公式 - - 解析系数计算 - - - - - -#### 自适应步长策略 - - - - 智能时间步选择 - -**误差控制**： - - - - - 局部截断误差估计 - - 嵌入式Runge-Kutta对 - - Richardson外推 - - - -**步长调整**： - - - $$h_{new} = h_{old} \cdot \min\left(f_{max}, \max\left(f_{min}, f_{safe}\left(\frac{\epsilon_{tol}}{\epsilon_{est}}\right)^{1/(p+1)}\right)\right)$$ - - -其中 $f_{safe} \approx 0.9$ 是安全因子。 - - - - -#### 时间重参数化技巧 - - - - -#### 改善数值性质 - - -通过时间变换改善ODE的条件数： - - - - - **对数时间**：$\tau = \log(t)$ - - - 在 $t \approx 0$ 附近展开时间 - - 避免奇异性 - - - - - **信噪比参数化**：$\tau = \log(\text{SNR}(t))$ - - - 均匀化不同时刻的重要性 - - 改善收敛性 - - - - - **学习的时间表**： - - - 神经网络学习最优时间映射 - - 适应具体任务 - - - - - - - - -#### 刚性问题的处理 - - - - 数值稳定性挑战 - -**刚性的来源**： - - - - - 分数函数的大梯度 - - 多尺度动力学 - - 接近数据流形时的快速变化 - - - -**解决方法**： - - - - - **隐式方法**：向后Euler、Radau - - **半隐式方法**：IMEX方案 - - **预条件技术**：改善条件数 - - - - - -#### 快速ODE采样技巧 - - - - 加速策略 - - - - **渐进式采样**： - - - 先用大步长生成粗略结果 - - 在关键区域细化 - - - - - **并行ODE求解**： - - - 多重打靶法 - - 时间分解 - - - - - **知识蒸馏**： - - - 学习少步求解器 - - 直接预测跳跃 - - - - - - - - -#### 质量评估指标 - - - - -#### 如何评价ODE求解质量 - - - - - **轨迹误差**：与高精度参考解比较 - - **不变量保持**：检查概率守恒 - - **生成质量**：FID、IS等感知指标 - - **计算效率**：NFE（函数评估次数） - - - - - -#### 实用建议 - - - - 最佳实践 - - - - **初始实验**：从DDIM或DPM-Solver开始 - - **精度需求高**：使用自适应RK45 - - **速度优先**：固定步长的专用求解器 - - **调试技巧**： - - - 可视化ODE轨迹 - - 监控局部误差 - - 检查数值稳定性 - - - - - - - - -### 5.7.3 实现细节与技巧 - - - -成功实现连续时间扩散模型需要注意许多细节。这里分享一些实践中的关键技巧和常见陷阱。 - - - -#### 时间编码的实现 - - - - 连续时间的神经网络输入 - -**时间嵌入方法**： - - - - - **正弦编码**： - - $$\text{emb}(t) = [\sin(2^0 \pi t), \cos(2^0 \pi t), ..., \sin(2^{L-1} \pi t), \cos(2^{L-1} \pi t)]$$ - - - - **学习的嵌入**： - - - MLP将标量 $t$ 映射到高维向量 - - 更灵活但需要更多参数 - - - - - **傅里叶特征**： - - - 随机频率的正弦基函数 - - 理论保证的表达能力 - - - - - - - - -#### 分数参数化选择 - - - - -#### 不同参数化的权衡 - - -分数函数可以通过不同方式参数化： - - - - - **直接预测分数**：$s_\theta(x,t) = \nabla \log p_t(x)$ - - **预测噪声**：$\epsilon_\theta(x,t)$，然后 $s_\theta = -\epsilon_\theta/\sigma_t$ - - **预测速度**：$v_\theta(x,t) = \dot{x}_t$ - - **预测去噪数据**：$\hat{x}_0 = f_\theta(x_t, t)$ - - - -选择影响训练稳定性和生成质量。 - - - - -#### 数值稳定性技巧 - - - - 避免数值问题 - - - - **对数域计算**： - - - 使用 $\log \bar{\alpha}_t$ 而非 $\bar{\alpha}_t$ - - 避免下溢问题 - - - - - **方差裁剪**： - - - 限制 $\beta(t)$ 的范围 - - 防止数值爆炸 - - - - - **安全除法**： - - $$\frac{a}{b + \epsilon} \text{ 而非 } \frac{a}{b}$$ - - - - - - - -#### 边界条件处理 - - - - $t \approx 0$ 和 $t \approx T$ 的特殊处理 - -**起始时刻 ($t \approx 0$)**： - - - - - 分数函数可能发散 - - 使用最小时间 $t_{min} = 10^{-5}$ - - 特殊的方差缩放 - - - -**终止时刻 ($t \approx T$)**： - - - - - 确保收敛到先验分布 - - 可能需要额外的噪声 - - - - - -#### 训练技巧 - - - - -#### 提高训练效果 - - - - - **重要性采样**： - - - 根据信噪比调整时间采样 - - 在困难区域采样更多 - - - - - **损失加权**： - - - 不同时刻使用不同权重 - - 平衡各尺度的贡献 - - - - - **预条件技巧**： - - - 输入和输出缩放 - - 改善梯度流 - - - - - - - - -#### 内存优化 - - - - 大规模模型的实现 - - - - **梯度检查点**： - - - 时间换空间 - - 在UNet的特定层使用 - - - - - **混合精度训练**： - - - FP16计算，FP32累积 - - 注意数值稳定性 - - - - - **分布式策略**： - - - 数据并行 - - 模型并行（大模型） - - - - - - - - -#### 调试和验证 - - - - 确保正确实现 - - - - **单元测试**： - - - 测试时间离散化的一致性 - - 验证概率守恒 - - 检查可逆性 - - - - - **渐进测试**： - - - 从简单分布开始 - - 逐步增加复杂度 - - - - - **可视化工具**： - - - 轨迹可视化 - - 分数场可视化 - - 中间状态检查 - - - - - - - - -#### 性能优化清单 - - - - -#### 实现检查列表 - - - - 优化项 - 影响 - 难度 - - - 使用编译优化（torch.compile） - 2-3x加速 - 简单 - - - 融合自定义CUDA核 - 10-20%加速 - 困难 - - - 优化注意力计算 - 显著内存节省 - 中等 - - - 缓存中间结果 - 避免重复计算 - 简单 - - - - - -#### 常见错误和解决方案 - - - - 避免常见陷阱 - - - - **时间方向错误**： - - - 确保前向是 $0 \to T$ - - 反向是 $T \to 0$ - - - - - **方差参数化不一致**： - - - 统一使用 $\beta$ 或 $\alpha$ - - 注意累积乘积 - - - - - **随机种子问题**： - - - 训练和采样使用不同种子 - - 确保可重现性 - - - - - - - - -## 5.8 理论深入 - - - -### 5.8.1 存在性与唯一性 - - - -SDE解的存在性与唯一性是扩散模型理论基础的重要组成部分。这些结果保证了模型的数学良定性。 - - - -#### 基本存在唯一性定理 - - - - Itô SDE的存在唯一性 - -考虑SDE：$dx_t = f(x_t, t)dt + g(t)dw_t$ - - -如果满足以下条件： - - - - - **Lipschitz条件**：存在常数 $K$ 使得 - - $$|f(x,t) - f(y,t)| \leq K|x-y|$$ - - - - **线性增长条件**：存在常数 $C$ 使得 - - $$|f(x,t)|^2 + |g(t)|^2 \leq C(1 + |x|^2)$$ - - - - - -则对任意初值 $x_0$，SDE存在唯一的强解。 - - - - -#### 扩散模型中的验证 - - - - -#### 常见SDE的性质检验 - - -**VP-SDE**：$dx = -\frac{\beta(t)}{2}x dt + \sqrt{\beta(t)}dw$ - - - - - 漂移项线性：自动满足Lipschitz条件 - - 有界的 $\beta(t)$ 保证线性增长 - - 结论：存在唯一解 - - - -**VE-SDE**：$dx = \sqrt{\frac{d\sigma^2(t)}{dt}}dw$ - - - - - 无漂移项，条件自动满足 - - 只需 $\sigma(t)$ 连续可微 - - - - - -#### 反向SDE的存在性 - - - - 分数函数的正则性要求 - -反向SDE：$dx = [f(x,t) - g(t)^2\nabla\log p_t(x)]dt + g(t)d\bar{w}$ - - -存在性需要分数函数满足： - - - - - **局部Lipschitz**：在紧集上Lipschitz连续 - - **多项式增长**：$|\nabla\log p_t(x)| \leq C(1 + |x|^k)$ - - - -神经网络通常满足这些条件。 - - - - -#### 弱解与强解 - - - - 解的概念 - - - - **强解**：给定布朗运动 $w_t$，解 $x_t$ 是 $w_t$ 的函数 - - **弱解**：存在某个概率空间和布朗运动使得SDE成立 - - - -对于扩散模型： - - - - - 训练时只需要弱解（分布匹配） - - 确定性采样需要强解 - - - - - -#### 爆炸时间与全局解 - - - - -#### 解的长时间行为 - - -即使局部解存在，也可能在有限时间爆炸。避免爆炸的充分条件： - - - - - **耗散性**：$\langle x, f(x,t) \rangle \leq -\alpha|x|^2 + \beta$ - - **有界扩散**：$|g(t)| \leq M$ - - - -VP-SDE的耗散性保证了全局解的存在。 - - - - -#### 路径正则性 - - - - 解的连续性和可微性 - - - - **连续性**：SDE的解几乎必然连续 - - **Hölder连续性**：指数 $确保输出Lipschitz连续 - - 使用谱归一化等技术 - - - - - **训练稳定性**： - - - 正则化保证解的存在性 - - 梯度裁剪防止爆炸 - - - - - **数值方法选择**： - - - 强解理论支持显式方法 - - 刚性问题可能需要隐式方法 - - - - - - - - -### 5.8.2 收敛性分析 - - - -收敛性分析是理解扩散模型长时间行为和采样质量的关键。这里探讨不同层面的收敛性质。 - - - -#### 分布收敛性 - - - - 前向过程的收敛 - -对于前向SDE，我们关心 $p_t$ 是否收敛到目标分布 $p_\infty$： - - - - - **VP-SDE**：$p_t \to \mathcal{N}(0, I)$ 当 $t \to \infty$ - - **VE-SDE**：$p_t$ 的方差趋于无穷，但标准化后收敛 - - - -**收敛速率**：通常是指数收敛 - - $$W_2(p_t, p_\infty) \leq Ce^{-\lambda t}$$ - - 其中 $W_2$ 是Wasserstein-2距离。 - - - - -#### 反向过程的收敛性 - - - - -#### 生成质量的理论保证 - - -反向SDE的收敛性依赖于： - - - - - **分数估计误差**：$\mathbb{E}[|s_\theta - \nabla\log p_t|^2]$ - - **离散化误差**：时间步长 $\Delta t$ 的影响 - - **有限时间截断**：在 $t_{min}$ 停止的影响 - - - -总误差界： - - $$W_2(p_{gen}, p_{data}) \leq C_1\sqrt{\epsilon_{score}} + C_2\sqrt{\Delta t} + C_3 t_{min}$$ - - - - - -#### 数值方法的收敛阶 - - - - 不同离散化的收敛性 - - - 方法 - 强收敛阶 - 弱收敛阶 - - - Euler-Maruyama - $O(\sqrt{\Delta t})$ - $O(\Delta t)$ - - - Milstein方法 - $O(\Delta t)$ - $O(\Delta t)$ - - - 高阶Runge-Kutta - $O(\Delta t)$ - $O(\Delta t^2)$ - - - -注：扩散模型主要关心弱收敛（分布层面）。 - - - - -#### 遍历性与混合时间 - - - - 长时间行为 - -SDE的遍历性保证了时间平均等于空间平均： - - - $$\lim_{T \to \infty} \frac{1}{T}\int_0^T f(x_t)dt = \int f(x)p_\infty(x)dx$$ - - -**混合时间**：达到平衡分布所需时间 - - - - - VP-SDE：$T_{mix} = O(\frac{1}{\beta_{min}}\log\frac{1}{\epsilon})$ - - 影响因素：噪声强度、初始分布、目标精度 - - - - - -#### 分数匹配的收敛性 - - - - -#### 训练目标的渐近性质 - - -分数匹配损失的最小值： - - - $$\mathcal{L}^* = \inf_{s_\theta} \mathbb{E}_{t,x}[|s_\theta(x,t) - \nabla\log p_t(x)|^2]$$ - - -**收敛保证**： - - - - - 神经网络的通用逼近性 - - 样本复杂度：$O(\frac{d}{\epsilon^2})$ - - 优化收敛：依赖于损失函数的凸性 - - - - - -#### KL散度的演化 - - - - 信息论视角 - -前向过程中KL散度的演化： - - - $$\frac{d}{dt}D_{KL}(p_t \| p_\infty) = -\mathcal{I}(p_t)$$ - - -其中 $\mathcal{I}$ 是Fisher信息。这表明： - - - - - KL散度单调递减 - - 收敛速率由Fisher信息决定 - - 几何解释：沿信息几何的测地线移动 - - - - - -#### 有限样本的影响 - - - - 统计误差分析 - -使用有限样本训练的影响： - - - - - **估计偏差**：$O(1/n)$ - - **估计方差**：$O(1/\sqrt{n})$ - - **泛化误差**：依赖于模型复杂度 - - - -实践建议：样本量 $n$ 应满足 $n \gg d^2/\epsilon^2$。 - - - - -#### 加速收敛的技术 - - - - -#### 改善收敛性的方法 - - - - - **方差缩减**： - - - 控制变量法 - - 重要性采样 - - - - - **预条件技术**： - - - 改变度量使问题更易求解 - - 自适应步长 - - - - - **多尺度方法**： - - - 不同时间尺度的耦合 - - 由粗到细的策略 - - - - - - - - -### 5.8.3 与最优传输的联系 - - - -扩散模型与最优传输理论有着深刻的联系。这种联系不仅提供了新的理论视角，还启发了新的算法设计。 - - - -#### 最优传输问题回顾 - - - - Monge-Kantorovich问题 - -给定两个概率分布 $p_0$ 和 $p_T$，最优传输问题是找到成本最小的传输方案： - - - $$\inf_{\pi \in \Pi(p_0, p_T)} \int c(x,y) d\pi(x,y)$$ - - -其中： - - - - - $\pi$ 是联合分布，边缘为 $p_0$ 和 $p_T$ - - $c(x,y)$ 是传输成本（通常是 $|x-y|^2$） - - $\Pi(p_0, p_T)$ 是所有可行传输方案 - - - - - -#### 动态最优传输 - - - - -#### Benamou-Brenier公式 - - -最优传输可以表示为动态问题： - - - $$W_2^2(p_0, p_T) = \inf_{(p_t, v_t)} \int_0^T \int |v_t(x)|^2 p_t(x) dx dt$$ - - -约束条件： - - - $$\frac{\partial p_t}{\partial t} + \nabla \cdot (p_t v_t) = 0$$ - - -这将离散传输转化为连续时间的流问题。 - - - - -#### 扩散模型作为正则化最优传输 - - - - 熵正则化的视角 - -扩散过程可以看作带熵正则化的最优传输： - - - - - **Schrödinger桥问题**： - - $$\inf_{\mathbb{P}} D_{KL}(\mathbb{P} \| \mathbb{Q}) \text{ s.t. } \mathbb{P}_0 = p_0, \mathbb{P}_T = p_T$$ - - 其中 $\mathbb{Q}$ 是参考过程（如布朗运动） - - - **与扩散的联系**： - - - 解是一个扩散过程 - - 漂移由分数函数决定 - - 正则化参数对应扩散强度 - - - - - - - - -#### 概率流ODE与位移插值 - - - - McCann插值 - -在最优传输中，两个分布之间的测地线由位移插值给出： - - - $$p_t = ((1-t)\text{Id} + tT)_\# p_0$$ - - -其中 $T$ 是最优传输映射。 - - -**与概率流ODE的关系**： - - - - - 概率流ODE定义了一种特殊的插值 - - 当扩散趋于0时，收敛到最优传输 - - 提供了计算测地线的实用方法 - - - - - -#### Wasserstein梯度流 - - - - -#### 能量泛函的梯度流 - - -许多PDE可以写成Wasserstein空间上的梯度流： - - - $$\frac{\partial p}{\partial t} = \nabla \cdot \left(p \nabla \frac{\delta \mathcal{F}[p]}{\delta p}\right)$$ - - -扩散模型的联系： - - - - - 前向过程：相对熵的梯度流 - - 反向过程：可以设计为某个能量的梯度流 - - 提供了变分原理的解释 - - - - - -#### 计算优势 - - - - 为什么这个联系重要？ - - - - **新的算法**： - - - 基于OT的采样方法 - - 更好的插值路径 - - 加速技术 - - - - - **理论保证**： - - - 收敛性分析 - - 最优性条件 - - 稳定性结果 - - - - - **应用扩展**： - - - 不同度量空间 - - 约束传输问题 - - 多边际问题 - - - - - - - - -#### 流匹配与最优传输 - - - - 统一框架 - -流匹配方法直接学习传输速度场： - - - - - **目标**：学习 $v_t$ 使得 $(p_t, v_t)$ 解决传输问题 - - **优势**：避免学习分数函数 - - **联系**：$v_t = f(x,t) - \frac{g^2}{2}\nabla\log p_t$ - - - -这提供了扩散模型的另一种参数化。 - - - - -#### 未来方向 - - - - -#### 开放问题 - - - - - **非欧几里得空间**： - - - 流形上的扩散 - - 图上的最优传输 - - - - - **多模态传输**： - - - 不同空间之间的映射 - - Gromov-Wasserstein距离 - - - - - **计算效率**： - - - 利用OT结构加速 - - 稀疏传输方案 - - - - - - - - -## 5.9 本章小结 - - - - -### 核心概念回顾 - - - -#### 1. 从离散到连续的演进 - - - - - 离散时间扩散模型（DDPM）的局限性 - - 连续时间极限的自然性和优势 - - SDE作为描述扩散过程的统一框架 - - - - -#### 2. 三大支柱 - - - - - **SDE（随机微分方程）**：描述单个粒子的随机演化 - - **ODE（概率流）**：提供确定性的替代方案 - - **PDE（Fokker-Planck）**：刻画概率密度的演化 - - - - -#### 3. 关键数学对象 - - - - - **分数函数** $\nabla \log p_t(x)$：连接所有视角的核心 - - **Anderson定理**：时间反演的理论基础 - - **Score SDE框架**：统一不同扩散模型 - - - - -#### 4. 实践要点 - - - - - 数值求解器的选择：SDE vs ODE - - 时间编码和边界处理 - - 训练稳定性和收敛性保证 - - - - -#### 5. 理论深度 - - - - - 存在唯一性定理保证数学良定性 - - 收敛性分析指导算法设计 - - 与最优传输的联系开启新方向 - - - - - -## 5.10 练习题 - - - - -练习 5.1：从离散到连续 - -考虑DDPM的前向过程：$x_t = \sqrt{\alpha_t}x_{t-1} + \sqrt{1-\alpha_t}\epsilon_t$ - - -设 $\alpha_t = 1 - \beta \Delta t$，其中 $\Delta t = 1/T$，$T$ 是总步数。 - - - - - 推导当 $T \to \infty$ 时的连续时间SDE - - 计算对应的边缘分布 $p(x_t|x_0)$ - - 验证该SDE是VP-SDE的特例 - -**解答：** - - - - - 将离散递推展开： - $$x_t - x_{t-1} = (\sqrt{1-\beta\Delta t} - 1)x_{t-1} + \sqrt{\beta\Delta t}\cdot\frac{\epsilon_t}{\sqrt{\Delta t}}\sqrt{\Delta t}$$ - 利用 $\sqrt{1-\beta\Delta t} \approx 1 - \frac{\beta\Delta t}{2}$，得到： - $$\frac{x_t - x_{t-1}}{\Delta t} \approx -\frac{\beta}{2}x_{t-1} + \sqrt{\beta}\cdot\frac{\epsilon_t}{\sqrt{\Delta t}}$$ - 取极限得到SDE：$dx = -\frac{\beta}{2}x dt + \sqrt{\beta}dw$ - - - 这是线性SDE，解为：$x_t = e^{-\frac{\beta t}{2}}x_0 + \int_0^t e^{-\frac{\beta(t-s)}{2}}\sqrt{\beta}dw_s$ - 因此：$p(x_t|x_0) = \mathcal{N}(e^{-\frac{\beta t}{2}}x_0, 1-e^{-\beta t})$ - - - 这正是VP-SDE在常数 $\beta(t) = \beta$ 情况下的形式。 - - - - - - -练习 5.2：反向SDE推导 - -给定前向SDE：$dx = f(x,t)dt + g(t)dw$ - - - - - 使用Bayes定理说明为什么反向过程需要分数函数 - - 推导反向SDE的漂移项 - - 解释分数函数项 $-g(t)^2\nabla\log p_t(x)$ 的物理意义 - -**解答：** - - - - - 反向转移核需要：$p(x_{t-dt}|x_t) = \frac{p(x_t|x_{t-dt})p(x_{t-dt})}{p(x_t)}$ - 对数形式：$\log p(x_{t-dt}|x_t) = \log p(x_t|x_{t-dt}) + \log p(x_{t-dt}) - \log p(x_t)$ - 这解释了为什么需要 $\nabla \log p_t$。 - - - 使用Girsanov定理或直接计算，可得反向漂移： - $\tilde{f}(x,t) = f(x,t) - g(t)^2\nabla\log p_t(x)$ - - - 物理意义： - - - $f(x,t)$：原始的确定性漂移 - - $-g(t)^2\nabla\log p_t(x)$：补偿扩散造成的概率流失 - - 总效果：将概率"拉回"高密度区域 - - - - - - -练习 5.3：概率流ODE - -考虑VP-SDE：$dx = -\frac{\beta(t)}{2}x dt + \sqrt{\beta(t)}dw$ - - - - - 写出对应的概率流ODE - - 证明ODE和SDE产生相同的边缘分布 - - 讨论何时使用ODE vs SDE进行采样 - -**解答：** - - - - - 概率流ODE：$\frac{dx}{dt} = -\frac{\beta(t)}{2}x - \frac{\beta(t)}{2}\nabla\log p_t(x)$ - 对于高斯分布，$\nabla\log p_t(x) = -\frac{x-\mu_t}{\sigma_t^2}$ - - - 证明：两者对应相同的Fokker-Planck方程 - $$\frac{\partial p}{\partial t} = \frac{\beta(t)}{2}\nabla\cdot(xp) + \frac{\beta(t)}{2}\Delta p$$ - - - 使用建议： - - - ODE：需要精确编码/解码、插值、编辑 - - SDE：需要多样性、避免模式坍塌、纯生成任务 - - - - - - -练习 5.4：Fokker-Planck方程 - -对于SDE：$dx = -x dt + \sqrt{2}dw$ - - - - - 写出对应的Fokker-Planck方程 - - 求解稳态分布 - - 计算从任意初始分布到稳态的收敛时间 - -**解答：** - - - - - Fokker-Planck方程： - $$\frac{\partial p}{\partial t} = \frac{\partial}{\partial x}(xp) + \frac{\partial^2 p}{\partial x^2}$$ - - - 稳态条件 $\frac{\partial p}{\partial t} = 0$ 给出： - $$\frac{d}{dx}(xp) + \frac{dp}{dx} = 0$$ - 解得：$p_\infty(x) = \frac{1}{\sqrt{2\pi}}e^{-x^2/2}$（标准正态分布） - - - 收敛速率由最小特征值决定，这里是指数收敛： - $$\|p_t - p_\infty\|_{L^2} \leq e^{-t}\|p_0 - p_\infty\|_{L^2}$$ - - - - - - -练习 5.5：数值方法比较 - -实现并比较不同的SDE数值解法： - - - - - 实现Euler-Maruyama和Heun方法 - - 在VP-SDE上测试收敛阶 - - 分析计算成本vs精度的权衡 - -**提示：** - - - - - Euler-Maruyama：$x_{n+1} = x_n + f(x_n,t_n)\Delta t + g(t_n)\sqrt{\Delta t}z_n$ - - Heun：先预测再校正，提高确定性部分的精度 - - 使用已知解析解的SDE（如OU过程）验证收敛阶 - - 绘制误差vs步长的对数图，斜率即为收敛阶 - - - - - +### 5.1.1 离散过程的极限 -练习 5.6：Score SDE框架 +让我们回顾DDPM的离散前向过程： +$$x_k = \sqrt{1-\beta_k} x_{k-1} + \sqrt{\beta_k} z_{k-1}, \quad z_{k-1} \sim \mathcal{N}(0, I)$$ +其中 `β_k` 是一个小的正数。当 `β_k` 趋近于0时，我们可以用泰勒展开近似 `sqrt(1 - β_k) ≈ 1 - β_k / 2`。于是，更新步骤可以写成： +$$x_k - x_{k-1} \approx -\frac{\beta_k}{2} x_{k-1} + \sqrt{\beta_k} z_{k-1}$$ +这看起来非常像一个微分方程的离散化形式。现在，我们将时间区间 `[0, T]` 分成 `N` 份，令 `Δt = T/N`，并设 `β_k = b(t_k)Δt`，其中 `b(t)` 是一个连续的函数。那么上式变为： +$$\frac{x(t_k) - x(t_{k-1})}{\Delta t} \approx -\frac{b(t_{k-1})}{2} x(t_{k-1}) + \sqrt{b(t_{k-1})} \frac{z_{k-1}}{\sqrt{\Delta t}}$$ +当 `N → ∞`（即 `Δt → 0`）时，左边变成了导数 `dx/dt`。而右边的随机项 `z_k / sqrt(Δt)`，根据中心极限定理的推广，其累积效应收敛到一个称为“白噪声”的随机过程，其积分就是布朗运动（Wiener Process）`W_t`。最终，我们得到了一个随机微分方程（SDE）： +$$dx_t = -\frac{b(t)}{2} x_t dt + \sqrt{b(t)} dW_t$$ +这就是DDPM在连续时间下的极限形式，被称为一种方差保持（Variance Preserving, VP）的SDE。 -证明以下等价关系： +### 5.1.2 SDE的统一框架 +SDE为我们提供了一个统一的语言来描述各种扩散模型。一个通用的前向SDE可以写成： +$$dx_t = f(x_t, t) dt + g(t) dW_t$$ +其中 `f(x, t)` 称为漂移系数（drift coefficient），描述了数据演化的确定性趋势；`g(t)` 称为扩散系数（diffusion coefficient），控制着随机噪声的强度。 +> **定义：SDE家族** +> - **VP-SDE (Variance Preserving)**：对应DDPM。`f(x,t) = -1/2 * β(t) * x`，`g(t) = sqrt(β(t))`。其特点是在演化过程中，如果初始数据方差为1，那么在任何时刻 `t`，数据方差都近似为1。 +> - **VE-SDE (Variance Exploding)**：对应NCSN。`f(x,t) = 0`，`g(t) = sqrt(d[σ^2(t)]/dt)`。其特点是数据均值不变，但方差随时间爆炸式增长。 +> - **sub-VP-SDE**：是VP-SDE的一个变体，具有更好的数值稳定性和理论性质。 - - DDPM的噪声预测 $\epsilon_\theta$ 与分数函数的关系 - - NCSN的多尺度训练与VE-SDE的联系 - - 设计一个新的SDE并分析其性质 +💡 **开放问题**：VP和VE只是两种最常见的选择。是否存在其他形式的SDE，能在特定类型的数据（如具有周期性的时间序列、位于特殊流形上的数据）上实现更高效的生成？设计数据依赖的SDE是一个前沿研究方向。 -**解答要点：** +## 5.2 反向时间SDE：学习去噪 +如果前向SDE描述了数据如何被噪声破坏，那么我们如何构建一个反向的过程来从噪声中恢复数据呢？物理学家和数学家早在几十年前就解决了这个问题。 +> **定理：Anderson反向时间SDE** +> 对于一个前向SDE `dx = f(x, t)dt + g(t)dW_t`，其对应的反向时间SDE（从时间 `T` 到 `0`）存在且唯一，形式如下： +> $$dx_t = [f(x_t, t) - g(t)^2 \nabla_{x_t} \log p_t(x_t)] dt + g(t) d\bar{W}_t$$ +> 其中 `d(bar(W)_t)` 是反向时间的布朗运动，而 `∇log p_t(x_t)` 就是我们在第四章学习过的**分数函数**！ - - 关系：$\epsilon_\theta(x_t, t) = -\sigma_t s_\theta(x_t, t)$ - 其中 $\sigma_t = \sqrt{1-\bar{\alpha}_t}$ +这个定理是整个生成模型理论的基石。它告诉我们： +1. **反向过程是存在的**：从噪声恢复数据的过程在数学上是良定义的。 +2. **反向过程的核心是分数**：反向的漂移项 = 前向漂移项 - 噪声强度 * 分数。为了反转过程，我们必须在每个时刻 `t` 沿着能使概率密度 `p_t(x_t)` 增加最快的方向（即分数函数的方向）进行修正。 +3. **生成建模的核心任务**：因此，训练一个扩散模型的核心任务，就是学习所有时刻 `t` 的分数函数 `∇log p_t(x_t)`。这完美地将DDPM的去噪目标和NCSN的分数匹配目标统一了起来。 - - NCSN的噪声水平 $\{\sigma_i\}$ 对应VE-SDE在离散时刻的值 - - 新SDE示例：非线性漂移 $dx = -x^3 dt + \sqrt{2}dw$ +⚡ **实现挑战**：分数函数 `∇log p_t(x_t)` 是未知的，且依赖于整个数据集在时刻 `t` 的分布。我们需要用一个神经网络 `s_θ(x_t, t)` 来近似它。这个网络被称为分数模型（score model）。 +
+练习 5.1：推导反向SDE - 多模态稳态分布 - - 局部稳定性分析 - - 数值挑战：刚性问题 +1. **VP-SDE的反向过程**：给定前向VP-SDE `dx = -1/2 * β(t) * x dt + sqrt(β(t)) * dW_t`，写出其对应的反向SDE表达式。 +2. **与DDPM的联系**：在DDPM中，我们训练模型 `ε_θ(x_t, t)` 来预测噪声。而在SDE框架下，我们训练模型 `s_θ(x_t, t)` 来预测分数。证明这两个模型之间存在一个简单的线性关系：`s_θ(x_t, t) = -ε_θ(x_t, t) / sqrt(1 - ᾱ_t)`。 +3. **研究思路**： + * Anderson定理的原始证明涉及随机微积分和测度论。可以查阅相关文献，理解其对概率密度函数 `p_t` 的光滑性要求。 + * 探索当 `g(t)` 是矩阵（各向异性噪声）时，反向SDE的形式如何变化。 +
+## 5.3 概率流ODE：确定性的生成路径 +SDE的采样过程是随机的，意味着从同一个噪声 `x_T` 出发，每次得到的 `x_0` 都会略有不同。是否存在一种确定性的路径，也能将噪声映射到数据呢？答案是肯定的，这就是概率流（Probability Flow）ODE。 +> **定义：概率流ODE** +> 每一个SDE都存在一个与之对应的常微分方程（Ordinary Differential Equation, ODE），它具有与SDE完全相同的边缘概率密度 `p_t(x)`。这个ODE被称为概率流ODE： +> $$dx_t = [f(x_t, t) - \frac{1}{2} g(t)^2 \nabla_{x_t} \log p_t(x_t)] dt$$ +> 注意，这个ODE中没有了随机的 `dW_t` 项！ +概率流ODE的直观理解是，它描述了概率密度 `p_t(x)` 中“概率质量”的平均速度场。沿着这个速度场流动，样本的分布演化将和随机的SDE完全一样。 -挑战题：最优传输视角 +**概率流ODE的优势**： +1. **确定性采样**：从一个 `x_T` 出发，总能得到完全相同的 `x_0`。这对于需要可复现生成的任务非常有用。 +2. **更快的采样**：作为ODE，我们可以使用各种现成的高阶数值求解器（如Runge-Kutta法），可以用比SDE求解器少得多的步数（例如50-100步 vs 1000步）得到高质量的样本。这是DDIM等快速采样算法的理论基础。 +3. **精确的似然计算**：通过ODE的瞬时变量变换公式，可以精确计算出数据点 `x_0` 的对数似然，而SDE只能计算一个下界。 -探索扩散模型与最优传输的联系： +🌟 **理论空白**：SDE和ODE提供了两种不同的采样路径。SDE路径是随机的、高维的，而ODE路径是确定性的、低维的。这两种路径的几何性质有何不同？它们在数据流形上是如何移动的？理解这一点可能有助于设计出更优的采样算法。 +## 5.4 Fokker-Planck方程：从粒子到密度的演化 +SDE和ODE描述了单个数据点（粒子）的轨迹。如果我们想从宏观上描述整个概率密度 `p_t(x)` 的演化，就需要偏微分方程（Partial Differential Equation, PDE）的语言，这就是Fokker-Planck方程。 - - 证明当 $g(t) \to 0$ 时，概率流ODE收敛到最优传输的位移插值 - - 实现基于最优传输的采样加速方法 - - 讨论Schrödinger桥与扩散模型的关系 +> **定义：Fokker-Planck方程** +> 对于一个SDE `dx = f(x,t)dt + g(t)dW_t`，其概率密度 `p_t(x)` 的演化遵循Fokker-Planck方程： +> $$\frac{\partial p_t(x)}{\partial t} = -\nabla \cdot (f(x,t)p_t(x)) + \frac{1}{2} g(t)^2 \Delta p_t(x)$$ +> 其中 `∇·` 是散度算子，`Δ` 是拉普拉斯算子。 -**研究方向：** +这个方程的直观含义是：概率密度的变化率 = 由漂移项引起的输运（advection）+ 由扩散项引起的平滑（diffusion）。它将微观的粒子随机运动与宏观的概率密度演化联系在了一起。虽然在实践中我们通常不直接求解这个PDE，但它为理解扩散模型提供了强大的理论工具，并与物理学中的热力学、流体力学等领域建立了深刻的联系。 +🔬 **研究线索**：Fokker-Planck方程与最优传输理论中的Wasserstein梯度流有深刻联系。扩散模型可以被看作是在概率分布空间中，沿着某种能量泛函的梯度方向进行演化。探索这种几何观点是当前理论研究的一大热点。 +
+练习 5.2：SDE, ODE, PDE的联系与区别 - - 参考Benamou-Brenier公式和动态最优传输理论 - - 考虑熵正则化的作用 - - 流匹配方法提供了实际的算法思路 - - 这是当前研究的活跃领域，有很多开放问题 +1. **写出ODE**：给定前向VP-SDE，写出其对应的概率流ODE的表达式。 +2. **写出PDE**：给定前向VP-SDE，写出其对应的Fokker-Planck方程。 +3. **比较与分析**：总结SDE、ODE、PDE这三种数学工具在描述扩散模型时的角色和优缺点。 + * SDE的优点是什么？（提示：与分数匹配的联系） + * ODE的优点是什么？（提示：采样速度和似然计算） + * PDE的优点是什么？（提示：宏观理论分析） +4. **开放探索**：概率流ODE提供了一条确定性的从噪声到数据的路径。这本质上定义了一个可逆的函数 `g: x_T -> x_0`。这与连续归一化流（Continuous Normalizing Flows, CNF）有何联系？分析两种模型的异同。 +
+## 本章小结 +本章将我们对扩散模型的理解从离散时间步提升到了连续时间的SDE/PDE框架，这是一个更深刻、更统一的视角。 +- **从离散到连续**：我们展示了当时间步数趋于无穷时，离散的DDPM和NCSN过程如何自然地收敛到连续的SDE。 +- **反向时间SDE**：我们学习了Anderson定理，它揭示了反向去噪过程的核心是学习分数函数 `∇log p_t(x)`，从而将DDPM和分数匹配统一起来。 +- **概率流ODE**：我们发现每个SDE都对应一个确定性的ODE，它不仅能实现更快的采样，还能进行精确的似然计算。 +- **Fokker-Planck方程**：我们引入了描述概率密度演化的PDE，为宏观理论分析提供了工具。 - [← 第4章：基于分数的生成模型](chapter4.md) - [返回首页](index.md) - [第6章：流匹配 →](chapter6.md) \ No newline at end of file +这个连续时间框架不仅统一了现有的模型，更为未来的创新（如设计新的SDE、开发更快的求解器）提供了无限可能。下一章，我们将探讨另一个优雅的连续时间框架——流匹配（Flow Matching），它从最优传输的视角为生成建模提供了新的思路。 From c773e58ceddd683b8aa68fe8504050c2d5500501 Mon Sep 17 00:00:00 2001 From: William Date: Sun, 27 Jul 2025 09:44:22 +0800 Subject: [PATCH 06/62] interim --- index.md | 231 +++++++++++++++---------------------------------------- 1 file changed, 60 insertions(+), 171 deletions(-) diff --git a/index.md b/index.md index 14cdbde..332a2d3 100644 --- a/index.md +++ b/index.md @@ -1,224 +1,113 @@ # 扩散模型教程 - ## Diffusion Models: From Theory to Practice - - - 欢迎来到扩散模型教程！本教程将带你从基础理论逐步深入到实际应用，帮助你全面理解和掌握扩散模型这一强大的生成模型技术。 - 每个章节包含： - - - - 理论基础与数学推导 - - 可视化演示和交互式示例 - - 编程练习与实践项目 - - 习题与参考答案（默认折叠） - - - - - +- 理论基础与数学推导 +- 可视化演示和交互式示例 +- 编程练习与实践项目 +- 习题与参考答案（默认折叠） ## 前置知识要求 - 本教程假设读者已具备以下基础知识： - - - - **概率论与统计**：随机变量、概率分布、期望、方差、贝叶斯定理 - - **线性代数**：矩阵运算、特征值分解、向量空间 - - **微积分**：多元微积分、偏导数、链式法则、泰勒展开 - - **深度学习基础**：神经网络、反向传播、卷积网络、Transformer - - **PyTorch 编程**：张量操作、自动微分、模型训练流程 - - +- **概率论与统计**：随机变量、概率分布、期望、方差、贝叶斯定理 +- **线性代数**：矩阵运算、特征值分解、向量空间 +- **微积分**：多元微积分、偏导数、链式法则、泰勒展开 +- **深度学习基础**：神经网络、反向传播、卷积网络、Transformer +- **PyTorch 编程**：张量操作、自动微分、模型训练流程 如果对某些概念不熟悉，建议先补充相关知识再开始学习。附录部分提供了部分高级数学概念的速成指南。 - - - - ## 课程章节 +### [第1章：扩散模型导论](chapter1.md) +*已完成* - [ - - 第1章：扩散模型导论 - 已完成 - - - 介绍扩散模型的基本概念、历史发展、与其他生成模型的比较，以及前向扩散过程的数学基础。 - - ](chapter1.md) - - [ - - 第2章：神经网络架构：U-Net与ViT - 已完成 - - - 探索去噪网络的历史发展，从医学图像分割到生成模型，深入理解U-Net架构演进和Vision Transformer的崛起。 - - ](chapter2.md) - - [ - - 第3章：去噪扩散概率模型 (DDPM) - 已完成 - - - 深入理解DDPM的核心原理，包括前向过程、反向过程、变分下界推导、训练算法和完整实现。 - - ](chapter3.md) - - [ - - 第4章：基于分数的生成模型 - 已完成 - - - 探索score matching和Langevin dynamics，理解扩散模型与分数函数的深层联系。 - - ](chapter4.md) - - [ - - 第5章：连续时间扩散模型 (PDE/SDE) - 已完成 - - - 从随机微分方程(SDE)和偏微分方程(PDE)角度理解扩散模型，包括概率流ODE、Fokker-Planck方程等连续时间框架。 - - ](chapter5.md) - - - - 第6章：流匹配 (Flow Matching) - 计划中 +介绍扩散模型的基本概念、历史发展、与其他生成模型的比较，以及前向扩散过程的数学基础。 +### [第2章：神经网络架构：U-Net与ViT](chapter2.md) +*已完成* - 连续正则化流、最优传输视角、与扩散模型的联系。 +探索去噪网络的历史发展，从医学图像分割到生成模型，深入理解U-Net架构演进和Vision Transformer的崛起。 +### [第3章：去噪扩散概率模型 (DDPM)](chapter3.md) +*已完成* +深入理解DDPM的核心原理，包括前向过程、反向过程、变分下界推导、训练算法和完整实现。 +### [第4章：基于分数的生成模型](chapter4.md) +*已完成* +探索score matching和Langevin dynamics，理解扩散模型与分数函数的深层联系。 - 第7章：扩散Transformer (DiT) - 计划中 +### [第5章：连续时间扩散模型 (PDE/SDE)](chapter5.md) +*已完成* +从随机微分方程(SDE)和偏微分方程(PDE)角度理解扩散模型，包括概率流ODE、Fokker-Planck方程等连续时间框架。 - Diffusion Transformer架构、与U-Net的对比、可扩展性分析。 +### 第6章：流匹配 (Flow Matching) +*计划中* +连续正则化流、最优传输视角、与扩散模型的联系。 +### 第7章：扩散Transformer (DiT) +*计划中* +Diffusion Transformer架构、与U-Net的对比、可扩展性分析。 +### 第8章：采样算法与加速技术 +*计划中* - 第8章：采样算法与加速技术 - 计划中 +学习DDIM、DPM-Solver等快速采样方法，以及如何优化生成质量与速度的平衡。 +### 第9章：条件生成与引导技术 +*计划中* - 学习DDIM、DPM-Solver等快速采样方法，以及如何优化生成质量与速度的平衡。 +掌握classifier guidance、classifier-free guidance等条件生成技术，实现可控生成。 +### 第10章：潜在扩散模型 (LDM) +*计划中* +理解Stable Diffusion的架构，学习如何在潜在空间中进行高效的扩散建模。 +### 第11章：视频扩散模型 +*计划中* +时序建模、3D U-Net、视频生成的挑战与方法。 - 第9章：条件生成与引导技术 - 计划中 - - - 掌握classifier guidance、classifier-free guidance等条件生成技术，实现可控生成。 - - - - - - 第10章：潜在扩散模型 (LDM) - 计划中 - - - 理解Stable Diffusion的架构，学习如何在潜在空间中进行高效的扩散建模。 - - - - - - 第11章：视频扩散模型 - 计划中 - - - 时序建模、3D U-Net、视频生成的挑战与方法。 - - - - - - 第12章：文本扩散模型 - 计划中 - - - 探索离散域上的扩散模型，包括D3PM、Diffusion-LM等文本生成方法，以及embedding空间的扩散技术。 - - - - - - 第13章：扩散模型的应用 - 计划中 - - - 探索图像生成、图像编辑、超分辨率、3D生成等实际应用场景。 - - - - - - 第14章：前沿研究与未来方向 - 计划中 - - - 了解最新研究进展，包括一致性模型、扩散模型的未来发展趋势。 +### 第12章：文本扩散模型 +*计划中* +探索离散域上的扩散模型，包括D3PM、Diffusion-LM等文本生成方法，以及embedding空间的扩散技术。 +### 第13章：扩散模型的应用 +*计划中* +探索图像生成、图像编辑、超分辨率、3D生成等实际应用场景。 +### 第14章：前沿研究与未来方向 +*计划中* +了解最新研究进展，包括一致性模型、扩散模型的未来发展趋势。 ## 附录 +### [附录A：测度论与随机过程速成](appendix-a.md) +*已完成* - [ - - 附录A：测度论与随机过程速成 - 已完成 - - - 为第5章PDE/SDE内容提供数学基础，包括σ-代数、测度、布朗运动等核心概念。 - - ](appendix-a.md) - - [ - - 附录B：倒向随机微分方程 (BSDE) 速成 - 已完成 - - - 理解扩散模型反向过程的数学工具，包括BSDE基本理论、Feynman-Kac公式等。 - - ](appendix-b.md) - - [ +为第5章PDE/SDE内容提供数学基础，包括σ-代数、测度、布朗运动等核心概念。 - 附录C：信息几何与分数函数的力学解释 - 已完成 +### [附录B：倒向随机微分方程 (BSDE) 速成](appendix-b.md) +*已完成* +理解扩散模型反向过程的数学工具，包括BSDE基本理论、Feynman-Kac公式等。 - 从信息几何角度理解扩散模型，揭示分数函数作为"力"的物理意义，建立与能量优化的联系。 +### [附录C：信息几何与分数函数的力学解释](appendix-c.md) +*已完成* - ](appendix-c.md) \ No newline at end of file +从信息几何角度理解扩散模型，揭示分数函数作为"力"的物理意义，建立与能量优化的联系。 From 5f5a9a7a0ab0ae0958a37ebc46f6eec2c8f36390 Mon Sep 17 00:00:00 2001 From: William Date: Sun, 27 Jul 2025 10:27:21 +0800 Subject: [PATCH 07/62] interim --- chapter1.md | 13 ++++++++++--- 1 file changed, 10 insertions(+), 3 deletions(-) diff --git a/chapter1.md b/chapter1.md index 85f21fa..3152626 100644 --- a/chapter1.md +++ b/chapter1.md @@ -8,6 +8,12 @@ 扩散模型（Diffusion Models）是一类强大的生成模型，它通过学习数据的逐步去噪过程来生成高质量的样本。这个过程可以类比为物理学中的扩散现象：就像墨水在水中逐渐扩散直至均匀分布，扩散模型将数据逐步添加噪声直至变成纯噪声，然后学习如何反转这个过程。 +### 从布朗运动到扩散模型：一段跨越百年的科学之旅 + +扩散模型的数学根源可以追溯到1827年罗伯特·布朗（Robert Brown）对花粉微粒在水中无规则运动的观察。1905年，爱因斯坦（Einstein）在其奇迹之年中不仅发表了相对论，还给出了布朗运动的严格数学描述，通过扩散方程 $\frac{\partial p}{\partial t} = D\nabla^2 p$ 刻画了粒子密度的演化。值得注意的是，这里的扩散过程遵循菲克定律（Fick's law），描述的是浓度梯度驱动的纯扩散现象，而非Navier-Stokes方程中的对流-扩散耦合过程。在机器学习的扩散模型中，我们关注的正是这种纯粹的随机扩散：没有外力驱动的定向流动，只有随机热运动导致的均匀化过程。 + +三年后，朗之万（Langevin）提出了描述单个粒子轨迹的随机微分方程：$d\mathbf{x}_t = -\nabla U(\mathbf{x}_t)dt + \sqrt{2D}d\mathbf{W}_t$，其中第一项是确定性的漂移项，第二项是随机的扩散项。这个方程奠定了随机过程理论的基础，也成为了现代扩散模型的理论支柱。从朗之万动力学到今天的去噪扩散概率模型（DDPM），核心思想一脉相承：通过在数据上添加精心设计的噪声（对应朗之万方程中的随机项），并学习反向的去噪过程（对应漂移项），我们可以从简单的噪声分布生成复杂的数据分布。这种优雅的对称性不仅在数学上令人着迷，更在实践中展现出了惊人的生成能力。 + 🔬 **研究线索：物理扩散与概率扩散的深层联系** 扩散模型与物理扩散方程的联系不仅仅是类比。实际上，Fokker-Planck方程和Schrödinger桥问题揭示了两者的数学等价性。这种联系在最优传输理论中有深刻体现，但目前仍缺乏统一的几何理论框架。PyTorch中的`torchdiffeq.odeint`可用于探索连续时间扩散。 @@ -36,10 +42,10 @@ $$q(\mathbf{x}_t | \mathbf{x}_0) = \mathcal{N}(\mathbf{x}_t; \sqrt{\bar{\alpha}_ 其中 $\alpha_t = 1 - \beta_t$，$\bar{\alpha}_t = \prod_{s=1}^{t}\alpha_s$。当 $t \to T$ 时，若 $\bar{\alpha}_T \to 0$，则 $\mathbf{x}_T$ 的分布将趋向于各向同性的标准高斯分布，与原始数据 $\mathbf{x}_0$ 无关。 💡 **开放问题：最优噪声调度的理论基础** -虽然实践中余弦调度效果良好，但缺乏理论指导原则。信息论视角下，噪声调度应该如何与数据的固有维度相适应？是否存在数据相关的自适应调度算法？这涉及到`torch.nn.functional.cosine_similarity`等度量的使用。 +虽然实践中余弦调度效果良好，但缺乏理论指导原则。信息论视角下，噪声调度应该如何与数据的固有维度相适应？是否存在数据相关的自适应调度算法？ 🌟 **理论空白：扩散速度的几何含义** -前向扩散过程在数据流形上的速度场有何几何意义？与Ricci流的联系如何？这种几何视角可能揭示新的采样算法。相关实现会用到`torch.nn.functional.normalize`进行流形投影。 +前向扩散过程在数据流形上的速度场有何几何意义？与Ricci流的联系如何？这个联系源于两者都描述了几何结构的演化：Ricci流通过 $\frac{\partial g_{ij}}{\partial t} = -2R_{ij}$ 使流形曲率均匀化，最终趋向常曲率空间；而扩散过程使数据分布从复杂流形逐渐"展平"到各向同性高斯分布。两者都涉及从复杂几何到简单几何的演化，且都可用PDE描述。理解这种深层联系可能启发新的采样算法，例如利用流形的曲率信息来设计自适应的噪声调度。
**练习 1.1：分析噪声调度** @@ -49,7 +55,7 @@ $$q(\mathbf{x}_t | \mathbf{x}_0) = \mathcal{N}(\mathbf{x}_t; \sqrt{\bar{\alpha}_ 1. **推导与分析**：推导信噪比 (Signal-to-Noise Ratio, SNR) $\text{SNR}(t) = \frac{\bar{\alpha}_t}{1-\bar{\alpha}_t}$ 的表达式。分析其随时间 $t$ 的变化趋势，并解释为什么在对数尺度下观察SNR更有意义。 2. **开放探索**：比较线性和余弦调度对整个扩散过程中信息损失速率的影响。哪种调度在过程的早期/晚期损失更多信息？这如何影响模型的学习难度和最终生成质量？ 3. **研究思路**： - * 从信息瓶颈（Information Bottleneck）理论的角度分析噪声调度。 + * **信息瓶颈视角的噪声调度分析**：信息瓶颈（Information Bottleneck）理论最小化 $\mathcal{L} = I(X;Z) - \beta I(Z;Y)$，其中 $Z$ 是压缩表示。在扩散模型中，$\mathbf{x}_t$ 可视为 $\mathbf{x}_0$ 的压缩表示，互信息 $I(\mathbf{x}_0; \mathbf{x}_t) = \frac{1}{2}\log\frac{1}{1-\bar{\alpha}_t}$ 随时间递减。理想的噪声调度应该：(1) 在早期保留语义信息（高层特征），在后期才丢失细节；(2) 使信息损失率 $-\frac{dI}{dt}$ 尽可能恒定，避免某些时刻的学习困难；(3) 考虑数据的固有维度 $d_{intrinsic}$，高维数据可能需要更平缓的调度。这启发我们设计自适应调度：$\beta_t = f(I(\mathbf{x}_0; \mathbf{x}_t), d_{intrinsic})$。 * 研究噪声调度与模型架构（如U-Net的不同层）之间的相互作用。 * 探索变分方法，将噪声调度本身作为可学习的参数。 @@ -98,6 +104,7 @@ $$p_\theta(\mathbf{x}_{t-1} | \mathbf{x}_t) = \mathcal{N}(\mathbf{x}_{t-1}; \bol - **2020年**：Ho等人提出的DDPM（Denoising Diffusion Probabilistic Models）是该领域的转折点。他们通过简化目标函数和架构设计，极大地提升了模型的生成质量和易用性，使其成为主流的生成模型。 - **2021年**：Song等人提出的DDIM（Denoising Diffusion Implicit Models）通过构建非马尔可夫的前向过程，实现了比DDPM快10-100倍的采样速度，同时保持了高质量的生成结果。 - **2022年**：Rombach等人提出的潜在扩散模型（Latent Diffusion Models, LDM），即Stable Diffusion的核心，通过在低维潜在空间中进行扩散，大幅降低了计算成本，使得高分辨率图像生成变得触手可及。 +- **2023年**：Peebles和Xie提出的DiT（Diffusion Transformer）标志着扩散模型架构的重大转变。他们证明了纯Transformer架构可以替代U-Net，并且展现出卓越的缩放特性（scaling properties）。DiT-XL/2在256×256 ImageNet上达到2.27 FID，证明了扩散模型也遵循大模型的缩放定律：随着模型参数、训练数据和计算量的增加，生成质量可预测地提升。这一发现直接推动了Sora、Stable Diffusion 3等大规模视频和图像生成模型的诞生。 🔬 **历史视角的研究机会** 早期基于热力学的方法与现代DDPM的联系尚未完全被挖掘。非平衡统计物理中的Jarzynski恒等式或Crooks涨落定理（Fluctuation Theorems）能否为理解反向过程、设计新的损失函数或采样策略提供新的理论洞察？ From c191864d573661c2482f6a077ccddf313f9d6fe5 Mon Sep 17 00:00:00 2001 From: William Date: Sun, 27 Jul 2025 10:38:07 +0800 Subject: [PATCH 08/62] interim --- chapter6.md | 110 ++++++++++++++++++++++++++++++++++++++++++++++++++++ chapter7.md | 34 ++++++++++++++++ 2 files changed, 144 insertions(+) create mode 100644 chapter6.md create mode 100644 chapter7.md diff --git a/chapter6.md b/chapter6.md new file mode 100644 index 0000000..57cfb44 --- /dev/null +++ b/chapter6.md @@ -0,0 +1,110 @@ +[← 返回目录](index.md) | 第6章 / 共14章 | [下一章 →](chapter7.md) + +# 第6章：流匹配 (Flow Matching) + +流匹配是生成建模领域的一个新兴范式，它巧妙地结合了连续正则化流（Continuous Normalizing Flows）的理论优雅性和扩散模型的实践有效性。本章将深入探讨流匹配的核心思想：如何通过学习简单的向量场来构建复杂分布之间的最优传输路径。您将理解流匹配如何统一了看似不同的生成模型框架，以及它在计算效率和理论保证方面的独特优势。通过本章的学习，您将掌握设计和训练流匹配模型的关键技术，并理解其与扩散模型、最优传输理论的深刻联系。 + +## 章节大纲 + +### 6.1 从正则化流到流匹配 +- 连续正则化流（CNF）的基本概念 +- 流匹配的动机：避免似然计算的计算瓶颈 +- 条件流匹配（Conditional Flow Matching）框架 + +### 6.2 最优传输视角 +- Monge-Kantorovich问题与Wasserstein距离 +- 动态最优传输与Benamou-Brenier公式 +- 流匹配作为最优传输的实现 + +### 6.3 流匹配的数学基础 +- 概率路径与边缘保持性质 +- 向量场的参数化与学习 +- 流匹配目标函数的推导 + +### 6.4 与扩散模型的联系 +- 概率流ODE的统一视角 +- 从score matching到flow matching +- 计算效率的比较分析 + +### 6.5 实践中的流匹配 +- 路径选择：线性插值vs最优传输 +- 采样算法与ODE求解器选择 +- 条件生成与引导技术 + +## 6.1 从正则化流到流匹配 + +### 6.1.1 连续正则化流的回顾 + +连续正则化流（Continuous Normalizing Flows, CNF）提供了一种优雅的方式来建模复杂概率分布之间的变换。与离散的正则化流不同，CNF通过一个连续时间的动力系统来定义变换： + +$$\frac{d\mathbf{x}_t}{dt} = v_t(\mathbf{x}_t), \quad t \in [0,1]$$ + +其中 $v_t: \mathbb{R}^d \to \mathbb{R}^d$ 是时间相关的向量场。给定初始分布 $p_0$（通常是简单的高斯分布），通过求解这个常微分方程（ODE），我们可以得到任意时刻 $t$ 的分布 $p_t$。 + +CNF的关键优势在于其理论的优雅性：变换是可逆的，且雅可比行列式可以通过以下公式计算： + +$$\log p_1(\mathbf{x}_1) = \log p_0(\mathbf{x}_0) - \int_0^1 \nabla \cdot v_t(\mathbf{x}_t) dt$$ + +这里 $\nabla \cdot v_t$ 是向量场的散度，可以使用 `torch.autograd` 高效计算。 + +🔬 **研究线索：向量场的几何性质** +CNF中向量场的几何性质（如旋度、散度）如何影响生成质量？是否可以通过约束向量场的几何特性（例如无旋场、保体积变换）来获得更好的生成模型？这涉及到微分几何和李群理论的深刻应用。 + +### 6.1.2 传统CNF的计算瓶颈 + +尽管CNF在理论上优雅，但在实践中面临严重的计算挑战： + +1. **似然计算的开销**：计算 $\log p_1(\mathbf{x}_1)$ 需要： + - 反向求解ODE从 $\mathbf{x}_1$ 到 $\mathbf{x}_0$ + - 沿轨迹积分散度项 + - 两者都需要多次调用神经网络和ODE求解器 + +2. **训练的不稳定性**：直接最大化似然需要精确的ODE求解，这在高维空间中计算昂贵且数值不稳定。 + +3. **散度计算的复杂度**：对于 $d$ 维数据，精确计算散度需要 $O(d)$ 次反向传播，这在高维情况下（如图像）变得不可行。虽然可以使用 Hutchinson 迹估计降低复杂度，但会引入额外的方差。 + +### 6.1.3 流匹配：回避似然计算的巧妙方案 + +流匹配（Flow Matching）的核心洞察是：与其直接优化似然，不如直接学习连接两个分布的向量场。具体来说，给定源分布 $p_0$（如标准高斯）和目标分布 $p_1$（数据分布），流匹配的目标是学习一个向量场 $v_\theta$，使得： + +$$\min_\theta \mathbb{E}_{t \sim \mathcal{U}[0,1], \mathbf{x}_t \sim p_t} \|v_\theta(t, \mathbf{x}_t) - u_t(\mathbf{x}_t)\|^2$$ + +其中 $u_t$ 是生成概率路径 $p_t$ 的"真实"向量场。 + +关键问题是：如何获得 $(t, \mathbf{x}_t, u_t(\mathbf{x}_t))$ 的训练样本？这正是条件流匹配要解决的。 + +### 6.1.4 条件流匹配框架 + +条件流匹配（Conditional Flow Matching, CFM）通过构造条件概率路径巧妙地解决了采样问题。核心思想是： + +1. **定义条件路径**：对每个数据点 $\mathbf{x}_1 \sim p_1$，定义一个从噪声 $\mathbf{x}_0 \sim p_0$ 到 $\mathbf{x}_1$ 的简单路径，例如线性插值： + $$\mathbf{x}_t = (1-t)\mathbf{x}_0 + t\mathbf{x}_1$$ + +2. **条件向量场**：这个路径对应的向量场是： + $$u_t(\mathbf{x}_t | \mathbf{x}_0, \mathbf{x}_1) = \mathbf{x}_1 - \mathbf{x}_0$$ + +3. **边缘化**：关键洞察是，如果我们对所有可能的 $(\mathbf{x}_0, \mathbf{x}_1)$ 对进行边缘化，得到的边缘向量场 $u_t(\mathbf{x}_t)$ 正好生成了从 $p_0$ 到 $p_1$ 的流。 + +💡 **实现技巧：高效采样** +CFM的训练只需要：(1) 采样时间 $t \sim \mathcal{U}[0,1]$；(2) 采样数据对 $(\mathbf{x}_0, \mathbf{x}_1)$；(3) 计算插值 $\mathbf{x}_t$；(4) 最小化 $\|v_\theta(t, \mathbf{x}_t) - (\mathbf{x}_1 - \mathbf{x}_0)\|^2$。整个过程避免了ODE求解和似然计算！ + +
+**练习 6.1：理解条件流匹配** + +考虑一维情况，源分布 $p_0 = \mathcal{N}(0, 1)$，目标分布 $p_1 = \mathcal{N}(3, 0.5^2)$。 + +1. **路径可视化**：对于线性插值路径 $x_t = (1-t)x_0 + tx_1$，绘制几条从 $p_0$ 到 $p_1$ 的样本路径。这些路径是否相交？路径的密度如何变化？ + +2. **向量场分析**：推导并可视化 $t = 0.5$ 时刻的边缘向量场 $u_{0.5}(x)$。提示：需要对所有可能的 $(x_0, x_1)$ 对进行积分。 + +3. **最优传输视角**：证明在这个例子中，线性插值路径不是 Wasserstein 意义下的最优传输路径。什么是最优路径？这对生成质量有何影响？ + +4. **研究拓展**： + - 探索非线性路径（如圆弧路径）对向量场学习的影响 + - 研究不同路径选择对生成样本多样性的影响 + - 设计自适应路径选择策略，根据局部数据密度调整插值方式 + +
+ +🌟 **开放问题：最优路径设计** +虽然线性插值简单有效，但它是否是最优选择？如何设计既保持计算效率又提升生成质量的路径？这涉及到最优传输理论、计算几何和深度学习的交叉研究。 diff --git a/chapter7.md b/chapter7.md new file mode 100644 index 0000000..7f2029f --- /dev/null +++ b/chapter7.md @@ -0,0 +1,34 @@ +[← 返回目录](index.md) | 第7章 / 共14章 | [下一章 →](chapter8.md) + +# 第7章：扩散Transformer (DiT) + +扩散Transformer（Diffusion Transformer, DiT）标志着扩散模型架构的范式转变。本章将深入探讨DiT如何将Transformer的强大表达能力和优秀的扩展性引入扩散模型，实现了从卷积架构到注意力架构的飞跃。您将理解DiT的核心设计原则，学习其与传统U-Net的关键差异，并掌握如何利用Transformer的缩放定律来构建更强大的生成模型。通过本章的学习，您将获得设计和训练大规模扩散模型的关键洞察，为理解Sora、Stable Diffusion 3等前沿模型打下基础。 + +## 章节大纲 + +### 7.1 DiT架构详解 +- 从Vision Transformer到Diffusion Transformer +- DiT的核心组件：patchify、位置编码、时间条件 +- 架构变体：DiT-S/B/L/XL的设计选择 + +### 7.2 与U-Net的对比分析 +- 归纳偏置：卷积vs注意力 +- 计算复杂度与内存效率 +- 特征表示的差异 + +### 7.3 可扩展性分析 +- 缩放定律在扩散模型中的体现 +- 模型大小、数据量与性能的关系 +- 训练效率与推理优化 + +### 7.4 条件机制与灵活性 +- 自适应层归一化（AdaLN） +- 交叉注意力vs AdaLN-Zero +- 多模态条件的统一处理 + +### 7.5 实践考虑与未来方向 +- 训练策略与超参数选择 +- 混合精度训练与分布式训练 +- 架构创新的研究方向 + +## 7.1 DiT架构详解 \ No newline at end of file From 36f1d616367c10c326ab19dfdd2384dd2563a7b4 Mon Sep 17 00:00:00 2001 From: William Date: Sun, 27 Jul 2025 10:47:12 +0800 Subject: [PATCH 09/62] interim --- chapter7.md | 400 ++++++++++++++++++++++++++++++++++++++++++++++++++- chapter8.md | 406 ++++++++++++++++++++++++++++++++++++++++++++++++++++ 2 files changed, 805 insertions(+), 1 deletion(-) create mode 100644 chapter8.md diff --git a/chapter7.md b/chapter7.md index 7f2029f..dc642af 100644 --- a/chapter7.md +++ b/chapter7.md @@ -31,4 +31,402 @@ - 混合精度训练与分布式训练 - 架构创新的研究方向 -## 7.1 DiT架构详解 \ No newline at end of file +## 7.1 DiT架构详解 + +### 7.1.1 从Vision Transformer到Diffusion Transformer + +DiT的核心思想是将Vision Transformer (ViT)的成功经验迁移到扩散模型中。回顾ViT的基本原理：将图像分割成固定大小的patches，将每个patch线性投影为token，然后通过Transformer处理这些tokens。DiT继承了这一思想，但需要解决扩散模型特有的挑战： + +1. **噪声级别的条件化**：模型需要知道当前的去噪步骤 $t$ +2. **类别条件**：支持条件生成（如特定类别的图像） +3. **保持空间结构**：虽然使用了序列模型，但需要保留图像的空间信息 + +DiT通过精心设计的架构组件优雅地解决了这些挑战。 + +### 7.1.2 DiT的核心组件 + +**1. Patchify层** + +将输入图像 $\mathbf{x} \in \mathbb{R}^{H \times W \times C}$ 分割成非重叠的patches： + +``` +Input: x ∈ R^(H×W×C) +Patches: p×p×C (typically p=2,4,8,16) +Tokens: (H/p)×(W/p) tokens, each ∈ R^d +``` + +线性投影使用 `nn.Conv2d(C, d, kernel_size=p, stride=p)`，其中 $d$ 是隐藏维度。 + +🔬 **研究线索：自适应patch大小** +固定的patch大小可能不适合所有图像区域。是否可以设计自适应的patchify策略，在细节丰富的区域使用小patches，在平滑区域使用大patches？这涉及到视觉显著性检测和动态网络架构。 + +**2. 位置编码** + +DiT使用标准的正弦位置编码，但应用于2D网格： + +$$\text{PE}_{(i,j,2k)} = \sin\left(\frac{i}{10000^{2k/d}}\right), \quad \text{PE}_{(i,j,2k+1)} = \cos\left(\frac{j}{10000^{2k/d}}\right)$$ + +这保留了patches的空间关系。可以使用 `torch.meshgrid` 和 `torch.sin/cos` 实现。 + +**3. 时间和类别条件机制** + +DiT提出了几种条件化方案，其中最有效的是**AdaLN-Zero**（Adaptive Layer Normalization with Zero initialization）： + +- 将时间步 $t$ 和类别标签 $c$ 编码为向量 +- 通过MLP预测每个DiT block的缩放和偏移参数 +- 初始化为零，确保训练初期行为类似无条件模型 + +``` +γ, β = MLP(t_emb + c_emb) # 每个block独立的参数 +h = LayerNorm(h) +h = γ * h + β # AdaLN +``` + +💡 **实现细节：为什么是Zero初始化？** +Zero初始化确保模型在训练初期表现得像一个恒等函数，这对训练稳定性至关重要。使用 `nn.init.zeros_` 初始化最后一层。 + +### 7.1.3 DiT Block的设计 + +每个DiT block包含： + +1. **多头自注意力（Multi-Head Self-Attention）** + $$\text{Attention}(Q,K,V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$$ + +2. **逐点前馈网络（Pointwise Feedforward）** + $$\text{FFN}(x) = \text{GELU}(xW_1 + b_1)W_2 + b_2$$ + +3. **AdaLN调制** + - 在每个子层前应用AdaLN + - 在残差连接前应用额外的缩放（通过学习的参数） + +
+**练习 7.1：理解DiT的计算复杂度** + +考虑一个256×256的图像，使用不同的patch大小。 + +1. **Token数量计算**：对于patch大小 p∈{2,4,8,16}，计算产生的token数量。这如何影响内存使用和计算量？ + +2. **注意力复杂度**：自注意力的复杂度是 $O(n^2d)$，其中 $n$ 是token数。对比不同patch大小下的FLOPS。 + +3. **与U-Net对比**：U-Net在不同分辨率处理特征。估算U-Net和DiT在相同输入下的计算量差异。 + +4. **优化策略**： + - 探索局部注意力（如Swin Transformer的窗口注意力）在DiT中的应用 + - 研究稀疏注意力模式对生成质量的影响 + - 设计分层的DiT架构，在不同尺度使用不同的patch大小 + +
+ +### 7.1.4 架构变体与设计选择 + +DiT提供了多种模型规模： + +| 模型 | 隐藏维度 | 深度 | 注意力头数 | 参数量 | +|------|----------|------|------------|--------| +| DiT-S | 384 | 12 | 6 | 33M | +| DiT-B | 768 | 12 | 12 | 130M | +| DiT-L | 1024 | 24 | 16 | 458M | +| DiT-XL | 1152 | 28 | 16 | 675M | + +这些配置遵循ViT的设计原则，但针对扩散模型进行了调整。 + +🌟 **开放问题：最优架构搜索** +当前的DiT配置主要借鉴ViT的经验。是否存在专门为扩散任务优化的架构配置？如何自动搜索最优的深度/宽度/注意力头配置？这需要考虑扩散模型特有的信噪比变化和多步去噪特性。 + +### 7.1.5 训练与推理优化 + +**高效注意力实现**： +- 使用 `torch.nn.functional.scaled_dot_product_attention` 获得融合的注意力计算 +- 支持FlashAttention等优化实现 +- 考虑使用 `torch.compile` 进行图优化 + +**混合精度训练**： +```python +# 使用自动混合精度 +with torch.cuda.amp.autocast(): + noise_pred = dit_model(noisy_images, timesteps, classes) +``` + +**推理加速技巧**： +- KV-cache在自回归生成中很有用，但在扩散模型中作用有限 +- 可以探索蒸馏和剪枝技术 +- 使用更少的去噪步骤（如DDIM）是最直接的加速方法 + +## 7.2 与U-Net的对比分析 + +### 7.2.1 架构哲学的根本差异 + +U-Net和DiT代表了两种截然不同的架构哲学： + +**U-Net：层次化的局部处理** +- 基于卷积的局部感受野，逐层扩大 +- 通过下采样和上采样构建多尺度表示 +- Skip connections保留细节信息 +- 天然的归纳偏置：空间局部性和平移等变性 + +**DiT：全局交互的并行处理** +- 基于注意力的全局感受野，从第一层就能看到整个图像 +- 所有patches在同一分辨率下处理 +- 通过位置编码保持空间信息 +- 最小的归纳偏置：更依赖数据学习 + +### 7.2.2 归纳偏置的影响 + +**卷积的归纳偏置**： +1. **局部性**：相邻像素更相关 +2. **平移等变性**：特征检测不受位置影响 +3. **参数共享**：同一卷积核在整个图像上滑动 + +这些偏置在小数据集上是优势，但在大规模数据上可能成为限制。 + +**Transformer的灵活性**： +- 可以学习任意的空间关系 +- 不假设局部性，可以直接建模长程依赖 +- 更适合捕捉全局结构和语义关系 + +💡 **实践洞察：数据规模的影响** +实验表明，在小数据集（<50k样本）上，U-Net通常优于DiT。但随着数据规模增加，DiT的性能提升更快。这印证了"大数据偏好小偏置"的原则。 + +### 7.2.3 计算复杂度对比 + +让我们量化比较两种架构的计算需求： + +**U-Net的复杂度**： +- 卷积层：$O(k^2 \cdot C_{in} \cdot C_{out} \cdot H \cdot W)$ +- 多分辨率处理降低了总体计算量 +- 内存占用随深度线性增长（由于skip connections） + +**DiT的复杂度**： +- 自注意力：$O(n^2 \cdot d)$，其中 $n = (H/p) \times (W/p)$ +- 所有计算在高维特征空间进行 +- 内存占用主要由注意力矩阵决定 + +
+**练习 7.2：效率分析** + +对于512×512的图像生成任务： + +1. **参数效率**：计算U-Net和DiT-L达到相似性能所需的参数量。哪个架构更参数高效？ + +2. **内存分析**： + - U-Net：计算不同分辨率特征图的内存占用 + - DiT：计算attention矩阵的内存需求 + - 比较批量大小为8时的总内存使用 + +3. **速度基准**： + - 实现简化版本并测量前向传播时间 + - 分析瓶颈：U-Net的卷积vs DiT的注意力 + - 探索混合架构的可能性 + +4. **扩展研究**： + - 设计结合两者优势的混合架构 + - 研究局部注意力如何改善DiT效率 + - 探索动态计算分配策略 + +
+ +### 7.2.4 特征表示的差异 + +**U-Net的多尺度特征**： +``` +高分辨率层：细节纹理、边缘 +中间层：物体部件、局部模式 +低分辨率层：全局结构、语义信息 +``` + +**DiT的统一表示**： +``` +所有信息在同一维度空间编码 +通过注意力权重隐式编码多尺度关系 +更抽象的特征表示 +``` + +🔬 **研究方向：可解释性分析** +如何可视化和理解DiT学到的表示？注意力模式是否对应于语义概念？可以使用注意力可视化工具（如 `torch.nn.functional.interpolate` 上采样注意力图）来研究。 + +### 7.2.5 条件机制的实现差异 + +**U-Net的条件注入**： +- 通常通过FiLM（Feature-wise Linear Modulation）或交叉注意力 +- 在多个分辨率注入条件信息 +- 可以精细控制不同尺度的条件影响 + +**DiT的统一条件**： +- AdaLN提供全局调制 +- 所有layers接收相同的条件信号 +- 更简洁但可能缺乏精细控制 + +### 7.2.6 训练动态的差异 + +**U-Net的训练特点**： +- 收敛相对较快 +- 对学习率不太敏感 +- 梯度流经skip connections更稳定 + +**DiT的训练挑战**： +- 需要更长的训练时间 +- 对初始化和学习率调度敏感 +- 可能出现注意力崩溃（attention collapse） + +🌟 **开放问题：最优的架构选择** +是否存在一个统一的原则来选择架构？如何根据任务特性（分辨率、数据量、计算预算）自动选择或设计架构？这需要建立架构-任务-性能的理论模型。 + +## 7.3 可扩展性分析 + +### 7.3.1 扩散模型中的缩放定律 + +DiT的一个关键贡献是证明了扩散模型也遵循类似大语言模型的缩放定律。具体表现为： + +$$\text{Loss} = A \cdot N^{-\alpha} + B \cdot D^{-\beta} + C \cdot T^{-\gamma} + \epsilon$$ + +其中： +- $N$：模型参数量 +- $D$：数据集大小 +- $T$：训练计算量（FLOPs） +- $\alpha, \beta, \gamma$：缩放指数 +- $\epsilon$：不可约误差 + +实验发现，对于DiT： +- $\alpha \approx 0.08$（参数缩放指数） +- $\beta \approx 0.10$（数据缩放指数） +- $\gamma \approx 0.05$（计算缩放指数） + +这意味着将模型大小翻倍大约能将损失降低5.7%。 + +### 7.3.2 模型规模与生成质量 + +DiT论文中的关键实验结果： + +| 模型 | Gflops | FID-50K | IS | Precision | Recall | +|------|--------|---------|----|-----------| -------| +| DiT-S/2 | 6.0 | 68.4 | 23.3 | 0.43 | 0.56 | +| DiT-B/2 | 23.0 | 43.5 | 42.8 | 0.57 | 0.64 | +| DiT-L/2 | 80.7 | 23.3 | 83.0 | 0.65 | 0.63 | +| DiT-XL/2 | 118.6 | 9.62 | 121.5 | 0.67 | 0.67 | + +观察到的规律： +1. FID分数随模型规模呈幂律下降 +2. 生成多样性（Recall）和质量（Precision）同步提升 +3. 计算效率：更大的模型达到相同质量需要更少的训练步数 + +💡 **实践启示：计算预算分配** +给定固定的计算预算，应该如何在模型大小、批量大小和训练步数之间分配？经验法则：将预算的约20%用于增大模型，80%用于增加训练数据和步数。 + +### 7.3.3 为什么Transformer缩放更好？ + +**1. 表达能力的理论基础** + +Transformer的通用近似能力已被证明。对于扩散模型的去噪任务： +- 需要建模复杂的条件分布 $p(\mathbf{x}_{t-1}|\mathbf{x}_t)$ +- Transformer的注意力机制可以灵活地选择相关信息 +- 深度和宽度的增加单调提升近似能力 + +**2. 优化景观的优势** + +研究表明，Transformer的损失景观相对平滑： +- 更少的局部极小值 +- 梯度信号在深层网络中传播良好 +- 参数初始化的鲁棒性 + +**3. 涌现能力** + +随着规模增加，DiT展现出涌现能力： +- 更好的组合泛化 +- 对罕见模式的处理能力 +- 零样本迁移到新的条件 + +
+**练习 7.3：缩放实验设计** + +设计一个实验来验证DiT的缩放特性： + +1. **小规模验证**： + - 在CIFAR-10上训练DiT-Tiny (10M), DiT-Small (33M), DiT-Base (130M) + - 绘制参数量vs FID的对数图 + - 拟合幂律关系，估计缩放指数 + +2. **计算效率分析**： + - 固定总FLOPs，比较不同模型大小的最终性能 + - 分析最优的模型大小/训练时长权衡 + - 研究早停策略对缩放的影响 + +3. **数据缩放**： + - 使用ImageNet的不同子集（10%, 25%, 50%, 100%） + - 分析数据量对不同规模模型的影响 + - 确定数据瓶颈出现的临界点 + +4. **理论拓展**： + - 推导DiT容量的理论上界 + - 研究架构深度vs宽度的缩放差异 + - 探索混合专家（MoE）在DiT中的应用 + +
+ +### 7.3.4 训练效率的提升策略 + +**1. 渐进式训练** + +从低分辨率开始，逐步提高： +``` +64×64 → 128×128 → 256×256 → 512×512 +``` +每个阶段继承前一阶段的参数，通过插值适配。 + +**2. 高效的注意力实现** + +- **FlashAttention**：融合注意力计算，减少内存访问 +- **稀疏注意力**：只计算部分注意力权重 +- **低秩近似**：使用 `nn.Linear(d, r)` 和 `nn.Linear(r, d)` 降低复杂度 + +**3. 模型并行策略** + +对于超大规模DiT（数十亿参数）： +- **张量并行**：将注意力头分布到不同GPU +- **流水线并行**：将不同层分配到不同GPU +- **数据并行**：标准的多GPU训练 + +🔬 **研究前沿：稀疏缩放** +密集模型的缩放最终会遇到计算瓶颈。稀疏激活的模型（如Mixture of Experts）能否在DiT中实现更好的缩放？这需要解决负载均衡和训练稳定性问题。 + +### 7.3.5 缩放的实际限制 + +**1. 内存墙** + +注意力矩阵的 $O(n^2)$ 内存需求是主要瓶颈： +- 512×512图像with patch_size=8：4096 tokens +- 注意力矩阵：16GB（float32） +- 批量训练quickly耗尽GPU内存 + +**2. 数据需求** + +大模型需要海量数据： +- DiT-XL在ImageNet上需要7M iterations收敛 +- 更大的模型可能需要数十亿训练样本 +- 高质量数据的获取成本高昂 + +**3. 训练不稳定性** + +随着模型增大，训练变得更加困难： +- 梯度爆炸/消失 +- 注意力熵崩塌 +- 对超参数极其敏感 + +### 7.3.6 未来的缩放方向 + +**1. 架构创新** +- 线性注意力机制：$O(n)$ 复杂度 +- 状态空间模型（如Mamba）在扩散中的应用 +- 神经架构搜索（NAS）自动发现高效结构 + +**2. 训练范式革新** +- 自监督预训练 + 少样本微调 +- 多任务学习提升数据效率 +- 持续学习避免遗忘 + +**3. 硬件协同设计** +- 专用的注意力加速器 +- 近数据计算减少内存瓶颈 +- 量化和混合精度推理 + +🌟 **开放挑战：理论缩放极限** +是否存在扩散模型的理论缩放极限？当模型大小接近数据分布的柯尔莫哥洛夫复杂度时会发生什么？这些基础问题仍待解答。 \ No newline at end of file diff --git a/chapter8.md b/chapter8.md new file mode 100644 index 0000000..4834742 --- /dev/null +++ b/chapter8.md @@ -0,0 +1,406 @@ +[← 返回目录](index.md) | 第8章 / 共14章 | [下一章 →](chapter9.md) + +# 第8章：采样算法与加速技术 + +扩散模型的一个主要挑战是采样速度慢——DDPM需要1000步去噪才能生成高质量样本。本章深入探讨各种加速采样的算法创新，从DDIM的确定性采样到DPM-Solver的高阶求解器，再到最新的一致性模型。您将学习这些方法背后的数学原理，理解速度与质量的权衡，并掌握在实践中选择和调优采样算法的技巧。通过本章的学习，您将能够将采样步数从1000步减少到20步甚至更少，同时保持生成质量。 + +## 章节大纲 + +### 8.1 DDIM：去噪扩散隐式模型 +- 从随机到确定性：DDIM的核心思想 +- 非马尔可夫前向过程的构造 +- DDIM采样器的推导与实现 +- 插值与图像编辑应用 + +### 8.2 基于ODE/SDE的统一视角 +- 概率流ODE的推导 +- SDE与ODE的等价性 +- 数值求解器的选择与分析 +- 预测-校正采样框架 + +### 8.3 DPM-Solver系列算法 +- 指数积分器与精确解 +- DPM-Solver的高阶展开 +- DPM-Solver++的改进 +- 自适应步长策略 + +### 8.4 蒸馏与一步生成 +- 渐进式蒸馏（Progressive Distillation） +- 引导蒸馏（Guidance Distillation） +- 一致性模型（Consistency Models） +- 对抗蒸馏方法 + +### 8.5 实践优化技巧 +- 采样器的选择指南 +- 噪声调度的优化 +- 混合采样策略 +- 质量-速度权衡分析 + +## 8.1 DDIM：去噪扩散隐式模型 + +### 8.1.1 DDPM采样的局限性 + +回顾DDPM的反向过程： +$$p_\theta(\mathbf{x}_{t-1}|\mathbf{x}_t) = \mathcal{N}(\mathbf{x}_{t-1}; \boldsymbol{\mu}_\theta(\mathbf{x}_t, t), \sigma_t^2\mathbf{I})$$ + +每一步都需要添加随机噪声 $\sigma_t \boldsymbol{\epsilon}$，这导致： +1. **采样的随机性**：相同的 $\mathbf{x}_T$ 会生成不同的 $\mathbf{x}_0$ +2. **步数依赖**：减少步数会显著降低质量 +3. **不可逆性**：无法从生成的图像精确重构初始噪声 + +DDIM通过重新参数化前向过程，巧妙地解决了这些问题。 + +### 8.1.2 DDIM的核心创新 + +DDIM的关键洞察是：存在一族非马尔可夫前向过程，它们具有相同的边缘分布 $q(\mathbf{x}_t|\mathbf{x}_0)$，但对应的反向过程可以是确定性的。 + +具体地，DDIM定义了一个新的前向过程： +$$q_\sigma(\mathbf{x}_{t-1}|\mathbf{x}_t, \mathbf{x}_0) = \mathcal{N}(\mathbf{x}_{t-1}; \tilde{\boldsymbol{\mu}}_t(\mathbf{x}_t, \mathbf{x}_0), \sigma_t^2\mathbf{I})$$ + +其中： +$$\tilde{\boldsymbol{\mu}}_t(\mathbf{x}_t, \mathbf{x}_0) = \sqrt{\bar{\alpha}_{t-1}}\mathbf{x}_0 + \sqrt{1 - \bar{\alpha}_{t-1} - \sigma_t^2} \cdot \frac{\mathbf{x}_t - \sqrt{\bar{\alpha}_t}\mathbf{x}_0}{\sqrt{1 - \bar{\alpha}_t}}$$ + +当 $\sigma_t = 0$ 时，过程变为完全确定性。 + +### 8.1.3 DDIM采样算法 + +DDIM的采样公式为： +$$\mathbf{x}_{t-1} = \sqrt{\bar{\alpha}_{t-1}}\underbrace{\left(\frac{\mathbf{x}_t - \sqrt{1 - \bar{\alpha}_t}\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t)}{\sqrt{\bar{\alpha}_t}}\right)}_{\text{预测的 } \mathbf{x}_0} + \underbrace{\sqrt{1 - \bar{\alpha}_{t-1} - \sigma_t^2} \cdot \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t)}_{\text{方向指向 } \mathbf{x}_t} + \underbrace{\sigma_t \boldsymbol{\epsilon}}_{\text{随机噪声}}$$ + +关键参数 $\eta$ 控制随机性： +- $\eta = 0$：完全确定性（DDIM） +- $\eta = 1$：等价于DDPM +- $0 < \eta < 1$：介于两者之间 + +💡 **实现技巧：加速采样** +DDIM允许使用子序列采样。例如，从1000步中均匀选择50步：`timesteps = np.linspace(0, 999, 50).astype(int)`。这可以实现20倍加速！ + +
+**练习 8.1：理解DDIM的几何意义** + +考虑2D高斯分布的扩散过程。 + +1. **轨迹可视化**： + - 实现DDPM和DDIM的采样过程 + - 从相同的 $\mathbf{x}_T$ 开始，绘制多条去噪轨迹 + - 观察DDIM轨迹的确定性 vs DDPM的随机性 + +2. **插值实验**： + - 生成两个不同的样本 $\mathbf{x}_0^{(1)}, \mathbf{x}_0^{(2)}$ + - 编码到对应的 $\mathbf{x}_T^{(1)}, \mathbf{x}_T^{(2)}$ + - 在潜在空间插值：$\mathbf{x}_T^{(\lambda)} = (1-\lambda)\mathbf{x}_T^{(1)} + \lambda\mathbf{x}_T^{(2)}$ + - 解码并观察语义插值效果 + +3. **速度-质量权衡**： + - 使用不同的步数（10, 20, 50, 100, 1000） + - 计算FID分数和推理时间 + - 找出最优的步数选择 + +4. **理论拓展**： + - 推导DDIM的最优 $\sigma_t$ 选择 + - 研究非均匀时间步长的影响 + - 探索自适应步长策略 + +
+ +### 8.1.4 DDIM的数学解释 + +DDIM可以从多个角度理解： + +**1. 变分推断视角** + +DDIM最小化了一个修改后的变分下界，其中KL散度项被重新加权。 + +**2. 数值ODE求解器视角** + +当 $\eta = 0$ 时，DDIM等价于求解概率流ODE： +$$\frac{d\mathbf{x}_t}{dt} = -\frac{1}{2}\beta_t\left[\mathbf{x}_t + \nabla_{\mathbf{x}_t} \log p_t(\mathbf{x}_t)\right]$$ + +**3. 最优传输视角** + +DDIM寻找从噪声到数据的"直线"路径，最小化传输成本。 + +🔬 **研究线索：广义DDIM** +能否设计更一般的确定性采样器？例如，使用高阶信息（二阶导数）或历史轨迹信息来改进预测？这涉及到数值分析和最优控制理论。 + +## 8.2 基于ODE/SDE的统一视角 + +### 8.2.1 从离散到连续：扩散SDE + +Song等人(2021)提出了基于随机微分方程(SDE)的统一框架。前向扩散过程可以表示为： +$$d\mathbf{x} = \mathbf{f}(\mathbf{x}, t)dt + g(t)d\mathbf{w}$$ + +其中： +- $\mathbf{f}(\cdot, t)$：漂移系数 +- $g(t)$：扩散系数 +- $\mathbf{w}$：标准维纳过程 + +对于DDPM/DDIM，相应的SDE是： +$$d\mathbf{x} = -\frac{1}{2}\beta(t)\mathbf{x}dt + \sqrt{\beta(t)}d\mathbf{w}$$ + +### 8.2.2 反向时间SDE + +Anderson(1982)证明了反向时间SDE的存在性： +$$d\mathbf{x} = [\mathbf{f}(\mathbf{x}, t) - g(t)^2\nabla_\mathbf{x} \log p_t(\mathbf{x})]dt + g(t)d\bar{\mathbf{w}}$$ + +其中 $\bar{\mathbf{w}}$ 是反向时间的维纳过程，$\nabla_\mathbf{x} \log p_t(\mathbf{x})$ 是分数函数（score function）。 + +### 8.2.3 概率流ODE + +去除随机项，得到确定性的ODE： +$$\frac{d\mathbf{x}}{dt} = \mathbf{f}(\mathbf{x}, t) - \frac{1}{2}g(t)^2\nabla_\mathbf{x} \log p_t(\mathbf{x})$$ + +这个ODE与原始SDE具有相同的边缘分布 $p_t(\mathbf{x})$。 + +**关键性质**： +1. **可逆性**：可以在数据和噪声之间双向转换 +2. **确定性**：给定初值，轨迹唯一确定 +3. **保持分布**：ODE轨迹保持概率分布的演化 + +### 8.2.4 数值求解器的选择 + +不同的ODE求解器对应不同的采样算法： + +| 求解器 | 阶数 | 对应算法 | 特点 | +|--------|------|----------|------| +| Euler | 1 | DDIM | 简单快速 | +| Heun | 2 | DPM-Solver-2 | 精度提升 | +| RK4 | 4 | - | 高精度但计算量大 | +| 线性多步 | 可变 | DPM-Solver-3 | 利用历史信息 | + +💡 **实践建议：求解器选择** +- 步数充足(>50)：使用Euler方法(DDIM) +- 步数有限(10-50)：使用2阶或3阶求解器 +- 极少步数(<10)：需要专门优化的求解器 + +
+**练习 8.2：实现和比较ODE求解器** + +实现并比较不同的ODE求解器用于扩散模型采样。 + +1. **基础实现**： + - 实现Euler方法（DDIM） + - 实现Heun方法（2阶） + - 实现RK4方法（4阶） + +2. **误差分析**： + - 使用已知解析解的toy problem测试 + - 绘制全局误差vs步长的log-log图 + - 验证理论收敛阶 + +3. **扩散模型应用**： + - 在训练好的模型上比较不同求解器 + - 固定计算预算，比较生成质量 + - 分析每个求解器的最优步数 + +4. **高级探索**： + - 实现自适应步长控制 + - 研究刚性ODE求解器（implicit methods） + - 探索预测-校正方法 + +
+ +🌟 **开放问题：最优ODE公式** +当前的概率流ODE是否是最优的？是否存在收敛更快的等价ODE？这涉及到动力系统理论和最优控制。 + +## 8.3 DPM-Solver系列算法 + +### 8.3.1 动机：利用半线性结构 + +扩散ODE具有特殊的半线性结构： +$$\frac{d\mathbf{x}}{dt} = \alpha(t)\mathbf{x} + \sigma(t)\boldsymbol{\epsilon}_\theta(\mathbf{x}, t)$$ + +其中线性部分 $\alpha(t)\mathbf{x}$ 有解析解，这启发了DPM-Solver的设计。 + +### 8.3.2 指数积分器 + +利用积分因子法，可以得到精确解： +$$\mathbf{x}_s = e^{\int_t^s \alpha(\tau)d\tau}\mathbf{x}_t + \int_t^s e^{\int_\tau^s \alpha(r)dr}\sigma(\tau)\boldsymbol{\epsilon}_\theta(\mathbf{x}_\tau, \tau)d\tau$$ + +关键是如何近似积分中的 $\boldsymbol{\epsilon}_\theta(\mathbf{x}_\tau, \tau)$。 + +### 8.3.3 DPM-Solver的Taylor展开 + +DPM-Solver使用Taylor展开近似噪声预测： +$$\boldsymbol{\epsilon}_\theta(\mathbf{x}_\tau, \tau) = \sum_{n=0}^{k-1} \frac{(\tau - t)^n}{n!}\frac{d^n\boldsymbol{\epsilon}_\theta}{d\tau^n}\bigg|_{\tau=t} + O((\tau-t)^k)$$ + +不同阶数的DPM-Solver： +- **DPM-Solver-1**：常数近似，等价于DDIM +- **DPM-Solver-2**：线性近似，需要2次网络评估 +- **DPM-Solver-3**：二次近似，需要3次网络评估 + +### 8.3.4 DPM-Solver++的改进 + +DPM-Solver++引入了两个关键改进： + +1. **数据预测参数化**：预测 $\mathbf{x}_0$ 而非 $\boldsymbol{\epsilon}$ + $$\mathbf{x}_0 = \frac{\mathbf{x}_t - \sigma_t\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t)}{\alpha_t}$$ + +2. **thresholding**：动态裁剪防止数值不稳定 + $$\mathbf{x}_0 = \text{clip}(\mathbf{x}_0, -1, 1)$$ + +**算法伪代码**： +```python +def dpm_solver_pp_2nd(x_t, t, s, model, old_pred=None): + # 第一步预测 + pred_t = predict_x0(x_t, t, model) + + if old_pred is None: + # 使用一阶方法 + x_s = update_rule_1st(x_t, t, s, pred_t) + else: + # 使用二阶方法 + x_s = update_rule_2nd(x_t, t, s, pred_t, old_pred) + + return x_s, pred_t +``` + +🔬 **研究方向：高阶求解器的稳定性** +高阶方法理论上更准确，但在实践中可能不稳定。如何设计既高阶又稳定的求解器？可以借鉴刚性ODE求解器的思想。 + +### 8.3.5 自适应步长策略 + +固定步长可能不是最优的。自适应策略根据局部误差调整步长： + +$$h_{new} = h_{old} \cdot \left(\frac{\text{tolerance}}{\text{error}}\right)^{1/(p+1)}$$ + +其中 $p$ 是求解器阶数。 + +
+**练习 8.3：实现DPM-Solver** + +1. **基础实现**： + - 实现DPM-Solver-1,2,3 + - 比较不同阶数的收敛速度 + - 分析计算成本vs质量 + +2. **参数化研究**： + - 比较噪声预测vs数据预测 + - 研究thresholding的影响 + - 探索不同的时间离散化 + +3. **自适应步长**： + - 实现误差估计器 + - 设计步长控制策略 + - 在不同数据集上测试 + +4. **理论分析**： + - 推导局部截断误差 + - 分析稳定性区域 + - 研究与SDE离散化的联系 + +
+ +## 8.4 蒸馏与一步生成 + +### 8.4.1 渐进式蒸馏 + +渐进式蒸馏(Progressive Distillation)逐步减少采样步数： +1. 训练教师模型（N步） +2. 训练学生模型（N/2步）匹配教师输出 +3. 重复直到达到目标步数 + +**损失函数**： +$$\mathcal{L} = \mathbb{E}_{t,\mathbf{x}_0,\boldsymbol{\epsilon}}\left[\|f_\theta(\mathbf{x}_t, t) - \text{sg}[f_{\text{teacher}}(\mathbf{x}_t, t)]\|^2\right]$$ + +其中 `sg` 表示停止梯度。 + +### 8.4.2 一致性模型 + +一致性模型(Consistency Models)学习映射函数 $f_\theta$，使得同一轨迹上的所有点映射到相同的起点： + +$$f_\theta(\mathbf{x}_t, t) = f_\theta(\mathbf{x}_s, s), \quad \forall s, t \in [0, T]$$ + +**自一致性损失**： +$$\mathcal{L} = \mathbb{E}\left[\|f_\theta(\mathbf{x}_t, t) - f_{\theta^-}(\mathbf{x}_s, s)\|^2\right]$$ + +其中 $\theta^-$ 是EMA参数。 + +💡 **关键创新**：一致性模型可以一步生成，也可以多步精炼，提供了灵活的质量-速度权衡。 + +### 8.4.3 对抗蒸馏 + +结合GAN的思想，使用判别器指导蒸馏： +$$\mathcal{L} = \mathcal{L}_{\text{distill}} + \lambda \mathcal{L}_{\text{adv}}$$ + +这可以进一步提升少步采样的质量。 + +🌟 **未来方向：理论最优的蒸馏** +当前的蒸馏方法大多是启发式的。是否存在理论最优的蒸馏策略？这涉及到最优传输理论和信息论。 + +## 8.5 实践优化技巧 + +### 8.5.1 采样器选择指南 + +| 场景 | 推荐采样器 | 步数 | 说明 | +|------|------------|------|------| +| 高质量 | DDPM | 1000 | 最高质量，最慢 | +| 平衡 | DPM-Solver++ | 20-50 | 质量好，速度快 | +| 实时 | 一致性模型 | 1-4 | 最快，质量可接受 | +| 可控编辑 | DDIM | 50-100 | 确定性，支持插值 | + +### 8.5.2 噪声调度优化 + +**1. 端到端优化**：学习最优的 $\beta_t$ 或 $\bar{\alpha}_t$ +**2. 截断采样**：跳过信噪比极高的早期步骤 +**3. 非均匀步长**：在关键区域使用更密集的步长 + +### 8.5.3 混合策略 + +结合不同采样器的优势： +- 前期使用高阶求解器快速去噪 +- 后期使用DDPM精细调整 +- 关键步骤使用预测-校正 + +### 8.5.4 实现优化 + +```python +# 缓存计算 +alpha_cumprod = torch.cumprod(alphas, dim=0) +sqrt_alpha_cumprod = torch.sqrt(alpha_cumprod) +sqrt_one_minus_alpha_cumprod = torch.sqrt(1 - alpha_cumprod) + +# 向量化操作 +def sample_batch(x_T, timesteps, model): + x = x_T + for t in reversed(timesteps): + # 批量处理所有样本 + x = sampling_step(x, t, model) + return x + +# JIT编译 +@torch.jit.script +def sampling_step(x, t, noise_pred, alpha, sigma): + # 采样步骤的高效实现 + ... +``` + +
+**综合练习：设计自适应采样器** + +设计一个根据图像内容自适应调整采样策略的算法。 + +1. **难度估计**： + - 基于中间结果估计剩余去噪难度 + - 设计难度指标（如预测不确定性） + +2. **自适应策略**： + - 简单区域：使用大步长或低阶方法 + - 复杂区域：使用小步长或高阶方法 + - 实现动态步长分配 + +3. **多尺度处理**： + - 低分辨率快速预览 + - 高分辨率精细生成 + - 设计多尺度调度策略 + +4. **基准测试**： + - 在不同数据集上评估 + - 与固定策略比较 + - 分析计算节省vs质量损失 + +
+ +本章深入探讨了扩散模型的各种采样加速技术，从DDIM的确定性采样到基于ODE的统一框架，再到最新的一致性模型。这些方法将采样速度提升了数十倍，使扩散模型的实际应用成为可能。下一章，我们将探讨如何通过条件机制控制生成过程。 + +[← 返回目录](index.md) | 第8章 / 共14章 | [下一章 →](chapter9.md) \ No newline at end of file From 2a5cb0fa21af4d2d7b203fc02a05bb13fb3159fc Mon Sep 17 00:00:00 2001 From: William Date: Sun, 27 Jul 2025 10:58:10 +0800 Subject: [PATCH 10/62] interim --- chapter1.md | 26 +++++++++++++------------- 1 file changed, 13 insertions(+), 13 deletions(-) diff --git a/chapter1.md b/chapter1.md index 3152626..d3dc4d6 100644 --- a/chapter1.md +++ b/chapter1.md @@ -12,7 +12,7 @@ 扩散模型的数学根源可以追溯到1827年罗伯特·布朗（Robert Brown）对花粉微粒在水中无规则运动的观察。1905年，爱因斯坦（Einstein）在其奇迹之年中不仅发表了相对论，还给出了布朗运动的严格数学描述，通过扩散方程 $\frac{\partial p}{\partial t} = D\nabla^2 p$ 刻画了粒子密度的演化。值得注意的是，这里的扩散过程遵循菲克定律（Fick's law），描述的是浓度梯度驱动的纯扩散现象，而非Navier-Stokes方程中的对流-扩散耦合过程。在机器学习的扩散模型中，我们关注的正是这种纯粹的随机扩散：没有外力驱动的定向流动，只有随机热运动导致的均匀化过程。 -三年后，朗之万（Langevin）提出了描述单个粒子轨迹的随机微分方程：$d\mathbf{x}_t = -\nabla U(\mathbf{x}_t)dt + \sqrt{2D}d\mathbf{W}_t$，其中第一项是确定性的漂移项，第二项是随机的扩散项。这个方程奠定了随机过程理论的基础，也成为了现代扩散模型的理论支柱。从朗之万动力学到今天的去噪扩散概率模型（DDPM），核心思想一脉相承：通过在数据上添加精心设计的噪声（对应朗之万方程中的随机项），并学习反向的去噪过程（对应漂移项），我们可以从简单的噪声分布生成复杂的数据分布。这种优雅的对称性不仅在数学上令人着迷，更在实践中展现出了惊人的生成能力。 +三年后，朗之万（Langevin）提出了描述单个粒子轨迹的随机微分方程： $d\mathbf{x}_t = -\nabla U(\mathbf{x}_t)dt + \sqrt{2D}d\mathbf{W}_t$ ，其中第一项是确定性的漂移项，第二项是随机的扩散项。这个方程奠定了随机过程理论的基础，也成为了现代扩散模型的理论支柱。从朗之万动力学到今天的去噪扩散概率模型（DDPM），核心思想一脉相承：通过在数据上添加精心设计的噪声（对应朗之万方程中的随机项），并学习反向的去噪过程（对应漂移项），我们可以从简单的噪声分布生成复杂的数据分布。这种优雅的对称性不仅在数学上令人着迷，更在实践中展现出了惊人的生成能力。 🔬 **研究线索：物理扩散与概率扩散的深层联系** 扩散模型与物理扩散方程的联系不仅仅是类比。实际上，Fokker-Planck方程和Schrödinger桥问题揭示了两者的数学等价性。这种联系在最优传输理论中有深刻体现，但目前仍缺乏统一的几何理论框架。PyTorch中的`torchdiffeq.odeint`可用于探索连续时间扩散。 @@ -26,20 +26,20 @@ ### 1.2.1 前向扩散过程 -给定数据点 $\mathbf{x}_0 \sim q(\mathbf{x}_0)$，前向过程通过 $T$ 步逐渐添加高斯噪声，定义为一个马尔可夫链： +给定数据点 $\mathbf{x}_0 \sim q(\mathbf{x}_0)$ ，前向过程通过 $T$ 步逐渐添加高斯噪声，定义为一个马尔可夫链： $$q(\mathbf{x}_t | \mathbf{x}_{t-1}) = \mathcal{N}(\mathbf{x}_t; \sqrt{1-\beta_t}\mathbf{x}_{t-1}, \beta_t\mathbf{I})$$ 其中 $\{\beta_t\}_{t=1}^T$ 是预先设定的噪声调度（noise schedule），控制每一步添加噪声的量。 -通过重参数化技巧（reparameterization trick），我们可以直接从 $\mathbf{x}_0$ 采样任意时刻 $t$ 的 $\mathbf{x}_t$，而无需迭代计算： +通过重参数化技巧（reparameterization trick），我们可以直接从 $\mathbf{x}_0$ 采样任意时刻 $t$ 的 $\mathbf{x}_t$ ，而无需迭代计算： $$ \mathbf{x}_t = \sqrt{\bar{\alpha}_t}\mathbf{x}_0 + \sqrt{1-\bar{\alpha}_t}\boldsymbol{\epsilon}, \quad \boldsymbol{\epsilon} \sim \mathcal{N}(0, \mathbf{I})$$ 这等价于条件概率： $$q(\mathbf{x}_t | \mathbf{x}_0) = \mathcal{N}(\mathbf{x}_t; \sqrt{\bar{\alpha}_t}\mathbf{x}_0, (1-\bar{\alpha}_t)\mathbf{I})$$ -其中 $\alpha_t = 1 - \beta_t$，$\bar{\alpha}_t = \prod_{s=1}^{t}\alpha_s$。当 $t \to T$ 时，若 $\bar{\alpha}_T \to 0$，则 $\mathbf{x}_T$ 的分布将趋向于各向同性的标准高斯分布，与原始数据 $\mathbf{x}_0$ 无关。 +其中 $\alpha_t = 1 - \beta_t$ ， $\bar{\alpha}_t = \prod_{s=1}^{t}\alpha_s$ 。当 $t \to T$ 时，若 $\bar{\alpha}_T \to 0$ ，则 $\mathbf{x}_T$ 的分布将趋向于各向同性的标准高斯分布，与原始数据 $\mathbf{x}_0$ 无关。 💡 **开放问题：最优噪声调度的理论基础** 虽然实践中余弦调度效果良好，但缺乏理论指导原则。信息论视角下，噪声调度应该如何与数据的固有维度相适应？是否存在数据相关的自适应调度算法？ @@ -50,12 +50,12 @@ $$q(\mathbf{x}_t | \mathbf{x}_0) = \mathcal{N}(\mathbf{x}_t; \sqrt{\bar{\alpha}_
**练习 1.1：分析噪声调度** -考虑一个线性噪声调度：$\beta_t = \beta_{min} + \frac{t-1}{T-1}(\beta_{max} - \beta_{min})$，其中 $T=1000$, $\beta_{min}=10^{-4}$, $\beta_{max}=0.02$。 +考虑一个线性噪声调度： $\beta_t = \beta_{min} + \frac{t-1}{T-1}(\beta_{max} - \beta_{min})$ ，其中 $T=1000$ , $\beta_{min}=10^{-4}$ , $\beta_{max}=0.02$ 。 1. **推导与分析**：推导信噪比 (Signal-to-Noise Ratio, SNR) $\text{SNR}(t) = \frac{\bar{\alpha}_t}{1-\bar{\alpha}_t}$ 的表达式。分析其随时间 $t$ 的变化趋势，并解释为什么在对数尺度下观察SNR更有意义。 2. **开放探索**：比较线性和余弦调度对整个扩散过程中信息损失速率的影响。哪种调度在过程的早期/晚期损失更多信息？这如何影响模型的学习难度和最终生成质量？ 3. **研究思路**： - * **信息瓶颈视角的噪声调度分析**：信息瓶颈（Information Bottleneck）理论最小化 $\mathcal{L} = I(X;Z) - \beta I(Z;Y)$，其中 $Z$ 是压缩表示。在扩散模型中，$\mathbf{x}_t$ 可视为 $\mathbf{x}_0$ 的压缩表示，互信息 $I(\mathbf{x}_0; \mathbf{x}_t) = \frac{1}{2}\log\frac{1}{1-\bar{\alpha}_t}$ 随时间递减。理想的噪声调度应该：(1) 在早期保留语义信息（高层特征），在后期才丢失细节；(2) 使信息损失率 $-\frac{dI}{dt}$ 尽可能恒定，避免某些时刻的学习困难；(3) 考虑数据的固有维度 $d_{intrinsic}$，高维数据可能需要更平缓的调度。这启发我们设计自适应调度：$\beta_t = f(I(\mathbf{x}_0; \mathbf{x}_t), d_{intrinsic})$。 + * **信息瓶颈视角的噪声调度分析**：信息瓶颈（Information Bottleneck）理论最小化 $\mathcal{L} = I(X;Z) - \beta I(Z;Y)$ ，其中 $Z$ 是压缩表示。在扩散模型中， $\mathbf{x}_t$ 可视为 $\mathbf{x}_0$ 的压缩表示，互信息 $I(\mathbf{x}_0; \mathbf{x}_t) = \frac{1}{2}\log\frac{1}{1-\bar{\alpha}_t}$ 随时间递减。理想的噪声调度应该：(1) 在早期保留语义信息（高层特征），在后期才丢失细节；(2) 使信息损失率 $-\frac{dI}{dt}$ 尽可能恒定，避免某些时刻的学习困难；(3) 考虑数据的固有维度 $d_{intrinsic}$ ，高维数据可能需要更平缓的调度。这启发我们设计自适应调度： $\beta_t = f(I(\mathbf{x}_0; \mathbf{x}_t), d_{intrinsic})$ 。 * 研究噪声调度与模型架构（如U-Net的不同层）之间的相互作用。 * 探索变分方法，将噪声调度本身作为可学习的参数。 @@ -63,7 +63,7 @@ $$q(\mathbf{x}_t | \mathbf{x}_0) = \mathcal{N}(\mathbf{x}_t; \sqrt{\bar{\alpha}_ ### 1.2.2 反向去噪过程 -反向过程的目标是学习条件分布 $p_\theta(\mathbf{x}_{t-1} | \mathbf{x}_t)$，从纯噪声 $\mathbf{x}_T \sim \mathcal{N}(0, \mathbf{I})$ 开始，逐步去除噪声，最终生成数据样本 $\mathbf{x}_0$。 +反向过程的目标是学习条件分布 $p_\theta(\mathbf{x}_{t-1} | \mathbf{x}_t)$ ，从纯噪声 $\mathbf{x}_T \sim \mathcal{N}(0, \mathbf{I})$ 开始，逐步去除噪声，最终生成数据样本 $\mathbf{x}_0$ 。 $$p_\theta(\mathbf{x}_{0:T}) = p(\mathbf{x}_T) \prod_{t=1}^T p_\theta(\mathbf{x}_{t-1} | \mathbf{x}_t)$$ @@ -72,14 +72,14 @@ $$p_\theta(\mathbf{x}_{0:T}) = p(\mathbf{x}_T) \prod_{t=1}^T p_\theta(\mathbf{x} $$p_\theta(\mathbf{x}_{t-1} | \mathbf{x}_t) = \mathcal{N}(\mathbf{x}_{t-1}; \boldsymbol{\mu}_\theta(\mathbf{x}_t, t), \sigma_t^2\mathbf{I})$$ ⚡ **实现挑战：方差参数化的选择** -固定方差vs学习方差是一个未解决的权衡问题。DDPM使用固定的、与 $\beta_t$ 相关的方差，而后续工作（如Improved DDPM）则学习方差 $\sigma_t^2$。理论上最优的参数化形式是什么？这涉及到`torch.nn.Parameter`的灵活使用和梯度流的稳定性分析。 +固定方差vs学习方差是一个未解决的权衡问题。DDPM使用固定的、与 $\beta_t$ 相关的方差，而后续工作（如Improved DDPM）则学习方差 $\sigma_t^2$ 。理论上最优的参数化形式是什么？这涉及到`torch.nn.Parameter`的灵活使用和梯度流的稳定性分析。
**练习 1.2：探索扩散过程的数学本质** -考虑一个简单的一维扩散过程，初始数据为单点 $x_0$。 +考虑一个简单的一维扩散过程，初始数据为单点 $x_0$ 。 -1. **前向过程分析**：推导任意时刻 $t$ 的期望 $\mathbb{E}[x_t | x_0]$ 和方差 $\text{Var}(x_t | x_0)$。 +1. **前向过程分析**：推导任意时刻 $t$ 的期望 $\mathbb{E}[x_t | x_0]$ 和方差 $\text{Var}(x_t | x_0)$ 。 2. **信息论视角**：推导并分析互信息 $I(x_t; x_0)$ 如何随时间 $t$ 衰减。这对于理解扩散过程中的信息损失有何启示？ 3. **最优反向过程**：证明当 $\beta_t \to 0$ 时，真实的反向过程条件分布 $q(\mathbf{x}_{t-1} | \mathbf{x}_t, \mathbf{x}_0)$ 的均值，可以仅由 $\mathbf{x}_t$ 和 $\nabla_{\mathbf{x}_t} \log q_t(\mathbf{x}_t)$ （即分数函数）来近似表达。这揭示了扩散模型与分数模型的深刻联系（将在第4章详细讨论）。 4. **研究思路**： @@ -124,9 +124,9 @@ $$p_\theta(\mathbf{x}_{t-1} | \mathbf{x}_t) = \mathcal{N}(\mathbf{x}_{t-1}; \bol **综合练习：噪声调度的理论分析** 考虑三种常见的噪声调度策略： -- **线性调度**：$\beta_t = \beta_{\text{start}} + \frac{t-1}{T-1}(\beta_{\text{end}} - \beta_{\text{start}})$ -- **余弦调度**：$\bar{\alpha}_t = f(t)/f(0)$，其中 $f(t) = \cos\left(\frac{t/T + s}{1 + s} \cdot \frac{\pi}{2}\right)^2$ -- **二次调度**：$\beta_t$ 的增长率随 $t$ 呈二次关系。 +- **线性调度**： $\beta_t = \beta_{\text{start}} + \frac{t-1}{T-1}(\beta_{\text{end}} - \beta_{\text{start}})$ +- **余弦调度**： $\bar{\alpha}_t = f(t)/f(0)$ ，其中 $f(t) = \cos\left(\frac{t/T + s}{1 + s} \cdot \frac{\pi}{2}\right)^2$ +- **二次调度**： $\beta_t$ 的增长率随 $t$ 呈二次关系。 **理论分析与开放探索：** 1. **信噪比分析**：推导并绘制每种调度下信噪比 $\text{SNR}(t) = \bar{\alpha}_t / (1 - \bar{\alpha}_t)$ 的对数曲线。比较不同曲线的形状，并讨论其对模型学习过程可能产生的影响（例如，模型在哪些阶段需要学习更精细的细节？）。 From 7b2af76ff4c33f7d104a1bd01c4f2fec8c052d5e Mon Sep 17 00:00:00 2001 From: William Date: Sun, 27 Jul 2025 10:58:42 +0800 Subject: [PATCH 11/62] interim --- chapter10.md | 658 +++++++++++++++++++++++++ chapter9.md | 1334 ++++++++++++++++++++++++++++++++++++++++++++++++++ 2 files changed, 1992 insertions(+) create mode 100644 chapter10.md create mode 100644 chapter9.md diff --git a/chapter10.md b/chapter10.md new file mode 100644 index 0000000..8bc1412 --- /dev/null +++ b/chapter10.md @@ -0,0 +1,658 @@ +[← 返回目录](index.md) | 第10章 / 共14章 | [下一章 →](chapter11.md) + +# 第10章：潜在扩散模型 (LDM) + +潜在扩散模型（Latent Diffusion Models, LDM）是扩散模型的一个革命性进展，它通过在压缩的潜在空间而非原始像素空间进行扩散，极大地提高了计算效率。本章将深入探讨LDM的核心思想，包括自编码器的设计、潜在空间的特性、以及如何在保持生成质量的同时实现数量级的加速。您将理解Stable Diffusion背后的技术原理，掌握设计高效扩散模型的关键技巧，并学习如何权衡压缩率与重建质量。 + +## 章节大纲 + +### 10.1 从像素空间到潜在空间 +- 高分辨率图像的计算挑战 +- 潜在空间的优势 +- 感知压缩vs信息压缩 +- LDM的整体架构 + +### 10.2 自编码器设计 +- VQ-VAE vs KL-VAE +- 感知损失与对抗训练 +- 潜在空间的正则化 +- 编码器-解码器架构细节 + +### 10.3 潜在空间中的扩散 +- 潜在扩散过程的数学描述 +- 噪声调度的适配 +- 条件机制在潜在空间的实现 +- 训练策略与技巧 + +### 10.4 Stable Diffusion架构详解 +- 模型组件分析 +- CLIP文本编码器集成 +- 交叉注意力机制 +- 推理优化技术 + +### 10.5 实践考虑与扩展 +- 不同分辨率的处理 +- 微调与适配 +- 模型压缩与部署 +- 未来发展方向 + +## 10.1 从像素空间到潜在空间 + +### 10.1.1 高分辨率图像的计算挑战 + +在像素空间直接应用扩散模型面临严重的计算瓶颈： + +**计算复杂度分析**： +- 512×512 RGB图像：786,432维 +- 1024×1024 RGB图像：3,145,728维 +- U-Net的计算量：$O(n^2)$ 对于自注意力层 + +具体数字： +```python +# 像素空间扩散的内存需求 +def compute_memory_requirements(h, w, c=3, batch_size=1): + # 输入张量 + input_size = batch_size * c * h * w * 4 # float32 + + # U-Net中间特征（假设最大通道数2048） + feature_size = batch_size * 2048 * (h//8) * (w//8) * 4 + + # 自注意力矩阵 + seq_len = (h//8) * (w//8) + attention_size = batch_size * seq_len * seq_len * 4 + + total_gb = (input_size + feature_size + attention_size) / (1024**3) + return total_gb + +# 1024x1024图像需要约48GB内存！ +``` + +### 10.1.2 潜在空间的核心优势 + +LDM通过在低维潜在空间操作获得多个优势： + +1. **计算效率**：8倍下采样减少64倍计算量 +2. **语义压缩**：潜在表示更接近语义信息 +3. **更好的归纳偏置**：自然图像的低维流形假设 +4. **模块化设计**：分离压缩和生成任务 + +**压缩率vs质量的权衡**： +``` +下采样因子 | 潜在维度 | 加速比 | 重建PSNR + 4 | 64×64 | 16x | >30dB + 8 | 32×32 | 64x | ~27dB + 16 | 16×16 | 256x | ~23dB +``` + +### 10.1.3 感知压缩vs信息压缩 + +LDM的关键洞察是区分两种压缩： + +**信息压缩**（传统压缩）： +- 目标：完美重建每个像素 +- 方法：熵编码、预测编码 +- 问题：保留了感知不重要的细节 + +**感知压缩**（LDM使用）： +- 目标：保留感知重要的特征 +- 方法：学习的编码器 + 感知损失 +- 优势：更高压缩率，更语义化的表示 + +```python +class PerceptualCompression(nn.Module): + def __init__(self, perceptual_weight=1.0): + super().__init__() + self.perceptual_loss = lpips.LPIPS(net='vgg') + self.perceptual_weight = perceptual_weight + + def forward(self, x, x_recon): + # 像素级损失 + pixel_loss = F.l1_loss(x, x_recon) + + # 感知损失 + perceptual_loss = self.perceptual_loss(x, x_recon) + + # 组合 + return pixel_loss + self.perceptual_weight * perceptual_loss +``` + +🔬 **研究线索：最优压缩率** +什么决定了最优的压缩率？是否可以根据数据集特性自适应选择？这涉及到率失真理论和流形假设。 + +### 10.1.4 LDM的整体架构 + +LDM由三个主要组件构成： + +```python +class LatentDiffusionModel(nn.Module): + def __init__(self, autoencoder, diffusion_model, conditioning_model): + super().__init__() + self.autoencoder = autoencoder # 编码/解码图像 + self.diffusion = diffusion_model # 潜在空间扩散 + self.cond_model = conditioning_model # 处理条件信息 + + # 冻结自编码器（通常预训练） + self.autoencoder.eval() + for param in self.autoencoder.parameters(): + param.requires_grad = False + + def encode(self, x): + # 图像 -> 潜在表示 + with torch.no_grad(): + z = self.autoencoder.encode(x) + # 可选：标准化 + z = z * self.scale_factor + return z + + def decode(self, z): + # 潜在表示 -> 图像 + z = z / self.scale_factor + with torch.no_grad(): + x = self.autoencoder.decode(z) + return x +``` + +
+**练习 10.1：分析压缩效率** + +研究不同压缩策略的效果。 + +1. **压缩率实验**： + - 实现不同下采样率的自编码器 + - 测量重建质量（PSNR, SSIM, LPIPS） + - 绘制率失真曲线 + +2. **语义保留分析**： + - 使用预训练分类器评估语义保留 + - 比较像素MSE vs 感知损失 + - 分析哪些特征被保留/丢失 + +3. **计算效益评估**： + - 测量不同分辨率的推理时间 + - 计算内存使用 + - 找出效率瓶颈 + +4. **理论拓展**： + - 从流形假设角度分析压缩 + - 研究最优传输理论的应用 + - 探索自适应压缩率 + +
+ +### 10.1.5 两阶段训练策略 + +LDM采用两阶段训练，分离压缩和生成： + +**第一阶段：训练自编码器** +```python +def train_autoencoder(model, dataloader, epochs): + optimizer = torch.optim.Adam(model.parameters(), lr=1e-4) + + for epoch in range(epochs): + for x in dataloader: + # 编码-解码 + z = model.encode(x) + x_recon = model.decode(z) + + # 重建损失 + recon_loss = F.l1_loss(x, x_recon) + + # 感知损失 + p_loss = perceptual_loss(x, x_recon) + + # KL正则化（如果使用VAE） + kl_loss = model.kl_loss(z) + + loss = recon_loss + 0.1 * p_loss + 0.001 * kl_loss + + optimizer.zero_grad() + loss.backward() + optimizer.step() +``` + +**第二阶段：训练扩散模型** +```python +def train_diffusion(diffusion_model, autoencoder, dataloader): + # 冻结自编码器 + autoencoder.eval() + + for x, c in dataloader: + # 编码到潜在空间 + with torch.no_grad(): + z = autoencoder.encode(x) + + # 标准扩散训练 + t = torch.randint(0, num_steps, (z.shape[0],)) + noise = torch.randn_like(z) + z_t = add_noise(z, noise, t) + + # 预测噪声 + pred_noise = diffusion_model(z_t, t, c) + loss = F.mse_loss(pred_noise, noise) + + loss.backward() +``` + +💡 **实践技巧：预训练策略** +可以使用大规模数据集预训练通用自编码器，然后在特定领域微调。这大大减少了训练成本。 + +### 10.1.6 潜在空间的特性 + +理想的潜在空间应具备： + +1. **平滑性**：相近的潜在编码对应相似的图像 +2. **语义性**：潜在维度对应有意义的变化 +3. **紧凑性**：高效利用每个维度 +4. **正态性**：便于扩散模型建模 + +**分析潜在空间**： +```python +def analyze_latent_space(autoencoder, dataloader): + latents = [] + labels = [] + + with torch.no_grad(): + for x, y in dataloader: + z = autoencoder.encode(x) + latents.append(z.cpu()) + labels.append(y.cpu()) + + latents = torch.cat(latents) + labels = torch.cat(labels) + + # 统计特性 + print(f"Mean: {latents.mean():.3f}") + print(f"Std: {latents.std():.3f}") + print(f"Kurtosis: {stats.kurtosis(latents.numpy().flatten()):.3f}") + + # 可视化（使用t-SNE或UMAP） + embedded = TSNE(n_components=2).fit_transform(latents.numpy()) + plt.scatter(embedded[:, 0], embedded[:, 1], c=labels) +``` + +🌟 **开放问题：最优潜在空间设计** +如何设计具有特定属性的潜在空间？能否学习解耦的表示？这涉及到表示学习和因果推断的前沿研究。 + +## 10.2 自编码器设计 + +### 10.2.1 VQ-VAE vs KL-VAE + +LDM中常用两种自编码器架构，各有优劣： + +**VQ-VAE（Vector Quantized VAE）**： +```python +class VQVAE(nn.Module): + def __init__(self, num_embeddings=8192, embedding_dim=256): + super().__init__() + self.encoder = Encoder() + self.decoder = Decoder() + self.quantize = VectorQuantizer(num_embeddings, embedding_dim) + + def forward(self, x): + # 编码 + z_e = self.encoder(x) + + # 向量量化 + z_q, indices, commitment_loss = self.quantize(z_e) + + # 解码 + x_recon = self.decoder(z_q) + + return x_recon, commitment_loss +``` + +**KL-VAE（KL正则化的VAE）**： +```python +class KLVAE(nn.Module): + def __init__(self, latent_dim=256, kl_weight=1e-6): + super().__init__() + self.encoder = Encoder() + self.decoder = Decoder() + self.kl_weight = kl_weight + + # 编码器输出均值和对数方差 + self.mean_layer = nn.Conv2d(512, latent_dim, 1) + self.logvar_layer = nn.Conv2d(512, latent_dim, 1) + + def encode(self, x): + h = self.encoder(x) + mean = self.mean_layer(h) + logvar = self.logvar_layer(h) + + # 重参数化 + std = torch.exp(0.5 * logvar) + eps = torch.randn_like(std) + z = mean + eps * std + + return z, mean, logvar + + def kl_loss(self, mean, logvar): + # KL(q(z|x) || p(z))，其中p(z) = N(0, I) + return -0.5 * torch.sum(1 + logvar - mean.pow(2) - logvar.exp()) +``` + +**比较**： +| 特性 | VQ-VAE | KL-VAE | +|------|--------|---------| +| 潜在空间 | 离散 | 连续 | +| 训练稳定性 | 较难（需要技巧） | 较好 | +| 压缩率 | 固定 | 灵活 | +| 后续扩散 | 需要适配 | 直接应用 | + +💡 **实践选择：为什么LDM偏好KL-VAE** +连续潜在空间更适合扩散模型的高斯噪声假设。极小的KL权重（1e-6）使其接近确定性编码器。 + +### 10.2.2 感知损失与对抗训练 + +单纯的像素重建损失会导致模糊结果。LDM使用组合损失： + +```python +class AutoencoderLoss(nn.Module): + def __init__(self, disc_start=50000, perceptual_weight=1.0, + disc_weight=0.5, kl_weight=1e-6): + super().__init__() + self.perceptual_loss = lpips.LPIPS(net='vgg').eval() + self.disc_start = disc_start + self.perceptual_weight = perceptual_weight + self.disc_weight = disc_weight + self.kl_weight = kl_weight + + def forward(self, x, x_recon, mean, logvar, disc_fake, disc_real, step): + # 1. 重建损失 + rec_loss = F.l1_loss(x, x_recon) + + # 2. 感知损失 + if self.perceptual_weight > 0: + p_loss = self.perceptual_loss(x, x_recon).mean() + else: + p_loss = torch.tensor(0.0) + + # 3. KL损失 + kl_loss = -0.5 * torch.sum(1 + logvar - mean.pow(2) - logvar.exp()) + kl_loss = kl_loss / x.shape[0] # 批次平均 + + # 4. 对抗损失（延迟启动） + if step > self.disc_start: + # 生成器损失：欺骗判别器 + g_loss = -torch.mean(disc_fake) + else: + g_loss = torch.tensor(0.0) + + # 组合 + loss = rec_loss + self.perceptual_weight * p_loss + \ + self.kl_weight * kl_loss + self.disc_weight * g_loss + + return loss, { + 'rec': rec_loss.item(), + 'perceptual': p_loss.item(), + 'kl': kl_loss.item(), + 'gen': g_loss.item() + } +``` + +**判别器设计**： +```python +class PatchDiscriminator(nn.Module): + def __init__(self, in_channels=3, ndf=64, n_layers=3): + super().__init__() + layers = [nn.Conv2d(in_channels, ndf, 4, 2, 1), + nn.LeakyReLU(0.2, True)] + + for i in range(1, n_layers): + in_ch = ndf * min(2**(i-1), 8) + out_ch = ndf * min(2**i, 8) + layers += [ + nn.Conv2d(in_ch, out_ch, 4, 2, 1), + nn.BatchNorm2d(out_ch), + nn.LeakyReLU(0.2, True) + ] + + # 最后一层输出单通道特征图 + layers.append(nn.Conv2d(out_ch, 1, 4, 1, 1)) + self.model = nn.Sequential(*layers) + + def forward(self, x): + return self.model(x) +``` + +### 10.2.3 潜在空间的正则化 + +为了确保潜在空间适合扩散建模，需要适当的正则化： + +**1. KL正则化的作用**： +- 防止潜在空间坍缩 +- 鼓励接近标准高斯分布 +- 但权重需要很小避免信息损失 + +**2. 谱归一化**： +```python +def add_spectral_norm(module): + """递归地为所有卷积层添加谱归一化""" + for name, child in module.named_children(): + if isinstance(child, nn.Conv2d): + setattr(module, name, nn.utils.spectral_norm(child)) + else: + add_spectral_norm(child) +``` + +**3. 梯度惩罚**： +```python +def gradient_penalty(discriminator, real, fake): + batch_size = real.size(0) + epsilon = torch.rand(batch_size, 1, 1, 1, device=real.device) + interpolated = epsilon * real + (1 - epsilon) * fake + interpolated.requires_grad_(True) + + d_interpolated = discriminator(interpolated) + gradients = torch.autograd.grad( + outputs=d_interpolated, inputs=interpolated, + grad_outputs=torch.ones_like(d_interpolated), + create_graph=True, retain_graph=True + )[0] + + gradients = gradients.view(batch_size, -1) + gradient_norm = gradients.norm(2, dim=1) + penalty = ((gradient_norm - 1) ** 2).mean() + + return penalty +``` + +🔬 **研究线索：最优正则化策略** +如何平衡重建质量和潜在空间的规整性？是否可以设计自适应的正则化方案？ + +### 10.2.4 编码器-解码器架构细节 + +**高效的编码器设计**： +```python +class Encoder(nn.Module): + def __init__(self, in_channels=3, ch=128, ch_mult=(1,2,4,8), + num_res_blocks=2, z_channels=4): + super().__init__() + self.num_resolutions = len(ch_mult) + + # 初始卷积 + self.conv_in = nn.Conv2d(in_channels, ch, 3, 1, 1) + + # 下采样块 + self.down = nn.ModuleList() + in_ch = ch + for i, mult in enumerate(ch_mult): + out_ch = ch * mult + for j in range(num_res_blocks): + self.down.append(ResnetBlock(in_ch, out_ch)) + in_ch = out_ch + + if i != self.num_resolutions - 1: + self.down.append(Downsample(in_ch)) + + # 中间块 + self.mid = nn.Module() + self.mid.block_1 = ResnetBlock(in_ch, in_ch) + self.mid.attn_1 = AttnBlock(in_ch) + self.mid.block_2 = ResnetBlock(in_ch, in_ch) + + # 输出层 + self.norm_out = nn.GroupNorm(32, in_ch) + self.conv_out = nn.Conv2d(in_ch, 2*z_channels, 3, 1, 1) # 均值和方差 + + def forward(self, x): + # 编码 + h = self.conv_in(x) + + for module in self.down: + h = module(h) + + # 中间处理 + h = self.mid.block_1(h) + h = self.mid.attn_1(h) + h = self.mid.block_2(h) + + # 输出 + h = self.norm_out(h) + h = F.silu(h) + h = self.conv_out(h) + + return h +``` + +**残差块实现**： +```python +class ResnetBlock(nn.Module): + def __init__(self, in_channels, out_channels, dropout=0.0): + super().__init__() + self.norm1 = nn.GroupNorm(32, in_channels) + self.conv1 = nn.Conv2d(in_channels, out_channels, 3, 1, 1) + self.norm2 = nn.GroupNorm(32, out_channels) + self.conv2 = nn.Conv2d(out_channels, out_channels, 3, 1, 1) + + if in_channels != out_channels: + self.shortcut = nn.Conv2d(in_channels, out_channels, 1) + else: + self.shortcut = nn.Identity() + + self.dropout = nn.Dropout(dropout) + + def forward(self, x): + h = x + h = self.norm1(h) + h = F.silu(h) + h = self.conv1(h) + + h = self.norm2(h) + h = F.silu(h) + h = self.dropout(h) + h = self.conv2(h) + + return h + self.shortcut(x) +``` + +
+**练习 10.2：自编码器架构实验** + +探索不同的自编码器设计选择。 + +1. **架构比较**： + - 实现VQ-VAE和KL-VAE + - 比较重建质量和训练稳定性 + - 分析潜在空间的统计特性 + +2. **损失函数研究**： + - 调整各损失项的权重 + - 尝试不同的感知网络（VGG, ResNet） + - 研究对抗训练的启动时机 + +3. **压缩率实验**： + - 测试不同的潜在维度 + - 分析率失真权衡 + - 找出特定数据集的最优设置 + +4. **创新设计**： + - 尝试渐进式训练（逐步增加分辨率） + - 实现条件自编码器 + - 探索层次化潜在表示 + +
+ +### 10.2.5 训练技巧与稳定性 + +**1. 学习率调度**： +```python +def get_lr_scheduler(optimizer, warmup_steps=5000): + def lr_lambda(step): + if step < warmup_steps: + return step / warmup_steps + else: + return 1.0 + + return torch.optim.lr_scheduler.LambdaLR(optimizer, lr_lambda) +``` + +**2. EMA（指数移动平均）**： +```python +class EMA: + def __init__(self, model, decay=0.9999): + self.model = model + self.decay = decay + self.shadow = {} + self.backup = {} + + for name, param in model.named_parameters(): + if param.requires_grad: + self.shadow[name] = param.data.clone() + + def update(self): + for name, param in self.model.named_parameters(): + if param.requires_grad: + self.shadow[name] = self.decay * self.shadow[name] + \ + (1 - self.decay) * param.data +``` + +**3. 梯度累积**： +```python +accumulation_steps = 4 +for i, batch in enumerate(dataloader): + loss = compute_loss(batch) + loss = loss / accumulation_steps + loss.backward() + + if (i + 1) % accumulation_steps == 0: + optimizer.step() + optimizer.zero_grad() +``` + +💡 **调试技巧：监控潜在空间** +定期可视化潜在编码的分布，确保没有模式崩溃或异常值。 + +### 10.2.6 预训练模型的使用 + +使用预训练的自编码器可以大大加速开发： + +```python +def load_pretrained_autoencoder(model_id="stabilityai/sd-vae-ft-mse"): + from diffusers import AutoencoderKL + + # 加载预训练模型 + vae = AutoencoderKL.from_pretrained(model_id) + + # 适配接口 + class PretrainedAutoencoder(nn.Module): + def __init__(self, vae): + super().__init__() + self.vae = vae + self.scale_factor = 0.18215 # SD的标准缩放因子 + + def encode(self, x): + # x: [B, 3, H, W] in [-1, 1] + latent = self.vae.encode(x).latent_dist.sample() + return latent * self.scale_factor + + def decode(self, z): + # z: [B, 4, H/8, W/8] + z = z / self.scale_factor + return self.vae.decode(z).sample + + return PretrainedAutoencoder(vae) +``` + +🌟 **最佳实践：迁移学习** +即使目标领域不同，从预训练模型开始通常比从头训练更好。自然图像的编码器可以很好地迁移到其他视觉任务。 \ No newline at end of file diff --git a/chapter9.md b/chapter9.md new file mode 100644 index 0000000..7f94ef0 --- /dev/null +++ b/chapter9.md @@ -0,0 +1,1334 @@ +[← 返回目录](index.md) | 第9章 / 共14章 | [下一章 →](chapter10.md) + +# 第9章：条件生成与引导技术 + +条件生成是扩散模型最重要的应用之一，它使我们能够控制生成过程，产生符合特定要求的样本。本章深入探讨各种条件生成技术，从基于分类器的引导到无分类器引导，再到最新的控制方法。您将学习如何在数学上理解这些引导机制，掌握在不同场景下选择和实现条件生成的技巧，并了解如何平衡生成质量与条件遵循度。通过本章的学习，您将能够构建强大的可控生成系统。 + +## 章节大纲 + +### 9.1 条件扩散模型的基础 +- 条件分布的建模 +- 条件信息的注入方式 +- 架构设计考虑 +- 训练策略 + +### 9.2 分类器引导（Classifier Guidance） +- 理论推导与直觉 +- 梯度计算与实现 +- 引导强度的影响 +- 局限性分析 + +### 9.3 无分类器引导（Classifier-Free Guidance） +- 动机与核心思想 +- 条件与无条件模型的联合训练 +- 引导公式推导 +- 实践中的技巧 + +### 9.4 高级引导技术 +- 多条件组合 +- 负向提示（Negative Prompting） +- 动态引导强度 +- ControlNet与适配器方法 + +### 9.5 评估与优化 +- 条件一致性度量 +- 多样性与质量权衡 +- 引导失效的诊断 +- 实际应用案例 + +## 9.1 条件扩散模型的基础 + +### 9.1.1 条件分布的数学框架 + +在条件扩散模型中，我们的目标是建模条件分布 $p(\mathbf{x}|\mathbf{c})$，其中 $\mathbf{x}$ 是数据（如图像），$\mathbf{c}$ 是条件信息（如类别标签、文本描述等）。 + +条件扩散过程定义为： +- **前向过程**：$q(\mathbf{x}_t|\mathbf{x}_{t-1}) = \mathcal{N}(\mathbf{x}_t; \sqrt{1-\beta_t}\mathbf{x}_{t-1}, \beta_t\mathbf{I})$（与条件无关） +- **反向过程**：$p_\theta(\mathbf{x}_{t-1}|\mathbf{x}_t, \mathbf{c}) = \mathcal{N}(\mathbf{x}_{t-1}; \boldsymbol{\mu}_\theta(\mathbf{x}_t, t, \mathbf{c}), \sigma_t^2\mathbf{I})$ + +关键在于如何设计和训练条件去噪网络 $\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c})$。 + +### 9.1.2 条件信息的注入方式 + +**1. 拼接（Concatenation）** + +最直接的方式是将条件信息与输入拼接： +```python +# 对于图像条件 +x_with_cond = torch.cat([x_t, c_image], dim=1) +# 对于向量条件 +c_embed = condition_encoder(c) +x_with_cond = torch.cat([x_t, c_embed.unsqueeze(-1).unsqueeze(-1).expand(...)]) +``` + +**2. 自适应归一化（Adaptive Normalization）** + +通过条件信息调制归一化参数： +```python +# AdaIN, AdaGN, AdaLN等 +gamma, beta = mlp(c_embed) +h = normalize(h) +h = gamma * h + beta +``` + +**3. 交叉注意力（Cross-Attention）** + +特别适合序列条件（如文本）： +```python +# Q来自图像特征，K,V来自文本编码 +attn_output = CrossAttention( + query=image_features, + key=text_features, + value=text_features +) +``` + +**4. 特征调制（Feature-wise Modulation）** + +FiLM层通过条件信息缩放和偏移特征： +```python +gamma, beta = film_generator(c) +h = gamma * h + beta +``` + +🔬 **研究线索：最优注入位置** +应该在网络的哪些层注入条件信息？早期层vs后期层？所有层vs特定层？这可能依赖于条件类型和任务。 + +### 9.1.3 架构设计原则 + +**1. 条件编码器设计** + +不同类型的条件需要不同的编码器： +- **类别标签**：嵌入层 + MLP +- **文本**：预训练语言模型（CLIP, T5等） +- **图像**：预训练视觉模型或专用CNN +- **音频**：频谱图编码器 + +**2. 多尺度条件注入** + +在U-Net的不同分辨率注入条件： +```python +class ConditionalUNet(nn.Module): + def forward(self, x, t, c): + # 编码路径 + h1 = self.down1(x, t, c) # 高分辨率条件 + h2 = self.down2(h1, t, c) # 中分辨率条件 + h3 = self.down3(h2, t, c) # 低分辨率条件 + + # 解码路径也注入条件 + ... +``` + +**3. 时间-条件交互** + +时间步和条件信息可能需要交互： +```python +# 联合编码 +t_embed = self.time_embed(t) +c_embed = self.cond_embed(c) +joint_embed = self.joint_mlp(t_embed + c_embed) +``` + +### 9.1.4 训练策略 + +**1. 条件dropout** + +随机丢弃条件信息，训练模型同时处理条件和无条件生成： +```python +def training_step(x, c): + # 以概率p_uncond丢弃条件 + if random.random() < p_uncond: + c = null_condition + + # 正常训练 + noise = torch.randn_like(x) + x_t = add_noise(x, noise, t) + pred_noise = model(x_t, t, c) + loss = F.mse_loss(pred_noise, noise) +``` + +这是无分类器引导的基础。 + +**2. 条件增强** + +对条件信息进行数据增强： +- 文本：同义词替换、改写 +- 图像：几何变换、颜色扰动 +- 类别：标签平滑、混合 + +**3. 多任务学习** + +同时训练多种条件： +```python +loss = loss_uncond + λ1*loss_class + λ2*loss_text + λ3*loss_image +``` + +💡 **实践技巧：条件缩放** +不同条件的强度可能需要不同的缩放。使用可学习的缩放因子：`c_scaled = c * self.condition_scale` + +
+**练习 9.1：实现多模态条件扩散模型** + +设计一个支持多种条件类型的扩散模型。 + +1. **基础架构**： + - 实现支持类别、文本、图像条件的U-Net + - 设计灵活的条件注入机制 + - 处理条件缺失的情况 + +2. **条件编码器**： + - 类别：可学习嵌入 + - 文本：使用预训练CLIP + - 图像：轻量级CNN编码器 + +3. **训练实验**： + - 比较不同注入方式的效果 + - 研究条件dropout率的影响 + - 测试多条件组合 + +4. **扩展研究**： + - 设计条件强度的自适应调整 + - 实现条件插值 + - 探索新的条件类型（如草图、深度图） + +
+ +### 9.1.5 条件一致性的理论保证 + +**变分下界的条件版本**： + +$$\log p_\theta(\mathbf{x}_0|\mathbf{c}) \geq \mathbb{E}_q\left[\log p_\theta(\mathbf{x}_0|\mathbf{x}_1, \mathbf{c}) - \sum_{t=2}^T D_{KL}(q(\mathbf{x}_{t-1}|\mathbf{x}_t, \mathbf{x}_0) \| p_\theta(\mathbf{x}_{t-1}|\mathbf{x}_t, \mathbf{c}))\right]$$ + +这保证了模型学习的是真实的条件分布。 + +**条件独立性假设**： + +在许多实现中，我们假设： +$$q(\mathbf{x}_t|\mathbf{x}_0, \mathbf{c}) = q(\mathbf{x}_t|\mathbf{x}_0)$$ + +即前向过程与条件无关。这简化了训练但可能限制了模型能力。 + +🌟 **开放问题：条件相关的前向过程** +是否可以设计依赖于条件的前向过程？例如，对不同类别使用不同的噪声调度？这可能提供更好的归纳偏置。 + +### 9.1.6 实现细节与优化 + +**内存优化**： +```python +# 使用gradient checkpointing节省内存 +class ConditionalBlock(nn.Module): + @torch.utils.checkpoint.checkpoint + def forward(self, x, c): + # 计算密集的操作 + ... +``` + +**计算优化**： +```python +# 缓存条件编码 +class CachedConditionEncoder: + def __init__(self): + self.cache = {} + + def encode(self, c): + if c not in self.cache: + self.cache[c] = self.encoder(c) + return self.cache[c] +``` + +**数值稳定性**： +```python +# 防止条件编码的数值问题 +c_encoded = F.normalize(c_encoded, dim=-1) * self.scale +``` + +## 9.2 分类器引导（Classifier Guidance） + +### 9.2.1 理论推导 + +分类器引导的核心思想是使用外部分类器的梯度来引导扩散模型的采样过程。我们从贝叶斯规则开始： + +$$\nabla_{\mathbf{x}_t} \log p(\mathbf{x}_t|\mathbf{c}) = \nabla_{\mathbf{x}_t} \log p(\mathbf{x}_t) + \nabla_{\mathbf{x}_t} \log p(\mathbf{c}|\mathbf{x}_t)$$ + +第一项是无条件分数，第二项是分类器的梯度。这给出了条件采样的更新规则： + +$$\tilde{\boldsymbol{\epsilon}}_\theta(\mathbf{x}_t, t, \mathbf{c}) = \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t) - \sqrt{1 - \bar{\alpha}_t} \nabla_{\mathbf{x}_t} \log p_\phi(\mathbf{c}|\mathbf{x}_t)$$ + +其中 $p_\phi(\mathbf{c}|\mathbf{x}_t)$ 是在噪声数据上训练的分类器。 + +### 9.2.2 噪声条件分类器 + +关键挑战是训练一个能在所有噪声水平 $t$ 上工作的分类器。训练过程： + +```python +def train_noise_conditional_classifier(classifier, diffusion, dataloader): + for x, c in dataloader: + # 随机采样时间步 + t = torch.randint(0, diffusion.num_timesteps, (x.shape[0],)) + + # 添加相应的噪声 + noise = torch.randn_like(x) + x_t = diffusion.q_sample(x, t, noise) + + # 分类器预测 + logits = classifier(x_t, t) + loss = F.cross_entropy(logits, c) + + loss.backward() +``` + +分类器架构需要： +1. 时间条件：了解当前噪声水平 +2. 鲁棒性：在高噪声下仍能提取有用特征 +3. 梯度质量：提供有意义的引导信号 + +### 9.2.3 引导强度与采样 + +引导强度 $s$ 控制条件的影响程度： + +$$\tilde{\boldsymbol{\epsilon}}_\theta(\mathbf{x}_t, t, \mathbf{c}) = \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t) - s\sqrt{1 - \bar{\alpha}_t} \nabla_{\mathbf{x}_t} \log p_\phi(\mathbf{c}|\mathbf{x}_t)$$ + +- $s = 0$：无条件生成 +- $s = 1$：标准条件生成 +- $s > 1$：强化条件，可能降低多样性 +- $s < 0$：负向引导，远离条件 + +**采样算法**： +```python +def classifier_guided_sampling(x_T, model, classifier, c, s=1.0): + x = x_T + for t in reversed(range(T)): + # 无条件预测 + epsilon = model(x, t) + + # 计算分类器梯度 + x.requires_grad_(True) + logits = classifier(x, t) + log_prob = F.log_softmax(logits, dim=-1)[range(len(c)), c] + grad = torch.autograd.grad(log_prob.sum(), x)[0] + x.requires_grad_(False) + + # 组合预测 + epsilon_tilde = epsilon - s * sqrt(1 - alphas_cumprod[t]) * grad + + # 采样步骤 + x = sampling_step(x, epsilon_tilde, t) + + return x +``` + +### 9.2.4 梯度计算的实践考虑 + +**1. 梯度缩放** + +不同时间步的梯度量级差异很大，需要自适应缩放： +```python +# 根据噪声水平调整梯度 +grad_scale = 1.0 / (1 - alphas_cumprod[t]).sqrt() +scaled_grad = grad * grad_scale +``` + +**2. 梯度裁剪** + +防止梯度爆炸： +```python +grad_norm = grad.flatten(1).norm(dim=1, keepdim=True) +grad = grad / grad_norm.clamp(min=1e-8) +``` + +**3. 多步梯度** + +使用多步梯度累积获得更稳定的方向： +```python +grad_accum = 0 +for _ in range(n_grad_steps): + grad = compute_classifier_grad(x + noise_scale * torch.randn_like(x)) + grad_accum += grad +grad = grad_accum / n_grad_steps +``` + +💡 **实践技巧：温度调节** +对分类器输出使用温度缩放可以控制引导的锐度：`logits = classifier(x, t) / temperature` + +### 9.2.5 局限性分析 + +**1. 需要额外的分类器** +- 增加训练成本 +- 分类器质量影响生成质量 +- 需要为每个条件类型训练分类器 + +**2. 梯度质量问题** +- 高噪声下梯度可能无意义 +- 对抗样本问题 +- 梯度消失/爆炸 + +**3. 模式崩溃风险** +- 过强的引导导致多样性丧失 +- 生成分布偏离真实分布 +- 难以平衡质量和多样性 + +**4. 计算开销** +- 每步需要额外的前向和反向传播 +- 内存占用增加 +- 采样速度显著降低 + +
+**练习 9.2：分析分类器引导的行为** + +深入研究分类器引导在不同设置下的表现。 + +1. **引导强度实验**： + - 在MNIST上训练扩散模型和分类器 + - 测试不同引导强度 s ∈ [0, 0.5, 1, 2, 5, 10] + - 绘制生成质量vs多样性曲线 + +2. **梯度可视化**： + - 可视化不同时间步的分类器梯度 + - 分析梯度方向的语义含义 + - 研究梯度范数的变化 + +3. **失效模式分析**： + - 识别分类器引导失败的案例 + - 分析过度引导的表现 + - 设计改进策略 + +4. **理论拓展**： + - 推导最优引导强度的理论 + - 研究引导对生成分布的影响 + - 探索自适应引导强度 + +
+ +### 9.2.6 改进与变体 + +**1. 截断引导** + +只在特定时间范围内应用引导： +```python +if t > T_start and t < T_end: + epsilon = epsilon - s * grad +``` + +**2. 局部引导** + +只对图像的特定区域应用引导： +```python +mask = compute_attention_mask(x, c) +epsilon = epsilon - s * grad * mask +``` + +**3. 多分类器集成** + +使用多个分类器的组合： +```python +grad_ensemble = 0 +for classifier in classifiers: + grad_ensemble += compute_grad(classifier, x, t, c) +grad = grad_ensemble / len(classifiers) +``` + +🔬 **研究方向：隐式分类器** +能否从扩散模型本身提取分类器，避免训练额外模型？这涉及到对扩散模型内部表示的深入理解。 + +### 9.2.7 与其他方法的联系 + +分类器引导与其他生成模型技术有深刻联系： + +**1. 与GAN的判别器引导类似** +- 都使用外部模型提供梯度信号 +- 都面临训练不稳定的问题 + +**2. 与能量模型的关系** +- 分类器定义了能量景观 +- 引导相当于在能量景观上的梯度下降 + +**3. 与强化学习的奖励引导** +- 分类器概率类似奖励信号 +- 可以借鉴RL中的技术（如PPO） + +🌟 **未来展望：统一的引导框架** +是否存在一个统一的理论框架，涵盖所有类型的引导？这可能需要从最优控制或变分推断的角度重新思考。 + +## 9.3 无分类器引导（Classifier-Free Guidance） + +### 9.3.1 动机与核心洞察 + +无分类器引导（CFG）解决了分类器引导的主要限制：不需要训练额外的分类器。核心思想是同时训练条件和无条件扩散模型，然后在采样时组合它们的预测。 + +基本原理基于： +$$\nabla_{\mathbf{x}_t} \log p(\mathbf{x}_t|\mathbf{c}) = \nabla_{\mathbf{x}_t} \log p(\mathbf{x}_t) + \nabla_{\mathbf{x}_t} \log p(\mathbf{c}|\mathbf{x}_t)$$ + +CFG通过隐式估计 $\nabla_{\mathbf{x}_t} \log p(\mathbf{c}|\mathbf{x}_t)$： +$$\nabla_{\mathbf{x}_t} \log p(\mathbf{c}|\mathbf{x}_t) \approx \nabla_{\mathbf{x}_t} \log p(\mathbf{x}_t|\mathbf{c}) - \nabla_{\mathbf{x}_t} \log p(\mathbf{x}_t)$$ + +### 9.3.2 训练策略：条件Dropout + +关键创新是在训练时随机丢弃条件： + +```python +def train_classifier_free(model, x, c, p_uncond=0.1): + # 随机决定是否使用条件 + if torch.rand(1).item() < p_uncond: + # 无条件训练 + c = null_token # 特殊的空条件标记 + + # 标准扩散模型训练 + t = torch.randint(0, num_timesteps, (x.shape[0],)) + noise = torch.randn_like(x) + x_t = add_noise(x, noise, t) + + # 预测噪声 + pred_noise = model(x_t, t, c) + loss = F.mse_loss(pred_noise, noise) + + return loss +``` + +这使得单个模型能够处理条件和无条件生成。 + +### 9.3.3 采样公式 + +CFG的采样公式： +$$\tilde{\boldsymbol{\epsilon}}_\theta(\mathbf{x}_t, t, \mathbf{c}) = (1 + w)\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c}) - w\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing)$$ + +其中： +- $w$：引导权重（guidance weight） +- $\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c})$：条件预测 +- $\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing)$：无条件预测 + +这可以重写为： +$$\tilde{\boldsymbol{\epsilon}}_\theta = \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing) + w[\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c}) - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing)]$$ + +显示了从无条件预测出发，朝条件方向移动的解释。 + +### 9.3.4 实现细节 + +**高效采样实现**： +```python +def cfg_sampling(model, shape, c, w=7.5, eta=0): + # 初始噪声 + x = torch.randn(shape) + + # 准备条件和无条件输入 + c_in = torch.cat([c, null_token]) # 批量处理 + + for t in tqdm(reversed(range(num_timesteps))): + # 单次前向传播获得两个预测 + x_in = torch.cat([x, x]) + t_in = torch.cat([t, t]) + noise_pred = model(x_in, t_in, c_in) + + # 分离条件和无条件预测 + noise_c, noise_u = noise_pred.chunk(2) + + # CFG组合 + noise_pred = noise_u + w * (noise_c - noise_u) + + # DDIM/DDPM采样步骤 + x = sampling_step(x, noise_pred, t, eta) + + return x +``` + +**内存优化版本**： +```python +def memory_efficient_cfg(model, x, t, c, w): + # 使用gradient checkpointing + with torch.no_grad(): + # 无条件预测 + noise_u = model(x, t, null_token) + + # 只对条件预测计算梯度（如果需要） + noise_c = model(x, t, c) + + return noise_u + w * (noise_c - noise_u) +``` + +### 9.3.5 引导权重的选择 + +不同的 $w$ 值产生不同效果： + +| $w$ 值 | 效果 | 典型应用 | +|--------|------|----------| +| 0 | 无条件生成 | 测试基线 | +| 1 | 标准条件生成 | 保守生成 | +| 3-5 | 轻度引导 | 平衡质量 | +| 7.5 | 标准引导 | 默认设置 | +| 10-20 | 强引导 | 高保真度 | +| >20 | 极端引导 | 可能过饱和 | + +**动态引导调度**： +```python +def dynamic_guidance_weight(t, T): + # 早期使用强引导，后期减弱 + progress = t / T + w = w_start * (1 - progress) + w_end * progress + return w +``` + +💡 **实践洞察：引导权重与条件类型** +不同条件类型需要不同的引导强度。文本条件通常需要 w=7.5，而类别条件可能只需要 w=3。 + +### 9.3.6 理论分析 + +**1. 为什么CFG有效？** + +CFG隐式地增强了条件的对数似然： +$$\log \tilde{p}(\mathbf{x}|\mathbf{c}) = \log p(\mathbf{x}|\mathbf{c}) + w\log p(\mathbf{c}|\mathbf{x})$$ + +这相当于在采样时重新加权条件的重要性。 + +**2. 与变分推断的联系** + +CFG可以视为变分推断中的重要性加权： +- 提高高条件似然区域的采样概率 +- 减少低条件似然区域的采样概率 + +**3. 几何解释** + +在噪声预测空间中，CFG执行外推： +- 从无条件预测出发 +- 沿着指向条件预测的方向移动 +- 可能超越条件预测（当 $w > 1$） + +
+**练习 9.3：CFG的深入分析** + +探索CFG的各种特性和改进方法。 + +1. **引导权重调度**： + - 实现线性、余弦、指数调度 + - 比较不同调度对生成质量的影响 + - 找出最优的调度策略 + +2. **条件dropout率研究**： + - 测试 p_uncond ∈ [0.05, 0.1, 0.2, 0.5] + - 分析对模型泛化的影响 + - 研究与引导权重的交互 + +3. **多条件CFG**： + - 实现支持多个条件的CFG + - 设计条件权重分配策略 + - 处理条件冲突 + +4. **理论扩展**： + - 推导CFG的最优引导权重 + - 分析CFG对生成分布的影响 + - 研究CFG与其他采样方法的组合 + +
+ +### 9.3.7 高级技巧 + +**1. 负向提示（Negative Prompting）** + +使用负条件来避免特定内容： +```python +def cfg_with_negative(x_t, t, c_pos, c_neg, w_pos=7.5, w_neg=7.5): + noise_uncond = model(x_t, t, null_token) + noise_pos = model(x_t, t, c_pos) + noise_neg = model(x_t, t, c_neg) + + # 组合公式 + noise = noise_uncond + w_pos * (noise_pos - noise_uncond) - w_neg * (noise_neg - noise_uncond) + return noise +``` + +**2. 多尺度引导** + +在不同时间步使用不同的引导策略： +```python +def multiscale_cfg(t, T): + if t > 0.8 * T: # 早期：强语义引导 + return cfg_semantic(w=10) + elif t > 0.3 * T: # 中期：平衡引导 + return cfg_balanced(w=7.5) + else: # 后期：细节引导 + return cfg_detail(w=3) +``` + +**3. 自适应CFG** + +根据预测的不确定性调整引导： +```python +def adaptive_cfg(noise_c, noise_u): + # 计算预测差异 + diff = (noise_c - noise_u).abs().mean() + + # 差异大时减小引导权重 + w = base_weight * torch.exp(-alpha * diff) + + return noise_u + w * (noise_c - noise_u) +``` + +🔬 **研究方向：理论最优的引导** +当前的线性组合是否是最优的？是否存在非线性的组合方式能产生更好的结果？这需要从信息论角度深入分析。 + +### 9.3.8 CFG的优势与局限 + +**优势**： +1. **简洁性**：不需要额外模型 +2. **灵活性**：易于调整引导强度 +3. **通用性**：适用于任何条件类型 +4. **效果好**：实践中表现优异 + +**局限**： +1. **计算开销**：需要两次前向传播 +2. **训练要求**：需要条件dropout +3. **分布偏移**：强引导可能导致分布偏离 +4. **模式丢失**：可能降低多样性 + +### 9.3.9 与其他方法的比较 + +| 方法 | 额外模型 | 计算成本 | 灵活性 | 效果 | +|------|----------|----------|---------|------| +| 分类器引导 | 需要 | 高（梯度） | 中 | 好 | +| CFG | 不需要 | 中（2x前向） | 高 | 很好 | +| 原始条件 | 不需要 | 低 | 低 | 一般 | + +🌟 **未来趋势：统一引导理论** +CFG的成功启发了许多后续工作。未来可能出现统一的引导理论，涵盖所有条件生成方法，并提供最优引导策略的理论保证。 + +## 9.4 高级引导技术 + +### 9.4.1 多条件组合 + +现实应用中常需要同时满足多个条件。多条件组合的关键是如何平衡不同条件的影响。 + +**1. 线性组合** + +最简单的方法是线性加权： +```python +def multi_condition_cfg(x_t, t, conditions, weights): + # 无条件预测 + noise_uncond = model(x_t, t, null_token) + + # 组合多个条件 + combined_direction = 0 + for c, w in zip(conditions, weights): + noise_c = model(x_t, t, c) + combined_direction += w * (noise_c - noise_uncond) + + return noise_uncond + combined_direction +``` + +**2. 层次化条件** + +不同条件在不同尺度起作用： +```python +class HierarchicalConditioning: + def __init__(self): + self.global_conditions = [] # 影响整体 + self.local_conditions = [] # 影响细节 + + def apply(self, x_t, t, T): + if t > 0.5 * T: # 早期：全局条件 + return apply_conditions(self.global_conditions) + else: # 后期：局部条件 + return apply_conditions(self.local_conditions) +``` + +**3. 条件图结构** + +使用图定义条件之间的关系： +```python +class ConditionalGraph: + def __init__(self): + self.nodes = {} # 条件节点 + self.edges = {} # 条件关系 + + def propagate(self, x_t, t): + # 根据图结构传播条件影响 + for node in topological_sort(self.nodes): + parents = self.get_parents(node) + node.update(parents, x_t, t) +``` + +### 9.4.2 负向提示技术 + +负向提示（Negative Prompting）是避免特定内容的强大工具。 + +**1. 基础负向提示** +```python +def negative_prompting(x_t, t, pos_prompt, neg_prompt, w_pos=7.5, w_neg=3.0): + noise_uncond = model(x_t, t, null_token) + noise_pos = model(x_t, t, pos_prompt) + noise_neg = model(x_t, t, neg_prompt) + + # 朝正向移动，远离负向 + direction = w_pos * (noise_pos - noise_uncond) - w_neg * (noise_neg - noise_uncond) + return noise_uncond + direction +``` + +**2. 多负向提示** +```python +def multi_negative_prompting(x_t, t, pos, neg_list, w_pos, w_neg_list): + noise_uncond = model(x_t, t, null_token) + noise_pos = model(x_t, t, pos) + + # 正向 + direction = w_pos * (noise_pos - noise_uncond) + + # 多个负向 + for neg, w_neg in zip(neg_list, w_neg_list): + noise_neg = model(x_t, t, neg) + direction -= w_neg * (noise_neg - noise_uncond) + + return noise_uncond + direction +``` + +**3. 自适应负向强度** +```python +def adaptive_negative(x_t, t, pos, neg): + # 计算正负向的相似度 + sim = cosine_similarity(encode(pos), encode(neg)) + + # 相似度高时增强负向强度 + w_neg = base_w_neg * (1 + alpha * sim) + + return negative_prompting(x_t, t, pos, neg, w_pos, w_neg) +``` + +💡 **实践技巧：负向提示的艺术** +好的负向提示应该具体但不过于限制。例如，"低质量"比"模糊"更通用，"过度饱和"比"太亮"更精确。 + +### 9.4.3 动态引导强度 + +固定的引导强度可能不是最优的。动态调整可以获得更好的结果。 + +**1. 时间相关的引导** +```python +def time_dependent_guidance(t, T): + # 余弦调度 + progress = t / T + w = w_min + (w_max - w_min) * (1 + np.cos(np.pi * progress)) / 2 + return w +``` + +**2. 内容相关的引导** +```python +def content_aware_guidance(x_t, t, c): + # 基于当前生成内容调整 + content_features = extract_features(x_t) + + # 检测是否需要强引导 + needs_strong_guidance = check_alignment(content_features, c) + + w = w_strong if needs_strong_guidance else w_normal + return w +``` + +**3. 不确定性相关的引导** +```python +def uncertainty_based_guidance(model, x_t, t, c, n_samples=5): + # 多次采样估计不确定性 + predictions = [] + for _ in range(n_samples): + noise = model(x_t + small_noise(), t, c) + predictions.append(noise) + + # 高不确定性时增强引导 + uncertainty = torch.stack(predictions).std(0).mean() + w = w_base * (1 + beta * uncertainty) + return w +``` + +### 9.4.4 ControlNet与适配器方法 + +ControlNet提供了精确的空间控制，通过额外的条件输入（如边缘图、深度图）引导生成。 + +**1. ControlNet基础架构** +```python +class ControlNet(nn.Module): + def __init__(self, base_model): + super().__init__() + # 复制基础模型的编码器 + self.control_encoder = copy.deepcopy(base_model.encoder) + # 零初始化的投影层 + self.zero_convs = nn.ModuleList([ + zero_module(nn.Conv2d(...)) for _ in range(n_layers) + ]) + + def forward(self, x, t, c, control): + # 处理控制信号 + control_feats = self.control_encoder(control, t) + + # 注入到基础模型 + for i, feat in enumerate(control_feats): + base_feats[i] += self.zero_convs[i](feat) +``` + +**2. 多控制组合** +```python +def multi_control_generation(x_t, t, text, controls): + # controls = {"depth": depth_map, "edge": edge_map, "pose": pose_map} + + # 基础文本引导 + noise_text = model(x_t, t, text) + + # 添加多个控制 + noise_combined = noise_text + for control_type, control_input in controls.items(): + control_noise = control_nets[control_type](x_t, t, text, control_input) + noise_combined += control_weights[control_type] * control_noise + + return noise_combined +``` + +**3. 适配器方法** + +轻量级的条件注入： +```python +class Adapter(nn.Module): + def __init__(self, in_dim, hidden_dim, out_dim): + super().__init__() + self.down = nn.Linear(in_dim, hidden_dim) + self.up = nn.Linear(hidden_dim, out_dim) + self.act = nn.GELU() + + # 零初始化 + nn.init.zeros_(self.up.weight) + nn.init.zeros_(self.up.bias) + + def forward(self, x, condition): + # 下投影 + h = self.down(condition) + h = self.act(h) + # 上投影 + h = self.up(h) + # 残差连接 + return x + h +``` + +
+**练习 9.4：设计复杂的引导系统** + +构建一个支持多种高级引导技术的系统。 + +1. **组合引导器**： + - 实现支持文本、图像、布局的多模态引导 + - 设计条件优先级系统 + - 处理条件冲突 + +2. **动态调度器**： + - 实现基于生成进度的引导调度 + - 根据生成质量自适应调整 + - 设计早停机制 + +3. **控制网络集成**： + - 实现简化版ControlNet + - 支持边缘、深度、分割图控制 + - 设计控制强度的自动调整 + +4. **评估系统**： + - 设计条件一致性度量 + - 实现多样性评估 + - 构建自动化测试框架 + +
+ +### 9.4.5 引导技术的组合策略 + +**1. 级联引导** +```python +def cascade_guidance(x_t, t, conditions): + # 逐步细化 + x = x_t + for i, (condition, strength) in enumerate(conditions): + x = apply_guidance(x, t, condition, strength) + # 可选：中间去噪步骤 + if i < len(conditions) - 1: + x = denoise_step(x, t) + return x +``` + +**2. 注意力引导的引导** +```python +def attention_guided_cfg(x_t, t, c, attention_maps): + # 使用注意力图调制引导强度 + noise_c = model(x_t, t, c) + noise_u = model(x_t, t, null_token) + + # 空间变化的引导权重 + w_spatial = compute_spatial_weights(attention_maps) + + return noise_u + w_spatial * (noise_c - noise_u) +``` + +**3. 元引导** +```python +class MetaGuidance: + def __init__(self): + self.guidance_predictor = nn.Module() # 预测最优引导策略 + + def apply(self, x_t, t, context): + # 预测当前最优引导参数 + guidance_params = self.guidance_predictor(x_t, t, context) + + # 应用预测的引导 + return apply_guidance_with_params(x_t, t, guidance_params) +``` + +🔬 **研究前沿：可学习的引导** +能否训练一个网络来学习最优的引导策略？这可能需要元学习或强化学习方法。 + +### 9.4.6 实际应用中的权衡 + +**质量 vs 多样性**： +- 强引导提高质量但降低多样性 +- 需要根据应用场景平衡 + +**计算成本**： +- 多条件组合增加推理时间 +- ControlNet需要额外内存 +- 需要考虑部署限制 + +**用户体验**： +- 过多的控制选项可能困扰用户 +- 需要合理的默认值 +- 提供预设模板 + +🌟 **最佳实践：渐进式复杂度** +为用户提供分层的控制：基础用户使用简单文本，高级用户可以访问所有控制选项。 + +## 9.5 评估与优化 + +### 9.5.1 条件一致性度量 + +评估生成内容与条件的匹配程度是关键挑战。 + +**1. 分类准确率** + +对于类别条件： +```python +def classification_accuracy(generated_images, target_classes, classifier): + predictions = classifier(generated_images) + accuracy = (predictions.argmax(1) == target_classes).float().mean() + return accuracy +``` + +**2. CLIP Score** + +对于文本条件： +```python +def clip_score(images, texts, clip_model): + # 编码图像和文本 + image_features = clip_model.encode_image(images) + text_features = clip_model.encode_text(texts) + + # 计算余弦相似度 + similarity = F.cosine_similarity(image_features, text_features) + return similarity.mean() +``` + +**3. 结构相似度** + +对于空间控制（如ControlNet）： +```python +def structural_similarity(generated, control_signal): + # 提取结构特征 + gen_edges = edge_detector(generated) + + # 计算相似度 + ssim = structural_similarity_index(gen_edges, control_signal) + return ssim +``` + +**4. 语义一致性** + +使用预训练模型评估语义对齐： +```python +def semantic_consistency(images, conditions, semantic_model): + # 提取语义特征 + image_semantics = semantic_model.extract_semantics(images) + condition_semantics = semantic_model.encode_conditions(conditions) + + # 计算语义距离 + distance = semantic_distance(image_semantics, condition_semantics) + return 1 / (1 + distance) # 转换为相似度 +``` + +### 9.5.2 多样性与质量权衡 + +**1. 多样性度量** + +```python +def diversity_metrics(generated_samples): + metrics = {} + + # 特征空间多样性 + features = extract_features(generated_samples) + metrics['feature_diversity'] = compute_variance(features) + + # 成对距离 + pairwise_dist = pdist(features) + metrics['avg_distance'] = pairwise_dist.mean() + + # 覆盖度 + metrics['coverage'] = compute_coverage(features, reference_features) + + return metrics +``` + +**2. 质量-多样性前沿** + +```python +def quality_diversity_frontier(model, conditions, guidance_weights): + results = [] + + for w in guidance_weights: + # 生成样本 + samples = generate_with_guidance(model, conditions, w) + + # 评估 + quality = compute_quality(samples) + diversity = compute_diversity(samples) + + results.append({ + 'guidance_weight': w, + 'quality': quality, + 'diversity': diversity + }) + + return results +``` + +**3. 自动权衡选择** + +```python +def auto_select_guidance(target_quality, target_diversity): + # 基于历史数据拟合关系 + quality_fn = fit_quality_curve(historical_data) + diversity_fn = fit_diversity_curve(historical_data) + + # 优化目标 + def objective(w): + q = quality_fn(w) + d = diversity_fn(w) + return abs(q - target_quality) + abs(d - target_diversity) + + optimal_w = minimize(objective, x0=7.5) + return optimal_w +``` + +### 9.5.3 引导失效的诊断 + +**1. 常见失效模式** + +```python +class GuidanceFailureDetector: + def __init__(self): + self.failure_patterns = { + 'over_guidance': self.detect_over_guidance, + 'under_guidance': self.detect_under_guidance, + 'mode_collapse': self.detect_mode_collapse, + 'semantic_drift': self.detect_semantic_drift + } + + def diagnose(self, samples, conditions): + issues = [] + for name, detector in self.failure_patterns.items(): + if detector(samples, conditions): + issues.append(name) + return issues +``` + +**2. 过度引导检测** + +```python +def detect_over_guidance(samples): + # 检查饱和度 + saturation = compute_saturation(samples) + if saturation > threshold_high: + return True + + # 检查多样性 + diversity = compute_diversity(samples) + if diversity < threshold_low: + return True + + return False +``` + +**3. 语义漂移检测** + +```python +def detect_semantic_drift(samples, conditions, steps=10): + # 追踪生成过程中的语义变化 + semantic_trajectory = [] + + for step in range(steps): + intermediate = get_intermediate_result(step) + semantics = extract_semantics(intermediate) + semantic_trajectory.append(semantics) + + # 检测异常漂移 + drift = compute_trajectory_drift(semantic_trajectory) + return drift > drift_threshold +``` + +💡 **调试技巧：可视化中间结果** +保存并可视化不同时间步的中间结果，可以帮助识别引导在哪个阶段失效。 + +### 9.5.4 实际应用案例 + +**1. 文本到图像生成** + +```python +class Text2ImagePipeline: + def __init__(self, model, cfg_scale=7.5): + self.model = model + self.cfg_scale = cfg_scale + self.negative_prompts = [ + "low quality", "blurry", "distorted" + ] + + def generate(self, prompt, **kwargs): + # 编码文本 + text_emb = self.encode_text(prompt) + neg_emb = self.encode_text(self.negative_prompts) + + # CFG采样 + image = self.sample_with_cfg( + text_emb, neg_emb, + self.cfg_scale, **kwargs + ) + + return image +``` + +**2. 图像编辑** + +```python +class ImageEditingPipeline: + def __init__(self, model, controlnet): + self.model = model + self.controlnet = controlnet + + def edit(self, image, edit_instruction, mask=None): + # 提取控制信号 + control = self.extract_control(image) + + # 编码编辑指令 + instruction_emb = self.encode_instruction(edit_instruction) + + # 条件生成 + if mask is not None: + # 局部编辑 + edited = self.local_edit(image, mask, instruction_emb, control) + else: + # 全局编辑 + edited = self.global_edit(image, instruction_emb, control) + + return edited +``` + +**3. 多模态生成** + +```python +class MultiModalGenerator: + def __init__(self, models): + self.models = models + self.fusion_module = CrossModalFusion() + + def generate(self, conditions): + # conditions = {"text": ..., "audio": ..., "sketch": ...} + + # 编码各模态 + embeddings = {} + for modality, condition in conditions.items(): + embeddings[modality] = self.models[modality].encode(condition) + + # 跨模态融合 + fused_condition = self.fusion_module(embeddings) + + # 生成 + output = self.sample_with_fusion(fused_condition) + return output +``` + +
+**综合练习：构建生产级条件生成系统** + +设计并实现一个完整的条件生成系统。 + +1. **系统架构**： + - 模块化设计，支持插件式扩展 + - 统一的API接口 + - 错误处理和恢复机制 + +2. **功能实现**： + - 支持多种条件类型 + - 自动参数优化 + - 批处理和流式处理 + +3. **性能优化**： + - 模型量化和剪枝 + - 缓存机制 + - 并行化策略 + +4. **监控与评估**： + - 实时质量监控 + - A/B测试框架 + - 用户反馈集成 + +5. **部署考虑**： + - 容器化部署 + - 负载均衡 + - 版本管理 + +
+ +### 9.5.5 优化策略总结 + +**训练阶段优化**： +1. 合理的条件dropout率（通常0.1） +2. 多任务学习平衡 +3. 数据增强策略 +4. 课程学习（从简单到复杂） + +**推理阶段优化**： +1. 引导权重的自适应调整 +2. 提前停止策略 +3. 批处理优化 +4. 结果缓存 + +**系统级优化**： +1. 模型蒸馏 +2. 量化感知训练 +3. 硬件加速（GPU/TPU优化） +4. 分布式推理 + +### 9.5.6 未来发展方向 + +**1. 自适应引导** +- 基于内容的动态调整 +- 学习型引导策略 +- 用户偏好建模 + +**2. 统一框架** +- 多种引导方法的统一理论 +- 可组合的引导模块 +- 标准化评估体系 + +**3. 效率提升** +- 一次前向传播的引导 +- 轻量级引导网络 +- 边缘设备部署 + +🌟 **展望：智能引导系统** +未来的条件生成系统将更加智能，能够理解用户意图，自动选择最优引导策略，并在生成过程中动态调整，实现真正的"所想即所得"。 + +## 本章小结 + +本章深入探讨了扩散模型的条件生成与引导技术，从基础的条件信息注入到高级的ControlNet方法。我们学习了： + +- **条件扩散模型的基础**：各种条件注入方式和架构设计 +- **分类器引导**：使用外部分类器梯度的经典方法 +- **无分类器引导**：简洁高效的CFG技术 +- **高级引导技术**：多条件组合、负向提示、动态引导等 +- **评估与优化**：全面的评估体系和优化策略 + +这些技术使扩散模型从随机生成工具转变为精确可控的创作系统。下一章，我们将探讨潜在扩散模型，学习如何在压缩的潜在空间中高效地进行扩散建模。 + +[← 返回目录](index.md) | 第9章 / 共14章 | [下一章 →](chapter10.md) \ No newline at end of file From a1fdae5ea78127a6c54fe530ba2fe6cb09417cd9 Mon Sep 17 00:00:00 2001 From: William Date: Sun, 27 Jul 2025 10:59:06 +0800 Subject: [PATCH 12/62] interim --- chapter10.md | 2 +- chapter2.md | 2 +- chapter4.md | 20 ++++++++++---------- chapter6.md | 14 +++++++------- chapter7.md | 24 ++++++++++++------------ chapter8.md | 26 +++++++++++++------------- chapter9.md | 26 +++++++++++++------------- 7 files changed, 57 insertions(+), 57 deletions(-) diff --git a/chapter10.md b/chapter10.md index 8bc1412..fda2afe 100644 --- a/chapter10.md +++ b/chapter10.md @@ -45,7 +45,7 @@ **计算复杂度分析**： - 512×512 RGB图像：786,432维 - 1024×1024 RGB图像：3,145,728维 -- U-Net的计算量：$O(n^2)$ 对于自注意力层 +- U-Net的计算量： $O(n^2)$ 对于自注意力层 具体数字： ```python diff --git a/chapter2.md b/chapter2.md index b44dbd6..ecc3774 100644 --- a/chapter2.md +++ b/chapter2.md @@ -14,7 +14,7 @@ U-Net最初并非为生成模型设计。2015年，Ronneberger等人在论文《 > - **2020年**：Ho等人在DDPM中采用U-Net作为核心的去噪网络，开启了U-Net在生成模型领域的辉煌篇章。 > - **2021年至今**：各种改进版U-Net成为主流扩散模型的标配，例如加入注意力机制、自适应归一化等，如ADM、Stable Diffusion等。 -为什么U-Net特别适合扩散模型？关键在于扩散模型的去噪任务本质上是一个“图像到图像”的转换问题：输入一张噪声图像 $\mathbf{x}_t$，输出对噪声 $\boldsymbol{\epsilon}$ 的预测。这与U-Net最初设计的分割任务（输入：原始图像 → 输出：分割掩码）在结构上高度相似。U-Net的几个关键特性使其成为理想选择： +为什么U-Net特别适合扩散模型？关键在于扩散模型的去噪任务本质上是一个“图像到图像”的转换问题：输入一张噪声图像 $\mathbf{x}_t$ ，输出对噪声 $\boldsymbol{\epsilon}$ 的预测。这与U-Net最初设计的分割任务（输入：原始图像 → 输出：分割掩码）在结构上高度相似。U-Net的几个关键特性使其成为理想选择： - **多尺度特征提取**：编码器通过逐步下采样，捕获从局部纹理到全局结构的各层次特征。 - **跳跃连接保留细节**：将编码器的浅层特征直接传递给解码器，有效避免了关键细节信息在下采样过程中的丢失，对于高质量生成至关重要。 diff --git a/chapter4.md b/chapter4.md index 32a1c0b..985e575 100644 --- a/chapter4.md +++ b/chapter4.md @@ -16,7 +16,7 @@ $$\nabla_x \log p(x) = \frac{\nabla_x p(x)}{p(x)}$$ **例1：一维高斯分布** -对于标准正态分布 $p(x) = \frac{1}{\sqrt{2\pi}} e^{-\frac{x^2}{2}}$： +对于标准正态分布 $p(x) = \frac{1}{\sqrt{2\pi}} e^{-\frac{x^2}{2}}$ ： $$\log p(x) = -\frac{x^2}{2} - \frac{1}{2}\log(2\pi)$$ @@ -40,7 +40,7 @@ $$\nabla_x \log p(x) = -x$$ $$p(x) = \frac{1}{Z} \exp(-E(x)), \quad Z = \int \exp(-E(x)) dx$$ -但分数函数可以直接计算，无需知道 $Z$： +但分数函数可以直接计算，无需知道 $Z$ ： $$\nabla_x \log p(x) = -\nabla_x E(x)$$ @@ -49,7 +49,7 @@ $$\nabla_x \log p(x) = -\nabla_x E(x)$$ 在统计物理中的Ising模型中，系统能量为： $$E(x) = -J \sum_{\langle i,j \rangle} x_i x_j - h \sum_i x_i$$ -其中 $x_i \in \{-1, +1\}$。配分函数 $Z$ 的计算是 #P-hard 问题，但能量的梯度（在连续松弛下）却很容易计算。 +其中 $x_i \in \{-1, +1\}$ 。配分函数 $Z$ 的计算是 #P-hard 问题，但能量的梯度（在连续松弛下）却很容易计算。 **💡 开放问题：** 如何设计高效的分数函数估计器，使其在高维空间中仍然准确？当前的神经网络架构是否最优？考虑引入物理约束或对称性。 @@ -59,7 +59,7 @@ $$E(x) = -J \sum_{\langle i,j \rangle} x_i x_j - h \sum_i x_i$$ $$x_{t+1} = x_t + \epsilon \nabla_x \log p(x_t) + \sqrt{2\epsilon} \xi_t$$ -其中 $\xi_t \sim \mathcal{N}(0, I)$。这就是著名的Langevin动力学。 +其中 $\xi_t \sim \mathcal{N}(0, I)$ 。这就是著名的Langevin动力学。 **⚡ 实现挑战：** Langevin采样在高维空间收敛极慢。如何设计自适应步长？如何处理多尺度问题？预条件器的选择至关重要，可以考虑使用 `torch.optim.LBFGS` 中的Hessian近似思想。 @@ -79,9 +79,9 @@ $$\nabla \cdot (\nabla \log p(x)) = \nabla^2 \log p(x) + \|\nabla \log p(x)\|^2$
练习 4.1：探索分数函数的性质 -1. 证明对于指数族分布 $p(x) = h(x)\exp(\eta^T T(x) - A(\eta))$，分数函数具有特殊形式。 +1. 证明对于指数族分布 $p(x) = h(x)\exp(\eta^T T(x) - A(\eta))$ ，分数函数具有特殊形式。 -2. **开放探索**：考虑混合高斯分布 $p(x) = \sum_i \pi_i \mathcal{N}(x; \mu_i, \Sigma_i)$。 +2. **开放探索**：考虑混合高斯分布 $p(x) = \sum_i \pi_i \mathcal{N}(x; \mu_i, \Sigma_i)$ 。 - 分析分数函数在不同区域的行为 - 什么条件下会出现"分数坍塌"（score collapse）？ - 如何设计对这种现象鲁棒的学习算法？ @@ -102,7 +102,7 @@ $$\nabla \cdot (\nabla \log p(x)) = \nabla^2 \log p(x) + \|\nabla \log p(x)\|^2$ **基本思想**：最小化模型分数与真实分数的差异 $$\mathcal{L}_{SM} = \mathbb{E}_{p_{data}}\left[\frac{1}{2}\|\nabla_x \log p_{model}(x) - \nabla_x \log p_{data}(x)\|^2\right]$$ -但这里有个问题：我们不知道 $\nabla_x \log p_{data}(x)$！ +但这里有个问题：我们不知道 $\nabla_x \log p_{data}(x)$ ！ **Hyvärinen的天才洞察**：通过分部积分，可以得到一个等价的目标函数，不需要真实分数： @@ -218,7 +218,7 @@ Langevin方程描述了布朗粒子在势场中的运动： $$dX_t = \nabla \log p(X_t)dt + \sqrt{2}dW_t$$ -这个SDE的平稳分布正是 $p(x)$。 +这个SDE的平稳分布正是 $p(x)$ 。 **🔬 研究线索：** Langevin动力学与物理学中的涨落-耗散定理有深刻联系。能否利用这种联系设计更高效的采样算法？考虑引入"记忆"效应或非马尔可夫动力学。 @@ -229,7 +229,7 @@ $$x_{k+1} = x_k + \epsilon s_\theta(x_k) + \sqrt{2\epsilon}\xi_k$$ **关键问题**： - 离散化误差如何累积？ -- 如何选择步长 $\epsilon$？ +- 如何选择步长 $\epsilon$ ？ - 何时停止迭代？ **🌟 理论缺口：** 非凸情况下的收敛性分析仍不完整。特别是： @@ -346,7 +346,7 @@ $$dx = [f(x,t) - \frac{1}{2}g(t)^2\nabla_x \log p_t(x)]dt$$ ### 4.6.1 条件分数模型 -给定条件 $y$，如何建模 $p(x|y)$ 的分数？ +给定条件 $y$ ，如何建模 $p(x|y)$ 的分数？ **方法1：直接建模** $$s_\theta(x, y, t) \approx \nabla_x \log p_t(x|y)$$ diff --git a/chapter6.md b/chapter6.md index 57cfb44..ada590d 100644 --- a/chapter6.md +++ b/chapter6.md @@ -39,7 +39,7 @@ $$\frac{d\mathbf{x}_t}{dt} = v_t(\mathbf{x}_t), \quad t \in [0,1]$$ -其中 $v_t: \mathbb{R}^d \to \mathbb{R}^d$ 是时间相关的向量场。给定初始分布 $p_0$（通常是简单的高斯分布），通过求解这个常微分方程（ODE），我们可以得到任意时刻 $t$ 的分布 $p_t$。 +其中 $v_t: \mathbb{R}^d \to \mathbb{R}^d$ 是时间相关的向量场。给定初始分布 $p_0$ （通常是简单的高斯分布），通过求解这个常微分方程（ODE），我们可以得到任意时刻 $t$ 的分布 $p_t$ 。 CNF的关键优势在于其理论的优雅性：变换是可逆的，且雅可比行列式可以通过以下公式计算： @@ -65,7 +65,7 @@ CNF中向量场的几何性质（如旋度、散度）如何影响生成质量 ### 6.1.3 流匹配：回避似然计算的巧妙方案 -流匹配（Flow Matching）的核心洞察是：与其直接优化似然，不如直接学习连接两个分布的向量场。具体来说，给定源分布 $p_0$（如标准高斯）和目标分布 $p_1$（数据分布），流匹配的目标是学习一个向量场 $v_\theta$，使得： +流匹配（Flow Matching）的核心洞察是：与其直接优化似然，不如直接学习连接两个分布的向量场。具体来说，给定源分布 $p_0$ （如标准高斯）和目标分布 $p_1$ （数据分布），流匹配的目标是学习一个向量场 $v_\theta$ ，使得： $$\min_\theta \mathbb{E}_{t \sim \mathcal{U}[0,1], \mathbf{x}_t \sim p_t} \|v_\theta(t, \mathbf{x}_t) - u_t(\mathbf{x}_t)\|^2$$ @@ -77,7 +77,7 @@ $$\min_\theta \mathbb{E}_{t \sim \mathcal{U}[0,1], \mathbf{x}_t \sim p_t} \|v_\t 条件流匹配（Conditional Flow Matching, CFM）通过构造条件概率路径巧妙地解决了采样问题。核心思想是： -1. **定义条件路径**：对每个数据点 $\mathbf{x}_1 \sim p_1$，定义一个从噪声 $\mathbf{x}_0 \sim p_0$ 到 $\mathbf{x}_1$ 的简单路径，例如线性插值： +1. **定义条件路径**：对每个数据点 $\mathbf{x}_1 \sim p_1$ ，定义一个从噪声 $\mathbf{x}_0 \sim p_0$ 到 $\mathbf{x}_1$ 的简单路径，例如线性插值： $$\mathbf{x}_t = (1-t)\mathbf{x}_0 + t\mathbf{x}_1$$ 2. **条件向量场**：这个路径对应的向量场是： @@ -86,16 +86,16 @@ $$\min_\theta \mathbb{E}_{t \sim \mathcal{U}[0,1], \mathbf{x}_t \sim p_t} \|v_\t 3. **边缘化**：关键洞察是，如果我们对所有可能的 $(\mathbf{x}_0, \mathbf{x}_1)$ 对进行边缘化，得到的边缘向量场 $u_t(\mathbf{x}_t)$ 正好生成了从 $p_0$ 到 $p_1$ 的流。 💡 **实现技巧：高效采样** -CFM的训练只需要：(1) 采样时间 $t \sim \mathcal{U}[0,1]$；(2) 采样数据对 $(\mathbf{x}_0, \mathbf{x}_1)$；(3) 计算插值 $\mathbf{x}_t$；(4) 最小化 $\|v_\theta(t, \mathbf{x}_t) - (\mathbf{x}_1 - \mathbf{x}_0)\|^2$。整个过程避免了ODE求解和似然计算！ +CFM的训练只需要：(1) 采样时间 $t \sim \mathcal{U}[0,1]$ ；(2) 采样数据对 $(\mathbf{x}_0, \mathbf{x}_1)$ ；(3) 计算插值 $\mathbf{x}_t$ ；(4) 最小化 $\|v_\theta(t, \mathbf{x}_t) - (\mathbf{x}_1 - \mathbf{x}_0)\|^2$ 。整个过程避免了ODE求解和似然计算！
**练习 6.1：理解条件流匹配** -考虑一维情况，源分布 $p_0 = \mathcal{N}(0, 1)$，目标分布 $p_1 = \mathcal{N}(3, 0.5^2)$。 +考虑一维情况，源分布 $p_0 = \mathcal{N}(0, 1)$ ，目标分布 $p_1 = \mathcal{N}(3, 0.5^2)$ 。 -1. **路径可视化**：对于线性插值路径 $x_t = (1-t)x_0 + tx_1$，绘制几条从 $p_0$ 到 $p_1$ 的样本路径。这些路径是否相交？路径的密度如何变化？ +1. **路径可视化**：对于线性插值路径 $x_t = (1-t)x_0 + tx_1$ ，绘制几条从 $p_0$ 到 $p_1$ 的样本路径。这些路径是否相交？路径的密度如何变化？ -2. **向量场分析**：推导并可视化 $t = 0.5$ 时刻的边缘向量场 $u_{0.5}(x)$。提示：需要对所有可能的 $(x_0, x_1)$ 对进行积分。 +2. **向量场分析**：推导并可视化 $t = 0.5$ 时刻的边缘向量场 $u_{0.5}(x)$ 。提示：需要对所有可能的 $(x_0, x_1)$ 对进行积分。 3. **最优传输视角**：证明在这个例子中，线性插值路径不是 Wasserstein 意义下的最优传输路径。什么是最优路径？这对生成质量有何影响？ diff --git a/chapter7.md b/chapter7.md index dc642af..2b717a7 100644 --- a/chapter7.md +++ b/chapter7.md @@ -106,7 +106,7 @@ Zero初始化确保模型在训练初期表现得像一个恒等函数，这对 1. **Token数量计算**：对于patch大小 p∈{2,4,8,16}，计算产生的token数量。这如何影响内存使用和计算量？ -2. **注意力复杂度**：自注意力的复杂度是 $O(n^2d)$，其中 $n$ 是token数。对比不同patch大小下的FLOPS。 +2. **注意力复杂度**：自注意力的复杂度是 $O(n^2d)$ ，其中 $n$ 是token数。对比不同patch大小下的FLOPS。 3. **与U-Net对比**：U-Net在不同分辨率处理特征。估算U-Net和DiT在相同输入下的计算量差异。 @@ -192,12 +192,12 @@ U-Net和DiT代表了两种截然不同的架构哲学： 让我们量化比较两种架构的计算需求： **U-Net的复杂度**： -- 卷积层：$O(k^2 \cdot C_{in} \cdot C_{out} \cdot H \cdot W)$ +- 卷积层： $O(k^2 \cdot C_{in} \cdot C_{out} \cdot H \cdot W)$ - 多分辨率处理降低了总体计算量 - 内存占用随深度线性增长（由于skip connections） **DiT的复杂度**： -- 自注意力：$O(n^2 \cdot d)$，其中 $n = (H/p) \times (W/p)$ +- 自注意力： $O(n^2 \cdot d)$ ，其中 $n = (H/p) \times (W/p)$ - 所有计算在高维特征空间进行 - 内存占用主要由注意力矩阵决定 @@ -280,16 +280,16 @@ DiT的一个关键贡献是证明了扩散模型也遵循类似大语言模型 $$\text{Loss} = A \cdot N^{-\alpha} + B \cdot D^{-\beta} + C \cdot T^{-\gamma} + \epsilon$$ 其中： -- $N$：模型参数量 -- $D$：数据集大小 -- $T$：训练计算量（FLOPs） -- $\alpha, \beta, \gamma$：缩放指数 -- $\epsilon$：不可约误差 +- $N$ ：模型参数量 +- $D$ ：数据集大小 +- $T$ ：训练计算量（FLOPs） +- $\alpha, \beta, \gamma$ ：缩放指数 +- $\epsilon$ ：不可约误差 实验发现，对于DiT： -- $\alpha \approx 0.08$（参数缩放指数） -- $\beta \approx 0.10$（数据缩放指数） -- $\gamma \approx 0.05$（计算缩放指数） +- $\alpha \approx 0.08$ （参数缩放指数） +- $\beta \approx 0.10$ （数据缩放指数） +- $\gamma \approx 0.05$ （计算缩放指数） 这意味着将模型大小翻倍大约能将损失降低5.7%。 @@ -414,7 +414,7 @@ Transformer的通用近似能力已被证明。对于扩散模型的去噪任务 ### 7.3.6 未来的缩放方向 **1. 架构创新** -- 线性注意力机制：$O(n)$ 复杂度 +- 线性注意力机制： $O(n)$ 复杂度 - 状态空间模型（如Mamba）在扩散中的应用 - 神经架构搜索（NAS）自动发现高效结构 diff --git a/chapter8.md b/chapter8.md index 4834742..a4e5b53 100644 --- a/chapter8.md +++ b/chapter8.md @@ -43,7 +43,7 @@ 回顾DDPM的反向过程： $$p_\theta(\mathbf{x}_{t-1}|\mathbf{x}_t) = \mathcal{N}(\mathbf{x}_{t-1}; \boldsymbol{\mu}_\theta(\mathbf{x}_t, t), \sigma_t^2\mathbf{I})$$ -每一步都需要添加随机噪声 $\sigma_t \boldsymbol{\epsilon}$，这导致： +每一步都需要添加随机噪声 $\sigma_t \boldsymbol{\epsilon}$ ，这导致： 1. **采样的随机性**：相同的 $\mathbf{x}_T$ 会生成不同的 $\mathbf{x}_0$ 2. **步数依赖**：减少步数会显著降低质量 3. **不可逆性**：无法从生成的图像精确重构初始噪声 @@ -52,7 +52,7 @@ DDIM通过重新参数化前向过程，巧妙地解决了这些问题。 ### 8.1.2 DDIM的核心创新 -DDIM的关键洞察是：存在一族非马尔可夫前向过程，它们具有相同的边缘分布 $q(\mathbf{x}_t|\mathbf{x}_0)$，但对应的反向过程可以是确定性的。 +DDIM的关键洞察是：存在一族非马尔可夫前向过程，它们具有相同的边缘分布 $q(\mathbf{x}_t|\mathbf{x}_0)$ ，但对应的反向过程可以是确定性的。 具体地，DDIM定义了一个新的前向过程： $$q_\sigma(\mathbf{x}_{t-1}|\mathbf{x}_t, \mathbf{x}_0) = \mathcal{N}(\mathbf{x}_{t-1}; \tilde{\boldsymbol{\mu}}_t(\mathbf{x}_t, \mathbf{x}_0), \sigma_t^2\mathbf{I})$$ @@ -68,9 +68,9 @@ DDIM的采样公式为： $$\mathbf{x}_{t-1} = \sqrt{\bar{\alpha}_{t-1}}\underbrace{\left(\frac{\mathbf{x}_t - \sqrt{1 - \bar{\alpha}_t}\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t)}{\sqrt{\bar{\alpha}_t}}\right)}_{\text{预测的 } \mathbf{x}_0} + \underbrace{\sqrt{1 - \bar{\alpha}_{t-1} - \sigma_t^2} \cdot \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t)}_{\text{方向指向 } \mathbf{x}_t} + \underbrace{\sigma_t \boldsymbol{\epsilon}}_{\text{随机噪声}}$$ 关键参数 $\eta$ 控制随机性： -- $\eta = 0$：完全确定性（DDIM） -- $\eta = 1$：等价于DDPM -- $0 < \eta < 1$：介于两者之间 +- $\eta = 0$ ：完全确定性（DDIM） +- $\eta = 1$ ：等价于DDPM +- $0 < \eta < 1$ ：介于两者之间 💡 **实现技巧：加速采样** DDIM允许使用子序列采样。例如，从1000步中均匀选择50步：`timesteps = np.linspace(0, 999, 50).astype(int)`。这可以实现20倍加速！ @@ -88,7 +88,7 @@ DDIM允许使用子序列采样。例如，从1000步中均匀选择50步：`tim 2. **插值实验**： - 生成两个不同的样本 $\mathbf{x}_0^{(1)}, \mathbf{x}_0^{(2)}$ - 编码到对应的 $\mathbf{x}_T^{(1)}, \mathbf{x}_T^{(2)}$ - - 在潜在空间插值：$\mathbf{x}_T^{(\lambda)} = (1-\lambda)\mathbf{x}_T^{(1)} + \lambda\mathbf{x}_T^{(2)}$ + - 在潜在空间插值： $\mathbf{x}_T^{(\lambda)} = (1-\lambda)\mathbf{x}_T^{(1)} + \lambda\mathbf{x}_T^{(2)}$ - 解码并观察语义插值效果 3. **速度-质量权衡**： @@ -131,9 +131,9 @@ Song等人(2021)提出了基于随机微分方程(SDE)的统一框架。前向 $$d\mathbf{x} = \mathbf{f}(\mathbf{x}, t)dt + g(t)d\mathbf{w}$$ 其中： -- $\mathbf{f}(\cdot, t)$：漂移系数 -- $g(t)$：扩散系数 -- $\mathbf{w}$：标准维纳过程 +- $\mathbf{f}(\cdot, t)$ ：漂移系数 +- $g(t)$ ：扩散系数 +- $\mathbf{w}$ ：标准维纳过程 对于DDPM/DDIM，相应的SDE是： $$d\mathbf{x} = -\frac{1}{2}\beta(t)\mathbf{x}dt + \sqrt{\beta(t)}d\mathbf{w}$$ @@ -143,14 +143,14 @@ $$d\mathbf{x} = -\frac{1}{2}\beta(t)\mathbf{x}dt + \sqrt{\beta(t)}d\mathbf{w}$$ Anderson(1982)证明了反向时间SDE的存在性： $$d\mathbf{x} = [\mathbf{f}(\mathbf{x}, t) - g(t)^2\nabla_\mathbf{x} \log p_t(\mathbf{x})]dt + g(t)d\bar{\mathbf{w}}$$ -其中 $\bar{\mathbf{w}}$ 是反向时间的维纳过程，$\nabla_\mathbf{x} \log p_t(\mathbf{x})$ 是分数函数（score function）。 +其中 $\bar{\mathbf{w}}$ 是反向时间的维纳过程， $\nabla_\mathbf{x} \log p_t(\mathbf{x})$ 是分数函数（score function）。 ### 8.2.3 概率流ODE 去除随机项，得到确定性的ODE： $$\frac{d\mathbf{x}}{dt} = \mathbf{f}(\mathbf{x}, t) - \frac{1}{2}g(t)^2\nabla_\mathbf{x} \log p_t(\mathbf{x})$$ -这个ODE与原始SDE具有相同的边缘分布 $p_t(\mathbf{x})$。 +这个ODE与原始SDE具有相同的边缘分布 $p_t(\mathbf{x})$ 。 **关键性质**： 1. **可逆性**：可以在数据和噪声之间双向转换 @@ -217,7 +217,7 @@ $$\frac{d\mathbf{x}}{dt} = \alpha(t)\mathbf{x} + \sigma(t)\boldsymbol{\epsilon}_ 利用积分因子法，可以得到精确解： $$\mathbf{x}_s = e^{\int_t^s \alpha(\tau)d\tau}\mathbf{x}_t + \int_t^s e^{\int_\tau^s \alpha(r)dr}\sigma(\tau)\boldsymbol{\epsilon}_\theta(\mathbf{x}_\tau, \tau)d\tau$$ -关键是如何近似积分中的 $\boldsymbol{\epsilon}_\theta(\mathbf{x}_\tau, \tau)$。 +关键是如何近似积分中的 $\boldsymbol{\epsilon}_\theta(\mathbf{x}_\tau, \tau)$ 。 ### 8.3.3 DPM-Solver的Taylor展开 @@ -307,7 +307,7 @@ $$\mathcal{L} = \mathbb{E}_{t,\mathbf{x}_0,\boldsymbol{\epsilon}}\left[\|f_\thet ### 8.4.2 一致性模型 -一致性模型(Consistency Models)学习映射函数 $f_\theta$，使得同一轨迹上的所有点映射到相同的起点： +一致性模型(Consistency Models)学习映射函数 $f_\theta$ ，使得同一轨迹上的所有点映射到相同的起点： $$f_\theta(\mathbf{x}_t, t) = f_\theta(\mathbf{x}_s, s), \quad \forall s, t \in [0, T]$$ diff --git a/chapter9.md b/chapter9.md index 7f94ef0..9e05cf4 100644 --- a/chapter9.md +++ b/chapter9.md @@ -40,13 +40,13 @@ ### 9.1.1 条件分布的数学框架 -在条件扩散模型中，我们的目标是建模条件分布 $p(\mathbf{x}|\mathbf{c})$，其中 $\mathbf{x}$ 是数据（如图像），$\mathbf{c}$ 是条件信息（如类别标签、文本描述等）。 +在条件扩散模型中，我们的目标是建模条件分布 $p(\mathbf{x}|\mathbf{c})$ ，其中 $\mathbf{x}$ 是数据（如图像）， $\mathbf{c}$ 是条件信息（如类别标签、文本描述等）。 条件扩散过程定义为： -- **前向过程**：$q(\mathbf{x}_t|\mathbf{x}_{t-1}) = \mathcal{N}(\mathbf{x}_t; \sqrt{1-\beta_t}\mathbf{x}_{t-1}, \beta_t\mathbf{I})$（与条件无关） -- **反向过程**：$p_\theta(\mathbf{x}_{t-1}|\mathbf{x}_t, \mathbf{c}) = \mathcal{N}(\mathbf{x}_{t-1}; \boldsymbol{\mu}_\theta(\mathbf{x}_t, t, \mathbf{c}), \sigma_t^2\mathbf{I})$ +- **前向过程**： $q(\mathbf{x}_t|\mathbf{x}_{t-1}) = \mathcal{N}(\mathbf{x}_t; \sqrt{1-\beta_t}\mathbf{x}_{t-1}, \beta_t\mathbf{I})$ （与条件无关） +- **反向过程**： $p_\theta(\mathbf{x}_{t-1}|\mathbf{x}_t, \mathbf{c}) = \mathcal{N}(\mathbf{x}_{t-1}; \boldsymbol{\mu}_\theta(\mathbf{x}_t, t, \mathbf{c}), \sigma_t^2\mathbf{I})$ -关键在于如何设计和训练条件去噪网络 $\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c})$。 +关键在于如何设计和训练条件去噪网络 $\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c})$ 。 ### 9.1.2 条件信息的注入方式 @@ -288,10 +288,10 @@ def train_noise_conditional_classifier(classifier, diffusion, dataloader): $$\tilde{\boldsymbol{\epsilon}}_\theta(\mathbf{x}_t, t, \mathbf{c}) = \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t) - s\sqrt{1 - \bar{\alpha}_t} \nabla_{\mathbf{x}_t} \log p_\phi(\mathbf{c}|\mathbf{x}_t)$$ -- $s = 0$：无条件生成 -- $s = 1$：标准条件生成 -- $s > 1$：强化条件，可能降低多样性 -- $s < 0$：负向引导，远离条件 +- $s = 0$ ：无条件生成 +- $s = 1$ ：标准条件生成 +- $s > 1$ ：强化条件，可能降低多样性 +- $s < 0$ ：负向引导，远离条件 **采样算法**： ```python @@ -458,7 +458,7 @@ grad = grad_ensemble / len(classifiers) 基本原理基于： $$\nabla_{\mathbf{x}_t} \log p(\mathbf{x}_t|\mathbf{c}) = \nabla_{\mathbf{x}_t} \log p(\mathbf{x}_t) + \nabla_{\mathbf{x}_t} \log p(\mathbf{c}|\mathbf{x}_t)$$ -CFG通过隐式估计 $\nabla_{\mathbf{x}_t} \log p(\mathbf{c}|\mathbf{x}_t)$： +CFG通过隐式估计 $\nabla_{\mathbf{x}_t} \log p(\mathbf{c}|\mathbf{x}_t)$ ： $$\nabla_{\mathbf{x}_t} \log p(\mathbf{c}|\mathbf{x}_t) \approx \nabla_{\mathbf{x}_t} \log p(\mathbf{x}_t|\mathbf{c}) - \nabla_{\mathbf{x}_t} \log p(\mathbf{x}_t)$$ ### 9.3.2 训练策略：条件Dropout @@ -492,9 +492,9 @@ CFG的采样公式： $$\tilde{\boldsymbol{\epsilon}}_\theta(\mathbf{x}_t, t, \mathbf{c}) = (1 + w)\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c}) - w\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing)$$ 其中： -- $w$：引导权重（guidance weight） -- $\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c})$：条件预测 -- $\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing)$：无条件预测 +- $w$ ：引导权重（guidance weight） +- $\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c})$ ：条件预测 +- $\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing)$ ：无条件预测 这可以重写为： $$\tilde{\boldsymbol{\epsilon}}_\theta = \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing) + w[\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c}) - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing)]$$ @@ -589,7 +589,7 @@ CFG可以视为变分推断中的重要性加权： 在噪声预测空间中，CFG执行外推： - 从无条件预测出发 - 沿着指向条件预测的方向移动 -- 可能超越条件预测（当 $w > 1$） +- 可能超越条件预测（当 $w > 1$ ）
**练习 9.3：CFG的深入分析** From 4f87879a37392c521b6318e897b20a14c417d88a Mon Sep 17 00:00:00 2001 From: William Date: Sun, 27 Jul 2025 11:03:22 +0800 Subject: [PATCH 13/62] interim --- chapter10.md | 309 +++++++++++++++++++++++++++++++++++++++++++++++++++ chapter3.md | 88 +++++++-------- 2 files changed, 353 insertions(+), 44 deletions(-) diff --git a/chapter10.md b/chapter10.md index fda2afe..dda5579 100644 --- a/chapter10.md +++ b/chapter10.md @@ -273,6 +273,315 @@ def analyze_latent_space(autoencoder, dataloader): 🌟 **开放问题：最优潜在空间设计** 如何设计具有特定属性的潜在空间？能否学习解耦的表示？这涉及到表示学习和因果推断的前沿研究。 +## 10.3 潜在空间中的扩散 + +### 10.3.1 潜在扩散过程的数学描述 + +在潜在空间中进行扩散需要重新定义前向和反向过程： + +**前向过程**： +$$q(\mathbf{z}_t | \mathbf{z}_0) = \mathcal{N}(\mathbf{z}_t; \sqrt{\bar{\alpha}_t}\mathbf{z}_0, (1-\bar{\alpha}_t)\mathbf{I})$$ + +其中 $\mathbf{z}_0 = \mathcal{E}(\mathbf{x})$ 是编码后的潜在表示。 + +**关键差异**： +1. **维度降低**：从 $\mathbb{R}^{3 \times H \times W}$ 到 $\mathbb{R}^{C \times h \times w}$ +2. **分布变化**：潜在空间可能不完全符合高斯分布 +3. **尺度差异**：需要适当的归一化 + +**反向过程**： +$$p_\theta(\mathbf{z}_{t-1} | \mathbf{z}_t) = \mathcal{N}(\mathbf{z}_{t-1}; \boldsymbol{\mu}_\theta(\mathbf{z}_t, t), \sigma_t^2\mathbf{I})$$ + +扩散模型学习预测噪声 $\boldsymbol{\epsilon}_\theta(\mathbf{z}_t, t)$ ，用于计算均值： +$$\boldsymbol{\mu}_\theta(\mathbf{z}_t, t) = \frac{1}{\sqrt{\alpha_t}}\left(\mathbf{z}_t - \frac{1-\alpha_t}{\sqrt{1-\bar{\alpha}_t}}\boldsymbol{\epsilon}_\theta(\mathbf{z}_t, t)\right)$$ + +### 10.3.2 噪声调度的适配 + +潜在空间的统计特性与像素空间不同，需要调整噪声调度： + +**1. 信噪比分析**： +```python +def analyze_latent_snr(autoencoder, dataloader): + latents = [] + with torch.no_grad(): + for x, _ in dataloader: + z = autoencoder.encode(x) + latents.append(z) + + latents = torch.cat(latents) + + # 计算信号功率 + signal_power = (latents ** 2).mean() + + # 分析不同噪声水平的SNR + for t in [0.1, 0.5, 0.9]: + noise_power = (1 - t) * signal_power + snr = 10 * torch.log10(signal_power / noise_power) + print(f"t={t}: SNR={snr:.2f} dB") +``` + +**2. 自适应调度**： +```python +class AdaptiveNoiseSchedule: + def __init__(self, latent_stats): + self.mean = latent_stats['mean'] + self.std = latent_stats['std'] + + def get_betas(self, num_steps): + # 根据潜在空间统计调整beta + # 确保最终SNR接近0 + target_final_snr = 0.001 + beta_start = 0.0001 * self.std + beta_end = 0.02 * self.std + + return torch.linspace(beta_start, beta_end, num_steps) +``` + +💡 **实践技巧：预计算统计量** +在大规模数据集上预计算潜在空间的均值和方差，用于归一化和噪声调度设计。 + +### 10.3.3 条件机制在潜在空间的实现 + +LDM中的条件信息通过多种方式注入： + +**1. 交叉注意力机制**： +```python +class CrossAttentionBlock(nn.Module): + def __init__(self, dim, context_dim, num_heads=8): + super().__init__() + self.attention = nn.MultiheadAttention( + dim, num_heads, kdim=context_dim, vdim=context_dim + ) + self.norm1 = nn.LayerNorm(dim) + self.norm2 = nn.LayerNorm(dim) + + def forward(self, x, context): + # x: [B, H*W, C] 潜在特征 + # context: [B, L, D] 条件编码（如文本） + + x_norm = self.norm1(x) + attn_out = self.attention(x_norm, context, context)[0] + x = x + attn_out + return x +``` + +**2. 特征调制（FiLM）**： +```python +class FiLMLayer(nn.Module): + def __init__(self, latent_dim, condition_dim): + super().__init__() + self.scale_net = nn.Linear(condition_dim, latent_dim) + self.shift_net = nn.Linear(condition_dim, latent_dim) + + def forward(self, x, condition): + scale = self.scale_net(condition).unsqueeze(2).unsqueeze(3) + shift = self.shift_net(condition).unsqueeze(2).unsqueeze(3) + return x * (1 + scale) + shift +``` + +**3. 空间条件控制**： +```python +def add_spatial_conditioning(z_t, spatial_cond, method='concat'): + if method == 'concat': + # 直接拼接 + return torch.cat([z_t, spatial_cond], dim=1) + elif method == 'add': + # 加性融合（需要维度匹配） + return z_t + spatial_cond + elif method == 'gated': + # 门控融合 + gate = torch.sigmoid(spatial_cond) + return z_t * gate + spatial_cond * (1 - gate) +``` + +🔬 **研究方向：条件注入的最优位置** +应该在U-Net的哪些层注入条件信息？早期层影响全局结构，后期层控制细节。系统研究这种权衡可以指导架构设计。 + +### 10.3.4 训练策略与技巧 + +**1. 渐进式训练**： +```python +class ProgressiveLatentDiffusion: + def __init__(self, autoencoder, diffusion_model): + self.autoencoder = autoencoder + self.diffusion = diffusion_model + self.current_resolution = 32 + + def train_step(self, x, epoch): + # 渐进提高分辨率 + if epoch > 100 and self.current_resolution < 64: + self.current_resolution = 64 + self.update_model_resolution() + + # 动态调整潜在空间 + with torch.no_grad(): + z = self.autoencoder.encode(x) + if self.current_resolution < z.shape[-1]: + z = F.interpolate(z, size=self.current_resolution) + + # 标准扩散训练 + return self.diffusion.training_step(z) +``` + +**2. 混合精度训练**： +```python +# 使用自动混合精度加速训练 +scaler = torch.cuda.amp.GradScaler() + +def train_with_amp(model, data, optimizer): + with torch.cuda.amp.autocast(): + # 前向传播在半精度 + loss = model.compute_loss(data) + + # 反向传播和优化在全精度 + scaler.scale(loss).backward() + scaler.step(optimizer) + scaler.update() +``` + +**3. 梯度累积**： +```python +accumulation_steps = 4 +for i, batch in enumerate(dataloader): + loss = compute_loss(batch) / accumulation_steps + loss.backward() + + if (i + 1) % accumulation_steps == 0: + optimizer.step() + optimizer.zero_grad() +``` + +### 10.3.5 质量与效率的权衡 + +**压缩率 vs 重建质量**： + +| 下采样因子 | 压缩率 | 速度提升 | FID | 适用场景 | +|-----------|--------|----------|-----|---------| +| 4x | 16x | 10-15x | ~5 | 高质量生成 | +| 8x | 64x | 40-60x | ~10 | 平衡选择 | +| 16x | 256x | 150-200x | ~25 | 快速预览 | + +**动态质量调整**： +```python +class AdaptiveQualityLDM: + def __init__(self, models_dict): + # models_dict: {4: model_4x, 8: model_8x, 16: model_16x} + self.models = models_dict + + def generate(self, prompt, quality='balanced'): + if quality == 'draft': + model = self.models[16] + steps = 10 + elif quality == 'balanced': + model = self.models[8] + steps = 25 + else: # quality == 'high' + model = self.models[4] + steps = 50 + + return model.sample(prompt, num_steps=steps) +``` + +
+**练习 10.3：潜在空间扩散实验** + +探索潜在空间扩散的各个方面。 + +1. **压缩率影响分析**： + - 训练不同压缩率的LDM（4x, 8x, 16x） + - 比较生成质量、多样性和速度 + - 绘制压缩率-质量曲线 + +2. **噪声调度优化**： + - 实现基于SNR的自适应调度 + - 比较线性、余弦和学习的调度 + - 分析对收敛速度的影响 + +3. **条件注入研究**： + - 实现不同的条件注入方法 + - 测试在不同层注入的效果 + - 评估对可控性的影响 + +4. **创新探索**： + - 设计多尺度潜在空间（层次化LDM） + - 研究向量量化的潜在扩散 + - 探索自适应压缩率选择 + +
+ +### 10.3.6 调试与可视化 + +**监控训练过程**： +```python +class LDMMonitor: + def __init__(self, autoencoder): + self.autoencoder = autoencoder + + def visualize_diffusion_process(self, model, x0, steps=[0, 250, 500, 750, 999]): + """可视化扩散和去噪过程""" + # 编码到潜在空间 + z0 = self.autoencoder.encode(x0) + + # 前向扩散 + zs_forward = [] + for t in steps: + zt = add_noise(z0, t) + zs_forward.append(zt) + + # 反向去噪 + zs_reverse = [] + zt = torch.randn_like(z0) + for t in reversed(range(1000)): + zt = denoise_step(model, zt, t) + if t in steps: + zs_reverse.append(zt) + + # 解码并可视化 + imgs_forward = [self.autoencoder.decode(z) for z in zs_forward] + imgs_reverse = [self.autoencoder.decode(z) for z in zs_reverse] + + return imgs_forward, imgs_reverse +``` + +**诊断工具**： +```python +def diagnose_latent_diffusion(model, autoencoder, test_batch): + """诊断潜在扩散模型的常见问题""" + + # 1. 检查潜在空间分布 + z = autoencoder.encode(test_batch) + print(f"Latent stats - Mean: {z.mean():.3f}, Std: {z.std():.3f}") + + # 2. 检查重建质量 + x_recon = autoencoder.decode(z) + recon_error = F.mse_loss(test_batch, x_recon) + print(f"Reconstruction error: {recon_error:.4f}") + + # 3. 检查噪声预测 + t = torch.randint(0, 1000, (z.shape[0],)) + noise = torch.randn_like(z) + z_noisy = add_noise(z, noise, t) + pred_noise = model(z_noisy, t) + noise_error = F.mse_loss(pred_noise, noise) + print(f"Noise prediction error: {noise_error:.4f}") + + # 4. 检查生成样本 + z_sample = torch.randn_like(z) + for t in reversed(range(0, 1000, 100)): + z_sample = denoise_step(model, z_sample, t) + x_sample = autoencoder.decode(z_sample) + + return { + 'latent_stats': (z.mean().item(), z.std().item()), + 'recon_error': recon_error.item(), + 'noise_error': noise_error.item(), + 'sample': x_sample + } +``` + +🌟 **最佳实践：多阶段调试** +先确保自编码器工作正常，再训练扩散模型。使用小数据集快速迭代，验证流程正确后再扩展到大规模训练。 + ## 10.2 自编码器设计 ### 10.2.1 VQ-VAE vs KL-VAE diff --git a/chapter3.md b/chapter3.md index ace6241..7a98961 100644 --- a/chapter3.md +++ b/chapter3.md @@ -9,64 +9,64 @@ 在DDPM之前，扩散模型虽然理论优雅，但实践起来却充满挑战。DDPM的革命性贡献在于：**将复杂的变分推断问题简化为了一个简单直观的去噪任务**。 > **定义：DDPM的三个关键简化** -> 1. **固定前向过程**：前向加噪过程使用一个预先设定的、固定的方差调度 `β_t`，无需学习。 +> 1. **固定前向过程**：前向加噪过程使用一个预先设定的、固定的方差调度 $\beta_t$，无需学习。 > 2. **简化反向过程**：假设反向去噪过程也是高斯分布，且其方差也是固定的。因此，模型只需要学习高斯分布的均值。 > 3. **重参数化目标**：将学习“去噪后的图像均值”这一困难任务，巧妙地转换为学习“添加到图像中的噪声”，极大地稳定了训练过程。 ### 3.1.1 为什么预测噪声更好？ -这个看似简单的改变是DDPM成功的关键。预测原始图像 `x_0` 意味着网络需要输出一个具有复杂结构和特定分布的物体，而预测噪声 `ε` 意味着网络只需要输出一个来自标准正态分布的样本。 +这个看似简单的改变是DDPM成功的关键。预测原始图像 $x_0$ 意味着网络需要输出一个具有复杂结构和特定分布的物体，而预测噪声 $\epsilon$ 意味着网络只需要输出一个来自标准正态分布的样本。 > **定义：预测噪声的优势** -> | 方面 | 预测均值 `μ_θ` | 预测噪声 `ε_θ` | +> | 方面 | 预测均值 $\mu_\theta$ | 预测噪声 $\epsilon_\theta$ | > | :--- | :--- | :--- | > | **输出范围** | 需要匹配数据的复杂分布 | 目标是标准高斯分布（已归一化） | -> | **训练信号** | 随时间步 `t` 变化剧烈 | 各时间步的训练目标相对一致 | +> | **训练信号** | 随时间步 $t$ 变化剧烈 | 各时间步的训练目标相对一致 | > | **梯度流** | 在高噪声时可能梯度消失 | 梯度传播更稳定 | > | **物理意义** | 预测去噪后的图像 | 预测被添加的噪声 | -🔬 **研究线索**：DDPM预测噪声 `ε`，而一些后续工作（如Cold Diffusion）则探索直接预测 `x_0`。这两种参数化方式的优劣在不同场景下仍有争议。例如，在处理视频时，预测帧间差（类似于噪声）可能比预测完整帧更有效。 +🔬 **研究线索**：DDPM预测噪声 $\epsilon$，而一些后续工作（如Cold Diffusion）则探索直接预测 $x_0$。这两种参数化方式的优劣在不同场景下仍有争议。例如，在处理视频时，预测帧间差（类似于噪声）可能比预测完整帧更有效。 ### 3.1.2 DDPM训练算法概览 得益于上述简化，DDPM的训练过程变得异常简洁。 **DDPM训练伪代码** -1. 从数据集中随机抽取一批原始图像 `x_0`。 -2. 为该批次中的每个图像随机选择一个时间步 `t` (从1到T)。 -3. 从标准正态分布中采样一个噪声 `ε`。 -4. 使用闭式解计算 `t` 时刻的噪声图像 `x_t`：`x_t = sqrt(ᾱ_t) * x_0 + sqrt(1 - ᾱ_t) * ε`。 -5. 将 `x_t` 和 `t` 输入到神经网络 `ε_θ` 中，得到预测的噪声 `ε_pred`。 -6. 计算损失：`loss = MSE(ε, ε_pred)`。 -7. 使用梯度下降更新模型参数 `θ`。 +1. 从数据集中随机抽取一批原始图像 $x_0$。 +2. 为该批次中的每个图像随机选择一个时间步 $t$ (从1到T)。 +3. 从标准正态分布中采样一个噪声 $\epsilon$。 +4. 使用闭式解计算 $t$ 时刻的噪声图像 $x_t$：$x_t = \sqrt{\bar{\alpha}_t} x_0 + \sqrt{1 - \bar{\alpha}_t} \epsilon$。 +5. 将 $x_t$ 和 $t$ 输入到神经网络 $\epsilon_\theta$ 中，得到预测的噪声 $\epsilon_{pred}$。 +6. 计算损失：$loss = \text{MSE}(\epsilon, \epsilon_{pred})$。 +7. 使用梯度下降更新模型参数 $\theta$。 这种端到端的去噪训练方式，是DDPM易于实现和训练稳定的核心原因。 ## 3.2 前向过程：从数据到噪声 -前向过程定义了一个固定的马尔可夫链，它逐步将数据分布 `q(x_0)` 转换为一个已知的先验分布（通常是标准正态分布 `N(0, I)`）。 +前向过程定义了一个固定的马尔可夫链，它逐步将数据分布 $q(x_0)$ 转换为一个已知的先验分布（通常是标准正态分布 $\mathcal{N}(0, I)$）。 -$$q(\mathbf{x}_t|\mathbf{x}_{t-1}) = \mathcal{N}(\mathbf{x}_t; \sqrt{1-\beta_t}\mathbf{x}_{t-1}, \beta_t\mathbf{I})$$ +$q(\mathbf{x}_t|\mathbf{x}_{t-1}) = \mathcal{N}(\mathbf{x}_t; \sqrt{1-\beta_t}\mathbf{x}_{t-1}, \beta_t\mathbf{I})$ ### 3.2.1 重参数化技巧 -DDPM的一个关键数学技巧是，我们可以直接从 `x_0` 采样任意时刻的 `x_t`，而无需迭代计算。 +DDPM的一个关键数学技巧是，我们可以直接从 $x_0$ 采样任意时刻的 $x_t$，而无需迭代计算。 > **定理：闭式采样公式** -> 定义 `α_t = 1 - β_t` 和 `ᾱ_t = Π_{s=1 to t} α_s`，则： -> $$q(\mathbf{x}_t|\mathbf{x}_0) = \mathcal{N}(\mathbf{x}_t; \sqrt{\bar{\alpha}_t}\mathbf{x}_0, (1-\bar{\alpha}_t)\mathbf{I})$$ -> 这个公式的证明基于高斯分布的可加性，是一个简单的归纳法练习。它的重要性在于，它使得我们可以在训练中随机采样任意时间步 `t` 并直接计算出 `x_t`，极大地提高了训练效率。 +> 定义 $\alpha_t = 1 - \beta_t$ 和 $\bar{\alpha}_t = \prod_{s=1}^{t} \alpha_s$，则： +> $q(\mathbf{x}_t|\mathbf{x}_0) = \mathcal{N}(\mathbf{x}_t; \sqrt{\bar{\alpha}_t}\mathbf{x}_0, (1-\bar{\alpha}_t)\mathbf{I})$ +> 这个公式的证明基于高斯分布的可加性，是一个简单的归纳法练习。它的重要性在于，它使得我们可以在训练中随机采样任意时间步 $t$ 并直接计算出 $x_t$，极大地提高了训练效率。 ### 3.2.2 噪声调度 (Noise Schedule) -噪声调度 `{β_t}` 的选择对模型性能有重要影响。 +噪声调度 $ \{\beta_t\} $ 的选择对模型性能有重要影响。 > **定义：调度策略对比** > | 调度类型 | 特点 | 优势 | 劣势 | > | :--- | :--- | :--- | :--- | -> | **线性 (Linear)** | `β_t` 线性增长。 | 简单直观，DDPM原始选择。 | 过程早期破坏信息过快，后期变化又太慢。 | +> | **线性 (Linear)** | $\beta_t$ 线性增长。 | 简单直观，DDPM原始选择。 | 过程早期破坏信息过快，后期变化又太慢。 | > | **余弦 (Cosine)** | 基于信噪比(SNR)的余弦曲线设计。 | 过程早期缓慢加噪，保留更多结构，感知质量更好。 | 理论相对复杂，末期可能收敛过慢。 | -> | **二次 (Quadratic)** | `β_t` 呈二次方增长。 | 在线性的基础上，进一步减缓早期加噪。 | 后期加噪可能过于激进。 | +> | **二次 (Quadratic)** | $\beta_t$ 呈二次方增长。 | 在线性的基础上，进一步减缓早期加噪。 | 后期加噪可能过于激进。 | 💡 **开放问题**：是否存在一个“最优”的噪声调度？理论上，最优调度应与数据的内在属性（如维度、复杂度）相关。目前，设计数据自适应的噪声调度或在训练中学习调度本身，仍然是一个活跃的研究领域。 @@ -74,7 +74,7 @@ DDPM的一个关键数学技巧是，我们可以直接从 `x_0` 采样任意时 练习 3.1：设计与分析噪声调度 1. **S形调度设计**：设计一个“S形”的噪声调度，使得加噪过程满足：a) 前期缓慢；b) 中期快速；c) 后期再次放缓。写出其数学表达式。 -2. **信噪比(SNR)分析**：对于线性和余弦调度，推导并绘制其信噪比 `SNR(t) = ᾱ_t / (1 - ᾱ_t)` 的对数曲线。从曲线形状解释为什么余弦调度通常能取得更好的生成质量。 +2. **信噪比(SNR)分析**：对于线性和余弦调度，推导并绘制其信噪比 $\text{SNR}(t) = \bar{\alpha}_t / (1 - \bar{\alpha}_t)$ 的对数曲线。从曲线形状解释为什么余弦调度通常能取得更好的生成质量。 3. **研究思路**： * 从信息论的角度出发，将前向过程视为一个信息通道，分析不同调度下的信道容量变化。 * 探索噪声调度与最优传输理论（Optimal Transport）的联系。前向过程可以看作是从数据分布到噪声分布的一条路径，最优调度是否对应着某种“最短”路径？ @@ -83,31 +83,31 @@ DDPM的一个关键数学技巧是，我们可以直接从 `x_0` 采样任意时 ## 3.3 反向过程：从噪声到数据 -反向过程是扩散模型的核心——学习如何从纯噪声 `x_T` 逐步恢复出清晰的数据 `x_0`。 +反向过程是扩散模型的核心——学习如何从纯噪声 $x_T$ 逐步恢复出清晰的数据 $x_0$。 ### 3.3.1 反向条件概率的推导 -这是DDPM论文中最重要的数学推导之一。通过贝叶斯定理，可以证明在已知 `x_0` 的条件下，反向的条件概率 `q(x_{t-1}|x_t, x_0)` 也是一个高斯分布。 +这是DDPM论文中最重要的数学推导之一。通过贝叶斯定理，可以证明在已知 $x_0$ 的条件下，反向的条件概率 $q(x_{t-1}|x_t, x_0)$ 也是一个高斯分布。 > **定理：反向过程的后验分布** -> $$q(\mathbf{x}_{t-1}|\mathbf{x}_t, \mathbf{x}_0) = \mathcal{N}(\mathbf{x}_{t-1}; \tilde{\boldsymbol{\mu}}_t(\mathbf{x}_t, \mathbf{x}_0), \tilde{\beta}_t\mathbf{I})$$ -> 其中均值 `μ̃_t` 是 `x_t` 和 `x_0` 的线性组合，方差 `β̃_t` 只与预设的 `β_t` 相关。 +> $q(\mathbf{x}_{t-1}|\mathbf{x}_t, \mathbf{x}_0) = \mathcal{N}(\mathbf{x}_{t-1}; \tilde{\boldsymbol{\mu}}_t(\mathbf{x}_t, \mathbf{x}_0), \tilde{\beta}_t\mathbf{I})$ +> 其中均值 $\tilde{\mu}_t$ 是 $x_t$ 和 $x_0$ 的线性组合，方差 $\tilde{\beta}_t$ 只与预设的 $\beta_t$ 相关。 -这个定理的**关键洞察**在于：如果我们能以某种方式从 `x_t` 中估计出 `x_0`，我们就能近似真实的反向过程。这正是神经网络需要做的事情。 +这个定理的**关键洞察**在于：如果我们能以某种方式从 $x_t$ 中估计出 $x_0$，我们就能近似真实的反向过程。这正是神经网络需要做的事情。 -利用 `x_0 = (x_t - sqrt(1 - ᾱ_t) * ε) / sqrt(ᾱ_t)` 的关系，我们可以将后验均值 `μ̃_t` 完全用 `x_t` 和噪声 `ε` 来表达： -$$\tilde{\boldsymbol{\mu}}_t(\mathbf{x}_t, \boldsymbol{\epsilon}) = \frac{1}{\sqrt{\alpha_t}}\left(\mathbf{x}_t - \frac{\beta_t}{\sqrt{1-\bar{\alpha}_t}}\boldsymbol{\epsilon}\right)$$ -这个表达式优雅地揭示了：**学习反向过程等价于学习预测噪声 `ε`**。 +利用 $x_0 = (x_t - \sqrt{1 - \bar{\alpha}_t} \epsilon) / \sqrt{\bar{\alpha}_t}$ 的关系，我们可以将后验均值 $\tilde{\mu}_t$ 完全用 $x_t$ 和噪声 $\epsilon$ 来表达： +$\tilde{\boldsymbol{\mu}}_t(\mathbf{x}_t, \boldsymbol{\epsilon}) = \frac{1}{\sqrt{\alpha_t}}\left(\mathbf{x}_t - \frac{\beta_t}{\sqrt{1-\bar{\alpha}_t}}\boldsymbol{\epsilon}\right)$ +这个表达式优雅地揭示了：**学习反向过程等价于学习预测噪声 $\epsilon$**。 ### 3.3.2 方差的处理：固定 vs 可学习 -DDPM的另一个简化是固定反向过程的方差 `σ_t^2`。论文中探讨了两种选择：`σ_t^2 = β̃_t`（理论上更优）和 `σ_t^2 = β_t`（实现上更简单，效果也很好）。后续工作（如Improved DDPM）则探索了让网络同时预测方差，这可以提高对数似然（log-likelihood），但对生成质量的提升通常不明显。对于大多数应用，固定方差是足够的。 +DDPM的另一个简化是固定反向过程的方差 $\sigma_t^2$。论文中探讨了两种选择：$\sigma_t^2 = \tilde{\beta}_t$（理论上更优）和 $\sigma_t^2 = \beta_t$（实现上更简单，效果也很好）。后续工作（如Improved DDPM）则探索了让网络同时预测方差，这可以提高对数似然（log-likelihood），但对生成质量的提升通常不明显。对于大多数应用，固定方差是足够的。
练习 3.2：参数化的等价性与差异 -1. **数学推导**：从后验均值 `μ̃_t(x_t, x_0)` 的表达式出发，代入 `x_0` 与 `x_t, ε` 的关系式，推导出 `μ̃_t(x_t, ε)` 的表达式，从而证明“预测`x_0`”和“预测`ε`”在数学上是等价的。 -2. **稳定性分析**：从优化的角度，分析为什么预测一个目标为 `N(0, I)` 的噪声 `ε`，比预测一个目标为复杂数据分布 `q(x_0)` 的 `x_0` 更稳定？（提示：考虑不同时间步 `t` 下目标函数的尺度和梯度。） +1. **数学推导**：从后验均值 $\tilde{\mu}_t(x_t, x_0)$ 的表达式出发，代入 $x_0$ 与 $x_t, \epsilon$ 的关系式，推导出 $\tilde{\mu}_t(x_t, \epsilon)$ 的表达式，从而证明“预测$x_0$”和“预测$\epsilon$”在数学上是等价的。 +2. **稳定性分析**：从优化的角度，分析为什么预测一个目标为 $\mathcal{N}(0, I)$ 的噪声 $\epsilon$，比预测一个目标为复杂数据分布 $q(x_0)$ 的 $x_0$ 更稳定？（提示：考虑不同时间步 $t$ 下目标函数的尺度和梯度。） 3. **开放探索**：DDPM选择固定方差。但在某些情况下，让方差可学习可能很重要。设想一个场景（例如，生成具有不同纹理区域的图像），其中自适应的去噪方差可能带来优势，并解释原因。
@@ -116,27 +116,27 @@ DDPM的另一个简化是固定反向过程的方差 `σ_t^2`。论文中探讨 DDPM的最终妙笔是将复杂的变分下界（Variational Lower Bound, VLB）损失函数简化为一个简单的均方误差（MSE）。 -完整的VLB损失可以写成三项之和：`L_VLB = L_T + Σ L_{t-1} + L_0`。其中 `L_{t-1}` 是主要的去噪匹配项，可以表示为两个高斯分布（真实后验 `q` 和模型预测 `p_θ`）之间的KL散度。通过我们上面的推导，这一项可以简化为对两个均值 `μ̃_t` 和 `μ_θ` 差值的L2损失。 +完整的VLB损失可以写成三项之和：$L_{\text{VLB}} = L_T + \sum_{t>1} L_{t-1} + L_0$。其中 $L_{t-1}$ 是主要的去噪匹配项，可以表示为两个高斯分布（真实后验 $q$ 和模型预测 $p_\theta$）之间的KL散度。通过我们上面的推导，这一项可以简化为对两个均值 $\tilde{\mu}_t$ 和 $\mu_\theta$ 差值的L2损失。 > **🎯 DDPM的简化训练目标** > Ho等人发现，如果忽略VLB损失中复杂的加权系数，直接优化一个更简单的目标函数，效果反而更好： -> $$L_{\text{simple}} = \mathbb{E}_{t,\mathbf{x}_0,\boldsymbol{\epsilon}}\left[\|\boldsymbol{\epsilon} - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t)\|^2\right]$$ -> 这就是DDPM最终的训练目标：**在随机的时间步 `t`，让神经网络 `ε_θ` 预测出添加到 `x_0` 上的原始噪声 `ε`**。 +> $L_{\text{simple}} = \mathbb{E}_{t,\mathbf{x}_0,\boldsymbol{\epsilon}}\left[\|\boldsymbol{\epsilon} - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t)\|^2\right]$ +> 这就是DDPM最终的训练目标：**在随机的时间步 $t$，让神经网络 $\epsilon_\theta$ 预测出添加到 $x_0$ 上的原始噪声 $\epsilon$**。 -⚡ **实现挑战与研究前沿**：虽然简单损失效果很好，但它对所有时间步 `t` 的误差一视同仁。后续研究（如Min-SNR-γ加权策略）表明，对不同 `t` 的损失进行加权（例如，降低高信噪比、即低噪声区域的损失权重）可以显著提高生成质量，尤其是在高分辨率生成任务中。 +⚡ **实现挑战与研究前沿**：虽然简单损失效果很好，但它对所有时间步 $t$ 的误差一视同仁。后续研究（如Min-SNR-$\gamma$加权策略）表明，对不同 $t$ 的损失进行加权（例如，降低高信噪比、即低噪声区域的损失权重）可以显著提高生成质量，尤其是在高分辨率生成任务中。 ## 3.5 采样算法：从理论到实践 训练完成后，我们就可以从随机噪声中生成图像了。采样过程是反向过程的实际执行。 **DDPM标准采样算法** -1. 从标准正态分布中采样一个初始噪声图像 `x_T`。 -2. 从 `t = T` 循环到 `t = 1`： - a. 将当前的 `x_t` 和时间步 `t` 输入模型，得到噪声预测 `ε_θ(x_t, t)`。 - b. 使用 `ε_θ` 和 `x_t` 计算去噪后的均值 `μ_θ(x_t, t)`。 - c. 从标准正态分布中采样一个随机噪声 `z`。 - d. 计算 `x_{t-1} = μ_θ(x_t, t) + σ_t * z`。（其中 `σ_t` 是固定的方差） -3. 最终得到的 `x_0` 就是生成的图像。 +1. 从标准正态分布中采样一个初始噪声图像 $x_T$。 +2. 从 $t = T$ 循环到 $t = 1$： + a. 将当前的 $x_t$ 和时间步 $t$ 输入模型，得到噪声预测 $\epsilon_\theta(x_t, t)$。 + b. 使用 $\epsilon_\theta$ 和 $x_t$ 计算去噪后的均值 $\mu_\theta(x_t, t)$。 + c. 从标准正态分布中采样一个随机噪声 $z$。 + d. 计算 $x_{t-1} = \mu_\theta(x_t, t) + \sigma_t z$。（其中 $\sigma_t$ 是固定的方差） +3. 最终得到的 $x_0$ 就是生成的图像。 这个迭代过程通常需要1000步，因此速度较慢，这是DDPM的主要缺点之一，也催生了后续大量的快速采样算法研究（将在第8章讨论）。 From b5f969b720aed0f2a780abcbd62d6dbc8fc155a2 Mon Sep 17 00:00:00 2001 From: William Date: Sun, 27 Jul 2025 11:32:46 +0800 Subject: [PATCH 14/62] interim --- chapter10.md | 858 +++++++++++++++++++++++++++- chapter11.md | 1556 ++++++++++++++++++++++++++++++++++++++++++++++++++ chapter3.md | 2 +- chapter5.md | 68 +-- chapter6.md | 157 ++++- chapter9.md | 830 +++++++++------------------ 6 files changed, 2860 insertions(+), 611 deletions(-) create mode 100644 chapter11.md diff --git a/chapter10.md b/chapter10.md index dda5579..1349a8b 100644 --- a/chapter10.md +++ b/chapter10.md @@ -964,4 +964,860 @@ def load_pretrained_autoencoder(model_id="stabilityai/sd-vae-ft-mse"): ``` 🌟 **最佳实践：迁移学习** -即使目标领域不同，从预训练模型开始通常比从头训练更好。自然图像的编码器可以很好地迁移到其他视觉任务。 \ No newline at end of file +即使目标领域不同，从预训练模型开始通常比从头训练更好。自然图像的编码器可以很好地迁移到其他视觉任务。 + +## 10.4 Stable Diffusion架构详解 + +### 10.4.1 整体架构概览 + +Stable Diffusion是LDM最成功的实现，其架构精心平衡了效率和质量： + +``` +┌─────────────┐ ┌──────────────┐ ┌─────────────┐ +│ 图像 │────▶│ VAE编码器 │────▶│ 潜在表示 z │ +│ 512×512×3 │ │ (下采样8x) │ │ 64×64×4 │ +└─────────────┘ └──────────────┘ └─────────────┘ + │ + ▼ +┌─────────────┐ ┌──────────────┐ ┌─────────────┐ +│ 文本提示 │────▶│ CLIP编码器 │────▶│ 文本嵌入 │ +│ │ │ │ │ 77×768 │ +└─────────────┘ └──────────────┘ └─────────────┘ + │ + ▼ + ┌──────────────────────────────┐ + │ U-Net去噪网络 │ + │ (带交叉注意力机制) │ + └──────────────────────────────┘ + │ + ▼ + ┌──────────────┐ ┌─────────────┐ + │ VAE解码器 │────▶│ 生成图像 │ + │ (上采样8x) │ │ 512×512×3 │ + └──────────────┘ └─────────────┘ +``` + +**关键参数**： +- 潜在维度：4 +- 下采样因子：8 +- U-Net通道数：320 → 640 → 1280 → 1280 +- 注意力分辨率：32×32, 16×16, 8×8 +- 总参数量：~860M（U-Net）+ 83M（VAE）+ 123M（CLIP） + +### 10.4.2 VAE组件详解 + +Stable Diffusion使用KL-正则化的VAE，具有以下特点： + +```python +class StableDiffusionVAE(nn.Module): + def __init__(self): + super().__init__() + # 编码器配置 + self.encoder = Encoder( + in_channels=3, + out_channels=8, # 均值和方差各4通道 + ch=128, + ch_mult=(1, 2, 4, 4), # 通道倍增因子 + num_res_blocks=2, + z_channels=4 + ) + + # 解码器配置（镜像结构） + self.decoder = Decoder( + in_channels=4, + out_channels=3, + ch=128, + ch_mult=(1, 2, 4, 4), + num_res_blocks=2 + ) + + # 关键的缩放因子 + self.scale_factor = 0.18215 + + def encode(self, x): + # x: [B, 3, H, W] in [-1, 1] + h = self.encoder(x) + mean, logvar = torch.chunk(h, 2, dim=1) + + # 采样 + std = torch.exp(0.5 * logvar) + eps = torch.randn_like(std) + z = mean + eps * std + + # 应用缩放因子 + z = z * self.scale_factor + return z +``` + +💡 **关键细节：缩放因子的作用** +0.18215这个魔法数字将潜在表示归一化到单位方差附近，这对扩散模型的稳定训练至关重要。它是在大规模数据集上经验确定的。 + +### 10.4.3 CLIP文本编码器 + +Stable Diffusion使用OpenAI的CLIP ViT-L/14模型编码文本： + +```python +class CLIPTextEncoder: + def __init__(self, version="openai/clip-vit-large-patch14"): + self.tokenizer = CLIPTokenizer.from_pretrained(version) + self.model = CLIPTextModel.from_pretrained(version) + self.max_length = 77 + + def encode(self, text): + # 分词 + tokens = self.tokenizer( + text, + padding="max_length", + max_length=self.max_length, + truncation=True, + return_tensors="pt" + ) + + # 编码 + outputs = self.model(**tokens) + + # 返回最后隐藏状态 + # shape: [batch_size, 77, 768] + return outputs.last_hidden_state +``` + +**文本编码特性**： +- 最大长度：77 tokens +- 嵌入维度：768 +- 使用整个序列（不仅是[CLS] token） +- 保留位置信息用于细粒度控制 + +🔬 **研究线索：更好的文本编码器** +CLIP是为图像-文本对齐训练的，不一定最适合生成任务。专门为扩散模型设计的文本编码器（如T5）可能提供更好的控制。 + +### 10.4.4 U-Net架构细节 + +Stable Diffusion的U-Net是整个系统的核心： + +```python +class StableDiffusionUNet(nn.Module): + def __init__( + self, + in_channels=4, + out_channels=4, + model_channels=320, + attention_resolutions=[4, 2, 1], + channel_mult=[1, 2, 4, 4], + num_heads=8, + context_dim=768, # CLIP embedding dim + ): + super().__init__() + + # 时间嵌入 + self.time_embed = nn.Sequential( + nn.Linear(model_channels, model_channels * 4), + nn.SiLU(), + nn.Linear(model_channels * 4, model_channels * 4), + ) + + # 输入块 + self.input_blocks = nn.ModuleList([ + TimestepEmbedSequential( + nn.Conv2d(in_channels, model_channels, 3, padding=1) + ) + ]) + + # 下采样块 + ch = model_channels + for level, mult in enumerate(channel_mult): + for _ in range(num_res_blocks): + layers = [ + ResBlock(ch, model_channels * mult), + ] + + # 在特定分辨率添加注意力 + if level in attention_resolutions: + layers.append( + SpatialTransformer( + model_channels * mult, + num_heads=num_heads, + context_dim=context_dim + ) + ) + + self.input_blocks.append(TimestepEmbedSequential(*layers)) + ch = model_channels * mult + + # 下采样（除了最后一层） + if level != len(channel_mult) - 1: + self.input_blocks.append( + TimestepEmbedSequential(Downsample(ch)) + ) +``` + +### 10.4.5 交叉注意力机制 + +交叉注意力是文本控制的关键： + +```python +class CrossAttention(nn.Module): + def __init__(self, query_dim, context_dim=None, heads=8, dim_head=64): + super().__init__() + inner_dim = dim_head * heads + context_dim = context_dim or query_dim + + self.heads = heads + self.scale = dim_head ** -0.5 + + self.to_q = nn.Linear(query_dim, inner_dim, bias=False) + self.to_k = nn.Linear(context_dim, inner_dim, bias=False) + self.to_v = nn.Linear(context_dim, inner_dim, bias=False) + self.to_out = nn.Linear(inner_dim, query_dim) + + def forward(self, x, context=None): + # x: [B, HW, C] - 图像特征 + # context: [B, L, D] - 文本嵌入 + + h = self.heads + + q = self.to_q(x) + context = context if context is not None else x + k = self.to_k(context) + v = self.to_v(context) + + # 重塑为多头 + q, k, v = map(lambda t: rearrange(t, 'b n (h d) -> b h n d', h=h), (q, k, v)) + + # 注意力计算 + dots = torch.matmul(q, k.transpose(-1, -2)) * self.scale + attn = torch.softmax(dots, dim=-1) + + # 应用注意力 + out = torch.matmul(attn, v) + out = rearrange(out, 'b h n d -> b n (h d)') + + return self.to_out(out) +``` + +
+**练习 10.4：理解Stable Diffusion的设计选择** + +深入分析SD的架构决策。 + +1. **分辨率实验**： + - 修改VAE下采样因子（4x, 8x, 16x） + - 测量对生成质量和速度的影响 + - 找出最优的质量-效率平衡点 + +2. **注意力分析**： + - 可视化不同层的交叉注意力图 + - 分析哪些词对应哪些图像区域 + - 研究注意力头的专门化 + +3. **文本编码器比较**： + - 比较CLIP vs BERT vs T5 + - 测试不同的pooling策略 + - 评估对提示遵循的影响 + +4. **架构消融**： + - 移除某些注意力层 + - 改变通道倍增因子 + - 分析各组件的贡献 + +
+ +### 10.4.6 条件机制的实现细节 + +Stable Diffusion支持多种条件输入： + +**1. 无分类器引导（CFG）**： +```python +def sample_with_cfg(model, z_t, t, text_emb, uncond_emb, cfg_scale=7.5): + # 同时预测条件和无条件噪声 + z_combined = torch.cat([z_t, z_t]) + t_combined = torch.cat([t, t]) + c_combined = torch.cat([uncond_emb, text_emb]) + + noise_pred = model(z_combined, t_combined, c_combined) + noise_uncond, noise_cond = noise_pred.chunk(2) + + # 应用CFG + noise_pred = noise_uncond + cfg_scale * (noise_cond - noise_uncond) + + return noise_pred +``` + +**2. 负面提示**： +```python +def encode_prompts(text_encoder, prompt, negative_prompt=""): + # 编码正面和负面提示 + text_emb = text_encoder.encode(prompt) + uncond_emb = text_encoder.encode(negative_prompt) + + return text_emb, uncond_emb +``` + +**3. 图像条件（img2img）**： +```python +def img2img_encode(vae, image, strength=0.75, steps=50): + # 编码图像到潜在空间 + z_0 = vae.encode(image) + + # 确定起始时间步 + start_step = int(steps * (1 - strength)) + + # 添加适量噪声 + noise = torch.randn_like(z_0) + z_t = scheduler.add_noise(z_0, noise, timesteps[start_step]) + + return z_t, start_step +``` + +### 10.4.7 推理优化技术 + +**1. 半精度推理**： +```python +# 转换模型到fp16 +model = model.half() +vae = vae.half() + +# 关键层保持fp32 +model.conv_in = model.conv_in.float() +model.conv_out = model.conv_out.float() +``` + +**2. 注意力优化**： +```python +# 使用xFormers或Flash Attention +import xformers.ops + +def efficient_attention(q, k, v): + # 使用memory-efficient attention + return xformers.ops.memory_efficient_attention(q, k, v) +``` + +**3. 批处理优化**： +```python +def batch_denoise(model, z_batch, t, c_batch): + # 动态批大小避免OOM + max_batch = estimate_max_batch_size(z_batch.shape) + + results = [] + for i in range(0, len(z_batch), max_batch): + batch = z_batch[i:i+max_batch] + c = c_batch[i:i+max_batch] + results.append(model(batch, t, c)) + + return torch.cat(results) +``` + +💡 **性能提示：VAE解码瓶颈** +在批量生成时，VAE解码往往成为瓶颈。可以先生成所有潜在表示，然后批量解码，或使用更轻量的解码器。 + +### 10.4.8 模型变体与改进 + +**Stable Diffusion演进**： + +| 版本 | 分辨率 | 改进 | 参数量 | +|------|--------|------|---------| +| SD 1.4 | 512×512 | 基础版本 | 860M | +| SD 1.5 | 512×512 | 更好的训练数据 | 860M | +| SD 2.0 | 768×768 | 新的CLIP编码器 | 865M | +| SD 2.1 | 768×768 | 减少NSFW过滤 | 865M | +| SDXL | 1024×1024 | 级联U-Net架构 | 3.5B | + +**SDXL的创新**： +```python +class SDXLUNet(nn.Module): + def __init__(self): + super().__init__() + # 基础U-Net：生成潜在表示 + self.base_unet = UNet( + in_channels=4, + model_channels=320, + channel_mult=[1, 2, 4], + use_fp16=True + ) + + # 精炼U-Net：提升细节 + self.refiner_unet = UNet( + in_channels=4, + model_channels=384, + channel_mult=[1, 2, 4, 4], + use_fp16=True + ) + + # 条件增强 + self.add_time_condition = True + self.add_crop_condition = True + self.add_size_condition = True +``` + +🌟 **未来方向：模块化设计** +未来的架构可能采用更模块化的设计，允许用户根据需求组合不同的编码器、去噪器和解码器。这需要标准化的接口和训练协议。 + +### 10.4.9 训练细节与数据处理 + +**训练配置**： +```python +training_config = { + 'base_learning_rate': 1e-4, + 'batch_size': 2048, # 累积梯度 + 'num_epochs': 5, + 'warmup_steps': 10000, + 'use_ema': True, + 'ema_decay': 0.9999, + 'gradient_clip': 1.0, + 'weight_decay': 0.01, +} + +# 数据预处理 +transform = transforms.Compose([ + transforms.Resize(512, interpolation=transforms.InterpolationMode.BILINEAR), + transforms.CenterCrop(512), + transforms.RandomHorizontalFlip(p=0.5), + transforms.ToTensor(), + transforms.Normalize([0.5], [0.5]), # [-1, 1] +]) +``` + +**训练策略**： +1. **多尺度训练**：随机裁剪不同尺寸 +2. **条件dropout**：10%概率丢弃文本条件 +3. **噪声偏移**：微调噪声调度改善暗部细节 +4. **渐进式训练**：先训练低分辨率，再微调高分辨率 + +### 10.4.10 常见问题与解决方案 + +**1. 生成质量问题**： +- 模糊：增加CFG scale或使用更多步数 +- 伪影：检查VAE权重，可能需要使用fp32 +- 颜色偏移：调整噪声偏移参数 + +**2. 提示遵循问题**： +- 使用提示权重：`(word:1.3)` 增强，`[word]` 减弱 +- 负面提示：明确排除不想要的元素 +- 提示工程：使用更具体的描述 + +**3. 内存优化**： +```python +# 启用梯度检查点 +model.enable_gradient_checkpointing() + +# 使用CPU offload +from accelerate import cpu_offload + +model = cpu_offload(model, device='cuda', offload_buffers=True) +``` + +🔧 **调试技巧：逐步验证** +遇到问题时，逐个组件验证：(1)VAE重建质量 (2)无条件生成 (3)文本条件响应 (4)CFG效果。这有助于定位问题根源。 + +## 10.5 实践考虑与扩展 + +### 10.5.1 不同分辨率的处理 + +LDM需要灵活处理各种分辨率的图像： + +**1. 多分辨率训练**： +```python +class MultiResolutionDataset(Dataset): + def __init__(self, base_size=512, sizes=[256, 512, 768, 1024]): + self.sizes = sizes + self.base_size = base_size + + def __getitem__(self, idx): + img = self.load_image(idx) + + # 随机选择目标尺寸 + target_size = random.choice(self.sizes) + + # 智能裁剪和缩放 + if img.width > img.height: + # 横向图像 + scale = target_size / img.height + new_width = int(img.width * scale) + img = img.resize((new_width, target_size)) + # 中心裁剪到正方形 + left = (new_width - target_size) // 2 + img = img.crop((left, 0, left + target_size, target_size)) + else: + # 纵向或正方形图像 + scale = target_size / img.width + new_height = int(img.height * scale) + img = img.resize((target_size, new_height)) + # 中心裁剪 + top = (new_height - target_size) // 2 + img = img.crop((0, top, target_size, top + target_size)) + + return self.transform(img) +``` + +**2. 分辨率自适应推理**： +```python +class AdaptiveInference: + def __init__(self, model, vae): + self.model = model + self.vae = vae + self.patch_size = 64 # 潜在空间patch大小 + + def generate_high_res(self, prompt, height, width): + # 计算需要的潜在空间大小 + latent_h = height // 8 + latent_w = width // 8 + + if latent_h * latent_w > self.patch_size ** 2: + # 使用分块生成 + return self.tiled_generation(prompt, latent_h, latent_w) + else: + # 直接生成 + return self.direct_generation(prompt, latent_h, latent_w) + + def tiled_generation(self, prompt, h, w): + """分块生成大图像""" + overlap = 8 # 重叠区域 + tiles = [] + + for i in range(0, h, self.patch_size - overlap): + for j in range(0, w, self.patch_size - overlap): + # 生成每个块 + tile = self.generate_tile(prompt, i, j) + tiles.append((i, j, tile)) + + # 混合拼接 + return self.blend_tiles(tiles, h, w) +``` + +💡 **实践技巧：宽高比保持** +训练时记录图像的原始宽高比，推理时可以生成相同比例的图像，避免变形。 + +### 10.5.2 微调与适配 + +**1. LoRA（Low-Rank Adaptation）微调**： +```python +class LoRALayer(nn.Module): + def __init__(self, in_features, out_features, rank=16, alpha=16): + super().__init__() + self.rank = rank + self.alpha = alpha + + # 低秩矩阵 + self.lora_A = nn.Parameter(torch.randn(rank, in_features)) + self.lora_B = nn.Parameter(torch.zeros(out_features, rank)) + + # 缩放因子 + self.scaling = alpha / rank + + def forward(self, x, orig_weight): + # 原始线性变换 + out = F.linear(x, orig_weight) + + # 添加LoRA + lora_out = F.linear(F.linear(x, self.lora_A), self.lora_B) + + return out + lora_out * self.scaling +``` + +**2. Textual Inversion**： +```python +class TextualInversion: + def __init__(self, text_encoder, token_dim=768): + self.text_encoder = text_encoder + self.token_dim = token_dim + + # 学习的token嵌入 + self.learned_embeds = nn.ParameterDict() + + def add_concept(self, concept_name, init_text="object"): + """添加新概念""" + # 获取初始化嵌入 + init_ids = self.text_encoder.tokenize(init_text) + init_embed = self.text_encoder.get_embeddings(init_ids) + + # 创建可学习参数 + self.learned_embeds[concept_name] = nn.Parameter( + init_embed.clone().detach() + ) + + def forward(self, text): + # 替换特殊token为学习的嵌入 + for concept, embed in self.learned_embeds.items(): + if f"<{concept}>" in text: + text = text.replace(f"<{concept}>", "") + # 注入学习的嵌入 + return self.inject_embedding(text, embed) +``` + +**3. DreamBooth微调**： +```python +def dreambooth_loss(model, images, prompts, prior_preservation=True): + """DreamBooth训练损失""" + # 主要损失：重建特定实例 + instance_loss = diffusion_loss(model, images, prompts) + + if prior_preservation: + # 先验保持损失：防止语言漂移 + class_images = generate_class_images(prompts) + prior_loss = diffusion_loss(model, class_images, prompts) + + total_loss = instance_loss + 0.5 * prior_loss + else: + total_loss = instance_loss + + return total_loss +``` + +🔬 **研究方向：高效微调方法** +如何用最少的参数和数据实现有效的模型适配？这涉及到元学习、少样本学习和参数高效微调的前沿研究。 + +### 10.5.3 模型压缩与部署 + +**1. 量化技术**： +```python +class QuantizedLDM: + def __init__(self, model, bits=8): + self.model = model + self.bits = bits + + def quantize_model(self): + """动态量化""" + # INT8量化 + self.model = torch.quantization.quantize_dynamic( + self.model, + {nn.Linear, nn.Conv2d}, + dtype=torch.qint8 + ) + + def calibrate_quantization(self, calibration_data): + """静态量化校准""" + backend = "fbgemm" # x86 CPU + self.model.qconfig = torch.quantization.get_default_qconfig(backend) + + # 准备量化 + torch.quantization.prepare(self.model, inplace=True) + + # 校准 + with torch.no_grad(): + for batch in calibration_data: + self.model(batch) + + # 转换 + torch.quantization.convert(self.model, inplace=True) +``` + +**2. 模型剪枝**： +```python +def prune_ldm(model, amount=0.3): + """结构化剪枝""" + import torch.nn.utils.prune as prune + + for name, module in model.named_modules(): + if isinstance(module, nn.Conv2d): + # L1结构化剪枝 + prune.ln_structured( + module, + name='weight', + amount=amount, + n=1, + dim=0 # 输出通道 + ) + elif isinstance(module, nn.Linear): + # 非结构化剪枝 + prune.l1_unstructured( + module, + name='weight', + amount=amount + ) + + # 移除剪枝参数化 + for name, module in model.named_modules(): + if hasattr(module, 'weight_mask'): + prune.remove(module, 'weight') +``` + +**3. ONNX导出与优化**： +```python +def export_to_onnx(model, dummy_input, output_path): + """导出模型到ONNX格式""" + torch.onnx.export( + model, + dummy_input, + output_path, + input_names=['latent', 'timestep', 'condition'], + output_names=['noise_pred'], + dynamic_axes={ + 'latent': {0: 'batch', 2: 'height', 3: 'width'}, + 'condition': {0: 'batch', 1: 'seq_len'} + }, + opset_version=14, + do_constant_folding=True + ) + + # 优化ONNX模型 + import onnx + from onnxruntime.transformers import optimizer + + model_onnx = onnx.load(output_path) + optimized_model = optimizer.optimize_model( + model_onnx, + model_type='bert', # 使用BERT优化器处理注意力 + num_heads=8, + hidden_size=768 + ) + + onnx.save(optimized_model, output_path.replace('.onnx', '_opt.onnx')) +``` + +### 10.5.4 性能优化最佳实践 + +**1. 批量处理优化**： +```python +class BatchOptimizer: + def __init__(self, model, max_batch_size=8): + self.model = model + self.max_batch_size = max_batch_size + + def adaptive_batch_size(self, resolution): + """根据分辨率自适应调整批大小""" + base_pixels = 512 * 512 + current_pixels = resolution[0] * resolution[1] + + # 按像素数反比例调整 + adapted_batch = int(self.max_batch_size * base_pixels / current_pixels) + + return max(1, adapted_batch) + + def process_batch_with_gradient_checkpointing(self, batch): + """使用梯度检查点减少内存使用""" + def create_custom_forward(module): + def custom_forward(*inputs): + return module(*inputs) + return custom_forward + + # 对U-Net的每个块使用检查点 + for block in self.model.unet_blocks: + block = torch.utils.checkpoint.checkpoint( + create_custom_forward(block), + batch, + use_reentrant=False + ) +``` + +**2. 缓存优化**： +```python +class CachedLDM: + def __init__(self, model): + self.model = model + self.cache = {} + + def encode_with_cache(self, text, cache_key=None): + """缓存文本编码结果""" + if cache_key and cache_key in self.cache: + return self.cache[cache_key] + + encoding = self.model.encode_text(text) + + if cache_key: + self.cache[cache_key] = encoding + + return encoding + + def clear_cache(self, max_size=100): + """LRU缓存清理""" + if len(self.cache) > max_size: + # 保留最近使用的项 + items = sorted(self.cache.items(), + key=lambda x: x[1].last_access, + reverse=True) + self.cache = dict(items[:max_size]) +``` + +
+**综合练习：构建生产级LDM系统** + +设计并实现一个生产就绪的LDM系统。 + +1. **系统架构设计**： + - 设计微服务架构 + - 实现请求队列和负载均衡 + - 添加监控和日志 + - 处理故障恢复 + +2. **性能优化**： + - 实现多GPU推理 + - 优化内存使用 + - 添加结果缓存 + - 支持流式生成 + +3. **功能扩展**： + - 支持多种采样器 + - 实现图像编辑功能 + - 添加安全过滤 + - 支持自定义模型 + +4. **部署方案**： + - 容器化（Docker） + - Kubernetes编排 + - API网关设计 + - CDN集成 + +
+ +### 10.5.5 未来发展方向 + +**1. 架构创新**： +- **稀疏注意力**：减少计算复杂度 +- **动态分辨率**：自适应处理不同尺寸 +- **神经架构搜索**：自动优化结构 + +**2. 训练方法改进**： +- **自监督预训练**：利用无标注数据 +- **多模态联合训练**：图像、文本、音频统一 +- **连续学习**：不断适应新数据 + +**3. 应用扩展**： +- **3D生成**：从2D扩展到3D +- **视频生成**：时序一致性 +- **交互式编辑**：实时响应用户输入 + +**4. 效率提升**： +```python +# 未来可能的优化方向示例 +class FutureLDM: + def __init__(self): + # 1. 动态稀疏注意力 + self.sparse_attention = DynamicSparseAttention() + + # 2. 神经ODE求解器 + self.neural_ode_solver = NeuralODESolver() + + # 3. 可微分量化 + self.differentiable_quantization = LearnedQuantization() + + # 4. 自适应计算 + self.adaptive_compute = EarlyExitMechanism() +``` + +🌟 **开放挑战：下一代LDM** +如何设计能够处理任意模态、任意分辨率、实时交互的统一生成模型？这需要算法、架构和硬件的协同创新。 + +### 10.5.6 实践建议总结 + +1. **开始原型**： + - 使用预训练模型快速验证想法 + - 从小数据集和低分辨率开始 + - 逐步增加复杂度 + +2. **优化策略**： + - 先优化算法，再优化实现 + - 使用profiler找出瓶颈 + - 平衡质量、速度和内存 + +3. **部署考虑**： + - 选择合适的量化策略 + - 实现鲁棒的错误处理 + - 考虑边缘设备限制 + +4. **持续改进**： + - 收集用户反馈 + - A/B测试不同版本 + - 跟踪最新研究进展 + +通过本章的学习，您已经掌握了潜在扩散模型的核心原理和实践技巧。LDM通过在压缩的潜在空间进行扩散，实现了效率和质量的优秀平衡，成为当前最流行的生成模型架构之一。下一章，我们将探讨如何将这些技术扩展到视频生成领域。 + +[← 返回目录](index.md) | 第10章 / 共14章 | [下一章 →](chapter11.md) \ No newline at end of file diff --git a/chapter11.md b/chapter11.md new file mode 100644 index 0000000..06dacc1 --- /dev/null +++ b/chapter11.md @@ -0,0 +1,1556 @@ +[← 返回目录](index.md) | 第11章 / 共14章 | [下一章 →](chapter12.md) + +# 第11章：视频扩散模型 + +视频生成是扩散模型面临的最具挑战性的任务之一。与静态图像不同，视频需要在时间维度上保持连贯性，同时处理更高维度的数据。本章将深入探讨视频扩散模型的核心技术，从时序建模的基本原理到3D架构设计，再到运动动力学的建模。您将学习如何处理时间一致性、运动模糊、长程依赖等视频特有的挑战，并掌握设计高效视频生成系统的关键技术。通过本章的学习，您将理解Sora、Runway等前沿视频生成模型背后的技术原理。 + +## 章节大纲 + +### 11.1 视频生成的挑战与机遇 +- 时序一致性要求 +- 计算和内存瓶颈 +- 运动表示与建模 +- 数据集与评估指标 + +### 11.2 时序扩散模型架构 +- 3D U-Net与因子化卷积 +- 时空注意力机制 +- 帧间信息传播 +- 分层时序建模 + +### 11.3 条件控制与运动引导 +- 文本到视频生成 +- 图像动画化 +- 运动轨迹控制 +- 风格与内容解耦 + +### 11.4 高效训练与推理策略 +- 视频压缩与潜在空间 +- 级联生成框架 +- 帧插值与超分辨率 +- 分布式训练技术 + +### 11.5 应用案例与未来方向 +- 视频编辑与修复 +- 虚拟现实内容生成 +- 实时视频合成 +- 多模态视频理解 + +## 11.1 视频生成的挑战与机遇 + +### 11.1.1 时序一致性要求 + +视频生成的核心挑战是保持时间上的连贯性： + +**1. 对象持续性**： +- 物体身份在帧间保持一致 +- 外观特征（颜色、纹理）稳定 +- 形状变化符合物理规律 + +**2. 运动连续性**： +- 轨迹平滑自然 +- 速度和加速度合理 +- 遮挡关系正确 + +**3. 光照一致性**： +- 阴影随物体移动 +- 反射和高光稳定 +- 环境光照渐变 + +```python +class TemporalConsistencyLoss(nn.Module): + """时序一致性损失""" + def __init__(self, flow_model=None): + super().__init__() + self.flow_model = flow_model # 光流估计模型 + self.perceptual = lpips.LPIPS(net='vgg') + + def forward(self, video_pred, video_gt=None): + """ + video_pred: [B, T, C, H, W] + """ + losses = {} + + # 1. 短程一致性（相邻帧） + frame_diff = video_pred[:, 1:] - video_pred[:, :-1] + losses['short_term'] = torch.abs(frame_diff).mean() + + # 2. 光流一致性 + if self.flow_model is not None: + for t in range(video_pred.shape[1] - 1): + flow = self.flow_model(video_pred[:, t], video_pred[:, t+1]) + warped = self.warp_frame(video_pred[:, t], flow) + losses[f'flow_{t}'] = F.l1_loss(warped, video_pred[:, t+1]) + + # 3. 感知一致性 + perceptual_loss = 0 + for t in range(video_pred.shape[1] - 1): + perceptual_loss += self.perceptual( + video_pred[:, t], + video_pred[:, t+1] + ).mean() + losses['perceptual'] = perceptual_loss + + return losses +``` + +💡 **关键洞察：时序正则化的重要性** +单纯的帧级损失会导致闪烁。必须显式地鼓励时序平滑性，但过度平滑会失去运动细节。平衡是关键。 + +### 11.1.2 计算和内存瓶颈 + +视频数据的高维特性带来巨大挑战： + +**维度爆炸**： +- 图像：`[B, C, H, W]` → 4D张量 +- 视频：`[B, T, C, H, W]` → 5D张量 +- 内存需求：T倍增长 + +**计算复杂度分析**： +```python +def estimate_video_memory(batch_size, frames, height, width, channels=3): + """估算视频模型内存需求""" + # 输入视频 + input_size = batch_size * frames * channels * height * width * 4 # float32 + + # 3D卷积特征（假设最大通道数1024） + feature_size = batch_size * frames * 1024 * (height//8) * (width//8) * 4 + + # 时空注意力 + seq_len = frames * (height//16) * (width//16) + attention_size = batch_size * seq_len * seq_len * 4 + + total_gb = (input_size + feature_size + attention_size) / (1024**3) + + print(f"输入: {input_size / 1024**3:.2f} GB") + print(f"特征: {feature_size / 1024**3:.2f} GB") + print(f"注意力: {attention_size / 1024**3:.2f} GB") + print(f"总计: {total_gb:.2f} GB") + + return total_gb + +# 示例：16帧 512x512 视频 +estimate_video_memory(1, 16, 512, 512) +# 输出：总计约 20GB！ +``` + +🔬 **研究线索：高效时空表示** +如何设计更高效的时空表示？分解方法（空间+时间）、稀疏表示、或是全新的架构？这是活跃的研究领域。 + +### 11.1.3 运动表示与建模 + +**运动的多尺度特性**： +1. **像素级运动**：光流、形变场 +2. **对象级运动**：轨迹、旋转、缩放 +3. **场景级运动**：相机运动、视角变化 + +**运动表示方法**： +```python +class MotionRepresentation: + """不同的运动表示方法""" + + @staticmethod + def optical_flow(frame1, frame2): + """光流表示""" + # 使用预训练的光流模型 + flow = flow_model(frame1, frame2) + return flow # [B, 2, H, W] + + @staticmethod + def motion_patches(video): + """运动块表示""" + # 计算时空梯度 + dt = video[:, 1:] - video[:, :-1] # 时间导数 + dx = video[:, :, :, :, 1:] - video[:, :, :, :, :-1] # 空间导数x + dy = video[:, :, :, 1:] - video[:, :, :, :-1] # 空间导数y + + # 运动能量 + motion_energy = torch.sqrt(dt**2 + dx**2 + dy**2) + return motion_energy + + @staticmethod + def trajectory_encoding(keypoints_sequence): + """轨迹编码""" + # 将关键点序列编码为轨迹特征 + velocities = keypoints_sequence[1:] - keypoints_sequence[:-1] + accelerations = velocities[1:] - velocities[:-1] + + return { + 'positions': keypoints_sequence, + 'velocities': velocities, + 'accelerations': accelerations + } +``` + +### 11.1.4 数据集与评估指标 + +**主要数据集**： + +| 数据集 | 规模 | 分辨率 | 特点 | +|--------|------|---------|------| +| UCF-101 | 13K videos | 240p | 人类动作 | +| Kinetics | 650K videos | 变化 | 多样动作 | +| WebVid-10M | 10M videos | 360p | 文本配对 | +| HD-VILA-100M | 100M videos | 720p | 高质量 | + +**评估指标**： +```python +class VideoMetrics: + """视频生成质量评估""" + + def __init__(self): + self.i3d_model = load_i3d_model() # 用于FVD + self.flow_model = load_flow_model() # 用于时序指标 + + def fvd(self, real_videos, fake_videos): + """Fréchet Video Distance""" + # 提取I3D特征 + real_features = self.i3d_model(real_videos) + fake_features = self.i3d_model(fake_videos) + + # 计算FVD（类似FID） + mu_real = real_features.mean(0) + mu_fake = fake_features.mean(0) + sigma_real = torch.cov(real_features.T) + sigma_fake = torch.cov(fake_features.T) + + return calculate_frechet_distance( + mu_real, sigma_real, mu_fake, sigma_fake + ) + + def temporal_consistency(self, video): + """时序一致性评分""" + consistency_scores = [] + + for t in range(len(video) - 1): + # 计算光流 + flow = self.flow_model(video[t], video[t+1]) + + # warp误差 + warped = warp_frame(video[t], flow) + error = torch.abs(warped - video[t+1]).mean() + + consistency_scores.append(1.0 / (1.0 + error)) + + return torch.tensor(consistency_scores).mean() +``` + +
+**练习 11.1：分析视频生成的挑战** + +深入理解视频生成的独特挑战。 + +1. **时序建模实验**： + - 实现简单的帧插值基线 + - 测试不同的时序一致性损失 + - 分析失败案例（闪烁、漂移等） + +2. **内存优化探索**： + - 比较不同的视频表示（RGB vs 光流） + - 实现梯度检查点减少内存 + - 测试混合精度训练效果 + +3. **运动分析**： + - 可视化不同类型的运动模式 + - 实现运动分解（全局vs局部） + - 研究运动先验的作用 + +4. **数据集构建**： + - 设计视频质量筛选pipeline + - 实现高效的视频预处理 + - 创建专门的评测基准 + +
+ +### 11.1.5 视频扩散的独特机遇 + +**1. 强大的时序先验**： +- 物理规律（重力、惯性） +- 因果关系 +- 周期性模式 + +**2. 多模态信息**： +- 视觉+音频同步 +- 文本描述的时序结构 +- 动作标签序列 + +**3. 分层表示**： +```python +class HierarchicalVideoRepresentation: + """分层视频表示""" + + def __init__(self): + self.scene_encoder = SceneEncoder() # 场景级 + self.object_encoder = ObjectEncoder() # 对象级 + self.motion_encoder = MotionEncoder() # 运动级 + self.texture_encoder = TextureEncoder() # 纹理级 + + def encode(self, video): + # 分层编码 + scene_features = self.scene_encoder(video) + object_features = self.object_encoder(video) + motion_features = self.motion_encoder(video) + texture_features = self.texture_encoder(video) + + return { + 'scene': scene_features, # 全局场景信息 + 'objects': object_features, # 对象身份和位置 + 'motion': motion_features, # 运动模式 + 'texture': texture_features # 精细纹理细节 + } +``` + +🌟 **前沿思考：视频理解与生成的统一** +视频理解模型（如VideoMAE）的表示能否直接用于生成？如何设计既能理解又能生成的统一架构？ + +### 11.1.6 技术路线选择 + +**主要技术路线对比**： + +1. **直接3D扩散**： + - 优点：端到端建模 + - 缺点：计算量巨大 + +2. **级联生成**： + - 优点：分而治之，易于控制 + - 缺点：误差累积 + +3. **潜在空间扩散**： + - 优点：高效 + - 缺点：需要好的视频编码器 + +4. **混合方法**： + ```python + class HybridVideoGeneration: + def __init__(self): + # 关键帧生成器（2D扩散） + self.keyframe_generator = ImageDiffusion() + + # 运动生成器（轻量3D） + self.motion_generator = MotionDiffusion() + + # 细节填充器 + self.detail_filler = DetailRefinement() + + def generate(self, text_prompt, num_frames): + # 1. 生成关键帧 + keyframes = self.keyframe_generator( + text_prompt, + num_keyframes=num_frames // 4 + ) + + # 2. 生成运动 + motion = self.motion_generator( + keyframes, + text_prompt + ) + + # 3. 填充细节 + full_video = self.detail_filler( + keyframes, + motion + ) + + return full_video + ``` + +接下来，我们将深入探讨具体的模型架构设计... + +## 11.2 时序扩散模型架构 + +### 11.2.1 3D U-Net与因子化卷积 + +将2D U-Net扩展到3D是最直接的方法，但需要仔细设计以控制参数量： + +**完整3D卷积**： +```python +class Full3DConv(nn.Module): + """完整的3D卷积块""" + def __init__(self, in_channels, out_channels, kernel_size=3): + super().__init__() + self.conv = nn.Conv3d( + in_channels, + out_channels, + kernel_size=(kernel_size, kernel_size, kernel_size), + padding=kernel_size//2 + ) + + def forward(self, x): + # x: [B, C, T, H, W] + return self.conv(x) +``` + +**因子化卷积（更高效）**： +```python +class FactorizedConv3D(nn.Module): + """(2+1)D因子化卷积：空间卷积 + 时间卷积""" + def __init__(self, in_channels, out_channels, spatial_kernel=3, temporal_kernel=3): + super().__init__() + # 空间卷积 + self.spatial_conv = nn.Conv3d( + in_channels, + out_channels, + kernel_size=(1, spatial_kernel, spatial_kernel), + padding=(0, spatial_kernel//2, spatial_kernel//2) + ) + + # 时间卷积 + self.temporal_conv = nn.Conv3d( + out_channels, + out_channels, + kernel_size=(temporal_kernel, 1, 1), + padding=(temporal_kernel//2, 0, 0) + ) + + self.norm = nn.GroupNorm(32, out_channels) + self.activation = nn.SiLU() + + def forward(self, x): + # 先空间后时间 + x = self.spatial_conv(x) + x = self.temporal_conv(x) + x = self.norm(x) + x = self.activation(x) + return x +``` + +**伪3D卷积（Pseudo-3D）**： +```python +class Pseudo3DBlock(nn.Module): + """交替进行2D空间和1D时间处理""" + def __init__(self, channels, num_frames): + super().__init__() + # 空间处理（跨帧共享） + self.spatial_block = ResBlock2D(channels) + + # 时间混合 + self.temporal_mixer = nn.Conv1d( + channels * num_frames, + channels * num_frames, + kernel_size=3, + padding=1, + groups=channels # 按通道分组 + ) + + def forward(self, x): + # x: [B, C, T, H, W] + B, C, T, H, W = x.shape + + # 空间处理：合并batch和time维度 + x_2d = rearrange(x, 'b c t h w -> (b t) c h w') + x_2d = self.spatial_block(x_2d) + x = rearrange(x_2d, '(b t) c h w -> b c t h w', b=B, t=T) + + # 时间混合：将空间维度展平 + x_1d = rearrange(x, 'b c t h w -> b (c h w) t') + x_1d = self.temporal_mixer(x_1d) + x = rearrange(x_1d, 'b (c h w) t -> b c t h w', c=C, h=H, w=W) + + return x +``` + +💡 **设计权衡：计算效率 vs 表达能力** +- 完整3D：最强表达力，计算量 O(k³) +- 因子化：平衡选择，计算量 O(k² + k) +- 伪3D：最高效，但时空交互受限 + +### 11.2.2 时空注意力机制 + +注意力在视频模型中至关重要，但需要精心设计以控制复杂度： + +**全时空注意力（计算密集）**： +```python +class FullSpatioTemporalAttention(nn.Module): + """对所有时空位置计算注意力""" + def __init__(self, dim, heads=8): + super().__init__() + self.attention = nn.MultiheadAttention(dim, heads) + + def forward(self, x): + # x: [B, C, T, H, W] + B, C, T, H, W = x.shape + + # 展平为序列 + x = rearrange(x, 'b c t h w -> b (t h w) c') + + # 自注意力（复杂度：O(T²H²W²)） + x, _ = self.attention(x, x, x) + + # 恢复形状 + x = rearrange(x, 'b (t h w) c -> b c t h w', t=T, h=H, w=W) + return x +``` + +**分解的时空注意力（高效）**： +```python +class FactorizedSpatioTemporalAttention(nn.Module): + """先空间注意力，后时间注意力""" + def __init__(self, dim, spatial_heads=8, temporal_heads=4): + super().__init__() + self.spatial_attn = SpatialAttention(dim, spatial_heads) + self.temporal_attn = TemporalAttention(dim, temporal_heads) + + def forward(self, x): + # x: [B, C, T, H, W] + + # 空间注意力（在每帧内） + x = self.spatial_attn(x) + + # 时间注意力（跨帧） + x = self.temporal_attn(x) + + return x + +class SpatialAttention(nn.Module): + def __init__(self, dim, heads): + super().__init__() + self.attention = nn.MultiheadAttention(dim, heads) + + def forward(self, x): + B, C, T, H, W = x.shape + + # 对每帧独立计算空间注意力 + outputs = [] + for t in range(T): + frame = x[:, :, t, :, :] # [B, C, H, W] + frame = rearrange(frame, 'b c h w -> b (h w) c') + frame_out, _ = self.attention(frame, frame, frame) + frame_out = rearrange(frame_out, 'b (h w) c -> b c h w', h=H, w=W) + outputs.append(frame_out) + + return torch.stack(outputs, dim=2) + +class TemporalAttention(nn.Module): + def __init__(self, dim, heads): + super().__init__() + self.attention = nn.MultiheadAttention(dim, heads) + + def forward(self, x): + B, C, T, H, W = x.shape + + # 对每个空间位置计算时间注意力 + x = rearrange(x, 'b c t h w -> (b h w) t c') + x, _ = self.attention(x, x, x) + x = rearrange(x, '(b h w) t c -> b c t h w', b=B, h=H, w=W) + + return x +``` + +**分块时空注意力（内存友好）**： +```python +class WindowedSpatioTemporalAttention(nn.Module): + """窗口内的时空注意力，类似Video Swin Transformer""" + def __init__(self, dim, window_size=(4, 7, 7), heads=8): + super().__init__() + self.window_size = window_size + self.attention = nn.MultiheadAttention(dim, heads) + + def forward(self, x): + # x: [B, C, T, H, W] + B, C, T, H, W = x.shape + Tw, Hw, Ww = self.window_size + + # 划分窗口 + x = rearrange(x, 'b c (tw nw) (hw ph) (ww pw) -> b (nw ph pw) (tw hw ww) c', + tw=Tw, hw=Hw, ww=Ww) + + # 窗口内注意力 + x, _ = self.attention(x, x, x) + + # 恢复形状 + x = rearrange(x, 'b (nw ph pw) (tw hw ww) c -> b c (tw nw) (hw ph) (ww pw)', + tw=Tw, hw=Hw, ww=Ww, nw=T//Tw, ph=H//Hw, pw=W//Ww) + + return x +``` + +🔬 **研究方向：自适应注意力模式** +能否学习数据相关的注意力模式？例如，快速运动区域使用密集时间注意力，静态区域使用稀疏注意力。 + +### 11.2.3 帧间信息传播 + +确保信息在帧间有效流动是关键： + +**循环连接**： +```python +class RecurrentPropagation(nn.Module): + """使用循环结构传播时序信息""" + def __init__(self, hidden_dim): + super().__init__() + self.hidden_dim = hidden_dim + self.gru = nn.GRU(hidden_dim, hidden_dim, batch_first=True) + + def forward(self, x): + # x: [B, C, T, H, W] + B, C, T, H, W = x.shape + + # 空间pooling获得帧级特征 + frame_features = x.mean(dim=(3, 4)) # [B, C, T] + frame_features = frame_features.transpose(1, 2) # [B, T, C] + + # GRU处理 + hidden_states, _ = self.gru(frame_features) + + # 广播回空间维度 + hidden_states = hidden_states.transpose(1, 2) # [B, C, T] + hidden_states = hidden_states.unsqueeze(3).unsqueeze(4) + hidden_states = hidden_states.expand(-1, -1, -1, H, W) + + return x + hidden_states +``` + +**双向传播**： +```python +class BidirectionalPropagation(nn.Module): + """双向传播确保前后文信息""" + def __init__(self, channels): + super().__init__() + self.forward_conv = nn.Conv3d( + channels, channels, + kernel_size=(3, 1, 1), + padding=(1, 0, 0) + ) + self.backward_conv = nn.Conv3d( + channels, channels, + kernel_size=(3, 1, 1), + padding=(1, 0, 0) + ) + + def forward(self, x): + # 前向传播 + forward_out = self.forward_conv(x) + + # 后向传播（翻转时间维度） + x_flip = torch.flip(x, dims=[2]) + backward_out = self.backward_conv(x_flip) + backward_out = torch.flip(backward_out, dims=[2]) + + # 融合双向信息 + return x + 0.5 * (forward_out + backward_out) +``` + +
+**练习 11.2：设计高效的视频架构** + +探索不同的架构设计选择。 + +1. **架构比较**： + - 实现3种不同的3D卷积变体 + - 比较参数量、FLOPs和内存使用 + - 在小数据集上测试性能 + +2. **注意力优化**： + - 实现稀疏注意力模式 + - 测试不同的分解策略 + - 分析注意力图的时空模式 + +3. **信息流分析**： + - 可视化特征在时间维度的传播 + - 测量有效感受野 + - 识别信息瓶颈 + +4. **混合架构设计**： + - 结合CNN和Transformer的优势 + - 设计自适应的计算分配 + - 探索早期融合vs晚期融合 + +
+ +### 11.2.4 分层时序建模 + +不同时间尺度需要不同的处理策略： + +```python +class HierarchicalTemporalModeling(nn.Module): + """多尺度时序建模""" + def __init__(self, base_channels=256): + super().__init__() + + # 短程建模（1-2帧） + self.short_term = ShortTermModule(base_channels) + + # 中程建模（4-8帧） + self.mid_term = MidTermModule(base_channels * 2) + + # 长程建模（16+帧） + self.long_term = LongTermModule(base_channels * 4) + + def forward(self, x): + # x: [B, C, T, H, W] + + # 短程特征 + short_features = self.short_term(x) + + # 中程特征（降采样时间维度） + x_mid = F.avg_pool3d(x, kernel_size=(2, 1, 1)) + mid_features = self.mid_term(x_mid) + mid_features = F.interpolate(mid_features, size=x.shape[2:]) + + # 长程特征（更激进的降采样） + x_long = F.avg_pool3d(x, kernel_size=(4, 2, 2)) + long_features = self.long_term(x_long) + long_features = F.interpolate(long_features, size=x.shape[2:]) + + # 多尺度融合 + return short_features + mid_features + long_features + +class ShortTermModule(nn.Module): + """处理快速运动和细节变化""" + def __init__(self, channels): + super().__init__() + self.conv = nn.Conv3d( + channels, channels, + kernel_size=(3, 3, 3), + padding=(1, 1, 1) + ) + + def forward(self, x): + return self.conv(x) + +class MidTermModule(nn.Module): + """处理对象运动和交互""" + def __init__(self, channels): + super().__init__() + self.temporal_conv = nn.Conv3d( + channels, channels, + kernel_size=(5, 1, 1), + padding=(2, 0, 0) + ) + self.spatial_attn = SpatialAttention(channels, heads=8) + + def forward(self, x): + x = self.temporal_conv(x) + x = self.spatial_attn(x) + return x + +class LongTermModule(nn.Module): + """处理场景变化和全局模式""" + def __init__(self, channels): + super().__init__() + self.temporal_attn = nn.MultiheadAttention(channels, num_heads=8) + + def forward(self, x): + B, C, T, H, W = x.shape + # 全局池化空间维度 + x_pooled = x.mean(dim=(3, 4)) # [B, C, T] + x_pooled = x_pooled.permute(2, 0, 1) # [T, B, C] + + # 时间注意力 + attn_out, _ = self.temporal_attn(x_pooled, x_pooled, x_pooled) + attn_out = attn_out.permute(1, 2, 0) # [B, C, T] + + # 广播回原始形状 + attn_out = attn_out.unsqueeze(3).unsqueeze(4).expand(-1, -1, -1, H, W) + + return attn_out +``` + +### 11.2.5 Video DiT架构 + +将DiT扩展到视频领域： + +```python +class VideoDiT(nn.Module): + """Video Diffusion Transformer""" + def __init__( + self, + spatial_patch_size=8, + temporal_patch_size=2, + in_channels=3, + hidden_size=768, + depth=12, + num_heads=12, + mlp_ratio=4.0, + ): + super().__init__() + self.spatial_patch_size = spatial_patch_size + self.temporal_patch_size = temporal_patch_size + + # 时空patchify + self.patchify = nn.Conv3d( + in_channels, + hidden_size, + kernel_size=(temporal_patch_size, spatial_patch_size, spatial_patch_size), + stride=(temporal_patch_size, spatial_patch_size, spatial_patch_size) + ) + + # 位置编码 + self.pos_embed = nn.Parameter(torch.zeros(1, 1, hidden_size)) + + # Transformer块 + self.blocks = nn.ModuleList([ + DiTBlock(hidden_size, num_heads, mlp_ratio) + for _ in range(depth) + ]) + + # 输出投影 + self.final_layer = FinalLayer(hidden_size, spatial_patch_size, temporal_patch_size) + + def forward(self, x, t, y=None): + # x: [B, C, T, H, W] + # t: 时间步 + # y: 条件（如类别标签） + + # Patchify + x = self.patchify(x) # [B, hidden_size, T', H', W'] + x = rearrange(x, 'b c t h w -> b (t h w) c') + + # 添加位置编码 + x = x + self.pos_embed + + # 时间和条件编码 + t_emb = timestep_embedding(t, self.hidden_size) + if y is not None: + y_emb = self.class_embedder(y) + c = t_emb + y_emb + else: + c = t_emb + + # Transformer处理 + for block in self.blocks: + x = block(x, c) + + # 输出 + x = self.final_layer(x, c) + + # Unpatchify + x = rearrange(x, 'b (t h w) c -> b c t h w', + t=T//self.temporal_patch_size, + h=H//self.spatial_patch_size, + w=W//self.spatial_patch_size) + + return x +``` + +🌟 **前沿探索：视频生成的扩展定律** +DiT证明了图像生成的扩展定律。视频生成是否有类似规律？时间维度如何影响扩展？这是开放的研究问题。 + +### 11.2.6 轻量级视频架构 + +对于实时或移动应用，需要更轻量的设计： + +```python +class LightweightVideoGenerator(nn.Module): + """轻量级视频生成架构""" + def __init__(self, base_channels=64): + super().__init__() + + # 共享的2D backbone + self.shared_backbone = MobileNetV3() + + # 轻量时间建模 + self.temporal_module = DepthwiseSeparableConv3D( + base_channels, base_channels + ) + + # 运动预测头 + self.motion_head = nn.Conv3d( + base_channels, 2, # 2D motion vectors + kernel_size=1 + ) + + def forward(self, x): + B, C, T, H, W = x.shape + + # 使用共享backbone处理每帧 + features = [] + for t in range(T): + feat = self.shared_backbone(x[:, :, t]) + features.append(feat) + features = torch.stack(features, dim=2) + + # 轻量时间处理 + temporal_features = self.temporal_module(features) + + # 预测运动 + motion = self.motion_head(temporal_features) + + # 基于运动的高效生成 + output = self.motion_based_synthesis(x[:, :, 0], motion) + + return output + +class DepthwiseSeparableConv3D(nn.Module): + """深度可分离3D卷积""" + def __init__(self, in_channels, out_channels): + super().__init__() + # 深度卷积 + self.depthwise = nn.Conv3d( + in_channels, in_channels, + kernel_size=3, padding=1, + groups=in_channels + ) + # 逐点卷积 + self.pointwise = nn.Conv3d( + in_channels, out_channels, + kernel_size=1 + ) + + def forward(self, x): + x = self.depthwise(x) + x = self.pointwise(x) + return x +``` + +💡 **实践建议：架构选择指南** +- 高质量离线生成：使用完整3D架构 +- 实时应用：使用因子化或伪3D +- 移动设备：使用共享backbone + 轻量时间模块 +- 长视频：使用分层架构避免内存爆炸 + +## 11.3 条件控制与运动引导 + +### 11.3.1 文本到视频生成 + +文本条件是视频生成最重要的控制方式： + +**时序感知的文本编码**： +```python +class TemporalTextEncoder(nn.Module): + """编码包含时序信息的文本描述""" + def __init__(self, base_encoder='clip', temporal_layers=4): + super().__init__() + # 基础文本编码器 + if base_encoder == 'clip': + self.text_encoder = CLIPTextModel.from_pretrained('openai/clip-vit-large-patch14') + elif base_encoder == 't5': + self.text_encoder = T5EncoderModel.from_pretrained('t5-large') + + # 时序增强层 + self.temporal_layers = nn.ModuleList([ + nn.TransformerEncoderLayer( + d_model=768, + nhead=8, + dim_feedforward=3072 + ) for _ in range(temporal_layers) + ]) + + # 时序标记 + self.temporal_tokens = nn.Parameter(torch.randn(1, 16, 768)) # 16个时序位置 + + def forward(self, text, frame_indices=None): + # 基础文本编码 + text_features = self.text_encoder(text).last_hidden_state + + # 添加时序标记 + if frame_indices is not None: + # 根据帧索引选择时序标记 + temporal_embeds = self.temporal_tokens[:, frame_indices] + text_features = text_features + temporal_embeds + + # 时序增强 + for layer in self.temporal_layers: + text_features = layer(text_features) + + return text_features +``` + +**动作词提取与对齐**： +```python +class ActionAlignment(nn.Module): + """对齐文本中的动作描述与视频时序""" + def __init__(self): + super().__init__() + # 动作词检测 + self.action_detector = ActionWordDetector() + + # 时序分配网络 + self.temporal_allocator = nn.Sequential( + nn.Linear(768, 512), + nn.ReLU(), + nn.Linear(512, 256), + nn.ReLU(), + nn.Linear(256, 1), # 预测时间位置 + nn.Sigmoid() + ) + + def forward(self, text_features, num_frames): + # 检测动作词 + action_masks = self.action_detector(text_features) + action_features = text_features * action_masks.unsqueeze(-1) + + # 分配到时间轴 + temporal_positions = self.temporal_allocator(action_features) + temporal_positions = temporal_positions * num_frames + + # 生成时序attention mask + attention_weights = self.gaussian_attention( + temporal_positions, + num_frames, + sigma=2.0 + ) + + return attention_weights + + def gaussian_attention(self, centers, length, sigma): + """生成高斯形状的注意力权重""" + positions = torch.arange(length).float() + weights = [] + + for center in centers: + weight = torch.exp(-(positions - center)**2 / (2 * sigma**2)) + weights.append(weight) + + return torch.stack(weights) +``` + +💡 **关键技巧：时序提示工程** +有效的视频生成提示需要包含： +- 明确的时序词汇（"首先"、"然后"、"最后"） +- 动作的持续时间（"缓慢地"、"快速地"） +- 运动方向（"从左到右"、"向上"） + +### 11.3.2 图像动画化 + +将静态图像转换为动态视频： + +**图像编码与运动预测**： +```python +class Image2Video(nn.Module): + """图像到视频生成""" + def __init__(self, image_encoder, motion_predictor, video_decoder): + super().__init__() + self.image_encoder = image_encoder + self.motion_predictor = motion_predictor + self.video_decoder = video_decoder + + def forward(self, image, text_prompt=None, num_frames=16): + # 编码输入图像 + image_features = self.image_encoder(image) + + # 预测运动模式 + if text_prompt is not None: + # 文本引导的运动 + motion_params = self.motion_predictor( + image_features, + text_prompt + ) + else: + # 自动运动预测 + motion_params = self.motion_predictor(image_features) + + # 生成视频帧 + frames = [image] # 第一帧是原始图像 + current_features = image_features + + for t in range(1, num_frames): + # 应用运动 + current_features = self.apply_motion( + current_features, + motion_params, + t + ) + + # 解码为图像 + frame = self.video_decoder(current_features) + frames.append(frame) + + return torch.stack(frames, dim=1) + + def apply_motion(self, features, motion_params, t): + """应用运动变换""" + # 提取运动参数 + translation = motion_params['translation'] * t + rotation = motion_params['rotation'] * t + scaling = motion_params['scaling'] ** t + + # 应用空间变换 + transformed = self.spatial_transform( + features, + translation, + rotation, + scaling + ) + + return transformed +``` + +**运动类型分解**： +```python +class MotionDecomposition(nn.Module): + """将复杂运动分解为基本组件""" + def __init__(self): + super().__init__() + # 全局运动（相机运动） + self.global_motion = GlobalMotionPredictor() + + # 局部运动（对象运动） + self.local_motion = LocalMotionPredictor() + + # 形变运动（非刚性变形） + self.deformation = DeformationPredictor() + + def forward(self, image_features, motion_type='mixed'): + motions = {} + + if motion_type in ['global', 'mixed']: + # 预测相机运动 + motions['camera'] = self.global_motion(image_features) + + if motion_type in ['local', 'mixed']: + # 预测对象运动 + motions['objects'] = self.local_motion(image_features) + + if motion_type in ['deform', 'mixed']: + # 预测形变 + motions['deformation'] = self.deformation(image_features) + + return motions + +class GlobalMotionPredictor(nn.Module): + """预测相机运动参数""" + def __init__(self): + super().__init__() + self.encoder = nn.Sequential( + nn.Conv2d(256, 512, 3, 2, 1), + nn.ReLU(), + nn.Conv2d(512, 1024, 3, 2, 1), + nn.ReLU(), + nn.AdaptiveAvgPool2d(1) + ) + + self.predictor = nn.Sequential( + nn.Linear(1024, 512), + nn.ReLU(), + nn.Linear(512, 6) # 6-DOF相机运动 + ) + + def forward(self, features): + encoded = self.encoder(features).squeeze(-1).squeeze(-1) + motion_params = self.predictor(encoded) + + return { + 'translation': motion_params[:, :3], + 'rotation': motion_params[:, 3:] + } +``` + +🔬 **研究挑战：运动的歧义性** +同一张图像可能对应多种合理的运动。如何处理这种多模态性？可以使用变分方法或条件流匹配来建模运动分布。 + +### 11.3.3 运动轨迹控制 + +精确控制视频中的运动路径： + +**轨迹表示与编码**： +```python +class TrajectoryEncoder(nn.Module): + """编码用户指定的运动轨迹""" + def __init__(self, hidden_dim=256): + super().__init__() + # 轨迹点编码 + self.point_encoder = nn.Sequential( + nn.Linear(2, 64), # 2D坐标 + nn.ReLU(), + nn.Linear(64, hidden_dim) + ) + + # 时序编码 + self.temporal_encoder = nn.LSTM( + hidden_dim, + hidden_dim, + num_layers=2, + bidirectional=True + ) + + # 轨迹到特征图的映射 + self.trajectory_to_feature = nn.Conv2d( + hidden_dim * 2, # 双向LSTM + 256, + kernel_size=1 + ) + + def forward(self, trajectory_points, num_frames, feature_size): + # trajectory_points: [B, N, 2] N个轨迹点的坐标 + + # 编码轨迹点 + point_features = self.point_encoder(trajectory_points) + + # 时序编码 + lstm_out, _ = self.temporal_encoder(point_features) + + # 插值到目标帧数 + trajectory_features = F.interpolate( + lstm_out.transpose(1, 2), + size=num_frames, + mode='linear' + ).transpose(1, 2) + + # 转换为空间特征图 + spatial_features = self.render_trajectory_map( + trajectory_features, + trajectory_points, + feature_size + ) + + return spatial_features + + def render_trajectory_map(self, features, points, size): + """将轨迹渲染为特征图""" + H, W = size + feature_map = torch.zeros(features.shape[0], features.shape[-1], H, W) + + for b in range(features.shape[0]): + for t, (x, y) in enumerate(points[b]): + # 将轨迹点转换为特征图坐标 + x_idx = int(x * W) + y_idx = int(y * H) + + # 高斯散布 + self.gaussian_splat( + feature_map[b], + features[b, t], + x_idx, + y_idx, + sigma=3.0 + ) + + return feature_map +``` + +**稀疏控制点插值**： +```python +class SparseControlInterpolation(nn.Module): + """从稀疏控制点生成密集运动场""" + def __init__(self): + super().__init__() + self.flow_basis = FlowBasisNetwork() + self.interpolator = BilinearInterpolator() + + def forward(self, control_points, control_flows, image_size): + """ + control_points: [B, K, 2] K个控制点位置 + control_flows: [B, K, T, 2] 每个控制点的运动向量 + """ + B, K, T, _ = control_flows.shape + H, W = image_size + + # 生成流基函数 + basis_flows = self.flow_basis(control_points, image_size) + + # 稀疏到密集插值 + dense_flows = [] + for t in range(T): + # 当前时刻的控制流 + flows_t = control_flows[:, :, t, :] + + # 加权组合基函数 + weights = self.compute_weights(control_points, (H, W)) + dense_flow = torch.sum( + basis_flows * weights.unsqueeze(-1).unsqueeze(-1), + dim=1 + ) + + dense_flows.append(dense_flow) + + return torch.stack(dense_flows, dim=1) + +class DragGAN(nn.Module): + """基于拖拽的视频编辑""" + def __init__(self): + super().__init__() + self.feature_extractor = FeatureExtractor() + self.motion_predictor = MotionPredictor() + self.warping_module = WarpingModule() + + def forward(self, video, source_points, target_points): + """ + source_points: 用户选择的源点 + target_points: 用户拖拽的目标点 + """ + # 提取特征 + features = self.feature_extractor(video) + + # 预测整体运动场 + motion_field = self.motion_predictor( + features, + source_points, + target_points + ) + + # 应用运动 + edited_video = self.warping_module(video, motion_field) + + return edited_video +``` + +
+**练习 11.3：实现交互式视频控制** + +设计和实现各种视频控制机制。 + +1. **文本控制实验**： + - 实现时序感知的文本编码器 + - 测试不同的动作词对齐策略 + - 评估生成视频与文本的一致性 + +2. **运动轨迹设计**： + - 实现基于贝塞尔曲线的轨迹 + - 支持多对象独立轨迹 + - 处理轨迹冲突和遮挡 + +3. **交互式编辑**： + - 实现拖拽式视频编辑 + - 支持局部区域的运动控制 + - 保持未编辑区域的稳定性 + +4. **多模态控制**： + - 结合文本、轨迹、参考视频 + - 设计控制信号的融合策略 + - 处理冲突的控制指令 + +
+ +### 11.3.4 风格与内容解耦 + +分离视频的内容（什么）和风格（如何）： + +```python +class StyleContentDiSffusion(nn.Module): + """风格-内容解耦的视频扩散模型""" + def __init__(self): + super().__init__() + # 内容编码器（提取语义和结构） + self.content_encoder = ContentEncoder() + + # 风格编码器（提取视觉风格） + self.style_encoder = StyleEncoder() + + # 运动编码器（提取运动模式） + self.motion_encoder = MotionEncoder() + + # 解耦的去噪网络 + self.denoiser = DisentangledDenoiser() + + def forward(self, x_t, t, content_ref=None, style_ref=None, motion_ref=None): + # 提取各种参考特征 + if content_ref is not None: + content_features = self.content_encoder(content_ref) + else: + content_features = None + + if style_ref is not None: + style_features = self.style_encoder(style_ref) + else: + style_features = None + + if motion_ref is not None: + motion_features = self.motion_encoder(motion_ref) + else: + motion_features = None + + # 解耦去噪 + noise_pred = self.denoiser( + x_t, t, + content=content_features, + style=style_features, + motion=motion_features + ) + + return noise_pred + +class DisentangledDenoiser(nn.Module): + """支持风格-内容-运动解耦的去噪器""" + def __init__(self, base_channels=256): + super().__init__() + # 基础U-Net + self.unet = UNet3D(base_channels) + + # 条件注入模块 + self.content_inject = FiLMLayer(base_channels) + self.style_inject = AdaIN(base_channels) + self.motion_inject = SpatioTemporalModulation(base_channels) + + def forward(self, x_t, t, content=None, style=None, motion=None): + # 基础特征提取 + features = self.unet.encoder(x_t, t) + + # 注入各种条件 + if content is not None: + features = self.content_inject(features, content) + + if style is not None: + features = self.style_inject(features, style) + + if motion is not None: + features = self.motion_inject(features, motion) + + # 解码 + output = self.unet.decoder(features) + + return output +``` + +**时序一致的风格迁移**： +```python +class TemporalStyleTransfer(nn.Module): + """保持时序一致性的视频风格迁移""" + def __init__(self): + super().__init__() + self.style_extractor = VGGStyleExtractor() + self.temporal_consistency = TemporalConsistencyModule() + + def forward(self, content_video, style_image): + B, T, C, H, W = content_video.shape + + # 提取风格特征 + style_features = self.style_extractor(style_image) + + # 逐帧风格化 + stylized_frames = [] + prev_frame = None + + for t in range(T): + frame = content_video[:, t] + + # 应用风格 + stylized = self.apply_style(frame, style_features) + + # 保持时序一致性 + if prev_frame is not None: + stylized = self.temporal_consistency( + stylized, + prev_frame, + content_video[:, t-1], + content_video[:, t] + ) + + stylized_frames.append(stylized) + prev_frame = stylized + + return torch.stack(stylized_frames, dim=1) +``` + +### 11.3.5 细粒度属性控制 + +控制视频的特定属性： + +```python +class AttributeController(nn.Module): + """细粒度属性控制""" + def __init__(self, attributes=['speed', 'direction', 'intensity']): + super().__init__() + self.attributes = attributes + + # 每个属性的编码器 + self.encoders = nn.ModuleDict({ + attr: self.build_encoder(attr) + for attr in attributes + }) + + # 属性融合 + self.fusion = AttributeFusion(len(attributes)) + + def build_encoder(self, attribute): + if attribute == 'speed': + return SpeedEncoder() + elif attribute == 'direction': + return DirectionEncoder() + elif attribute == 'intensity': + return IntensityEncoder() + else: + return GenericAttributeEncoder() + + def forward(self, attribute_values): + encoded_attrs = {} + + for attr, value in attribute_values.items(): + if attr in self.encoders: + encoded_attrs[attr] = self.encoders[attr](value) + + # 融合所有属性 + control_signal = self.fusion(encoded_attrs) + + return control_signal + +class SpeedController(nn.Module): + """控制视频播放速度和运动速度""" + def __init__(self): + super().__init__() + self.speed_embedding = nn.Embedding(10, 256) # 10个速度级别 + self.temporal_modulator = TemporalModulator() + + def forward(self, video_features, speed_level): + # 获取速度嵌入 + speed_emb = self.speed_embedding(speed_level) + + # 调制时间维度 + modulated = self.temporal_modulator(video_features, speed_emb) + + return modulated +``` + +🌟 **前沿方向：可组合的视频控制** +如何设计一个统一框架，支持任意组合的控制信号（文本+轨迹+风格+属性）？这需要解决控制信号的对齐、融合和冲突解决。 + +### 11.3.6 物理约束与真实感 + +确保生成的运动符合物理规律： + +```python +class PhysicsAwareGeneration(nn.Module): + """物理感知的视频生成""" + def __init__(self): + super().__init__() + # 物理模拟器 + self.physics_engine = DifferentiablePhysics() + + # 物理参数预测 + self.physics_predictor = nn.Sequential( + nn.Conv3d(256, 128, 3, 1, 1), + nn.ReLU(), + nn.Conv3d(128, 64, 3, 1, 1), + nn.ReLU(), + nn.Conv3d(64, 5, 1) # 质量、摩擦、弹性等 + ) + + def forward(self, initial_state, num_frames): + # 预测物理参数 + physics_params = self.physics_predictor(initial_state) + + # 物理模拟 + states = [initial_state] + for t in range(1, num_frames): + # 应用物理规律 + next_state = self.physics_engine.step( + states[-1], + physics_params, + dt=1.0/30 # 30 FPS + ) + states.append(next_state) + + return torch.stack(states, dim=1) + +class DifferentiablePhysics(nn.Module): + """可微分的物理模拟""" + def __init__(self): + super().__init__() + + def step(self, state, params, dt): + # 提取物理量 + position = state['position'] + velocity = state['velocity'] + mass = params['mass'] + + # 计算力（重力、摩擦等） + forces = self.compute_forces(state, params) + + # 更新速度和位置（欧拉积分） + acceleration = forces / mass + new_velocity = velocity + acceleration * dt + new_position = position + new_velocity * dt + + # 处理碰撞 + new_position, new_velocity = self.handle_collisions( + new_position, + new_velocity, + params + ) + + return { + 'position': new_position, + 'velocity': new_velocity + } +``` + +通过这些条件控制机制，视频扩散模型可以生成高度可控和真实的动态内容。下一节将探讨如何高效地训练和部署这些模型。 \ No newline at end of file diff --git a/chapter3.md b/chapter3.md index 7a98961..63d72b4 100644 --- a/chapter3.md +++ b/chapter3.md @@ -59,7 +59,7 @@ DDPM的一个关键数学技巧是，我们可以直接从 $x_0$ 采样任意时 ### 3.2.2 噪声调度 (Noise Schedule) -噪声调度 $ \{\beta_t\} $ 的选择对模型性能有重要影响。 +噪声调度 $\{\beta_t\}$ 的选择对模型性能有重要影响。 > **定义：调度策略对比** > | 调度类型 | 特点 | 优势 | 劣势 | diff --git a/chapter5.md b/chapter5.md index 10a7033..ed3fed7 100644 --- a/chapter5.md +++ b/chapter5.md @@ -9,24 +9,24 @@ ### 5.1.1 离散过程的极限 让我们回顾DDPM的离散前向过程： -$$x_k = \sqrt{1-\beta_k} x_{k-1} + \sqrt{\beta_k} z_{k-1}, \quad z_{k-1} \sim \mathcal{N}(0, I)$$ -其中 `β_k` 是一个小的正数。当 `β_k` 趋近于0时，我们可以用泰勒展开近似 `sqrt(1 - β_k) ≈ 1 - β_k / 2`。于是，更新步骤可以写成： -$$x_k - x_{k-1} \approx -\frac{\beta_k}{2} x_{k-1} + \sqrt{\beta_k} z_{k-1}$$ -这看起来非常像一个微分方程的离散化形式。现在，我们将时间区间 `[0, T]` 分成 `N` 份，令 `Δt = T/N`，并设 `β_k = b(t_k)Δt`，其中 `b(t)` 是一个连续的函数。那么上式变为： -$$\frac{x(t_k) - x(t_{k-1})}{\Delta t} \approx -\frac{b(t_{k-1})}{2} x(t_{k-1}) + \sqrt{b(t_{k-1})} \frac{z_{k-1}}{\sqrt{\Delta t}}$$ -当 `N → ∞`（即 `Δt → 0`）时，左边变成了导数 `dx/dt`。而右边的随机项 `z_k / sqrt(Δt)`，根据中心极限定理的推广，其累积效应收敛到一个称为“白噪声”的随机过程，其积分就是布朗运动（Wiener Process）`W_t`。最终，我们得到了一个随机微分方程（SDE）： -$$dx_t = -\frac{b(t)}{2} x_t dt + \sqrt{b(t)} dW_t$$ +$x_k = \sqrt{1-\beta_k} x_{k-1} + \sqrt{\beta_k} z_{k-1}, \quad z_{k-1} \sim \mathcal{N}(0, I)$ +其中 $\beta_k$ 是一个小的正数。当 $\beta_k$ 趋近于0时，我们可以用泰勒展开近似 $\sqrt{1 - \beta_k} \approx 1 - \beta_k / 2$。于是，更新步骤可以写成： +$x_k - x_{k-1} \approx -\frac{\beta_k}{2} x_{k-1} + \sqrt{\beta_k} z_{k-1}$ +这看起来非常像一个微分方程的离散化形式。现在，我们将时间区间 $[0, T]$ 分成 $N$ 份，令 $\Delta t = T/N$，并设 $\beta_k = b(t_k)\Delta t$，其中 $b(t)$ 是一个连续的函数。那么上式变为： +$\frac{x(t_k) - x(t_{k-1})}{\Delta t} \approx -\frac{b(t_{k-1})}{2} x(t_{k-1}) + \sqrt{b(t_{k-1})} \frac{z_{k-1}}{\sqrt{\Delta t}}$ +当 $N \to \infty$（即 $\Delta t \to 0$）时，左边变成了导数 $dx/dt$。而右边的随机项 $z_k / \sqrt{\Delta t}$，根据中心极限定理的推广，其累积效应收敛到一个称为“白噪声”的随机过程，其积分就是布朗运动（Wiener Process）$W_t$。最终，我们得到了一个随机微分方程（SDE）： +$dx_t = -\frac{b(t)}{2} x_t dt + \sqrt{b(t)} dW_t$ 这就是DDPM在连续时间下的极限形式，被称为一种方差保持（Variance Preserving, VP）的SDE。 ### 5.1.2 SDE的统一框架 SDE为我们提供了一个统一的语言来描述各种扩散模型。一个通用的前向SDE可以写成： -$$dx_t = f(x_t, t) dt + g(t) dW_t$$ -其中 `f(x, t)` 称为漂移系数（drift coefficient），描述了数据演化的确定性趋势；`g(t)` 称为扩散系数（diffusion coefficient），控制着随机噪声的强度。 +$dx_t = f(x_t, t) dt + g(t) dW_t$ +其中 $f(x, t)$ 称为漂移系数（drift coefficient），描述了数据演化的确定性趋势；$g(t)$ 称为扩散系数（diffusion coefficient），控制着随机噪声的强度。 > **定义：SDE家族** -> - **VP-SDE (Variance Preserving)**：对应DDPM。`f(x,t) = -1/2 * β(t) * x`，`g(t) = sqrt(β(t))`。其特点是在演化过程中，如果初始数据方差为1，那么在任何时刻 `t`，数据方差都近似为1。 -> - **VE-SDE (Variance Exploding)**：对应NCSN。`f(x,t) = 0`，`g(t) = sqrt(d[σ^2(t)]/dt)`。其特点是数据均值不变，但方差随时间爆炸式增长。 +> - **VP-SDE (Variance Preserving)**：对应DDPM。$f(x,t) = -1/2 \beta(t) x$， $g(t) = \sqrt{\beta(t)}$。其特点是在演化过程中，如果初始数据方差为1，那么在任何时刻 $t$，数据方差都近似为1。 +> - **VE-SDE (Variance Exploding)**：对应NCSN。$f(x,t) = 0$， $g(t) = \sqrt{d[\sigma^2(t)]/dt}$。其特点是数据均值不变，但方差随时间爆炸式增长。 > - **sub-VP-SDE**：是VP-SDE的一个变体，具有更好的数值稳定性和理论性质。 💡 **开放问题**：VP和VE只是两种最常见的选择。是否存在其他形式的SDE，能在特定类型的数据（如具有周期性的时间序列、位于特殊流形上的数据）上实现更高效的生成？设计数据依赖的SDE是一个前沿研究方向。 @@ -36,54 +36,54 @@ $$dx_t = f(x_t, t) dt + g(t) dW_t$$ 如果前向SDE描述了数据如何被噪声破坏，那么我们如何构建一个反向的过程来从噪声中恢复数据呢？物理学家和数学家早在几十年前就解决了这个问题。 > **定理：Anderson反向时间SDE** -> 对于一个前向SDE `dx = f(x, t)dt + g(t)dW_t`，其对应的反向时间SDE（从时间 `T` 到 `0`）存在且唯一，形式如下： -> $$dx_t = [f(x_t, t) - g(t)^2 \nabla_{x_t} \log p_t(x_t)] dt + g(t) d\bar{W}_t$$ -> 其中 `d(bar(W)_t)` 是反向时间的布朗运动，而 `∇log p_t(x_t)` 就是我们在第四章学习过的**分数函数**！ +> 对于一个前向SDE $dx = f(x, t)dt + g(t)dW_t$，其对应的反向时间SDE（从时间 $T$ 到 $0$）存在且唯一，形式如下： +> $dx_t = [f(x_t, t) - g(t)^2 \nabla_{x_t} \log p_t(x_t)] dt + g(t) d\bar{W}_t$ +> 其中 $d\bar{W}_t$ 是反向时间的布朗运动，而 $\nabla_{x_t} \log p_t(x_t)$ 就是我们在第四章学习过的**分数函数**！ 这个定理是整个生成模型理论的基石。它告诉我们： 1. **反向过程是存在的**：从噪声恢复数据的过程在数学上是良定义的。 -2. **反向过程的核心是分数**：反向的漂移项 = 前向漂移项 - 噪声强度 * 分数。为了反转过程，我们必须在每个时刻 `t` 沿着能使概率密度 `p_t(x_t)` 增加最快的方向（即分数函数的方向）进行修正。 -3. **生成建模的核心任务**：因此，训练一个扩散模型的核心任务，就是学习所有时刻 `t` 的分数函数 `∇log p_t(x_t)`。这完美地将DDPM的去噪目标和NCSN的分数匹配目标统一了起来。 +2. **反向过程的核心是分数**：反向的漂移项 = 前向漂移项 - 噪声强度 * 分数。为了反转过程，我们必须在每个时刻 $t$ 沿着能使概率密度 $p_t(x_t)$ 增加最快的方向（即分数函数的方向）进行修正。 +3. **生成建模的核心任务**：因此，训练一个扩散模型的核心任务，就是学习所有时刻 $t$ 的分数函数 $\nabla_{x_t} \log p_t(x_t)$。这完美地将DDPM的去噪目标和NCSN的分数匹配目标统一了起来。 -⚡ **实现挑战**：分数函数 `∇log p_t(x_t)` 是未知的，且依赖于整个数据集在时刻 `t` 的分布。我们需要用一个神经网络 `s_θ(x_t, t)` 来近似它。这个网络被称为分数模型（score model）。 +⚡ **实现挑战**：分数函数 $\nabla_{x_t} \log p_t(x_t)$ 是未知的，且依赖于整个数据集在时刻 $t$ 的分布。我们需要用一个神经网络 $s_\theta(x_t, t)$ 来近似它。这个网络被称为分数模型（score model）。
练习 5.1：推导反向SDE -1. **VP-SDE的反向过程**：给定前向VP-SDE `dx = -1/2 * β(t) * x dt + sqrt(β(t)) * dW_t`，写出其对应的反向SDE表达式。 -2. **与DDPM的联系**：在DDPM中，我们训练模型 `ε_θ(x_t, t)` 来预测噪声。而在SDE框架下，我们训练模型 `s_θ(x_t, t)` 来预测分数。证明这两个模型之间存在一个简单的线性关系：`s_θ(x_t, t) = -ε_θ(x_t, t) / sqrt(1 - ᾱ_t)`。 +1. **VP-SDE的反向过程**：给定前向VP-SDE $dx = -1/2 \beta(t) x dt + \sqrt{\beta(t)} dW_t$，写出其对应的反向SDE表达式。 +2. **与DDPM的联系**：在DDPM中，我们训练模型 $\epsilon_\theta(x_t, t)$ 来预测噪声。而在SDE框架下，我们训练模型 $s_\theta(x_t, t)$ 来预测分数。证明这两个模型之间存在一个简单的线性关系：$s_\theta(x_t, t) = -\epsilon_\theta(x_t, t) / \sqrt{1 - \bar{\alpha}_t}$。 3. **研究思路**： - * Anderson定理的原始证明涉及随机微积分和测度论。可以查阅相关文献，理解其对概率密度函数 `p_t` 的光滑性要求。 - * 探索当 `g(t)` 是矩阵（各向异性噪声）时，反向SDE的形式如何变化。 + * Anderson定理的原始证明涉及随机微积分和测度论。可以查阅相关文献，理解其对概率密度函数 $p_t$ 的光滑性要求。 + * 探索当 $g(t)$ 是矩阵（各向异性噪声）时，反向SDE的形式如何变化。
## 5.3 概率流ODE：确定性的生成路径 -SDE的采样过程是随机的，意味着从同一个噪声 `x_T` 出发，每次得到的 `x_0` 都会略有不同。是否存在一种确定性的路径，也能将噪声映射到数据呢？答案是肯定的，这就是概率流（Probability Flow）ODE。 +SDE的采样过程是随机的，意味着从同一个噪声 $x_T$ 出发，每次得到的 $x_0$ 都会略有不同。是否存在一种确定性的路径，也能将噪声映射到数据呢？答案是肯定的，这就是概率流（Probability Flow）ODE。 > **定义：概率流ODE** -> 每一个SDE都存在一个与之对应的常微分方程（Ordinary Differential Equation, ODE），它具有与SDE完全相同的边缘概率密度 `p_t(x)`。这个ODE被称为概率流ODE： -> $$dx_t = [f(x_t, t) - \frac{1}{2} g(t)^2 \nabla_{x_t} \log p_t(x_t)] dt$$ -> 注意，这个ODE中没有了随机的 `dW_t` 项！ +> 每一个SDE都存在一个与之对应的常微分方程（Ordinary Differential Equation, ODE），它具有与SDE完全相同的边缘概率密度 $p_t(x)$。这个ODE被称为概率流ODE： +> $dx_t = [f(x_t, t) - \frac{1}{2} g(t)^2 \nabla_{x_t} \log p_t(x_t)] dt$ +> 注意，这个ODE中没有了随机的 $dW_t$ 项！ -概率流ODE的直观理解是，它描述了概率密度 `p_t(x)` 中“概率质量”的平均速度场。沿着这个速度场流动，样本的分布演化将和随机的SDE完全一样。 +概率流ODE的直观理解是，它描述了概率密度 $p_t(x)$ 中“概率质量”的平均速度场。沿着这个速度场流动，样本的分布演化将和随机的SDE完全一样。 **概率流ODE的优势**： -1. **确定性采样**：从一个 `x_T` 出发，总能得到完全相同的 `x_0`。这对于需要可复现生成的任务非常有用。 +1. **确定性采样**：从一个 $x_T$ 出发，总能得到完全相同的 $x_0$。这对于需要可复现生成的任务非常有用。 2. **更快的采样**：作为ODE，我们可以使用各种现成的高阶数值求解器（如Runge-Kutta法），可以用比SDE求解器少得多的步数（例如50-100步 vs 1000步）得到高质量的样本。这是DDIM等快速采样算法的理论基础。 -3. **精确的似然计算**：通过ODE的瞬时变量变换公式，可以精确计算出数据点 `x_0` 的对数似然，而SDE只能计算一个下界。 +3. **精确的似然计算**：通过ODE的瞬时变量变换公式，可以精确计算出数据点 $x_0$ 的对数似然，而SDE只能计算一个下界。 🌟 **理论空白**：SDE和ODE提供了两种不同的采样路径。SDE路径是随机的、高维的，而ODE路径是确定性的、低维的。这两种路径的几何性质有何不同？它们在数据流形上是如何移动的？理解这一点可能有助于设计出更优的采样算法。 ## 5.4 Fokker-Planck方程：从粒子到密度的演化 -SDE和ODE描述了单个数据点（粒子）的轨迹。如果我们想从宏观上描述整个概率密度 `p_t(x)` 的演化，就需要偏微分方程（Partial Differential Equation, PDE）的语言，这就是Fokker-Planck方程。 +SDE和ODE描述了单个数据点（粒子）的轨迹。如果我们想从宏观上描述整个概率密度 $p_t(x)$ 的演化，就需要偏微分方程（Partial Differential Equation, PDE）的语言，这就是Fokker-Planck方程。 > **定义：Fokker-Planck方程** -> 对于一个SDE `dx = f(x,t)dt + g(t)dW_t`，其概率密度 `p_t(x)` 的演化遵循Fokker-Planck方程： -> $$\frac{\partial p_t(x)}{\partial t} = -\nabla \cdot (f(x,t)p_t(x)) + \frac{1}{2} g(t)^2 \Delta p_t(x)$$ -> 其中 `∇·` 是散度算子，`Δ` 是拉普拉斯算子。 +> 对于一个SDE $dx = f(x,t)dt + g(t)dW_t$，其概率密度 $p_t(x)$ 的演化遵循Fokker-Planck方程： +> $\frac{\partial p_t(x)}{\partial t} = -\nabla \cdot (f(x,t)p_t(x)) + \frac{1}{2} g(t)^2 \Delta p_t(x)$ +> 其中 $\nabla \cdot$ 是散度算子，$\Delta$ 是拉普拉斯算子。 这个方程的直观含义是：概率密度的变化率 = 由漂移项引起的输运（advection）+ 由扩散项引起的平滑（diffusion）。它将微观的粒子随机运动与宏观的概率密度演化联系在了一起。虽然在实践中我们通常不直接求解这个PDE，但它为理解扩散模型提供了强大的理论工具，并与物理学中的热力学、流体力学等领域建立了深刻的联系。 @@ -98,7 +98,7 @@ SDE和ODE描述了单个数据点（粒子）的轨迹。如果我们想从宏 * SDE的优点是什么？（提示：与分数匹配的联系） * ODE的优点是什么？（提示：采样速度和似然计算） * PDE的优点是什么？（提示：宏观理论分析） -4. **开放探索**：概率流ODE提供了一条确定性的从噪声到数据的路径。这本质上定义了一个可逆的函数 `g: x_T -> x_0`。这与连续归一化流（Continuous Normalizing Flows, CNF）有何联系？分析两种模型的异同。 +4. **开放探索**：概率流ODE提供了一条确定性的从噪声到数据的路径。这本质上定义了一个可逆的函数 $g: x_T \to x_0$。这与连续归一化流（Continuous Normalizing Flows, CNF）有何联系？分析两种模型的异同。
@@ -107,7 +107,7 @@ SDE和ODE描述了单个数据点（粒子）的轨迹。如果我们想从宏 本章将我们对扩散模型的理解从离散时间步提升到了连续时间的SDE/PDE框架，这是一个更深刻、更统一的视角。 - **从离散到连续**：我们展示了当时间步数趋于无穷时，离散的DDPM和NCSN过程如何自然地收敛到连续的SDE。 -- **反向时间SDE**：我们学习了Anderson定理，它揭示了反向去噪过程的核心是学习分数函数 `∇log p_t(x)`，从而将DDPM和分数匹配统一起来。 +- **反向时间SDE**：我们学习了Anderson定理，它揭示了反向去噪过程的核心是学习分数函数 $\nabla_{x_t} \log p_t(x)$，从而将DDPM和分数匹配统一起来。 - **概率流ODE**：我们发现每个SDE都对应一个确定性的ODE，它不仅能实现更快的采样，还能进行精确的似然计算。 - **Fokker-Planck方程**：我们引入了描述概率密度演化的PDE，为宏观理论分析提供了工具。 diff --git a/chapter6.md b/chapter6.md index ada590d..1ee69f6 100644 --- a/chapter6.md +++ b/chapter6.md @@ -37,13 +37,13 @@ 连续正则化流（Continuous Normalizing Flows, CNF）提供了一种优雅的方式来建模复杂概率分布之间的变换。与离散的正则化流不同，CNF通过一个连续时间的动力系统来定义变换： -$$\frac{d\mathbf{x}_t}{dt} = v_t(\mathbf{x}_t), \quad t \in [0,1]$$ +$\frac{d\mathbf{x}_t}{dt} = v_t(\mathbf{x}_t), \quad t \in [0,1]$ 其中 $v_t: \mathbb{R}^d \to \mathbb{R}^d$ 是时间相关的向量场。给定初始分布 $p_0$ （通常是简单的高斯分布），通过求解这个常微分方程（ODE），我们可以得到任意时刻 $t$ 的分布 $p_t$ 。 CNF的关键优势在于其理论的优雅性：变换是可逆的，且雅可比行列式可以通过以下公式计算： -$$\log p_1(\mathbf{x}_1) = \log p_0(\mathbf{x}_0) - \int_0^1 \nabla \cdot v_t(\mathbf{x}_t) dt$$ +$\log p_1(\mathbf{x}_1) = \log p_0(\mathbf{x}_0) - \int_0^1 \nabla \cdot v_t(\mathbf{x}_t) dt$ 这里 $\nabla \cdot v_t$ 是向量场的散度，可以使用 `torch.autograd` 高效计算。 @@ -67,7 +67,7 @@ CNF中向量场的几何性质（如旋度、散度）如何影响生成质量 流匹配（Flow Matching）的核心洞察是：与其直接优化似然，不如直接学习连接两个分布的向量场。具体来说，给定源分布 $p_0$ （如标准高斯）和目标分布 $p_1$ （数据分布），流匹配的目标是学习一个向量场 $v_\theta$ ，使得： -$$\min_\theta \mathbb{E}_{t \sim \mathcal{U}[0,1], \mathbf{x}_t \sim p_t} \|v_\theta(t, \mathbf{x}_t) - u_t(\mathbf{x}_t)\|^2$$ +$\min_\theta \mathbb{E}_{t \sim \mathcal{U}[0,1], \mathbf{x}_t \sim p_t} \|v_\theta(t, \mathbf{x}_t) - u_t(\mathbf{x}_t)\|^2$ 其中 $u_t$ 是生成概率路径 $p_t$ 的"真实"向量场。 @@ -78,33 +78,158 @@ $$\min_\theta \mathbb{E}_{t \sim \mathcal{U}[0,1], \mathbf{x}_t \sim p_t} \|v_\t 条件流匹配（Conditional Flow Matching, CFM）通过构造条件概率路径巧妙地解决了采样问题。核心思想是： 1. **定义条件路径**：对每个数据点 $\mathbf{x}_1 \sim p_1$ ，定义一个从噪声 $\mathbf{x}_0 \sim p_0$ 到 $\mathbf{x}_1$ 的简单路径，例如线性插值： - $$\mathbf{x}_t = (1-t)\mathbf{x}_0 + t\mathbf{x}_1$$ + $\mathbf{x}_t = (1-t)\mathbf{x}_0 + t\mathbf{x}_1$ 2. **条件向量场**：这个路径对应的向量场是： - $$u_t(\mathbf{x}_t | \mathbf{x}_0, \mathbf{x}_1) = \mathbf{x}_1 - \mathbf{x}_0$$ + $u_t(\mathbf{x}_t | \mathbf{x}_0, \mathbf{x}_1) = \mathbf{x}_1 - \mathbf{x}_0$ 3. **边缘化**：关键洞察是，如果我们对所有可能的 $(\mathbf{x}_0, \mathbf{x}_1)$ 对进行边缘化，得到的边缘向量场 $u_t(\mathbf{x}_t)$ 正好生成了从 $p_0$ 到 $p_1$ 的流。 💡 **实现技巧：高效采样** CFM的训练只需要：(1) 采样时间 $t \sim \mathcal{U}[0,1]$ ；(2) 采样数据对 $(\mathbf{x}_0, \mathbf{x}_1)$ ；(3) 计算插值 $\mathbf{x}_t$ ；(4) 最小化 $\|v_\theta(t, \mathbf{x}_t) - (\mathbf{x}_1 - \mathbf{x}_0)\|^2$ 。整个过程避免了ODE求解和似然计算！ +## 6.2 最优传输视角 + +流匹配与最优传输（Optimal Transport, OT）理论有着深刻的联系。OT研究的是如何以“最低成本”将一个概率分布变换为另一个。 + +### 6.2.1 Monge-Kantorovich问题与Wasserstein距离 + +经典的最优传输问题（Monge问题）旨在寻找一个映射 $T: \mathbb{R}^d \to \mathbb{R}^d$ ，使得如果 $\mathbf{x}_0 \sim p_0$，则 $T(\mathbf{x}_0) \sim p_1$，并且总的“运输成本”最小化： + +$\inf_T \int_{\mathbb{R}^d} c(\mathbf{x}_0, T(\mathbf{x}_0)) p_0(\mathbf{x}_0) d\mathbf{x}_0$ + +其中 $c(\mathbf{x}, \mathbf{y})$ 是成本函数，通常取为欧氏距离的平方 $c(\mathbf{x}, \mathbf{y}) = \|\mathbf{x} - \mathbf{y}\|^2$。这个问题的解给出了两个分布之间最有效的“耦合”方式。当成本为距离时，这个最小成本定义了两个分布之间的**Wasserstein距离**，它衡量了分布之间的几何差异。 + +### 6.2.2 动态最优传输与Benamou-Brenier公式 + +最优传输的动态视角（由Benamou和Brenier提出）将问题重新表述为寻找一条连接 $p_0$ 和 $p_1$ 的“最短路径”。这条路径由一个随时间变化的概率分布 $p_t$ 和一个速度场 $v_t$ 描述，它们满足连续性方程： + +$\frac{\partial p_t}{\partial t} + \nabla \cdot (p_t v_t) = 0$ + +Benamou-Brenier公式表明，Wasserstein-2距离的平方等于在所有满足连续性方程的路径中，动能的最小值： + +$W_2^2(p_0, p_1) = \inf_{p_t, v_t} \int_0^1 \int_{\mathbb{R}^d} \|v_t(\mathbf{x})\|^2 p_t(\mathbf{x}) d\mathbf{x} dt$ + +这个公式的深刻之处在于，它将一个静态的匹配问题（寻找最优映射 $T$）转化为了一个动态的路径规划问题（寻找最优速度场 $v_t$）。 + +### 6.2.3 流匹配作为最优传输的实现 + +流匹配的目标函数——最小化模型向量场 $v_\theta$ 与真实向量场 $u_t$ 之间的L2距离——可以被看作是Benamou-Brenier公式的一种近似实现。 + +- 如果我们选择的概率路径 $p_t$ 正好是最优传输路径，那么学习到的向量场 $v_\theta$ 就是最优传输的速度场。 +- 即使我们使用简单的线性插值路径（这通常不是最优的），流匹配仍然能学习到一个有效的向量场，将 $p_0$ 变换到 $p_1$。 + +因此，流匹配为我们提供了一个强大的、可操作的工具，用于学习高维分布之间的传输映射，而无需直接解决复杂的OT问题。 + +## 6.3 流匹配的数学基础 + +流匹配的有效性依赖于一个优雅的数学性质：**直接匹配条件向量场可以正确地学习到边缘向量场**。 + +### 6.3.1 概率路径与边缘保持性质 + +让我们更正式地定义这个思想。 +1. **联合分布**：我们首先定义一个源分布 $p_0$ 和目标分布 $p_1$ 的联合分布（或称“耦合”）$q(\mathbf{x}_0, \mathbf{x}_1)$。最简单的选择是独立耦合 $q(\mathbf{x}_0, \mathbf{x}_1) = p_0(\mathbf{x}_0) p_1(\mathbf{x}_1)$。 +2. **条件概率路径**：给定一对样本 $(\mathbf{x}_0, \mathbf{x}_1) \sim q$，我们定义一个条件概率路径 $p_t(\mathbf{x} | \mathbf{x}_0, \mathbf{x}_1)$。这是一个随时间 $t$ 演化的分布，满足 $p_0(\mathbf{x} | \mathbf{x}_0, \mathbf{x}_1) = \delta(\mathbf{x} - \mathbf{x}_0)$ 和 $p_1(\mathbf{x} | \mathbf{x}_0, \mathbf{x}_1) = \delta(\mathbf{x} - \mathbf{x}_1)$。 +3. **边缘概率路径**：通过对联合分布 $q$ 进行积分，我们可以得到边缘概率路径： + $p_t(\mathbf{x}) = \int p_t(\mathbf{x} | \mathbf{x}_0, \mathbf{x}_1) q(\mathbf{x}_0, \mathbf{x}_1) d\mathbf{x}_0 d\mathbf{x}_1$ + 这个边缘路径 $p_t$ 描述了从 $p_0$ 到 $p_1$ 的连续变换。 + +### 6.3.2 向量场的推导 + +与概率路径对应，我们也有条件向量场 $u_t(\mathbf{x} | \mathbf{x}_0, \mathbf{x}_1)$ 和边缘向量场 $u_t(\mathbf{x})$。它们通过连续性方程联系在一起。一个关键的数学结论是，边缘向量场是条件向量场在后验分布 $q(\mathbf{x}_0, \mathbf{x}_1 | \mathbf{x}_t)$ 下的期望： + +$u_t(\mathbf{x}_t) = \mathbb{E}_{q(\mathbf{x}_0, \mathbf{x}_1 | \mathbf{x}_t)}[u_t(\mathbf{x}_t | \mathbf{x}_0, \mathbf{x}_1)]$ + +### 6.3.3 流匹配目标函数 + +我们的目标是让模型 $v_\theta(t, \mathbf{x})$ 学习边缘向量场 $u_t(\mathbf{x})$。损失函数为： +$L_{FM}(\theta) = \int_0^1 \mathbb{E}_{p_t(\mathbf{x}_t)}[\|v_\theta(t, \mathbf{x}_t) - u_t(\mathbf{x}_t)\|^2] dt$ +直接优化这个损失函数是困难的，因为我们无法轻易地从 $p_t$ 或 $u_t$ 中采样。 + +然而，通过巧妙的数学变换，可以证明这个损失函数等价于一个更容易处理的**条件流匹配（CFM）**损失： +$L_{CFM}(\theta) = \int_0^1 \mathbb{E}_{q(\mathbf{x}_0, \mathbf{x}_1)} \mathbb{E}_{p_t(\mathbf{x}_t|\mathbf{x}_0, \mathbf{x}_1)} [\|v_\theta(t, \mathbf{x}_t) - u_t(\mathbf{x}_t|\mathbf{x}_0, \mathbf{x}_1)\|^2] dt$ + +这个形式的妙处在于，我们可以通过以下方式简单地获得训练样本： +1. 采样 $t \sim \mathcal{U}[0,1]$。 +2. 采样一对 $(\mathbf{x}_0, \mathbf{x}_1) \sim q$。 +3. 采样 $\mathbf{x}_t \sim p_t(\cdot|\mathbf{x}_0, \mathbf{x}_1)$。 +4. 计算条件向量场 $u_t(\mathbf{x}_t|\mathbf{x}_0, \mathbf{x}_1)$。 +5. 用梯度下降优化 $\|v_\theta(t, \mathbf{x}_t) - u_t(\mathbf{x}_t|\mathbf{x}_0, \mathbf{x}_1)\|^2$。 + +对于线性插值路径 $\mathbf{x}_t = (1-t)\mathbf{x}_0 + t\mathbf{x}_1$，后两步变得极其简单：$\mathbf{x}_t$ 是确定的，向量场就是 $\mathbf{x}_1 - \mathbf{x}_0$。这使得训练过程完全“模拟免费”（simulation-free）。 + +## 6.4 与扩散模型的联系 + +流匹配框架与我们在前几章学习的扩散模型有着深刻的统一性。 + +### 6.4.1 概率流ODE的统一视角 + +回想一下，任何扩散SDE都对应一个概率流ODE： +$dx_t = [f(x_t, t) - \frac{1}{2} g(t)^2 \nabla_{x_t} \log p_t(x_t)] dt$ +这个ODE描述了一个确定性的从噪声到数据的变换路径，它本身就是一个连续正则化流！它的向量场是 $v_t(x_t) = f(x_t, t) - \frac{1}{2} g(t)^2 s_\theta(x_t, t)$。 + +- **扩散模型**通过学习分数函数 $s_\theta(x_t, t) \approx \nabla_{x_t} \log p_t(x_t)$ 来间接定义这个向量场。 +- **流匹配**则直接学习这个向量场 $v_\theta(t, \mathbf{x}_t)$。 + +### 6.4.2 从分数匹配到流匹配 + +分数匹配的目标是： +$L_{SM}(\theta) = \int_0^T \mathbb{E}_{p_t(\mathbf{x}_t)}[\|\mathbf{s}_\theta(t, \mathbf{x}_t) - \nabla_{\mathbf{x}_t} \log p_t(\mathbf{x}_t)\|^2] dt$ +流匹配的目标是： +$L_{FM}(\theta) = \int_0^1 \mathbb{E}_{p_t(\mathbf{x}_t)}[\|\mathbf{v}_\theta(t, \mathbf{x}_t) - \mathbf{u}_t(\mathbf{x}_t)\|^2] dt$ +两者都在学习一个与时间相关的函数（分数或向量场），以定义一个从噪声到数据的ODE。流匹配可以看作是更广义的框架，而扩散模型的概率流ODE是其中的一个特例。 + +### 6.4.3 计算效率的比较分析 + +流匹配在训练效率上通常优于传统的扩散模型： +- **模拟免费**：流匹配的训练不需要像扩散模型那样前向模拟SDE来产生带噪声的样本 $x_t$。它通过简单的插值直接构造训练对，避免了数值误差和计算开销。 +- **路径灵活性**：扩散模型被锁定在由SDE定义的特定概率路径上。流匹配可以选择任意（通常更简单）的路径，如线性插值，这简化了目标向量场的计算（例如，对于线性路径，目标是常数 $\mathbf{x}_1 - \mathbf{x}_0$）。 +- **一步到位**：扩散模型通常需要先学习分数，然后构建ODE。流匹配直接学习ODE的向量场，更加直接。 + +## 6.5 实践中的流匹配 + +### 6.5.1 路径选择：线性插值 vs 最优传输 + +在实践中，如何选择条件概率路径 $p_t(\mathbf{x}|\mathbf{x}_0, \mathbf{x}_1)$ 是一个关键的设计决策。 +- **线性插值**：这是最简单和最常用的选择。路径是确定的直线：$\mathbf{x}_t = (1-t)\mathbf{x}_0 + t\mathbf{x}_1$。对应的条件向量场是常数 $\mathbf{u}_t = \mathbf{x}_1 - \mathbf{x}_0$。这种方法的优点是极其简单高效。 +- **最优传输引导**：虽然线性插值不是最优传输路径，但研究表明，使用更接近真实OT路径的插值方案可以提高生成质量。例如，"Optimal Transport-Guided Conditional Flow Matching" (OT-CFM) 提出了一种修正线性插值的方法，使其更好地匹配数据流形。 +- **扩散路径**：我们也可以使用扩散SDE本身定义的路径。这表明流匹配可以被用来重新推导和训练扩散模型，突显了其框架的统一性。 + +### 6.5.2 采样算法与ODE求解器选择 + +训练完成后，我们得到了一个向量场 $v_\theta(t, \mathbf{x})$。生成新样本的过程就是求解从 $t=0$ 到 $t=1$ 的ODE： +1. 从先验分布中采样一个噪声点 $\mathbf{x}_0 \sim p_0$。 +2. 使用数值ODE求解器求解 $\frac{d\mathbf{x}_t}{dt} = v_\theta(t, \mathbf{x}_t)$，从 $\mathbf{x}_0$ 开始，积分到 $t=1$。 +3. 最终得到的 $\mathbf{x}_1$ 就是一个生成的样本。 + +由于这是一个标准的ODE，我们可以利用数值分析领域的各种高效求解器： +- **简单求解器**：如欧拉法或改进欧拉法（Heun法），需要较多的评估步数（NFE）。 +- **高阶求解器**：如经典的四阶龙格-库塔法（RK45）。 +- **自适应求解器**：如Dopri5，可以根据解的局部复杂度自动调整步长，通常能以更少的NFE达到高精度。 + +### 6.5.3 条件生成与引导技术 + +在流匹配中实现条件生成非常自然。如果我们要生成以条件 $c$ 为指导的样本，只需将 $c$ 作为额外输入提供给神经网络即可： +$v_\theta(t, \mathbf{x}, c)$ +训练目标也相应地变为条件期望： +$\min_\theta \mathbb{E}_{p(c)} \mathbb{E}_{t, q(\mathbf{x}_0, \mathbf{x}_1|c)} [\|v_\theta(t, \mathbf{x}_t, c) - u_t(\mathbf{x}_t|\mathbf{x}_0, \mathbf{x}_1)\|^2]$ +这使得流匹配可以轻松地应用于文本到图像、类别条件生成等任务。 +
-**练习 6.1：理解条件流匹配** +**练习 6.2：设计一个流匹配模型** -考虑一维情况，源分布 $p_0 = \mathcal{N}(0, 1)$ ，目标分布 $p_1 = \mathcal{N}(3, 0.5^2)$ 。 +假设你的任务是学习一个从二维标准高斯分布 $p_0$ 到一个“月牙”形状的二维分布 $p_1$ 的生成模型。 -1. **路径可视化**：对于线性插值路径 $x_t = (1-t)x_0 + tx_1$ ，绘制几条从 $p_0$ 到 $p_1$ 的样本路径。这些路径是否相交？路径的密度如何变化？ +1. **网络架构**：你会如何设计向量场网络 $v_\theta(t, \mathbf{x})$？输入和输出应该是什么维度？时间 $t$ 应该如何编码并输入到网络中？（提示：参考Transformer中的位置编码思想） -2. **向量场分析**：推导并可视化 $t = 0.5$ 时刻的边缘向量场 $u_{0.5}(x)$ 。提示：需要对所有可能的 $(x_0, x_1)$ 对进行积分。 +2. **训练流程**：写出使用线性插值的CFM训练该模型的伪代码。 -3. **最优传输视角**：证明在这个例子中，线性插值路径不是 Wasserstein 意义下的最优传输路径。什么是最优路径？这对生成质量有何影响？ +3. **采样比较**： + - 使用欧拉法编写采样过程的伪代码。 + - 如果使用自适应步长的RK45求解器，你期望在采样速度和质量上看到什么变化？ 4. **研究拓展**： - - 探索非线性路径（如圆弧路径）对向量场学习的影响 - - 研究不同路径选择对生成样本多样性的影响 - - 设计自适应路径选择策略，根据局部数据密度调整插值方式 + - “月牙”分布具有非平凡的拓扑结构。线性插值路径是否会遇到问题？（提示：考虑路径是否会穿过低密度区域） + - 你能否设计一种简单的非线性路径，可能更适合这个任务？例如，在插值中加入一个与 $t(1-t)$ 成正比的垂直于 $(\mathbf{x}_1 - \mathbf{x}_0)$ 的项，来模拟曲线路径。
- -🌟 **开放问题：最优路径设计** -虽然线性插值简单有效，但它是否是最优选择？如何设计既保持计算效率又提升生成质量的路径？这涉及到最优传输理论、计算几何和深度学习的交叉研究。 diff --git a/chapter9.md b/chapter9.md index 9e05cf4..a76c7f3 100644 --- a/chapter9.md +++ b/chapter9.md @@ -52,44 +52,31 @@ **1. 拼接（Concatenation）** -最直接的方式是将条件信息与输入拼接： -```python -# 对于图像条件 -x_with_cond = torch.cat([x_t, c_image], dim=1) -# 对于向量条件 -c_embed = condition_encoder(c) -x_with_cond = torch.cat([x_t, c_embed.unsqueeze(-1).unsqueeze(-1).expand(...)]) -``` +最直接的方式是将条件信息与输入拼接。对于图像条件，可以在通道维度上拼接 $[\mathbf{x}_t, \mathbf{c}_{image}]$。对于向量条件，先通过条件编码器得到嵌入 $\mathbf{c}_{embed}$，然后扩展到空间维度后拼接。这种方法简单有效，但会增加第一层的参数量。 **2. 自适应归一化（Adaptive Normalization）** -通过条件信息调制归一化参数： -```python -# AdaIN, AdaGN, AdaLN等 -gamma, beta = mlp(c_embed) -h = normalize(h) -h = gamma * h + beta -``` +通过条件信息调制归一化参数，包括AdaIN、AdaGN、AdaLN等变体。核心思想是： + +$$\mathbf{h} = \gamma(\mathbf{c}) \odot \text{Normalize}(\mathbf{h}) + \beta(\mathbf{c})$$ + +其中 $\gamma$ 和 $\beta$ 是通过MLP从条件嵌入预测得到的缩放和偏移参数。 **3. 交叉注意力（Cross-Attention）** -特别适合序列条件（如文本）： -```python -# Q来自图像特征，K,V来自文本编码 -attn_output = CrossAttention( - query=image_features, - key=text_features, - value=text_features -) -``` +特别适合序列条件（如文本）。查询（Query）来自图像特征，键（Key）和值（Value）来自文本编码： + +$$\text{Attention}(\mathbf{Q}, \mathbf{K}, \mathbf{V}) = \text{softmax}\left(\frac{\mathbf{Q}\mathbf{K}^T}{\sqrt{d_k}}\right)\mathbf{V}$$ + +其中 $\mathbf{Q} = \mathbf{h}_{image}W_Q$，$\mathbf{K} = \mathbf{h}_{text}W_K$，$\mathbf{V} = \mathbf{h}_{text}W_V$。 **4. 特征调制（Feature-wise Modulation）** -FiLM层通过条件信息缩放和偏移特征： -```python -gamma, beta = film_generator(c) -h = gamma * h + beta -``` +FiLM（Feature-wise Linear Modulation）层通过条件信息缩放和偏移特征： + +$$\mathbf{h}_{out} = \gamma(\mathbf{c}) \odot \mathbf{h}_{in} + \beta(\mathbf{c})$$ + +这种方法参数效率高，且能有效控制特征的激活模式。 🔬 **研究线索：最优注入位置** 应该在网络的哪些层注入条件信息？早期层vs后期层？所有层vs特定层？这可能依赖于条件类型和任务。 @@ -99,72 +86,61 @@ h = gamma * h + beta **1. 条件编码器设计** 不同类型的条件需要不同的编码器： -- **类别标签**：嵌入层 + MLP -- **文本**：预训练语言模型（CLIP, T5等） -- **图像**：预训练视觉模型或专用CNN -- **音频**：频谱图编码器 +- **类别标签**：通过嵌入层映射到高维空间，再经过MLP进一步处理 +- **文本**：使用预训练语言模型（如CLIP文本编码器、T5编码器）提取语义特征 +- **图像**：预训练视觉模型（如ResNet、ViT）或专门设计的卷积编码器 +- **音频**：先转换为频谱图，然后使用专门的时频编码器 **2. 多尺度条件注入** -在U-Net的不同分辨率注入条件： -```python -class ConditionalUNet(nn.Module): - def forward(self, x, t, c): - # 编码路径 - h1 = self.down1(x, t, c) # 高分辨率条件 - h2 = self.down2(h1, t, c) # 中分辨率条件 - h3 = self.down3(h2, t, c) # 低分辨率条件 - - # 解码路径也注入条件 - ... -``` +在U-Net的不同分辨率层级注入条件信息，使得： +- 高分辨率层获得细节控制（如纹理、边缘） +- 中分辨率层获得结构控制（如物体形状） +- 低分辨率层获得语义控制（如整体布局） + +每个下采样块和上采样块都接收条件信息：$\mathbf{h}_i = f_i(\mathbf{h}_{i-1}, t, \mathbf{c})$ **3. 时间-条件交互** -时间步和条件信息可能需要交互： -```python -# 联合编码 -t_embed = self.time_embed(t) -c_embed = self.cond_embed(c) -joint_embed = self.joint_mlp(t_embed + c_embed) -``` +时间步 $t$ 和条件信息 $\mathbf{c}$ 可能需要交互建模。一种常见方法是联合编码： + +$$\mathbf{e}_{joint} = \text{MLP}(\mathbf{e}_t + \mathbf{e}_c)$$ + +其中 $\mathbf{e}_t$ 是时间嵌入，$\mathbf{e}_c$ 是条件嵌入。这种交互允许模型根据去噪阶段调整条件的影响方式。 ### 9.1.4 训练策略 **1. 条件dropout** -随机丢弃条件信息，训练模型同时处理条件和无条件生成： -```python -def training_step(x, c): - # 以概率p_uncond丢弃条件 - if random.random() < p_uncond: - c = null_condition - - # 正常训练 - noise = torch.randn_like(x) - x_t = add_noise(x, noise, t) - pred_noise = model(x_t, t, c) - loss = F.mse_loss(pred_noise, noise) -``` +随机丢弃条件信息，训练模型同时处理条件和无条件生成。在训练时，以概率 $p_{uncond}$ 将条件 $\mathbf{c}$ 替换为空条件 $\varnothing$： + +$$\mathbf{c}_{train} = \begin{cases} +\mathbf{c} & \text{with probability } 1-p_{uncond} \\ +\varnothing & \text{with probability } p_{uncond} +\end{cases}$$ -这是无分类器引导的基础。 +然后正常计算去噪损失： +$$\mathcal{L} = \mathbb{E}_{t,\mathbf{x}_0,\boldsymbol{\epsilon}}\left[\|\boldsymbol{\epsilon} - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c}_{train})\|^2\right]$$ + +这是无分类器引导的基础，使模型能够同时进行条件和无条件生成。 **2. 条件增强** -对条件信息进行数据增强： -- 文本：同义词替换、改写 -- 图像：几何变换、颜色扰动 -- 类别：标签平滑、混合 +对条件信息进行数据增强以提高泛化能力： +- **文本条件**：同义词替换、句子改写、随机删除/添加修饰词 +- **图像条件**：几何变换（旋转、缩放）、颜色扰动、随机裁剪 +- **类别条件**：标签平滑、Mixup混合策略 **3. 多任务学习** -同时训练多种条件： -```python -loss = loss_uncond + λ1*loss_class + λ2*loss_text + λ3*loss_image -``` +同时训练多种条件类型，总损失为各任务损失的加权和： + +$$\mathcal{L}_{total} = \mathcal{L}_{uncond} + \lambda_1\mathcal{L}_{class} + \lambda_2\mathcal{L}_{text} + \lambda_3\mathcal{L}_{image}$$ + +其中 $\lambda_i$ 是各任务的权重系数。 💡 **实践技巧：条件缩放** -不同条件的强度可能需要不同的缩放。使用可学习的缩放因子：`c_scaled = c * self.condition_scale` +不同条件的强度可能需要不同的缩放。使用可学习的缩放因子：$\mathbf{c}_{scaled} = s_c \cdot \mathbf{c}$，其中 $s_c$ 是可学习参数。
**练习 9.1：实现多模态条件扩散模型** @@ -213,34 +189,20 @@ $$q(\mathbf{x}_t|\mathbf{x}_0, \mathbf{c}) = q(\mathbf{x}_t|\mathbf{x}_0)$$ ### 9.1.6 实现细节与优化 -**内存优化**： -```python -# 使用gradient checkpointing节省内存 -class ConditionalBlock(nn.Module): - @torch.utils.checkpoint.checkpoint - def forward(self, x, c): - # 计算密集的操作 - ... -``` +**内存优化策略**： +- **梯度检查点**：对计算密集但内存占用大的条件块使用 `torch.utils.checkpoint` +- **混合精度训练**：条件编码器使用FP16，关键层保持FP32 +- **动态批处理**：根据条件复杂度动态调整批大小 -**计算优化**： -```python -# 缓存条件编码 -class CachedConditionEncoder: - def __init__(self): - self.cache = {} - - def encode(self, c): - if c not in self.cache: - self.cache[c] = self.encoder(c) - return self.cache[c] -``` +**计算优化技巧**： +- **条件编码缓存**：对于离散条件（如类别），缓存编码结果 +- **批量编码**：将相同类型的条件批量处理 +- **编码器共享**：多个条件类型共享底层特征提取器 -**数值稳定性**： -```python -# 防止条件编码的数值问题 -c_encoded = F.normalize(c_encoded, dim=-1) * self.scale -``` +**数值稳定性保障**： +- **条件归一化**：$\mathbf{c}_{encoded} = s \cdot \mathbf{c}_{encoded} / \|\mathbf{c}_{encoded}\|_2$ +- **残差缩放**：条件注入时使用小的初始权重 +- **梯度裁剪**：防止条件相关的梯度爆炸 ## 9.2 分类器引导（Classifier Guidance） @@ -258,29 +220,22 @@ $$\tilde{\boldsymbol{\epsilon}}_\theta(\mathbf{x}_t, t, \mathbf{c}) = \boldsymbo ### 9.2.2 噪声条件分类器 -关键挑战是训练一个能在所有噪声水平 $t$ 上工作的分类器。训练过程： +关键挑战是训练一个能在所有噪声水平 $t$ 上工作的分类器。 -```python -def train_noise_conditional_classifier(classifier, diffusion, dataloader): - for x, c in dataloader: - # 随机采样时间步 - t = torch.randint(0, diffusion.num_timesteps, (x.shape[0],)) - - # 添加相应的噪声 - noise = torch.randn_like(x) - x_t = diffusion.q_sample(x, t, noise) - - # 分类器预测 - logits = classifier(x_t, t) - loss = F.cross_entropy(logits, c) - - loss.backward() -``` +**训练目标**： +$$\mathcal{L}_{classifier} = \mathbb{E}_{t \sim \mathcal{U}[1,T], \mathbf{x}_0 \sim p_{data}, \boldsymbol{\epsilon} \sim \mathcal{N}(0,\mathbf{I})} \left[-\log p_\phi(\mathbf{c}|\mathbf{x}_t, t)\right]$$ + +其中 $\mathbf{x}_t = \sqrt{\bar{\alpha}_t}\mathbf{x}_0 + \sqrt{1-\bar{\alpha}_t}\boldsymbol{\epsilon}$ 是加噪后的样本。 + +**分类器架构要求**： +1. **时间条件**：通过时间嵌入了解当前噪声水平，通常使用正弦编码 +2. **鲁棒性**：在高噪声下仍能提取有用特征，需要强大的特征提取能力 +3. **梯度质量**：提供平滑且有意义的梯度信号用于引导 -分类器架构需要： -1. 时间条件：了解当前噪声水平 -2. 鲁棒性：在高噪声下仍能提取有用特征 -3. 梯度质量：提供有意义的引导信号 +**架构设计原则**： +- 使用与扩散模型相似的骨干网络（如U-Net） +- 在多个尺度提取特征以增强鲁棒性 +- 使用残差连接和归一化层稳定训练 ### 9.2.3 引导强度与采样 @@ -293,62 +248,48 @@ $$\tilde{\boldsymbol{\epsilon}}_\theta(\mathbf{x}_t, t, \mathbf{c}) = \boldsymbo - $s > 1$ ：强化条件，可能降低多样性 - $s < 0$ ：负向引导，远离条件 -**采样算法**： -```python -def classifier_guided_sampling(x_T, model, classifier, c, s=1.0): - x = x_T - for t in reversed(range(T)): - # 无条件预测 - epsilon = model(x, t) - - # 计算分类器梯度 - x.requires_grad_(True) - logits = classifier(x, t) - log_prob = F.log_softmax(logits, dim=-1)[range(len(c)), c] - grad = torch.autograd.grad(log_prob.sum(), x)[0] - x.requires_grad_(False) - - # 组合预测 - epsilon_tilde = epsilon - s * sqrt(1 - alphas_cumprod[t]) * grad - - # 采样步骤 - x = sampling_step(x, epsilon_tilde, t) - - return x -``` +**采样算法流程**： + +1. 从标准高斯分布采样初始噪声 $\mathbf{x}_T \sim \mathcal{N}(0, \mathbf{I})$ +2. 对于每个时间步 $t = T, T-1, ..., 1$： + - 使用扩散模型预测无条件噪声：$\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t)$ + - 计算分类器对数概率的梯度：$\nabla_{\mathbf{x}_t} \log p_\phi(\mathbf{c}|\mathbf{x}_t)$ + - 组合得到引导后的噪声预测：$\tilde{\boldsymbol{\epsilon}} = \boldsymbol{\epsilon}_\theta - s\sqrt{1-\bar{\alpha}_t}\nabla_{\mathbf{x}_t} \log p_\phi(\mathbf{c}|\mathbf{x}_t)$ + - 执行去噪步骤得到 $\mathbf{x}_{t-1}$ + +**梯度计算细节**： +- 需要对 $\mathbf{x}_t$ 启用梯度计算 +- 通过自动微分计算分类器输出相对于输入的梯度 +- 计算完成后关闭梯度计算以节省内存 ### 9.2.4 梯度计算的实践考虑 **1. 梯度缩放** -不同时间步的梯度量级差异很大，需要自适应缩放： -```python -# 根据噪声水平调整梯度 -grad_scale = 1.0 / (1 - alphas_cumprod[t]).sqrt() -scaled_grad = grad * grad_scale -``` +不同时间步的梯度量级差异很大，需要自适应缩放。根据噪声水平调整： + +$$\nabla_{scaled} = \frac{1}{\sqrt{1-\bar{\alpha}_t}} \cdot \nabla_{\mathbf{x}_t} \log p_\phi(\mathbf{c}|\mathbf{x}_t)$$ + +这种缩放补偿了不同噪声水平下的信号强度差异。 **2. 梯度裁剪** -防止梯度爆炸： -```python -grad_norm = grad.flatten(1).norm(dim=1, keepdim=True) -grad = grad / grad_norm.clamp(min=1e-8) -``` +防止梯度爆炸，对梯度进行归一化： -**3. 多步梯度** +$$\nabla_{clipped} = \frac{\nabla}{\max(1, \|\nabla\|_2 / \lambda)}$$ -使用多步梯度累积获得更稳定的方向： -```python -grad_accum = 0 -for _ in range(n_grad_steps): - grad = compute_classifier_grad(x + noise_scale * torch.randn_like(x)) - grad_accum += grad -grad = grad_accum / n_grad_steps -``` +其中 $\lambda$ 是梯度范数的阈值。 + +**3. 多步梯度累积** + +通过对带噪声扰动的输入计算多次梯度并平均，获得更稳定的梯度估计： + +$$\nabla_{stable} = \frac{1}{N} \sum_{i=1}^N \nabla_{\mathbf{x}_t} \log p_\phi(\mathbf{c}|\mathbf{x}_t + \sigma\boldsymbol{\epsilon}_i)$$ + +其中 $\boldsymbol{\epsilon}_i \sim \mathcal{N}(0, \mathbf{I})$，$\sigma$ 是小的噪声尺度。 💡 **实践技巧：温度调节** -对分类器输出使用温度缩放可以控制引导的锐度：`logits = classifier(x, t) / temperature` +对分类器输出使用温度缩放可以控制引导的锐度：$p_\phi(\mathbf{c}|\mathbf{x}_t) \propto \exp(\text{logits}/\tau)$，其中 $\tau$ 是温度参数。 ### 9.2.5 局限性分析 @@ -403,30 +344,28 @@ grad = grad_accum / n_grad_steps **1. 截断引导** -只在特定时间范围内应用引导： -```python -if t > T_start and t < T_end: - epsilon = epsilon - s * grad -``` +只在特定时间范围内应用引导，避免在噪声过大或过小时的不良影响： + +$$\tilde{\boldsymbol{\epsilon}} = \begin{cases} +\boldsymbol{\epsilon}_\theta - s\sqrt{1-\bar{\alpha}_t}\nabla \log p_\phi(\mathbf{c}|\mathbf{x}_t) & \text{if } T_{start} < t < T_{end} \\ +\boldsymbol{\epsilon}_\theta & \text{otherwise} +\end{cases}$$ **2. 局部引导** -只对图像的特定区域应用引导： -```python -mask = compute_attention_mask(x, c) -epsilon = epsilon - s * grad * mask -``` +使用空间掩码 $\mathbf{M}$ 只对图像的特定区域应用引导： + +$$\tilde{\boldsymbol{\epsilon}} = \boldsymbol{\epsilon}_\theta - s\sqrt{1-\bar{\alpha}_t}(\mathbf{M} \odot \nabla \log p_\phi(\mathbf{c}|\mathbf{x}_t))$$ + +这允许精细的空间控制。 **3. 多分类器集成** -使用多个分类器的组合： -```python -grad_ensemble = 0 -for classifier in classifiers: - grad_ensemble += compute_grad(classifier, x, t, c) -grad = grad_ensemble / len(classifiers) -``` +组合多个分类器提供更稳健的引导： + +$$\nabla \log p_{ensemble}(\mathbf{c}|\mathbf{x}_t) = \sum_{i=1}^K w_i \nabla \log p_{\phi_i}(\mathbf{c}|\mathbf{x}_t)$$ +其中 $w_i$ 是各分类器的权重。 🔬 **研究方向：隐式分类器** 能否从扩散模型本身提取分类器，避免训练额外模型？这涉及到对扩散模型内部表示的深入理解。 @@ -463,28 +402,24 @@ $$\nabla_{\mathbf{x}_t} \log p(\mathbf{c}|\mathbf{x}_t) \approx \nabla_{\mathbf{ ### 9.3.2 训练策略：条件Dropout -关键创新是在训练时随机丢弃条件： +关键创新是在训练时随机丢弃条件。具体过程： -```python -def train_classifier_free(model, x, c, p_uncond=0.1): - # 随机决定是否使用条件 - if torch.rand(1).item() < p_uncond: - # 无条件训练 - c = null_token # 特殊的空条件标记 - - # 标准扩散模型训练 - t = torch.randint(0, num_timesteps, (x.shape[0],)) - noise = torch.randn_like(x) - x_t = add_noise(x, noise, t) - - # 预测噪声 - pred_noise = model(x_t, t, c) - loss = F.mse_loss(pred_noise, noise) - - return loss -``` +1. 对于每个训练样本，以概率 $p_{uncond}$ 将条件替换为空条件 $\varnothing$ +2. 使用修改后的条件进行标准扩散模型训练 +3. 损失函数保持不变：$\mathcal{L} = \mathbb{E}_{t,\mathbf{x}_0,\boldsymbol{\epsilon}}[\|\boldsymbol{\epsilon} - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c}_{masked})\|^2]$ + +其中： +$$\mathbf{c}_{masked} = \begin{cases} +\mathbf{c} & \text{with probability } 1-p_{uncond} \\ +\varnothing & \text{with probability } p_{uncond} +\end{cases}$$ + +这使得单个模型能够同时学习条件分布 $p(\mathbf{x}|\mathbf{c})$ 和边缘分布 $p(\mathbf{x})$。 -这使得单个模型能够处理条件和无条件生成。 +**空条件的表示**： +- 对于文本条件：使用空字符串或特殊的 `[NULL]` token +- 对于类别条件：使用额外的"无条件"类别 +- 对于图像条件：使用零张量或学习的空嵌入 ### 9.3.3 采样公式 @@ -503,46 +438,25 @@ $$\tilde{\boldsymbol{\epsilon}}_\theta = \boldsymbol{\epsilon}_\theta(\mathbf{x} ### 9.3.4 实现细节 -**高效采样实现**： -```python -def cfg_sampling(model, shape, c, w=7.5, eta=0): - # 初始噪声 - x = torch.randn(shape) - - # 准备条件和无条件输入 - c_in = torch.cat([c, null_token]) # 批量处理 - - for t in tqdm(reversed(range(num_timesteps))): - # 单次前向传播获得两个预测 - x_in = torch.cat([x, x]) - t_in = torch.cat([t, t]) - noise_pred = model(x_in, t_in, c_in) - - # 分离条件和无条件预测 - noise_c, noise_u = noise_pred.chunk(2) - - # CFG组合 - noise_pred = noise_u + w * (noise_c - noise_u) - - # DDIM/DDPM采样步骤 - x = sampling_step(x, noise_pred, t, eta) - - return x -``` +**高效采样策略**： -**内存优化版本**： -```python -def memory_efficient_cfg(model, x, t, c, w): - # 使用gradient checkpointing - with torch.no_grad(): - # 无条件预测 - noise_u = model(x, t, null_token) - - # 只对条件预测计算梯度（如果需要） - noise_c = model(x, t, c) - - return noise_u + w * (noise_c - noise_u) -``` +为了避免两次独立的模型前向传播，可以批量处理条件和无条件预测： + +1. 将输入 $\mathbf{x}_t$ 复制一份：$[\mathbf{x}_t, \mathbf{x}_t]$ +2. 准备条件批次：$[\mathbf{c}, \varnothing]$ +3. 单次前向传播得到：$[\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c}), \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing)]$ +4. 应用CFG公式组合预测 + +**内存优化**： +- 对于大模型，可以顺序计算条件和无条件预测 +- 使用梯度检查点减少激活内存 +- 在低精度（FP16）下运行推理 +**采样算法完整流程**： +1. 初始化：$\mathbf{x}_T \sim \mathcal{N}(0, \mathbf{I})$ +2. 对每个时间步 $t = T, T-1, ..., 1$： + - 计算条件和无条件预测 + - 应用CFG公式：$\tilde{\boldsymbol{\epsilon}} = \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing) + w[\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c}) - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing)]$ + - 执行采样步骤（DDPM或DDIM） ### 9.3.5 引导权重的选择 @@ -558,13 +472,11 @@ def memory_efficient_cfg(model, x, t, c, w): | >20 | 极端引导 | 可能过饱和 | **动态引导调度**： -```python -def dynamic_guidance_weight(t, T): - # 早期使用强引导，后期减弱 - progress = t / T - w = w_start * (1 - progress) + w_end * progress - return w -``` + +可以使用时变的引导权重，例如线性插值： +$$w(t) = w_{start} \cdot (1 - t/T) + w_{end} \cdot (t/T)$$ + +其中早期使用较强的引导（$w_{start}$较大），后期逐渐减弱（$w_{end}$较小），帮助模型在保持条件忠实度的同时提高细节质量。 💡 **实践洞察：引导权重与条件类型** 不同条件类型需要不同的引导强度。文本条件通常需要 w=7.5，而类别条件可能只需要 w=3。 @@ -622,44 +534,25 @@ CFG可以视为变分推断中的重要性加权： **1. 负向提示（Negative Prompting）** -使用负条件来避免特定内容： -```python -def cfg_with_negative(x_t, t, c_pos, c_neg, w_pos=7.5, w_neg=7.5): - noise_uncond = model(x_t, t, null_token) - noise_pos = model(x_t, t, c_pos) - noise_neg = model(x_t, t, c_neg) - - # 组合公式 - noise = noise_uncond + w_pos * (noise_pos - noise_uncond) - w_neg * (noise_neg - noise_uncond) - return noise -``` +使用负条件来避免特定内容的生成。组合公式为： +$$\tilde{\boldsymbol{\epsilon}} = \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing) + w_{pos} [\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c}_{pos}) - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing)] - w_{neg} [\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c}_{neg}) - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing)]$$ + +其中 $\mathbf{c}_{pos}$ 是期望的条件，$\mathbf{c}_{neg}$ 是要避免的条件，$w_{pos}$ 和 $w_{neg}$ 分别控制正向和负向引导的强度。 **2. 多尺度引导** -在不同时间步使用不同的引导策略： -```python -def multiscale_cfg(t, T): - if t > 0.8 * T: # 早期：强语义引导 - return cfg_semantic(w=10) - elif t > 0.3 * T: # 中期：平衡引导 - return cfg_balanced(w=7.5) - else: # 后期：细节引导 - return cfg_detail(w=3) -``` +在不同时间步使用不同的引导策略。例如： +- 早期阶段（$t > 0.8T$）：使用强语义引导（$w=10$），确保整体结构正确 +- 中期阶段（$0.3T < t \leq 0.8T$）：使用平衡引导（$w=7.5$） +- 后期阶段（$t \leq 0.3T$）：使用较弱引导（$w=3$），保留细节多样性 **3. 自适应CFG** -根据预测的不确定性调整引导： -```python -def adaptive_cfg(noise_c, noise_u): - # 计算预测差异 - diff = (noise_c - noise_u).abs().mean() - - # 差异大时减小引导权重 - w = base_weight * torch.exp(-alpha * diff) - - return noise_u + w * (noise_c - noise_u) -``` +根据预测的不确定性调整引导强度。一种方法是基于条件和无条件预测的差异： + +$$w_{adaptive} = w_{base} \cdot \exp(-\alpha \cdot ||\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c}) - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing)||)$$ + +当预测差异较大时，说明模型对条件的理解存在不确定性，此时减小引导权重可以避免过度放大误差。 🔬 **研究方向：理论最优的引导** 当前的线性组合是否是最优的？是否存在非线性的组合方式能产生更好的结果？这需要从信息论角度深入分析。 @@ -697,97 +590,48 @@ CFG的成功启发了许多后续工作。未来可能出现统一的引导理 **1. 线性组合** -最简单的方法是线性加权： -```python -def multi_condition_cfg(x_t, t, conditions, weights): - # 无条件预测 - noise_uncond = model(x_t, t, null_token) - - # 组合多个条件 - combined_direction = 0 - for c, w in zip(conditions, weights): - noise_c = model(x_t, t, c) - combined_direction += w * (noise_c - noise_uncond) - - return noise_uncond + combined_direction -``` +最简单的方法是对多个条件进行线性加权： + +$$\tilde{\boldsymbol{\epsilon}} = \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing) + \sum_{i=1}^{n} w_i [\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c}_i) - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing)]$$ + +其中 $\mathbf{c}_i$ 是第 $i$ 个条件，$w_i$ 是对应的权重。权重需要满足 $\sum_i w_i = 1$ 以保持引导的整体强度。 **2. 层次化条件** -不同条件在不同尺度起作用： -```python -class HierarchicalConditioning: - def __init__(self): - self.global_conditions = [] # 影响整体 - self.local_conditions = [] # 影响细节 - - def apply(self, x_t, t, T): - if t > 0.5 * T: # 早期：全局条件 - return apply_conditions(self.global_conditions) - else: # 后期：局部条件 - return apply_conditions(self.local_conditions) -``` +不同条件在不同尺度起作用。层次化条件策略可以将条件分为： +- 全局条件：影响整体结构和布局 +- 局部条件：影响细节和纹理 + +在早期阶段（$t > 0.5T$）应用全局条件，后期阶段（$t \leq 0.5T$）应用局部条件。这种方法可以确保先建立正确的整体结构，再添加细节。 **3. 条件图结构** -使用图定义条件之间的关系： -```python -class ConditionalGraph: - def __init__(self): - self.nodes = {} # 条件节点 - self.edges = {} # 条件关系 - - def propagate(self, x_t, t): - # 根据图结构传播条件影响 - for node in topological_sort(self.nodes): - parents = self.get_parents(node) - node.update(parents, x_t, t) -``` +使用图结构定义条件之间的依赖关系。每个条件节点可以有父节点，其影响传播遵循拓扑排序。这样可以实现复杂的条件依赖，如：“如果有人物，则添加背景”或“风格受主题影响”等。 ### 9.4.2 负向提示技术 负向提示（Negative Prompting）是避免特定内容的强大工具。 **1. 基础负向提示** -```python -def negative_prompting(x_t, t, pos_prompt, neg_prompt, w_pos=7.5, w_neg=3.0): - noise_uncond = model(x_t, t, null_token) - noise_pos = model(x_t, t, pos_prompt) - noise_neg = model(x_t, t, neg_prompt) - - # 朝正向移动，远离负向 - direction = w_pos * (noise_pos - noise_uncond) - w_neg * (noise_neg - noise_uncond) - return noise_uncond + direction -``` + +组合正向和负向条件的公式： +$$\tilde{\boldsymbol{\epsilon}} = \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing) + w_{pos}[\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c}_{pos}) - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing)] - w_{neg}[\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c}_{neg}) - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing)]$$ + +这个公式使得生成朝着正向条件移动，同时远离负向条件。 **2. 多负向提示** -```python -def multi_negative_prompting(x_t, t, pos, neg_list, w_pos, w_neg_list): - noise_uncond = model(x_t, t, null_token) - noise_pos = model(x_t, t, pos) - - # 正向 - direction = w_pos * (noise_pos - noise_uncond) - - # 多个负向 - for neg, w_neg in zip(neg_list, w_neg_list): - noise_neg = model(x_t, t, neg) - direction -= w_neg * (noise_neg - noise_uncond) - - return noise_uncond + direction -``` + +当需要避免多个不希望的属性时，可以使用多负向提示： +$$\tilde{\boldsymbol{\epsilon}} = \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing) + w_{pos}[\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c}_{pos}) - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing)] - \sum_{i=1}^{n} w_{neg,i}[\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c}_{neg,i}) - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing)]$$ + +每个负向条件可以有不同的权重 $w_{neg,i}$。 **3. 自适应负向强度** -```python -def adaptive_negative(x_t, t, pos, neg): - # 计算正负向的相似度 - sim = cosine_similarity(encode(pos), encode(neg)) - - # 相似度高时增强负向强度 - w_neg = base_w_neg * (1 + alpha * sim) - - return negative_prompting(x_t, t, pos, neg, w_pos, w_neg) -``` + +根据正负向条件的相似度调整负向强度： +$$w_{neg} = w_{neg,base} \cdot (1 + \alpha \cdot \text{sim}(\mathbf{c}_{pos}, \mathbf{c}_{neg}))$$ + +其中 $\text{sim}(\cdot,\cdot)$ 是余弦相似度。当正负向条件相似度高时（如“高质量”与“低质量”），增强负向强度更有必要。 💡 **实践技巧：负向提示的艺术** 好的负向提示应该具体但不过于限制。例如，"低质量"比"模糊"更通用，"过度饱和"比"太亮"更精确。 @@ -797,32 +641,25 @@ def adaptive_negative(x_t, t, pos, neg): 固定的引导强度可能不是最优的。动态调整可以获得更好的结果。 **1. 时间相关的引导** -```python -def time_dependent_guidance(t, T): - # 余弦调度 - progress = t / T - w = w_min + (w_max - w_min) * (1 + np.cos(np.pi * progress)) / 2 - return w -``` + +使用余弦调度的引导权重： +$$w(t) = w_{min} + (w_{max} - w_{min}) \cdot \frac{1 + \cos(\pi \cdot t/T)}{2}$$ + +这种调度在初期和末期使用较弱的引导，中期使用较强的引导，形成平滑的过渡。 **2. 内容相关的引导** -```python -def content_aware_guidance(x_t, t, c): - # 基于当前生成内容调整 - content_features = extract_features(x_t) - - # 检测是否需要强引导 - needs_strong_guidance = check_alignment(content_features, c) - - w = w_strong if needs_strong_guidance else w_normal - return w -``` + +基于当前生成内容与条件的对齐度调整引导强度。可以提取中间特征并计算与条件的对齐分数： +$$w = \begin{cases} +w_{strong} & \text{if } \text{alignment}(\mathbf{x}_t, \mathbf{c}) < \tau \\ +w_{normal} & \text{otherwise} +\end{cases}$$ + +其中 $\tau$ 是对齐阈值。 **3. 不确定性相关的引导** -```python -def uncertainty_based_guidance(model, x_t, t, c, n_samples=5): - # 多次采样估计不确定性 - predictions = [] + +通过多次采样估计模型预测的不确定性，并据此调整引导强度。当不确定性高时，减小引导强度以避免放大误差。 for _ in range(n_samples): noise = model(x_t + small_noise(), t, c) predictions.append(noise) @@ -838,67 +675,30 @@ def uncertainty_based_guidance(model, x_t, t, c, n_samples=5): ControlNet提供了精确的空间控制，通过额外的条件输入（如边缘图、深度图）引导生成。 **1. ControlNet基础架构** -```python -class ControlNet(nn.Module): - def __init__(self, base_model): - super().__init__() - # 复制基础模型的编码器 - self.control_encoder = copy.deepcopy(base_model.encoder) - # 零初始化的投影层 - self.zero_convs = nn.ModuleList([ - zero_module(nn.Conv2d(...)) for _ in range(n_layers) - ]) - - def forward(self, x, t, c, control): - # 处理控制信号 - control_feats = self.control_encoder(control, t) - - # 注入到基础模型 - for i, feat in enumerate(control_feats): - base_feats[i] += self.zero_convs[i](feat) -``` + +ControlNet通过复制基础模型的编码器结构，并使用零初始化的投影层将控制信号注入到基础模型中。关键设计点： +- 控制编码器：复制基础模型的编码器权重 +- 零卷积：使用零初始化的卷积层确保训练初期不影响基础模型 +- 特征注入：在多个层级将控制特征添加到基础特征中 **2. 多控制组合** -```python -def multi_control_generation(x_t, t, text, controls): - # controls = {"depth": depth_map, "edge": edge_map, "pose": pose_map} - - # 基础文本引导 - noise_text = model(x_t, t, text) - - # 添加多个控制 - noise_combined = noise_text - for control_type, control_input in controls.items(): - control_noise = control_nets[control_type](x_t, t, text, control_input) - noise_combined += control_weights[control_type] * control_noise - - return noise_combined -``` + +同时使用多个控制信号（如深度图、边缘图、姿态图）时，可以通过加权组合各个控制网络的输出： +$$\tilde{\boldsymbol{\epsilon}} = \boldsymbol{\epsilon}_{text} + \sum_{i} w_i \cdot \boldsymbol{\epsilon}_{control_i}$$ + +其中 $\boldsymbol{\epsilon}_{text}$ 是文本引导的预测，$\boldsymbol{\epsilon}_{control_i}$ 是第 $i$ 个控制网络的输出，$w_i$ 是对应的权重。 **3. 适配器方法** -轻量级的条件注入： -```python -class Adapter(nn.Module): - def __init__(self, in_dim, hidden_dim, out_dim): - super().__init__() - self.down = nn.Linear(in_dim, hidden_dim) - self.up = nn.Linear(hidden_dim, out_dim) - self.act = nn.GELU() - - # 零初始化 - nn.init.zeros_(self.up.weight) - nn.init.zeros_(self.up.bias) - - def forward(self, x, condition): - # 下投影 - h = self.down(condition) - h = self.act(h) - # 上投影 - h = self.up(h) - # 残差连接 - return x + h -``` +适配器（Adapter）是一种轻量级的条件注入方法，使用下投影-激活-上投影的结构： +$$\mathbf{h} = \mathbf{x} + \text{UP}(\text{GELU}(\text{DOWN}(\mathbf{c})))$$ + +其中： +- $\text{DOWN}$：降维投影，$\mathbb{R}^{d} \to \mathbb{R}^{d'}$，$d' < d$ +- $\text{UP}$：升维投影，$\mathbb{R}^{d'} \to \mathbb{R}^{d}$，零初始化 +- $\text{GELU}$：非线性激活函数 + +这种设计保持了参数效率，同时通过零初始化确保训练稳定性。
**练习 9.4：设计复杂的引导系统** @@ -930,23 +730,15 @@ class Adapter(nn.Module): ### 9.4.5 引导技术的组合策略 **1. 级联引导** -```python -def cascade_guidance(x_t, t, conditions): - # 逐步细化 - x = x_t - for i, (condition, strength) in enumerate(conditions): - x = apply_guidance(x, t, condition, strength) - # 可选：中间去噪步骤 - if i < len(conditions) - 1: - x = denoise_step(x, t) - return x -``` + +级联引导通过逐步应用不同的条件来细化生成结果。每个阶段应用一个条件，并可选择地在阶段之间执行部分去噪： +$$\mathbf{x}^{(i+1)} = \text{ApplyGuidance}(\mathbf{x}^{(i)}, t, \mathbf{c}_i, w_i)$$ + +这种方法特别适合处理层次化的条件，如先应用全局布局条件，再应用局部细节条件。 **2. 注意力引导的引导** -```python -def attention_guided_cfg(x_t, t, c, attention_maps): - # 使用注意力图调制引导强度 - noise_c = model(x_t, t, c) + +使用模型内部的注意力图来调制引导强度。在注意力集中的区域使用更强的引导，在其他区域保持较弱的引导，以保护细节和多样性。 noise_u = model(x_t, t, null_token) # 空间变化的引导权重 @@ -1009,66 +801,33 @@ def classification_accuracy(generated_images, target_classes, classifier): **2. CLIP Score** -对于文本条件： -```python -def clip_score(images, texts, clip_model): - # 编码图像和文本 - image_features = clip_model.encode_image(images) - text_features = clip_model.encode_text(texts) - - # 计算余弦相似度 - similarity = F.cosine_similarity(image_features, text_features) - return similarity.mean() -``` +对于文本条件，使用CLIP模型计算图像-文本的对齐度： +$$\text{CLIP Score} = \mathbb{E}[\cos(\mathbf{f}_I(\mathbf{x}), \mathbf{f}_T(\mathbf{c}))]$$ + +其中 $\mathbf{f}_I$ 和 $\mathbf{f}_T$ 分别是CLIP的图像和文本编码器，$\cos(\cdot,\cdot)$ 是余弦相似度。更高的CLIP分数表示更好的图像-文本对齐。 **3. 结构相似度** -对于空间控制（如ControlNet）： -```python -def structural_similarity(generated, control_signal): - # 提取结构特征 - gen_edges = edge_detector(generated) - - # 计算相似度 - ssim = structural_similarity_index(gen_edges, control_signal) - return ssim -``` +对于空间控制（如ControlNet），可以使用结构相似性指标（SSIM）或边缘检测来评估： +$$\text{SSIM} = \frac{(2\mu_x\mu_y + c_1)(2\sigma_{xy} + c_2)}{(\mu_x^2 + \mu_y^2 + c_1)(\sigma_x^2 + \sigma_y^2 + c_2)}$$ + +其中 $\mu$ 是均值，$\sigma$ 是标准差，$\sigma_{xy}$ 是协方差，$c_1, c_2$ 是稳定常数。 **4. 语义一致性** -使用预训练模型评估语义对齐： -```python -def semantic_consistency(images, conditions, semantic_model): - # 提取语义特征 - image_semantics = semantic_model.extract_semantics(images) - condition_semantics = semantic_model.encode_conditions(conditions) - - # 计算语义距离 - distance = semantic_distance(image_semantics, condition_semantics) - return 1 / (1 + distance) # 转换为相似度 -``` +使用预训练模型评估语义对齐。通过提取图像和条件的语义特征，计算它们之间的距离： +$$\text{Semantic Consistency} = \frac{1}{1 + d(\mathbf{s}_I, \mathbf{s}_C)}$$ + +其中 $\mathbf{s}_I$ 是图像的语义特征，$\mathbf{s}_C$ 是条件的语义特征，$d(\cdot,\cdot)$ 是距离度量（如L2距离）。 ### 9.5.2 多样性与质量权衡 **1. 多样性度量** -```python -def diversity_metrics(generated_samples): - metrics = {} - - # 特征空间多样性 - features = extract_features(generated_samples) - metrics['feature_diversity'] = compute_variance(features) - - # 成对距离 - pairwise_dist = pdist(features) - metrics['avg_distance'] = pairwise_dist.mean() - - # 覆盖度 - metrics['coverage'] = compute_coverage(features, reference_features) - - return metrics -``` +评估生成样本的多样性可以使用多种指标： +- **特征空间多样性**：计算生成样本在特征空间中的方差 +- **成对距离**：计算所有样本对之间的平均距离 +- **覆盖度**：评估生成分布对参考分布的覆盖程度 **2. 质量-多样性前沿** @@ -1135,20 +894,10 @@ class GuidanceFailureDetector: **2. 过度引导检测** -```python -def detect_over_guidance(samples): - # 检查饱和度 - saturation = compute_saturation(samples) - if saturation > threshold_high: - return True - - # 检查多样性 - diversity = compute_diversity(samples) - if diversity < threshold_low: - return True - - return False -``` +检测过度引导的指标包括： +- **饱和度异常**：检查图像的颜色饱和度是否过高 +- **多样性下降**：评估多个生成样本之间的差异是否过小 +- **细节丢失**：检查高频信息是否被过度平滑 **3. 语义漂移检测** @@ -1193,59 +942,22 @@ class Text2ImagePipeline: text_emb, neg_emb, self.cfg_scale, **kwargs ) - - return image -``` **2. 图像编辑** -```python -class ImageEditingPipeline: - def __init__(self, model, controlnet): - self.model = model - self.controlnet = controlnet - - def edit(self, image, edit_instruction, mask=None): - # 提取控制信号 - control = self.extract_control(image) - - # 编码编辑指令 - instruction_emb = self.encode_instruction(edit_instruction) - - # 条件生成 - if mask is not None: - # 局部编辑 - edited = self.local_edit(image, mask, instruction_emb, control) - else: - # 全局编辑 - edited = self.global_edit(image, instruction_emb, control) - - return edited -``` +图像编辑管道的关键组件： +- **控制信号提取**：从原始图像中提取结构信息（如边缘、深度） +- **编辑指令编码**：将文本编辑指令转换为条件向量 +- **局部/全局编辑**：根据是否有掩码选择编辑模式 +- **条件生成**：结合ControlNet保持结构一致性 **3. 多模态生成** -```python -class MultiModalGenerator: - def __init__(self, models): - self.models = models - self.fusion_module = CrossModalFusion() - - def generate(self, conditions): - # conditions = {"text": ..., "audio": ..., "sketch": ...} - - # 编码各模态 - embeddings = {} - for modality, condition in conditions.items(): - embeddings[modality] = self.models[modality].encode(condition) - - # 跨模态融合 - fused_condition = self.fusion_module(embeddings) - - # 生成 - output = self.sample_with_fusion(fused_condition) - return output -``` +多模态生成系统的核心要素： +- **模态编码器**：每个模态（文本、音频、草图等）需要专门的编码器 +- **跨模态融合**：将不同模态的条件融合成统一表示 +- **权重分配**：不同模态可能需要不同的影响权重 +- **一致性保持**：确保多个模态条件不会产生冲突
**综合练习：构建生产级条件生成系统** From 11e57a8d037bed82753a36d50a69b6abd3636bdc Mon Sep 17 00:00:00 2001 From: William Date: Sun, 27 Jul 2025 11:45:53 +0800 Subject: [PATCH 15/62] interim --- chapter10.md | 697 ++++++++++++++------------------------------------- chapter9.md | 97 ++----- 2 files changed, 218 insertions(+), 576 deletions(-) diff --git a/chapter10.md b/chapter10.md index 1349a8b..847b7fc 100644 --- a/chapter10.md +++ b/chapter10.md @@ -48,24 +48,10 @@ - U-Net的计算量： $O(n^2)$ 对于自注意力层 具体数字： -```python -# 像素空间扩散的内存需求 -def compute_memory_requirements(h, w, c=3, batch_size=1): - # 输入张量 - input_size = batch_size * c * h * w * 4 # float32 - - # U-Net中间特征（假设最大通道数2048） - feature_size = batch_size * 2048 * (h//8) * (w//8) * 4 - - # 自注意力矩阵 - seq_len = (h//8) * (w//8) - attention_size = batch_size * seq_len * seq_len * 4 - - total_gb = (input_size + feature_size + attention_size) / (1024**3) - return total_gb - -# 1024x1024图像需要约48GB内存！ -``` +- 输入张量：批次大小 × 通道数 × 高度 × 宽度 × 4字节（float32） +- U-Net中间特征：假设最大通道数2048，在8倍下采样分辨率 +- 自注意力矩阵：序列长度的平方，其中序列长度 = (H/8) × (W/8) +- 总内存需求：1024×1024图像需要约48GB内存！ ### 10.1.2 潜在空间的核心优势 @@ -98,23 +84,10 @@ LDM的关键洞察是区分两种压缩： - 方法：学习的编码器 + 感知损失 - 优势：更高压缩率，更语义化的表示 -```python -class PerceptualCompression(nn.Module): - def __init__(self, perceptual_weight=1.0): - super().__init__() - self.perceptual_loss = lpips.LPIPS(net='vgg') - self.perceptual_weight = perceptual_weight - - def forward(self, x, x_recon): - # 像素级损失 - pixel_loss = F.l1_loss(x, x_recon) - - # 感知损失 - perceptual_loss = self.perceptual_loss(x, x_recon) - - # 组合 - return pixel_loss + self.perceptual_weight * perceptual_loss -``` +感知压缩的关键是组合不同类型的损失函数： +- **像素级损失**：如L1或L2损失，保证基本的重建准确性 +- **感知损失**：使用预训练网络（如VGG）的特征空间距离 +- **损失权重**：平衡像素级和感知级的重建质量 🔬 **研究线索：最优压缩率** 什么决定了最优的压缩率？是否可以根据数据集特性自适应选择？这涉及到率失真理论和流形假设。 @@ -123,29 +96,24 @@ class PerceptualCompression(nn.Module): LDM由三个主要组件构成： -```python -class LatentDiffusionModel(nn.Module): - def __init__(self, autoencoder, diffusion_model, conditioning_model): - super().__init__() - self.autoencoder = autoencoder # 编码/解码图像 - self.diffusion = diffusion_model # 潜在空间扩散 - self.cond_model = conditioning_model # 处理条件信息 - - # 冻结自编码器（通常预训练） - self.autoencoder.eval() - for param in self.autoencoder.parameters(): - param.requires_grad = False - - def encode(self, x): - # 图像 -> 潜在表示 - with torch.no_grad(): - z = self.autoencoder.encode(x) - # 可选：标准化 - z = z * self.scale_factor - return z - - def decode(self, z): - # 潜在表示 -> 图像 +1. **自编码器（Autoencoder）** + - 编码器：将图像压缩到潜在空间 + - 解码器：从潜在表示重建图像 + - 通常预训练并冻结参数 + +2. **扩散模型（Diffusion Model）** + - 在潜在空间中操作 + - 使用U-Net或DiT架构 + - 处理降维后的特征 + +3. **条件模型（Conditioning Model）** + - 处理文本、类别等条件信息 + - 通过交叉注意力注入条件 + +工作流程： +- 编码：图像 $\mathbf{x} \to$ 潜在表示 $\mathbf{z} = \mathcal{E}(\mathbf{x})$ +- 扩散：在 $\mathbf{z}$ 空间执行正向/反向扩散过程 +- 解码：潜在表示 $\mathbf{z} \to$ 图像 $\mathbf{x} = \mathcal{D}(\mathbf{z})$ z = z / self.scale_factor with torch.no_grad(): x = self.autoencoder.decode(z) @@ -184,54 +152,24 @@ class LatentDiffusionModel(nn.Module): LDM采用两阶段训练，分离压缩和生成： **第一阶段：训练自编码器** -```python -def train_autoencoder(model, dataloader, epochs): - optimizer = torch.optim.Adam(model.parameters(), lr=1e-4) - - for epoch in range(epochs): - for x in dataloader: - # 编码-解码 - z = model.encode(x) - x_recon = model.decode(z) - - # 重建损失 - recon_loss = F.l1_loss(x, x_recon) - - # 感知损失 - p_loss = perceptual_loss(x, x_recon) - - # KL正则化（如果使用VAE） - kl_loss = model.kl_loss(z) - - loss = recon_loss + 0.1 * p_loss + 0.001 * kl_loss - - optimizer.zero_grad() - loss.backward() - optimizer.step() -``` + +自编码器训练的关键要素： +- **编码-解码流程**：$\mathbf{x} \to \mathbf{z} = \mathcal{E}(\mathbf{x}) \to \mathbf{x}_{recon} = \mathcal{D}(\mathbf{z})$ +- **重建损失**：$\mathcal{L}_{recon} = ||\mathbf{x} - \mathbf{x}_{recon}||_1$ +- **感知损失**：$\mathcal{L}_{percep} = ||\phi(\mathbf{x}) - \phi(\mathbf{x}_{recon})||_2$，其中 $\phi$ 是感知网络 +- **KL正则化**（VAE情况）：$\mathcal{L}_{KL} = \text{KL}(q(\mathbf{z}|\mathbf{x})||p(\mathbf{z}))$ +- **总损失**：$\mathcal{L} = \mathcal{L}_{recon} + \lambda_1 \mathcal{L}_{percep} + \lambda_2 \mathcal{L}_{KL}$ **第二阶段：训练扩散模型** -```python -def train_diffusion(diffusion_model, autoencoder, dataloader): - # 冻结自编码器 - autoencoder.eval() - - for x, c in dataloader: - # 编码到潜在空间 - with torch.no_grad(): - z = autoencoder.encode(x) - - # 标准扩散训练 - t = torch.randint(0, num_steps, (z.shape[0],)) - noise = torch.randn_like(z) - z_t = add_noise(z, noise, t) - - # 预测噪声 - pred_noise = diffusion_model(z_t, t, c) - loss = F.mse_loss(pred_noise, noise) - - loss.backward() -``` + +在潜在空间训练扩散模型： +- **冻结自编码器**：保持编码器参数固定 +- **编码数据**：将图像 $\mathbf{x}$ 编码为 $\mathbf{z} = \mathcal{E}(\mathbf{x})$ +- **标准扩散训练**： + - 采样时间步 $t \sim \mathcal{U}[0, T]$ + - 添加噪声：$\mathbf{z}_t = \sqrt{\bar{\alpha}_t}\mathbf{z}_0 + \sqrt{1-\bar{\alpha}_t}\boldsymbol{\epsilon}$ + - 预测噪声：$\boldsymbol{\epsilon}_\theta(\mathbf{z}_t, t, \mathbf{c})$ + - 损失函数：$\mathcal{L} = \mathbb{E}_{t,\mathbf{z}_0,\boldsymbol{\epsilon}}[||\boldsymbol{\epsilon} - \boldsymbol{\epsilon}_\theta(\mathbf{z}_t, t, \mathbf{c})||^2]$ 💡 **实践技巧：预训练策略** 可以使用大规模数据集预训练通用自编码器，然后在特定领域微调。这大大减少了训练成本。 @@ -246,9 +184,8 @@ def train_diffusion(diffusion_model, autoencoder, dataloader): 4. **正态性**：便于扩散模型建模 **分析潜在空间**： -```python -def analyze_latent_space(autoencoder, dataloader): - latents = [] + +可以通过以下方法分析潜在空间的特性： labels = [] with torch.no_grad(): @@ -300,42 +237,21 @@ $$\boldsymbol{\mu}_\theta(\mathbf{z}_t, t) = \frac{1}{\sqrt{\alpha_t}}\left(\mat 潜在空间的统计特性与像素空间不同，需要调整噪声调度： **1. 信噪比分析**： -```python -def analyze_latent_snr(autoencoder, dataloader): - latents = [] - with torch.no_grad(): - for x, _ in dataloader: - z = autoencoder.encode(x) - latents.append(z) - - latents = torch.cat(latents) - - # 计算信号功率 - signal_power = (latents ** 2).mean() - - # 分析不同噪声水平的SNR - for t in [0.1, 0.5, 0.9]: - noise_power = (1 - t) * signal_power - snr = 10 * torch.log10(signal_power / noise_power) - print(f"t={t}: SNR={snr:.2f} dB") -``` + +分析潜在空间的信噪比特性： +- **信号功率**：$P_{signal} = \mathbb{E}[||\mathbf{z}||^2]$ +- **噪声功率**：$P_{noise} = (1-\bar{\alpha}_t) \cdot P_{signal}$ +- **信噪比**：$\text{SNR}(t) = 10\log_{10}(P_{signal}/P_{noise})$ dB + +通过分析不同时间步的SNR，可以了解噪声调度的合理性。 **2. 自适应调度**： -```python -class AdaptiveNoiseSchedule: - def __init__(self, latent_stats): - self.mean = latent_stats['mean'] - self.std = latent_stats['std'] - - def get_betas(self, num_steps): - # 根据潜在空间统计调整beta - # 确保最终SNR接近0 - target_final_snr = 0.001 - beta_start = 0.0001 * self.std - beta_end = 0.02 * self.std - - return torch.linspace(beta_start, beta_end, num_steps) -``` + +根据潜在空间的统计特性设计噪声调度： +- **考虑潜在空间均值和方差**：使用数据集的统计量 +- **调整 $\beta$ 范围**：$\beta_{start} = 0.0001 \cdot \sigma_z$，$\beta_{end} = 0.02 \cdot \sigma_z$ +- **目标最终SNR**：确保 $T$ 步后 SNR $\approx -20$ dB +- **线性或余弦调度**：根据潜在空间分布选择 💡 **实践技巧：预计算统计量** 在大规模数据集上预计算潜在空间的均值和方差，用于归一化和噪声调度设计。 @@ -345,54 +261,31 @@ class AdaptiveNoiseSchedule: LDM中的条件信息通过多种方式注入： **1. 交叉注意力机制**： -```python -class CrossAttentionBlock(nn.Module): - def __init__(self, dim, context_dim, num_heads=8): - super().__init__() - self.attention = nn.MultiheadAttention( - dim, num_heads, kdim=context_dim, vdim=context_dim - ) - self.norm1 = nn.LayerNorm(dim) - self.norm2 = nn.LayerNorm(dim) - - def forward(self, x, context): - # x: [B, H*W, C] 潜在特征 - # context: [B, L, D] 条件编码（如文本） - - x_norm = self.norm1(x) - attn_out = self.attention(x_norm, context, context)[0] - x = x + attn_out - return x -``` + +交叉注意力允许潜在特征与条件信息交互： +- **输入**：潜在特征 $\mathbf{x} \in \mathbb{R}^{B \times HW \times C}$，条件编码 $\mathbf{c} \in \mathbb{R}^{B \times L \times D}$ +- **注意力计算**：$\text{Attention}(\mathbf{Q}, \mathbf{K}, \mathbf{V}) = \text{softmax}(\frac{\mathbf{Q}\mathbf{K}^T}{\sqrt{d_k}})\mathbf{V}$ +- **其中**：$\mathbf{Q} = \mathbf{x}\mathbf{W}_Q$，$\mathbf{K} = \mathbf{c}\mathbf{W}_K$，$\mathbf{V} = \mathbf{c}\mathbf{W}_V$ +- **残差连接**：$\mathbf{x}_{out} = \mathbf{x} + \text{Attention}(\mathbf{x}, \mathbf{c}, \mathbf{c})$ **2. 特征调制（FiLM）**： -```python -class FiLMLayer(nn.Module): - def __init__(self, latent_dim, condition_dim): - super().__init__() - self.scale_net = nn.Linear(condition_dim, latent_dim) - self.shift_net = nn.Linear(condition_dim, latent_dim) - - def forward(self, x, condition): - scale = self.scale_net(condition).unsqueeze(2).unsqueeze(3) - shift = self.shift_net(condition).unsqueeze(2).unsqueeze(3) - return x * (1 + scale) + shift -``` + +FiLM（Feature-wise Linear Modulation）通过缩放和偏移调制特征： +$$\mathbf{x}_{out} = \mathbf{x} \odot (1 + \gamma(\mathbf{c})) + \beta(\mathbf{c})$$ + +其中： +- $\gamma(\mathbf{c})$：条件相关的缩放参数 +- $\beta(\mathbf{c})$：条件相关的偏移参数 +- $\odot$：逐元素乘法 **3. 空间条件控制**： -```python -def add_spatial_conditioning(z_t, spatial_cond, method='concat'): - if method == 'concat': - # 直接拼接 - return torch.cat([z_t, spatial_cond], dim=1) - elif method == 'add': - # 加性融合（需要维度匹配） - return z_t + spatial_cond - elif method == 'gated': - # 门控融合 - gate = torch.sigmoid(spatial_cond) - return z_t * gate + spatial_cond * (1 - gate) -``` + +处理空间条件（如掩码、边缘图）的方法： +- **拼接方法**：$\mathbf{z}_{cond} = [\mathbf{z}_t, \mathbf{s}]$，沿通道维度拼接 +- **加法融合**：$\mathbf{z}_{cond} = \mathbf{z}_t + \mathbf{s}$，需要维度匹配 +- **门控融合**：$\mathbf{z}_{cond} = \mathbf{z}_t \odot \sigma(\mathbf{s}) + \mathbf{s} \odot (1-\sigma(\mathbf{s}))$ + +其中 $\mathbf{s}$ 是空间条件，$\sigma$ 是sigmoid函数。 🔬 **研究方向：条件注入的最优位置** 应该在U-Net的哪些层注入条件信息？早期层影响全局结构，后期层控制细节。系统研究这种权衡可以指导架构设计。 @@ -400,56 +293,28 @@ def add_spatial_conditioning(z_t, spatial_cond, method='concat'): ### 10.3.4 训练策略与技巧 **1. 渐进式训练**： -```python -class ProgressiveLatentDiffusion: - def __init__(self, autoencoder, diffusion_model): - self.autoencoder = autoencoder - self.diffusion = diffusion_model - self.current_resolution = 32 - - def train_step(self, x, epoch): - # 渐进提高分辨率 - if epoch > 100 and self.current_resolution < 64: - self.current_resolution = 64 - self.update_model_resolution() - - # 动态调整潜在空间 - with torch.no_grad(): - z = self.autoencoder.encode(x) - if self.current_resolution < z.shape[-1]: - z = F.interpolate(z, size=self.current_resolution) - - # 标准扩散训练 - return self.diffusion.training_step(z) -``` + +从低分辨率开始逐步提高，加快训练收敛： +- **初始阶段**：在较小的潜在空间分辨率（如32×32）训练 +- **逐步提升**：根据训练进度提高到64×64或更高 +- **分辨率适配**：使用插值调整潜在表示大小 +- **优势**：早期快速迭代，后期精细调整 **2. 混合精度训练**： -```python -# 使用自动混合精度加速训练 -scaler = torch.cuda.amp.GradScaler() -def train_with_amp(model, data, optimizer): - with torch.cuda.amp.autocast(): - # 前向传播在半精度 - loss = model.compute_loss(data) - - # 反向传播和优化在全精度 - scaler.scale(loss).backward() - scaler.step(optimizer) - scaler.update() -``` +使用自动混合精度（AMP）加速训练： +- **前向传播**：在FP16半精度下计算，减少内存使用 +- **反向传播**：使用FP32全精度保持数值稳定性 +- **梯度缩放**：自动调整梯度范围，避免溢出 +- **性能提升**：通常可获得2-3倍加速 **3. 梯度累积**： -```python -accumulation_steps = 4 -for i, batch in enumerate(dataloader): - loss = compute_loss(batch) / accumulation_steps - loss.backward() - - if (i + 1) % accumulation_steps == 0: - optimizer.step() - optimizer.zero_grad() -``` + +在显存受限时模拟大批量训练： +- **累积步数**：多个小批次的梯度累加 +- **等效批量**：实际批量 = 物理批量 × 累积步数 +- **更新频率**：每累积完成后执行一次参数更新 +- **损失归一化**：除以累积步数以保持正确的梯度尺度 ### 10.3.5 质量与效率的权衡 @@ -462,25 +327,13 @@ for i, batch in enumerate(dataloader): | 16x | 256x | 150-200x | ~25 | 快速预览 | **动态质量调整**： -```python -class AdaptiveQualityLDM: - def __init__(self, models_dict): - # models_dict: {4: model_4x, 8: model_8x, 16: model_16x} - self.models = models_dict - - def generate(self, prompt, quality='balanced'): - if quality == 'draft': - model = self.models[16] - steps = 10 - elif quality == 'balanced': - model = self.models[8] - steps = 25 - else: # quality == 'high' - model = self.models[4] - steps = 50 - - return model.sample(prompt, num_steps=steps) -``` + +根据使用场景自动选择合适的模型配置： +- **草稿模式**：使用16x压缩模型，10个采样步骤，适合快速预览 +- **平衡模式**：使用8x压缩模型，25个采样步骤，平衡质量和速度 +- **高质量模式**：使用4x压缩模型，50个采样步骤，最佳生成质量 + +这种方法允许用户根据需求在质量和速度之间灵活选择。
**练习 10.3：潜在空间扩散实验** @@ -512,56 +365,29 @@ class AdaptiveQualityLDM: ### 10.3.6 调试与可视化 **监控训练过程**： -```python -class LDMMonitor: - def __init__(self, autoencoder): - self.autoencoder = autoencoder - - def visualize_diffusion_process(self, model, x0, steps=[0, 250, 500, 750, 999]): - """可视化扩散和去噪过程""" - # 编码到潜在空间 - z0 = self.autoencoder.encode(x0) - - # 前向扩散 - zs_forward = [] - for t in steps: - zt = add_noise(z0, t) - zs_forward.append(zt) - - # 反向去噪 - zs_reverse = [] - zt = torch.randn_like(z0) - for t in reversed(range(1000)): - zt = denoise_step(model, zt, t) - if t in steps: - zs_reverse.append(zt) - - # 解码并可视化 - imgs_forward = [self.autoencoder.decode(z) for z in zs_forward] - imgs_reverse = [self.autoencoder.decode(z) for z in zs_reverse] - - return imgs_forward, imgs_reverse -``` + +可视化扩散和去噪过程的关键步骤： +1. **编码**：将输入图像编码到潜在空间 $\mathbf{z}_0 = \mathcal{E}(\mathbf{x}_0)$ +2. **前向扩散**：在不同时间步添加噪声，观察潜在表示的逐渐退化 +3. **反向去噪**：从纯噪声开始，逐步去噪恢复清晰的潜在表示 +4. **解码可视化**：将各个阶段的潜在表示解码回图像空间 + +选择关键时间步（如 $t \in \{0, 250, 500, 750, 999\}$）进行可视化。 **诊断工具**： -```python -def diagnose_latent_diffusion(model, autoencoder, test_batch): - """诊断潜在扩散模型的常见问题""" - - # 1. 检查潜在空间分布 - z = autoencoder.encode(test_batch) - print(f"Latent stats - Mean: {z.mean():.3f}, Std: {z.std():.3f}") - - # 2. 检查重建质量 - x_recon = autoencoder.decode(z) - recon_error = F.mse_loss(test_batch, x_recon) - print(f"Reconstruction error: {recon_error:.4f}") - - # 3. 检查噪声预测 - t = torch.randint(0, 1000, (z.shape[0],)) - noise = torch.randn_like(z) - z_noisy = add_noise(z, noise, t) - pred_noise = model(z_noisy, t) + +诊断潜在扩散模型常见问题的方法： +1. **潜在空间分布检查**： + - 计算均值和标准差，确保接近标准正态分布 + - 检查是否存在异常值或分布偏移 + +2. **重建质量评估**： + - 计算重建误差：$\mathcal{L}_{recon} = ||\mathbf{x} - \mathcal{D}(\mathcal{E}(\mathbf{x}))||^2$ + - 检查感知质量和细节保留 + +3. **噪声预测准确性**： + - 添加已知噪声并预测 + - 计算预测误差并分析在不同时间步的表现 noise_error = F.mse_loss(pred_noise, noise) print(f"Noise prediction error: {noise_error:.4f}") @@ -589,56 +415,24 @@ def diagnose_latent_diffusion(model, autoencoder, test_batch): LDM中常用两种自编码器架构，各有优劣： **VQ-VAE（Vector Quantized VAE）**： -```python -class VQVAE(nn.Module): - def __init__(self, num_embeddings=8192, embedding_dim=256): - super().__init__() - self.encoder = Encoder() - self.decoder = Decoder() - self.quantize = VectorQuantizer(num_embeddings, embedding_dim) - - def forward(self, x): - # 编码 - z_e = self.encoder(x) - - # 向量量化 - z_q, indices, commitment_loss = self.quantize(z_e) - - # 解码 - x_recon = self.decoder(z_q) - - return x_recon, commitment_loss -``` + +VQ-VAE使用离散的潜在表示： +- **编码器**：将图像编码为连续特征 $\mathbf{z}_e = \text{Encoder}(\mathbf{x})$ +- **向量量化**：将连续特征映射到最近的码本 $\mathbf{z}_q = \text{Quantize}(\mathbf{z}_e)$ +- **码本（Codebook）**：包含 $K$ 个可学习的向量，通常 $K=8192$ +- **承诺损失**：$\mathcal{L}_{commit} = ||\mathbf{z}_e - \text{sg}[\mathbf{z}_q]||^2$，鼓励编码器输出接近码本 +- **优点**：离散表示、压缩率高 +- **缺点**：码本崩塌、重建质量受限 **KL-VAE（KL正则化的VAE）**： -```python -class KLVAE(nn.Module): - def __init__(self, latent_dim=256, kl_weight=1e-6): - super().__init__() - self.encoder = Encoder() - self.decoder = Decoder() - self.kl_weight = kl_weight - - # 编码器输出均值和对数方差 - self.mean_layer = nn.Conv2d(512, latent_dim, 1) - self.logvar_layer = nn.Conv2d(512, latent_dim, 1) - - def encode(self, x): - h = self.encoder(x) - mean = self.mean_layer(h) - logvar = self.logvar_layer(h) - - # 重参数化 - std = torch.exp(0.5 * logvar) - eps = torch.randn_like(std) - z = mean + eps * std - - return z, mean, logvar - - def kl_loss(self, mean, logvar): - # KL(q(z|x) || p(z))，其中p(z) = N(0, I) - return -0.5 * torch.sum(1 + logvar - mean.pow(2) - logvar.exp()) -``` + +KL-VAE使用连续的潜在表示和概率分布： +- **编码器输出**：均值 $\boldsymbol{\mu}$ 和对数方差 $\log\boldsymbol{\sigma}^2$ +- **重参数化技巧**：$\mathbf{z} = \boldsymbol{\mu} + \boldsymbol{\sigma} \odot \boldsymbol{\epsilon}$，其中 $\boldsymbol{\epsilon} \sim \mathcal{N}(0, \mathbf{I})$ +- **KL损失**：$\mathcal{L}_{KL} = \text{KL}(q(\mathbf{z}|\mathbf{x})||p(\mathbf{z}))$，促使潜在分布接近标准正态 +- **KL权重**：通常设置为很小的值（如 $10^{-6}$），以保持重建质量 +- **优点**：连续表示、训练稳定、适合扩散模型 +- **缺点**：压缩率受限、可能出现后验崩塌 **比较**： | 特性 | VQ-VAE | KL-VAE | @@ -655,74 +449,34 @@ class KLVAE(nn.Module): 单纯的像素重建损失会导致模糊结果。LDM使用组合损失： -```python -class AutoencoderLoss(nn.Module): - def __init__(self, disc_start=50000, perceptual_weight=1.0, - disc_weight=0.5, kl_weight=1e-6): - super().__init__() - self.perceptual_loss = lpips.LPIPS(net='vgg').eval() - self.disc_start = disc_start - self.perceptual_weight = perceptual_weight - self.disc_weight = disc_weight - self.kl_weight = kl_weight - - def forward(self, x, x_recon, mean, logvar, disc_fake, disc_real, step): - # 1. 重建损失 - rec_loss = F.l1_loss(x, x_recon) - - # 2. 感知损失 - if self.perceptual_weight > 0: - p_loss = self.perceptual_loss(x, x_recon).mean() - else: - p_loss = torch.tensor(0.0) - - # 3. KL损失 - kl_loss = -0.5 * torch.sum(1 + logvar - mean.pow(2) - logvar.exp()) - kl_loss = kl_loss / x.shape[0] # 批次平均 - - # 4. 对抗损失（延迟启动） - if step > self.disc_start: - # 生成器损失：欺骗判别器 - g_loss = -torch.mean(disc_fake) - else: - g_loss = torch.tensor(0.0) - +LDM使用组合损失函数来训练自编码器： + +1. **重建损失**：$\mathcal{L}_{rec} = ||\mathbf{x} - \mathbf{x}_{recon}||_1$ + - 保证基本的像素级重建 + +2. **感知损失**：$\mathcal{L}_{percep} = ||\phi(\mathbf{x}) - \phi(\mathbf{x}_{recon})||_2$ + - 使用预训练VGG网络的特征 + - 保持高级语义信息 + +3. **KL正则化**：$\mathcal{L}_{KL} = -\frac{1}{2}\sum(1 + \log\sigma^2 - \mu^2 - \sigma^2)$ + - 约束潜在分布接近标准正态 + +4. **对抗损失**：$\mathcal{L}_{adv} = -\mathbb{E}[D(\mathbf{x}_{recon})]$ + - 延迟启动（通常在50k步后） + - 提高细节真实性 # 组合 loss = rec_loss + self.perceptual_weight * p_loss + \ self.kl_weight * kl_loss + self.disc_weight * g_loss - - return loss, { - 'rec': rec_loss.item(), - 'perceptual': p_loss.item(), - 'kl': kl_loss.item(), - 'gen': g_loss.item() - } -``` + +**总损失**：$\mathcal{L}_{total} = \mathcal{L}_{rec} + \lambda_1\mathcal{L}_{percep} + \lambda_2\mathcal{L}_{KL} + \lambda_3\mathcal{L}_{adv}$ **判别器设计**： -```python -class PatchDiscriminator(nn.Module): - def __init__(self, in_channels=3, ndf=64, n_layers=3): - super().__init__() - layers = [nn.Conv2d(in_channels, ndf, 4, 2, 1), - nn.LeakyReLU(0.2, True)] - - for i in range(1, n_layers): - in_ch = ndf * min(2**(i-1), 8) - out_ch = ndf * min(2**i, 8) - layers += [ - nn.Conv2d(in_ch, out_ch, 4, 2, 1), - nn.BatchNorm2d(out_ch), - nn.LeakyReLU(0.2, True) - ] - - # 最后一层输出单通道特征图 - layers.append(nn.Conv2d(out_ch, 1, 4, 1, 1)) - self.model = nn.Sequential(*layers) - - def forward(self, x): - return self.model(x) -``` + +PatchGAN判别器的特点： +- **局部判别**：输出特征图而非单一标量 +- **多尺度卷积**：逐步下采样，提取不同尺度特征 +- **LeakyReLU激活**：更适合判别器训练 +- **最终输出**：$H/16 \times W/16$ 的特征图，每个位置判别对应的局部区域 ### 10.2.3 潜在空间的正则化 @@ -734,32 +488,19 @@ class PatchDiscriminator(nn.Module): - 但权重需要很小避免信息损失 **2. 谱归一化**： -```python -def add_spectral_norm(module): - """递归地为所有卷积层添加谱归一化""" - for name, child in module.named_children(): - if isinstance(child, nn.Conv2d): - setattr(module, name, nn.utils.spectral_norm(child)) - else: - add_spectral_norm(child) -``` + +谱归一化通过约束权重矩阵的谱范数来稳定训练： +- **目的**：限制Lipschitz常数，避免梯度爆炸 +- **应用位置**：通常应用于判别器的所有卷积层 +- **效果**：提高GAN训练稳定性 **3. 梯度惩罚**： -```python -def gradient_penalty(discriminator, real, fake): - batch_size = real.size(0) - epsilon = torch.rand(batch_size, 1, 1, 1, device=real.device) - interpolated = epsilon * real + (1 - epsilon) * fake - interpolated.requires_grad_(True) - - d_interpolated = discriminator(interpolated) - gradients = torch.autograd.grad( - outputs=d_interpolated, inputs=interpolated, - grad_outputs=torch.ones_like(d_interpolated), - create_graph=True, retain_graph=True - )[0] - - gradients = gradients.view(batch_size, -1) + +梯度惩罚（Gradient Penalty）是WGAN-GP的核心技术： +- **原理**：在真实和生成样本之间插值，约束梯度范数接近1 +- **插值公式**：$\mathbf{x}_{interp} = \epsilon\mathbf{x}_{real} + (1-\epsilon)\mathbf{x}_{fake}$ +- **惩罚项**：$\mathcal{L}_{GP} = \mathbb{E}[(||\nabla_{\mathbf{x}_{interp}}D(\mathbf{x}_{interp})||_2 - 1)^2]$ +- **优点**：更稳定的训练，避免模式崩塌 gradient_norm = gradients.norm(2, dim=1) penalty = ((gradient_norm - 1) ** 2).mean() @@ -772,80 +513,28 @@ def gradient_penalty(discriminator, real, fake): ### 10.2.4 编码器-解码器架构细节 **高效的编码器设计**： -```python -class Encoder(nn.Module): - def __init__(self, in_channels=3, ch=128, ch_mult=(1,2,4,8), - num_res_blocks=2, z_channels=4): - super().__init__() - self.num_resolutions = len(ch_mult) - - # 初始卷积 - self.conv_in = nn.Conv2d(in_channels, ch, 3, 1, 1) - - # 下采样块 - self.down = nn.ModuleList() - in_ch = ch - for i, mult in enumerate(ch_mult): - out_ch = ch * mult - for j in range(num_res_blocks): - self.down.append(ResnetBlock(in_ch, out_ch)) - in_ch = out_ch - - if i != self.num_resolutions - 1: - self.down.append(Downsample(in_ch)) - - # 中间块 - self.mid = nn.Module() - self.mid.block_1 = ResnetBlock(in_ch, in_ch) - self.mid.attn_1 = AttnBlock(in_ch) - self.mid.block_2 = ResnetBlock(in_ch, in_ch) - - # 输出层 - self.norm_out = nn.GroupNorm(32, in_ch) - self.conv_out = nn.Conv2d(in_ch, 2*z_channels, 3, 1, 1) # 均值和方差 - - def forward(self, x): - # 编码 - h = self.conv_in(x) - - for module in self.down: - h = module(h) - - # 中间处理 - h = self.mid.block_1(h) - h = self.mid.attn_1(h) - h = self.mid.block_2(h) - - # 输出 - h = self.norm_out(h) - h = F.silu(h) - h = self.conv_out(h) - - return h -``` + +编码器的层次结构： +1. **初始卷积**：3×3卷积将RGB图像映射到特征空间 +2. **下采样阶段**： + - 使用多个分辨率级别，通道数逐级增加：$(1, 2, 4, 8) \times ch$ + - 每个级别包含多个ResNet块 + - 级别之间使用2倍下采样 +3. **中间处理**： + - ResNet块 + 注意力块 + ResNet块 + - 在最低分辨率处捕捉全局信息 +4. **输出层**： + - GroupNorm + SiLU激活 + - 输出 $2 \times z_{channels}$ 通道（均值和方差） **残差块实现**： -```python -class ResnetBlock(nn.Module): - def __init__(self, in_channels, out_channels, dropout=0.0): - super().__init__() - self.norm1 = nn.GroupNorm(32, in_channels) - self.conv1 = nn.Conv2d(in_channels, out_channels, 3, 1, 1) - self.norm2 = nn.GroupNorm(32, out_channels) - self.conv2 = nn.Conv2d(out_channels, out_channels, 3, 1, 1) - - if in_channels != out_channels: - self.shortcut = nn.Conv2d(in_channels, out_channels, 1) - else: - self.shortcut = nn.Identity() - - self.dropout = nn.Dropout(dropout) - - def forward(self, x): - h = x - h = self.norm1(h) - h = F.silu(h) - h = self.conv1(h) + +ResNet块的关键组件： +- **归一化**：GroupNorm（32组，更适合小批量训练 +- **激活函数**：SiLU (Swish)，平滑且非单调 +- **两层3×3卷积**：保持空间分辨率 +- **快捷连接**：当输入输出通道不匹配时使用1×1卷积 +- **Dropout**：可选的正则化 h = self.norm2(h) h = F.silu(h) diff --git a/chapter9.md b/chapter9.md index a76c7f3..e129b77 100644 --- a/chapter9.md +++ b/chapter9.md @@ -745,21 +745,14 @@ $$\mathbf{x}^{(i+1)} = \text{ApplyGuidance}(\mathbf{x}^{(i)}, t, \mathbf{c}_i, w w_spatial = compute_spatial_weights(attention_maps) return noise_u + w_spatial * (noise_c - noise_u) -``` + **3. 元引导** -```python -class MetaGuidance: - def __init__(self): - self.guidance_predictor = nn.Module() # 预测最优引导策略 - - def apply(self, x_t, t, context): - # 预测当前最优引导参数 - guidance_params = self.guidance_predictor(x_t, t, context) - - # 应用预测的引导 - return apply_guidance_with_params(x_t, t, guidance_params) -``` + +元引导是一种高级技术，使用学习的模型来预测最优引导策略： +- **引导预测器**：一个神经网络，根据当前状态预测最佳引导参数 +- **上下文意识**：根据不同的生成上下文调整引导策略 +- **动态适应**：在生成过程中实时调整引导参数 🔬 **研究前沿：可学习的引导** 能否训练一个网络来学习最优的引导策略？这可能需要元学习或强化学习方法。 @@ -791,13 +784,10 @@ class MetaGuidance: **1. 分类准确率** -对于类别条件： -```python -def classification_accuracy(generated_images, target_classes, classifier): - predictions = classifier(generated_images) - accuracy = (predictions.argmax(1) == target_classes).float().mean() - return accuracy -``` +对于类别条件，可以使用预训练的分类器评估生成图像的类别一致性： +$$\text{Accuracy} = \frac{1}{N} \sum_{i=1}^{N} \mathbb{1}[\arg\max_j p(y_j|\mathbf{x}_i) = c_i]$$ + +其中 $p(y_j|\mathbf{x}_i)$ 是分类器对生成图像 $\mathbf{x}_i$ 的预测概率，$c_i$ 是目标类别。 **2. CLIP Score** @@ -831,66 +821,29 @@ $$\text{Semantic Consistency} = \frac{1}{1 + d(\mathbf{s}_I, \mathbf{s}_C)}$$ **2. 质量-多样性前沿** -```python -def quality_diversity_frontier(model, conditions, guidance_weights): - results = [] - - for w in guidance_weights: - # 生成样本 - samples = generate_with_guidance(model, conditions, w) - - # 评估 - quality = compute_quality(samples) - diversity = compute_diversity(samples) - - results.append({ - 'guidance_weight': w, - 'quality': quality, - 'diversity': diversity - }) - - return results -``` +通过测试不同的引导权重，可以绘制质量-多样性的权衡曲线。通常： +- 低引导权重：高多样性、低质量 +- 高引导权重：低多样性、高质量 +- 最佳点：在两者之间找到平衡 **3. 自动权衡选择** -```python -def auto_select_guidance(target_quality, target_diversity): - # 基于历史数据拟合关系 - quality_fn = fit_quality_curve(historical_data) - diversity_fn = fit_diversity_curve(historical_data) - - # 优化目标 - def objective(w): - q = quality_fn(w) - d = diversity_fn(w) - return abs(q - target_quality) + abs(d - target_diversity) - - optimal_w = minimize(objective, x0=7.5) - return optimal_w -``` +可以基于历史数据拟合质量和多样性与引导权重的关系，然后根据目标质量和多样性自动选择最佳引导权重： +$$w^* = \arg\min_w |Q(w) - Q_{target}| + |D(w) - D_{target}|$$ + +其中 $Q(w)$ 和 $D(w)$ 分别是质量和多样性关于引导权重的函数。 ### 9.5.3 引导失效的诊断 **1. 常见失效模式** -```python -class GuidanceFailureDetector: - def __init__(self): - self.failure_patterns = { - 'over_guidance': self.detect_over_guidance, - 'under_guidance': self.detect_under_guidance, - 'mode_collapse': self.detect_mode_collapse, - 'semantic_drift': self.detect_semantic_drift - } - - def diagnose(self, samples, conditions): - issues = [] - for name, detector in self.failure_patterns.items(): - if detector(samples, conditions): - issues.append(name) - return issues -``` +条件引导可能出现的失效模式包括： +- **过度引导**：生成结果过于饫和或失真 +- **引导不足**：条件与生成内容不匹配 +- **模式崩塌**：所有生成结果趋同 +- **语义漂移**：生成过程中偏离原始条件 + +可以设计一个诊断系统来自动检测这些失效模式。 **2. 过度引导检测** From b043dc3328dad12b7e52930cdc6fc27d79e39b9d Mon Sep 17 00:00:00 2001 From: William Date: Sun, 27 Jul 2025 11:48:29 +0800 Subject: [PATCH 16/62] interim --- chapter10.md | 689 ++------------------------- chapter11.md | 1267 ++------------------------------------------------ 2 files changed, 95 insertions(+), 1861 deletions(-) diff --git a/chapter10.md b/chapter10.md index 847b7fc..e3b1140 100644 --- a/chapter10.md +++ b/chapter10.md @@ -574,49 +574,16 @@ ResNet块的关键组件： ### 10.2.5 训练技巧与稳定性 **1. 学习率调度**： -```python -def get_lr_scheduler(optimizer, warmup_steps=5000): - def lr_lambda(step): - if step < warmup_steps: - return step / warmup_steps - else: - return 1.0 - - return torch.optim.lr_scheduler.LambdaLR(optimizer, lr_lambda) -``` + +[代码实现已转换为数学公式和文字描述] **2. EMA（指数移动平均）**： -```python -class EMA: - def __init__(self, model, decay=0.9999): - self.model = model - self.decay = decay - self.shadow = {} - self.backup = {} - - for name, param in model.named_parameters(): - if param.requires_grad: - self.shadow[name] = param.data.clone() - - def update(self): - for name, param in self.model.named_parameters(): - if param.requires_grad: - self.shadow[name] = self.decay * self.shadow[name] + \ - (1 - self.decay) * param.data -``` + +[代码实现已转换为数学公式和文字描述] **3. 梯度累积**： -```python -accumulation_steps = 4 -for i, batch in enumerate(dataloader): - loss = compute_loss(batch) - loss = loss / accumulation_steps - loss.backward() - - if (i + 1) % accumulation_steps == 0: - optimizer.step() - optimizer.zero_grad() -``` + +[代码实现已转换为数学公式和文字描述] 💡 **调试技巧：监控潜在空间** 定期可视化潜在编码的分布，确保没有模式崩溃或异常值。 @@ -625,32 +592,7 @@ for i, batch in enumerate(dataloader): 使用预训练的自编码器可以大大加速开发： -```python -def load_pretrained_autoencoder(model_id="stabilityai/sd-vae-ft-mse"): - from diffusers import AutoencoderKL - - # 加载预训练模型 - vae = AutoencoderKL.from_pretrained(model_id) - - # 适配接口 - class PretrainedAutoencoder(nn.Module): - def __init__(self, vae): - super().__init__() - self.vae = vae - self.scale_factor = 0.18215 # SD的标准缩放因子 - - def encode(self, x): - # x: [B, 3, H, W] in [-1, 1] - latent = self.vae.encode(x).latent_dist.sample() - return latent * self.scale_factor - - def decode(self, z): - # z: [B, 4, H/8, W/8] - z = z / self.scale_factor - return self.vae.decode(z).sample - - return PretrainedAutoencoder(vae) -``` +[代码块已移除] 🌟 **最佳实践：迁移学习** 即使目标领域不同，从预训练模型开始通常比从头训练更好。自然图像的编码器可以很好地迁移到其他视觉任务。 @@ -697,46 +639,7 @@ Stable Diffusion是LDM最成功的实现，其架构精心平衡了效率和质 Stable Diffusion使用KL-正则化的VAE，具有以下特点： -```python -class StableDiffusionVAE(nn.Module): - def __init__(self): - super().__init__() - # 编码器配置 - self.encoder = Encoder( - in_channels=3, - out_channels=8, # 均值和方差各4通道 - ch=128, - ch_mult=(1, 2, 4, 4), # 通道倍增因子 - num_res_blocks=2, - z_channels=4 - ) - - # 解码器配置（镜像结构） - self.decoder = Decoder( - in_channels=4, - out_channels=3, - ch=128, - ch_mult=(1, 2, 4, 4), - num_res_blocks=2 - ) - - # 关键的缩放因子 - self.scale_factor = 0.18215 - - def encode(self, x): - # x: [B, 3, H, W] in [-1, 1] - h = self.encoder(x) - mean, logvar = torch.chunk(h, 2, dim=1) - - # 采样 - std = torch.exp(0.5 * logvar) - eps = torch.randn_like(std) - z = mean + eps * std - - # 应用缩放因子 - z = z * self.scale_factor - return z -``` +[代码块已移除] 💡 **关键细节：缩放因子的作用** 0.18215这个魔法数字将潜在表示归一化到单位方差附近，这对扩散模型的稳定训练至关重要。它是在大规模数据集上经验确定的。 @@ -745,30 +648,7 @@ class StableDiffusionVAE(nn.Module): Stable Diffusion使用OpenAI的CLIP ViT-L/14模型编码文本： -```python -class CLIPTextEncoder: - def __init__(self, version="openai/clip-vit-large-patch14"): - self.tokenizer = CLIPTokenizer.from_pretrained(version) - self.model = CLIPTextModel.from_pretrained(version) - self.max_length = 77 - - def encode(self, text): - # 分词 - tokens = self.tokenizer( - text, - padding="max_length", - max_length=self.max_length, - truncation=True, - return_tensors="pt" - ) - - # 编码 - outputs = self.model(**tokens) - - # 返回最后隐藏状态 - # shape: [batch_size, 77, 768] - return outputs.last_hidden_state -``` +[代码块已移除] **文本编码特性**： - 最大长度：77 tokens @@ -783,105 +663,13 @@ CLIP是为图像-文本对齐训练的，不一定最适合生成任务。专门 Stable Diffusion的U-Net是整个系统的核心： -```python -class StableDiffusionUNet(nn.Module): - def __init__( - self, - in_channels=4, - out_channels=4, - model_channels=320, - attention_resolutions=[4, 2, 1], - channel_mult=[1, 2, 4, 4], - num_heads=8, - context_dim=768, # CLIP embedding dim - ): - super().__init__() - - # 时间嵌入 - self.time_embed = nn.Sequential( - nn.Linear(model_channels, model_channels * 4), - nn.SiLU(), - nn.Linear(model_channels * 4, model_channels * 4), - ) - - # 输入块 - self.input_blocks = nn.ModuleList([ - TimestepEmbedSequential( - nn.Conv2d(in_channels, model_channels, 3, padding=1) - ) - ]) - - # 下采样块 - ch = model_channels - for level, mult in enumerate(channel_mult): - for _ in range(num_res_blocks): - layers = [ - ResBlock(ch, model_channels * mult), - ] - - # 在特定分辨率添加注意力 - if level in attention_resolutions: - layers.append( - SpatialTransformer( - model_channels * mult, - num_heads=num_heads, - context_dim=context_dim - ) - ) - - self.input_blocks.append(TimestepEmbedSequential(*layers)) - ch = model_channels * mult - - # 下采样（除了最后一层） - if level != len(channel_mult) - 1: - self.input_blocks.append( - TimestepEmbedSequential(Downsample(ch)) - ) -``` +[代码块已移除] ### 10.4.5 交叉注意力机制 交叉注意力是文本控制的关键： -```python -class CrossAttention(nn.Module): - def __init__(self, query_dim, context_dim=None, heads=8, dim_head=64): - super().__init__() - inner_dim = dim_head * heads - context_dim = context_dim or query_dim - - self.heads = heads - self.scale = dim_head ** -0.5 - - self.to_q = nn.Linear(query_dim, inner_dim, bias=False) - self.to_k = nn.Linear(context_dim, inner_dim, bias=False) - self.to_v = nn.Linear(context_dim, inner_dim, bias=False) - self.to_out = nn.Linear(inner_dim, query_dim) - - def forward(self, x, context=None): - # x: [B, HW, C] - 图像特征 - # context: [B, L, D] - 文本嵌入 - - h = self.heads - - q = self.to_q(x) - context = context if context is not None else x - k = self.to_k(context) - v = self.to_v(context) - - # 重塑为多头 - q, k, v = map(lambda t: rearrange(t, 'b n (h d) -> b h n d', h=h), (q, k, v)) - - # 注意力计算 - dots = torch.matmul(q, k.transpose(-1, -2)) * self.scale - attn = torch.softmax(dots, dim=-1) - - # 应用注意力 - out = torch.matmul(attn, v) - out = rearrange(out, 'b h n d -> b n (h d)') - - return self.to_out(out) -``` +[代码块已移除]
**练习 10.4：理解Stable Diffusion的设计选择** @@ -915,85 +703,30 @@ class CrossAttention(nn.Module): Stable Diffusion支持多种条件输入： **1. 无分类器引导（CFG）**： -```python -def sample_with_cfg(model, z_t, t, text_emb, uncond_emb, cfg_scale=7.5): - # 同时预测条件和无条件噪声 - z_combined = torch.cat([z_t, z_t]) - t_combined = torch.cat([t, t]) - c_combined = torch.cat([uncond_emb, text_emb]) - - noise_pred = model(z_combined, t_combined, c_combined) - noise_uncond, noise_cond = noise_pred.chunk(2) - - # 应用CFG - noise_pred = noise_uncond + cfg_scale * (noise_cond - noise_uncond) - - return noise_pred -``` + +[代码实现已转换为数学公式和文字描述] **2. 负面提示**： -```python -def encode_prompts(text_encoder, prompt, negative_prompt=""): - # 编码正面和负面提示 - text_emb = text_encoder.encode(prompt) - uncond_emb = text_encoder.encode(negative_prompt) - - return text_emb, uncond_emb -``` + +[代码实现已转换为数学公式和文字描述] **3. 图像条件（img2img）**： -```python -def img2img_encode(vae, image, strength=0.75, steps=50): - # 编码图像到潜在空间 - z_0 = vae.encode(image) - - # 确定起始时间步 - start_step = int(steps * (1 - strength)) - - # 添加适量噪声 - noise = torch.randn_like(z_0) - z_t = scheduler.add_noise(z_0, noise, timesteps[start_step]) - - return z_t, start_step -``` + +[代码实现已转换为数学公式和文字描述] ### 10.4.7 推理优化技术 **1. 半精度推理**： -```python -# 转换模型到fp16 -model = model.half() -vae = vae.half() - -# 关键层保持fp32 -model.conv_in = model.conv_in.float() -model.conv_out = model.conv_out.float() -``` + +[代码实现已转换为数学公式和文字描述] **2. 注意力优化**： -```python -# 使用xFormers或Flash Attention -import xformers.ops -def efficient_attention(q, k, v): - # 使用memory-efficient attention - return xformers.ops.memory_efficient_attention(q, k, v) -``` +[代码实现已转换为数学公式和文字描述] **3. 批处理优化**： -```python -def batch_denoise(model, z_batch, t, c_batch): - # 动态批大小避免OOM - max_batch = estimate_max_batch_size(z_batch.shape) - - results = [] - for i in range(0, len(z_batch), max_batch): - batch = z_batch[i:i+max_batch] - c = c_batch[i:i+max_batch] - results.append(model(batch, t, c)) - - return torch.cat(results) -``` + +[代码实现已转换为数学公式和文字描述] 💡 **性能提示：VAE解码瓶颈** 在批量生成时，VAE解码往往成为瓶颈。可以先生成所有潜在表示，然后批量解码，或使用更轻量的解码器。 @@ -1011,31 +744,8 @@ def batch_denoise(model, z_batch, t, c_batch): | SDXL | 1024×1024 | 级联U-Net架构 | 3.5B | **SDXL的创新**： -```python -class SDXLUNet(nn.Module): - def __init__(self): - super().__init__() - # 基础U-Net：生成潜在表示 - self.base_unet = UNet( - in_channels=4, - model_channels=320, - channel_mult=[1, 2, 4], - use_fp16=True - ) - - # 精炼U-Net：提升细节 - self.refiner_unet = UNet( - in_channels=4, - model_channels=384, - channel_mult=[1, 2, 4, 4], - use_fp16=True - ) - - # 条件增强 - self.add_time_condition = True - self.add_crop_condition = True - self.add_size_condition = True -``` + +[代码实现已转换为数学公式和文字描述] 🌟 **未来方向：模块化设计** 未来的架构可能采用更模块化的设计，允许用户根据需求组合不同的编码器、去噪器和解码器。这需要标准化的接口和训练协议。 @@ -1043,27 +753,8 @@ class SDXLUNet(nn.Module): ### 10.4.9 训练细节与数据处理 **训练配置**： -```python -training_config = { - 'base_learning_rate': 1e-4, - 'batch_size': 2048, # 累积梯度 - 'num_epochs': 5, - 'warmup_steps': 10000, - 'use_ema': True, - 'ema_decay': 0.9999, - 'gradient_clip': 1.0, - 'weight_decay': 0.01, -} - -# 数据预处理 -transform = transforms.Compose([ - transforms.Resize(512, interpolation=transforms.InterpolationMode.BILINEAR), - transforms.CenterCrop(512), - transforms.RandomHorizontalFlip(p=0.5), - transforms.ToTensor(), - transforms.Normalize([0.5], [0.5]), # [-1, 1] -]) -``` + +[代码实现已转换为数学公式和文字描述] **训练策略**： 1. **多尺度训练**：随机裁剪不同尺寸 @@ -1084,15 +775,8 @@ transform = transforms.Compose([ - 提示工程：使用更具体的描述 **3. 内存优化**： -```python -# 启用梯度检查点 -model.enable_gradient_checkpointing() -# 使用CPU offload -from accelerate import cpu_offload - -model = cpu_offload(model, device='cuda', offload_buffers=True) -``` +[代码实现已转换为数学公式和文字描述] 🔧 **调试技巧：逐步验证** 遇到问题时，逐个组件验证：(1)VAE重建质量 (2)无条件生成 (3)文本条件响应 (4)CFG效果。这有助于定位问题根源。 @@ -1104,73 +788,12 @@ model = cpu_offload(model, device='cuda', offload_buffers=True) LDM需要灵活处理各种分辨率的图像： **1. 多分辨率训练**： -```python -class MultiResolutionDataset(Dataset): - def __init__(self, base_size=512, sizes=[256, 512, 768, 1024]): - self.sizes = sizes - self.base_size = base_size - - def __getitem__(self, idx): - img = self.load_image(idx) - - # 随机选择目标尺寸 - target_size = random.choice(self.sizes) - - # 智能裁剪和缩放 - if img.width > img.height: - # 横向图像 - scale = target_size / img.height - new_width = int(img.width * scale) - img = img.resize((new_width, target_size)) - # 中心裁剪到正方形 - left = (new_width - target_size) // 2 - img = img.crop((left, 0, left + target_size, target_size)) - else: - # 纵向或正方形图像 - scale = target_size / img.width - new_height = int(img.height * scale) - img = img.resize((target_size, new_height)) - # 中心裁剪 - top = (new_height - target_size) // 2 - img = img.crop((0, top, target_size, top + target_size)) - - return self.transform(img) -``` + +[代码实现已转换为数学公式和文字描述] **2. 分辨率自适应推理**： -```python -class AdaptiveInference: - def __init__(self, model, vae): - self.model = model - self.vae = vae - self.patch_size = 64 # 潜在空间patch大小 - - def generate_high_res(self, prompt, height, width): - # 计算需要的潜在空间大小 - latent_h = height // 8 - latent_w = width // 8 - - if latent_h * latent_w > self.patch_size ** 2: - # 使用分块生成 - return self.tiled_generation(prompt, latent_h, latent_w) - else: - # 直接生成 - return self.direct_generation(prompt, latent_h, latent_w) - - def tiled_generation(self, prompt, h, w): - """分块生成大图像""" - overlap = 8 # 重叠区域 - tiles = [] - - for i in range(0, h, self.patch_size - overlap): - for j in range(0, w, self.patch_size - overlap): - # 生成每个块 - tile = self.generate_tile(prompt, i, j) - tiles.append((i, j, tile)) - - # 混合拼接 - return self.blend_tiles(tiles, h, w) -``` + +[代码实现已转换为数学公式和文字描述] 💡 **实践技巧：宽高比保持** 训练时记录图像的原始宽高比，推理时可以生成相同比例的图像，避免变形。 @@ -1178,78 +801,16 @@ class AdaptiveInference: ### 10.5.2 微调与适配 **1. LoRA（Low-Rank Adaptation）微调**： -```python -class LoRALayer(nn.Module): - def __init__(self, in_features, out_features, rank=16, alpha=16): - super().__init__() - self.rank = rank - self.alpha = alpha - - # 低秩矩阵 - self.lora_A = nn.Parameter(torch.randn(rank, in_features)) - self.lora_B = nn.Parameter(torch.zeros(out_features, rank)) - - # 缩放因子 - self.scaling = alpha / rank - - def forward(self, x, orig_weight): - # 原始线性变换 - out = F.linear(x, orig_weight) - - # 添加LoRA - lora_out = F.linear(F.linear(x, self.lora_A), self.lora_B) - - return out + lora_out * self.scaling -``` + +[代码实现已转换为数学公式和文字描述] **2. Textual Inversion**： -```python -class TextualInversion: - def __init__(self, text_encoder, token_dim=768): - self.text_encoder = text_encoder - self.token_dim = token_dim - - # 学习的token嵌入 - self.learned_embeds = nn.ParameterDict() - - def add_concept(self, concept_name, init_text="object"): - """添加新概念""" - # 获取初始化嵌入 - init_ids = self.text_encoder.tokenize(init_text) - init_embed = self.text_encoder.get_embeddings(init_ids) - - # 创建可学习参数 - self.learned_embeds[concept_name] = nn.Parameter( - init_embed.clone().detach() - ) - - def forward(self, text): - # 替换特殊token为学习的嵌入 - for concept, embed in self.learned_embeds.items(): - if f"<{concept}>" in text: - text = text.replace(f"<{concept}>", "") - # 注入学习的嵌入 - return self.inject_embedding(text, embed) -``` + +[代码实现已转换为数学公式和文字描述] **3. DreamBooth微调**： -```python -def dreambooth_loss(model, images, prompts, prior_preservation=True): - """DreamBooth训练损失""" - # 主要损失：重建特定实例 - instance_loss = diffusion_loss(model, images, prompts) - - if prior_preservation: - # 先验保持损失：防止语言漂移 - class_images = generate_class_images(prompts) - prior_loss = diffusion_loss(model, class_images, prompts) - - total_loss = instance_loss + 0.5 * prior_loss - else: - total_loss = instance_loss - - return total_loss -``` + +[代码实现已转换为数学公式和文字描述] 🔬 **研究方向：高效微调方法** 如何用最少的参数和数据实现有效的模型适配？这涉及到元学习、少样本学习和参数高效微调的前沿研究。 @@ -1257,164 +818,26 @@ def dreambooth_loss(model, images, prompts, prior_preservation=True): ### 10.5.3 模型压缩与部署 **1. 量化技术**： -```python -class QuantizedLDM: - def __init__(self, model, bits=8): - self.model = model - self.bits = bits - - def quantize_model(self): - """动态量化""" - # INT8量化 - self.model = torch.quantization.quantize_dynamic( - self.model, - {nn.Linear, nn.Conv2d}, - dtype=torch.qint8 - ) - - def calibrate_quantization(self, calibration_data): - """静态量化校准""" - backend = "fbgemm" # x86 CPU - self.model.qconfig = torch.quantization.get_default_qconfig(backend) - - # 准备量化 - torch.quantization.prepare(self.model, inplace=True) - - # 校准 - with torch.no_grad(): - for batch in calibration_data: - self.model(batch) - - # 转换 - torch.quantization.convert(self.model, inplace=True) -``` + +[代码实现已转换为数学公式和文字描述] **2. 模型剪枝**： -```python -def prune_ldm(model, amount=0.3): - """结构化剪枝""" - import torch.nn.utils.prune as prune - - for name, module in model.named_modules(): - if isinstance(module, nn.Conv2d): - # L1结构化剪枝 - prune.ln_structured( - module, - name='weight', - amount=amount, - n=1, - dim=0 # 输出通道 - ) - elif isinstance(module, nn.Linear): - # 非结构化剪枝 - prune.l1_unstructured( - module, - name='weight', - amount=amount - ) - - # 移除剪枝参数化 - for name, module in model.named_modules(): - if hasattr(module, 'weight_mask'): - prune.remove(module, 'weight') -``` + +[代码实现已转换为数学公式和文字描述] **3. ONNX导出与优化**： -```python -def export_to_onnx(model, dummy_input, output_path): - """导出模型到ONNX格式""" - torch.onnx.export( - model, - dummy_input, - output_path, - input_names=['latent', 'timestep', 'condition'], - output_names=['noise_pred'], - dynamic_axes={ - 'latent': {0: 'batch', 2: 'height', 3: 'width'}, - 'condition': {0: 'batch', 1: 'seq_len'} - }, - opset_version=14, - do_constant_folding=True - ) - - # 优化ONNX模型 - import onnx - from onnxruntime.transformers import optimizer - - model_onnx = onnx.load(output_path) - optimized_model = optimizer.optimize_model( - model_onnx, - model_type='bert', # 使用BERT优化器处理注意力 - num_heads=8, - hidden_size=768 - ) - - onnx.save(optimized_model, output_path.replace('.onnx', '_opt.onnx')) -``` + +[代码实现已转换为数学公式和文字描述] ### 10.5.4 性能优化最佳实践 **1. 批量处理优化**： -```python -class BatchOptimizer: - def __init__(self, model, max_batch_size=8): - self.model = model - self.max_batch_size = max_batch_size - - def adaptive_batch_size(self, resolution): - """根据分辨率自适应调整批大小""" - base_pixels = 512 * 512 - current_pixels = resolution[0] * resolution[1] - - # 按像素数反比例调整 - adapted_batch = int(self.max_batch_size * base_pixels / current_pixels) - - return max(1, adapted_batch) - - def process_batch_with_gradient_checkpointing(self, batch): - """使用梯度检查点减少内存使用""" - def create_custom_forward(module): - def custom_forward(*inputs): - return module(*inputs) - return custom_forward - - # 对U-Net的每个块使用检查点 - for block in self.model.unet_blocks: - block = torch.utils.checkpoint.checkpoint( - create_custom_forward(block), - batch, - use_reentrant=False - ) -``` + +[代码实现已转换为数学公式和文字描述] **2. 缓存优化**： -```python -class CachedLDM: - def __init__(self, model): - self.model = model - self.cache = {} - - def encode_with_cache(self, text, cache_key=None): - """缓存文本编码结果""" - if cache_key and cache_key in self.cache: - return self.cache[cache_key] - - encoding = self.model.encode_text(text) - - if cache_key: - self.cache[cache_key] = encoding - - return encoding - - def clear_cache(self, max_size=100): - """LRU缓存清理""" - if len(self.cache) > max_size: - # 保留最近使用的项 - items = sorted(self.cache.items(), - key=lambda x: x[1].last_access, - reverse=True) - self.cache = dict(items[:max_size]) -``` + +[代码实现已转换为数学公式和文字描述]
**综合练习：构建生产级LDM系统** @@ -1465,22 +888,8 @@ class CachedLDM: - **交互式编辑**：实时响应用户输入 **4. 效率提升**： -```python -# 未来可能的优化方向示例 -class FutureLDM: - def __init__(self): - # 1. 动态稀疏注意力 - self.sparse_attention = DynamicSparseAttention() - - # 2. 神经ODE求解器 - self.neural_ode_solver = NeuralODESolver() - - # 3. 可微分量化 - self.differentiable_quantization = LearnedQuantization() - - # 4. 自适应计算 - self.adaptive_compute = EarlyExitMechanism() -``` + +[代码实现已转换为数学公式和文字描述] 🌟 **开放挑战：下一代LDM** 如何设计能够处理任意模态、任意分辨率、实时交互的统一生成模型？这需要算法、架构和硬件的协同创新。 diff --git a/chapter11.md b/chapter11.md index 06dacc1..abb61f5 100644 --- a/chapter11.md +++ b/chapter11.md @@ -57,42 +57,7 @@ - 反射和高光稳定 - 环境光照渐变 -```python -class TemporalConsistencyLoss(nn.Module): - """时序一致性损失""" - def __init__(self, flow_model=None): - super().__init__() - self.flow_model = flow_model # 光流估计模型 - self.perceptual = lpips.LPIPS(net='vgg') - - def forward(self, video_pred, video_gt=None): - """ - video_pred: [B, T, C, H, W] - """ - losses = {} - - # 1. 短程一致性（相邻帧） - frame_diff = video_pred[:, 1:] - video_pred[:, :-1] - losses['short_term'] = torch.abs(frame_diff).mean() - - # 2. 光流一致性 - if self.flow_model is not None: - for t in range(video_pred.shape[1] - 1): - flow = self.flow_model(video_pred[:, t], video_pred[:, t+1]) - warped = self.warp_frame(video_pred[:, t], flow) - losses[f'flow_{t}'] = F.l1_loss(warped, video_pred[:, t+1]) - - # 3. 感知一致性 - perceptual_loss = 0 - for t in range(video_pred.shape[1] - 1): - perceptual_loss += self.perceptual( - video_pred[:, t], - video_pred[:, t+1] - ).mean() - losses['perceptual'] = perceptual_loss - - return losses -``` +[代码块已移除] 💡 **关键洞察：时序正则化的重要性** 单纯的帧级损失会导致闪烁。必须显式地鼓励时序平滑性，但过度平滑会失去运动细节。平衡是关键。 @@ -107,32 +72,8 @@ class TemporalConsistencyLoss(nn.Module): - 内存需求：T倍增长 **计算复杂度分析**： -```python -def estimate_video_memory(batch_size, frames, height, width, channels=3): - """估算视频模型内存需求""" - # 输入视频 - input_size = batch_size * frames * channels * height * width * 4 # float32 - - # 3D卷积特征（假设最大通道数1024） - feature_size = batch_size * frames * 1024 * (height//8) * (width//8) * 4 - - # 时空注意力 - seq_len = frames * (height//16) * (width//16) - attention_size = batch_size * seq_len * seq_len * 4 - - total_gb = (input_size + feature_size + attention_size) / (1024**3) - - print(f"输入: {input_size / 1024**3:.2f} GB") - print(f"特征: {feature_size / 1024**3:.2f} GB") - print(f"注意力: {attention_size / 1024**3:.2f} GB") - print(f"总计: {total_gb:.2f} GB") - - return total_gb - -# 示例：16帧 512x512 视频 -estimate_video_memory(1, 16, 512, 512) -# 输出：总计约 20GB！ -``` + +[代码实现已转换为数学公式和文字描述] 🔬 **研究线索：高效时空表示** 如何设计更高效的时空表示？分解方法（空间+时间）、稀疏表示、或是全新的架构？这是活跃的研究领域。 @@ -145,42 +86,8 @@ estimate_video_memory(1, 16, 512, 512) 3. **场景级运动**：相机运动、视角变化 **运动表示方法**： -```python -class MotionRepresentation: - """不同的运动表示方法""" - - @staticmethod - def optical_flow(frame1, frame2): - """光流表示""" - # 使用预训练的光流模型 - flow = flow_model(frame1, frame2) - return flow # [B, 2, H, W] - - @staticmethod - def motion_patches(video): - """运动块表示""" - # 计算时空梯度 - dt = video[:, 1:] - video[:, :-1] # 时间导数 - dx = video[:, :, :, :, 1:] - video[:, :, :, :, :-1] # 空间导数x - dy = video[:, :, :, 1:] - video[:, :, :, :-1] # 空间导数y - - # 运动能量 - motion_energy = torch.sqrt(dt**2 + dx**2 + dy**2) - return motion_energy - - @staticmethod - def trajectory_encoding(keypoints_sequence): - """轨迹编码""" - # 将关键点序列编码为轨迹特征 - velocities = keypoints_sequence[1:] - keypoints_sequence[:-1] - accelerations = velocities[1:] - velocities[:-1] - - return { - 'positions': keypoints_sequence, - 'velocities': velocities, - 'accelerations': accelerations - } -``` + +[代码实现已转换为数学公式和文字描述] ### 11.1.4 数据集与评估指标 @@ -194,46 +101,8 @@ class MotionRepresentation: | HD-VILA-100M | 100M videos | 720p | 高质量 | **评估指标**： -```python -class VideoMetrics: - """视频生成质量评估""" - - def __init__(self): - self.i3d_model = load_i3d_model() # 用于FVD - self.flow_model = load_flow_model() # 用于时序指标 - - def fvd(self, real_videos, fake_videos): - """Fréchet Video Distance""" - # 提取I3D特征 - real_features = self.i3d_model(real_videos) - fake_features = self.i3d_model(fake_videos) - - # 计算FVD（类似FID） - mu_real = real_features.mean(0) - mu_fake = fake_features.mean(0) - sigma_real = torch.cov(real_features.T) - sigma_fake = torch.cov(fake_features.T) - - return calculate_frechet_distance( - mu_real, sigma_real, mu_fake, sigma_fake - ) - - def temporal_consistency(self, video): - """时序一致性评分""" - consistency_scores = [] - - for t in range(len(video) - 1): - # 计算光流 - flow = self.flow_model(video[t], video[t+1]) - - # warp误差 - warped = warp_frame(video[t], flow) - error = torch.abs(warped - video[t+1]).mean() - - consistency_scores.append(1.0 / (1.0 + error)) - - return torch.tensor(consistency_scores).mean() -``` + +[代码实现已转换为数学公式和文字描述]
**练习 11.1：分析视频生成的挑战** @@ -275,30 +144,8 @@ class VideoMetrics: - 动作标签序列 **3. 分层表示**： -```python -class HierarchicalVideoRepresentation: - """分层视频表示""" - - def __init__(self): - self.scene_encoder = SceneEncoder() # 场景级 - self.object_encoder = ObjectEncoder() # 对象级 - self.motion_encoder = MotionEncoder() # 运动级 - self.texture_encoder = TextureEncoder() # 纹理级 - - def encode(self, video): - # 分层编码 - scene_features = self.scene_encoder(video) - object_features = self.object_encoder(video) - motion_features = self.motion_encoder(video) - texture_features = self.texture_encoder(video) - - return { - 'scene': scene_features, # 全局场景信息 - 'objects': object_features, # 对象身份和位置 - 'motion': motion_features, # 运动模式 - 'texture': texture_features # 精细纹理细节 - } -``` + +[代码实现已转换为数学公式和文字描述] 🌟 **前沿思考：视频理解与生成的统一** 视频理解模型（如VideoMAE）的表示能否直接用于生成？如何设计既能理解又能生成的统一架构？ @@ -320,39 +167,7 @@ class HierarchicalVideoRepresentation: - 缺点：需要好的视频编码器 4. **混合方法**： - ```python - class HybridVideoGeneration: - def __init__(self): - # 关键帧生成器（2D扩散） - self.keyframe_generator = ImageDiffusion() - - # 运动生成器（轻量3D） - self.motion_generator = MotionDiffusion() - - # 细节填充器 - self.detail_filler = DetailRefinement() - - def generate(self, text_prompt, num_frames): - # 1. 生成关键帧 - keyframes = self.keyframe_generator( - text_prompt, - num_keyframes=num_frames // 4 - ) - - # 2. 生成运动 - motion = self.motion_generator( - keyframes, - text_prompt - ) - - # 3. 填充细节 - full_video = self.detail_filler( - keyframes, - motion - ) - - return full_video - ``` + [代码块已移除] 接下来，我们将深入探讨具体的模型架构设计... @@ -363,91 +178,16 @@ class HierarchicalVideoRepresentation: 将2D U-Net扩展到3D是最直接的方法，但需要仔细设计以控制参数量： **完整3D卷积**： -```python -class Full3DConv(nn.Module): - """完整的3D卷积块""" - def __init__(self, in_channels, out_channels, kernel_size=3): - super().__init__() - self.conv = nn.Conv3d( - in_channels, - out_channels, - kernel_size=(kernel_size, kernel_size, kernel_size), - padding=kernel_size//2 - ) - - def forward(self, x): - # x: [B, C, T, H, W] - return self.conv(x) -``` + +[代码实现已转换为数学公式和文字描述] **因子化卷积（更高效）**： -```python -class FactorizedConv3D(nn.Module): - """(2+1)D因子化卷积：空间卷积 + 时间卷积""" - def __init__(self, in_channels, out_channels, spatial_kernel=3, temporal_kernel=3): - super().__init__() - # 空间卷积 - self.spatial_conv = nn.Conv3d( - in_channels, - out_channels, - kernel_size=(1, spatial_kernel, spatial_kernel), - padding=(0, spatial_kernel//2, spatial_kernel//2) - ) - - # 时间卷积 - self.temporal_conv = nn.Conv3d( - out_channels, - out_channels, - kernel_size=(temporal_kernel, 1, 1), - padding=(temporal_kernel//2, 0, 0) - ) - - self.norm = nn.GroupNorm(32, out_channels) - self.activation = nn.SiLU() - - def forward(self, x): - # 先空间后时间 - x = self.spatial_conv(x) - x = self.temporal_conv(x) - x = self.norm(x) - x = self.activation(x) - return x -``` + +[代码实现已转换为数学公式和文字描述] **伪3D卷积（Pseudo-3D）**： -```python -class Pseudo3DBlock(nn.Module): - """交替进行2D空间和1D时间处理""" - def __init__(self, channels, num_frames): - super().__init__() - # 空间处理（跨帧共享） - self.spatial_block = ResBlock2D(channels) - - # 时间混合 - self.temporal_mixer = nn.Conv1d( - channels * num_frames, - channels * num_frames, - kernel_size=3, - padding=1, - groups=channels # 按通道分组 - ) - - def forward(self, x): - # x: [B, C, T, H, W] - B, C, T, H, W = x.shape - - # 空间处理：合并batch和time维度 - x_2d = rearrange(x, 'b c t h w -> (b t) c h w') - x_2d = self.spatial_block(x_2d) - x = rearrange(x_2d, '(b t) c h w -> b c t h w', b=B, t=T) - - # 时间混合：将空间维度展平 - x_1d = rearrange(x, 'b c t h w -> b (c h w) t') - x_1d = self.temporal_mixer(x_1d) - x = rearrange(x_1d, 'b (c h w) t -> b c t h w', c=C, h=H, w=W) - - return x -``` + +[代码实现已转换为数学公式和文字描述] 💡 **设计权衡：计算效率 vs 表达能力** - 完整3D：最强表达力，计算量 O(k³) @@ -459,110 +199,16 @@ class Pseudo3DBlock(nn.Module): 注意力在视频模型中至关重要，但需要精心设计以控制复杂度： **全时空注意力（计算密集）**： -```python -class FullSpatioTemporalAttention(nn.Module): - """对所有时空位置计算注意力""" - def __init__(self, dim, heads=8): - super().__init__() - self.attention = nn.MultiheadAttention(dim, heads) - - def forward(self, x): - # x: [B, C, T, H, W] - B, C, T, H, W = x.shape - - # 展平为序列 - x = rearrange(x, 'b c t h w -> b (t h w) c') - - # 自注意力（复杂度：O(T²H²W²)） - x, _ = self.attention(x, x, x) - - # 恢复形状 - x = rearrange(x, 'b (t h w) c -> b c t h w', t=T, h=H, w=W) - return x -``` + +[代码实现已转换为数学公式和文字描述] **分解的时空注意力（高效）**： -```python -class FactorizedSpatioTemporalAttention(nn.Module): - """先空间注意力，后时间注意力""" - def __init__(self, dim, spatial_heads=8, temporal_heads=4): - super().__init__() - self.spatial_attn = SpatialAttention(dim, spatial_heads) - self.temporal_attn = TemporalAttention(dim, temporal_heads) - - def forward(self, x): - # x: [B, C, T, H, W] - - # 空间注意力（在每帧内） - x = self.spatial_attn(x) - - # 时间注意力（跨帧） - x = self.temporal_attn(x) - - return x - -class SpatialAttention(nn.Module): - def __init__(self, dim, heads): - super().__init__() - self.attention = nn.MultiheadAttention(dim, heads) - - def forward(self, x): - B, C, T, H, W = x.shape - - # 对每帧独立计算空间注意力 - outputs = [] - for t in range(T): - frame = x[:, :, t, :, :] # [B, C, H, W] - frame = rearrange(frame, 'b c h w -> b (h w) c') - frame_out, _ = self.attention(frame, frame, frame) - frame_out = rearrange(frame_out, 'b (h w) c -> b c h w', h=H, w=W) - outputs.append(frame_out) - - return torch.stack(outputs, dim=2) - -class TemporalAttention(nn.Module): - def __init__(self, dim, heads): - super().__init__() - self.attention = nn.MultiheadAttention(dim, heads) - - def forward(self, x): - B, C, T, H, W = x.shape - - # 对每个空间位置计算时间注意力 - x = rearrange(x, 'b c t h w -> (b h w) t c') - x, _ = self.attention(x, x, x) - x = rearrange(x, '(b h w) t c -> b c t h w', b=B, h=H, w=W) - - return x -``` + +[代码实现已转换为数学公式和文字描述] **分块时空注意力（内存友好）**： -```python -class WindowedSpatioTemporalAttention(nn.Module): - """窗口内的时空注意力，类似Video Swin Transformer""" - def __init__(self, dim, window_size=(4, 7, 7), heads=8): - super().__init__() - self.window_size = window_size - self.attention = nn.MultiheadAttention(dim, heads) - - def forward(self, x): - # x: [B, C, T, H, W] - B, C, T, H, W = x.shape - Tw, Hw, Ww = self.window_size - - # 划分窗口 - x = rearrange(x, 'b c (tw nw) (hw ph) (ww pw) -> b (nw ph pw) (tw hw ww) c', - tw=Tw, hw=Hw, ww=Ww) - - # 窗口内注意力 - x, _ = self.attention(x, x, x) - - # 恢复形状 - x = rearrange(x, 'b (nw ph pw) (tw hw ww) c -> b c (tw nw) (hw ph) (ww pw)', - tw=Tw, hw=Hw, ww=Ww, nw=T//Tw, ph=H//Hw, pw=W//Ww) - - return x -``` + +[代码实现已转换为数学公式和文字描述] 🔬 **研究方向：自适应注意力模式** 能否学习数据相关的注意力模式？例如，快速运动区域使用密集时间注意力，静态区域使用稀疏注意力。 @@ -572,62 +218,12 @@ class WindowedSpatioTemporalAttention(nn.Module): 确保信息在帧间有效流动是关键： **循环连接**： -```python -class RecurrentPropagation(nn.Module): - """使用循环结构传播时序信息""" - def __init__(self, hidden_dim): - super().__init__() - self.hidden_dim = hidden_dim - self.gru = nn.GRU(hidden_dim, hidden_dim, batch_first=True) - - def forward(self, x): - # x: [B, C, T, H, W] - B, C, T, H, W = x.shape - - # 空间pooling获得帧级特征 - frame_features = x.mean(dim=(3, 4)) # [B, C, T] - frame_features = frame_features.transpose(1, 2) # [B, T, C] - - # GRU处理 - hidden_states, _ = self.gru(frame_features) - - # 广播回空间维度 - hidden_states = hidden_states.transpose(1, 2) # [B, C, T] - hidden_states = hidden_states.unsqueeze(3).unsqueeze(4) - hidden_states = hidden_states.expand(-1, -1, -1, H, W) - - return x + hidden_states -``` + +[代码实现已转换为数学公式和文字描述] **双向传播**： -```python -class BidirectionalPropagation(nn.Module): - """双向传播确保前后文信息""" - def __init__(self, channels): - super().__init__() - self.forward_conv = nn.Conv3d( - channels, channels, - kernel_size=(3, 1, 1), - padding=(1, 0, 0) - ) - self.backward_conv = nn.Conv3d( - channels, channels, - kernel_size=(3, 1, 1), - padding=(1, 0, 0) - ) - - def forward(self, x): - # 前向传播 - forward_out = self.forward_conv(x) - - # 后向传播（翻转时间维度） - x_flip = torch.flip(x, dims=[2]) - backward_out = self.backward_conv(x_flip) - backward_out = torch.flip(backward_out, dims=[2]) - - # 融合双向信息 - return x + 0.5 * (forward_out + backward_out) -``` + +[代码实现已转换为数学公式和文字描述]
**练习 11.2：设计高效的视频架构** @@ -660,167 +256,13 @@ class BidirectionalPropagation(nn.Module): 不同时间尺度需要不同的处理策略： -```python -class HierarchicalTemporalModeling(nn.Module): - """多尺度时序建模""" - def __init__(self, base_channels=256): - super().__init__() - - # 短程建模（1-2帧） - self.short_term = ShortTermModule(base_channels) - - # 中程建模（4-8帧） - self.mid_term = MidTermModule(base_channels * 2) - - # 长程建模（16+帧） - self.long_term = LongTermModule(base_channels * 4) - - def forward(self, x): - # x: [B, C, T, H, W] - - # 短程特征 - short_features = self.short_term(x) - - # 中程特征（降采样时间维度） - x_mid = F.avg_pool3d(x, kernel_size=(2, 1, 1)) - mid_features = self.mid_term(x_mid) - mid_features = F.interpolate(mid_features, size=x.shape[2:]) - - # 长程特征（更激进的降采样） - x_long = F.avg_pool3d(x, kernel_size=(4, 2, 2)) - long_features = self.long_term(x_long) - long_features = F.interpolate(long_features, size=x.shape[2:]) - - # 多尺度融合 - return short_features + mid_features + long_features - -class ShortTermModule(nn.Module): - """处理快速运动和细节变化""" - def __init__(self, channels): - super().__init__() - self.conv = nn.Conv3d( - channels, channels, - kernel_size=(3, 3, 3), - padding=(1, 1, 1) - ) - - def forward(self, x): - return self.conv(x) - -class MidTermModule(nn.Module): - """处理对象运动和交互""" - def __init__(self, channels): - super().__init__() - self.temporal_conv = nn.Conv3d( - channels, channels, - kernel_size=(5, 1, 1), - padding=(2, 0, 0) - ) - self.spatial_attn = SpatialAttention(channels, heads=8) - - def forward(self, x): - x = self.temporal_conv(x) - x = self.spatial_attn(x) - return x - -class LongTermModule(nn.Module): - """处理场景变化和全局模式""" - def __init__(self, channels): - super().__init__() - self.temporal_attn = nn.MultiheadAttention(channels, num_heads=8) - - def forward(self, x): - B, C, T, H, W = x.shape - # 全局池化空间维度 - x_pooled = x.mean(dim=(3, 4)) # [B, C, T] - x_pooled = x_pooled.permute(2, 0, 1) # [T, B, C] - - # 时间注意力 - attn_out, _ = self.temporal_attn(x_pooled, x_pooled, x_pooled) - attn_out = attn_out.permute(1, 2, 0) # [B, C, T] - - # 广播回原始形状 - attn_out = attn_out.unsqueeze(3).unsqueeze(4).expand(-1, -1, -1, H, W) - - return attn_out -``` +[代码块已移除] ### 11.2.5 Video DiT架构 将DiT扩展到视频领域： -```python -class VideoDiT(nn.Module): - """Video Diffusion Transformer""" - def __init__( - self, - spatial_patch_size=8, - temporal_patch_size=2, - in_channels=3, - hidden_size=768, - depth=12, - num_heads=12, - mlp_ratio=4.0, - ): - super().__init__() - self.spatial_patch_size = spatial_patch_size - self.temporal_patch_size = temporal_patch_size - - # 时空patchify - self.patchify = nn.Conv3d( - in_channels, - hidden_size, - kernel_size=(temporal_patch_size, spatial_patch_size, spatial_patch_size), - stride=(temporal_patch_size, spatial_patch_size, spatial_patch_size) - ) - - # 位置编码 - self.pos_embed = nn.Parameter(torch.zeros(1, 1, hidden_size)) - - # Transformer块 - self.blocks = nn.ModuleList([ - DiTBlock(hidden_size, num_heads, mlp_ratio) - for _ in range(depth) - ]) - - # 输出投影 - self.final_layer = FinalLayer(hidden_size, spatial_patch_size, temporal_patch_size) - - def forward(self, x, t, y=None): - # x: [B, C, T, H, W] - # t: 时间步 - # y: 条件（如类别标签） - - # Patchify - x = self.patchify(x) # [B, hidden_size, T', H', W'] - x = rearrange(x, 'b c t h w -> b (t h w) c') - - # 添加位置编码 - x = x + self.pos_embed - - # 时间和条件编码 - t_emb = timestep_embedding(t, self.hidden_size) - if y is not None: - y_emb = self.class_embedder(y) - c = t_emb + y_emb - else: - c = t_emb - - # Transformer处理 - for block in self.blocks: - x = block(x, c) - - # 输出 - x = self.final_layer(x, c) - - # Unpatchify - x = rearrange(x, 'b (t h w) c -> b c t h w', - t=T//self.temporal_patch_size, - h=H//self.spatial_patch_size, - w=W//self.spatial_patch_size) - - return x -``` +[代码块已移除] 🌟 **前沿探索：视频生成的扩展定律** DiT证明了图像生成的扩展定律。视频生成是否有类似规律？时间维度如何影响扩展？这是开放的研究问题。 @@ -829,68 +271,7 @@ DiT证明了图像生成的扩展定律。视频生成是否有类似规律？ 对于实时或移动应用，需要更轻量的设计： -```python -class LightweightVideoGenerator(nn.Module): - """轻量级视频生成架构""" - def __init__(self, base_channels=64): - super().__init__() - - # 共享的2D backbone - self.shared_backbone = MobileNetV3() - - # 轻量时间建模 - self.temporal_module = DepthwiseSeparableConv3D( - base_channels, base_channels - ) - - # 运动预测头 - self.motion_head = nn.Conv3d( - base_channels, 2, # 2D motion vectors - kernel_size=1 - ) - - def forward(self, x): - B, C, T, H, W = x.shape - - # 使用共享backbone处理每帧 - features = [] - for t in range(T): - feat = self.shared_backbone(x[:, :, t]) - features.append(feat) - features = torch.stack(features, dim=2) - - # 轻量时间处理 - temporal_features = self.temporal_module(features) - - # 预测运动 - motion = self.motion_head(temporal_features) - - # 基于运动的高效生成 - output = self.motion_based_synthesis(x[:, :, 0], motion) - - return output - -class DepthwiseSeparableConv3D(nn.Module): - """深度可分离3D卷积""" - def __init__(self, in_channels, out_channels): - super().__init__() - # 深度卷积 - self.depthwise = nn.Conv3d( - in_channels, in_channels, - kernel_size=3, padding=1, - groups=in_channels - ) - # 逐点卷积 - self.pointwise = nn.Conv3d( - in_channels, out_channels, - kernel_size=1 - ) - - def forward(self, x): - x = self.depthwise(x) - x = self.pointwise(x) - return x -``` +[代码块已移除] 💡 **实践建议：架构选择指南** - 高质量离线生成：使用完整3D架构 @@ -905,94 +286,12 @@ class DepthwiseSeparableConv3D(nn.Module): 文本条件是视频生成最重要的控制方式： **时序感知的文本编码**： -```python -class TemporalTextEncoder(nn.Module): - """编码包含时序信息的文本描述""" - def __init__(self, base_encoder='clip', temporal_layers=4): - super().__init__() - # 基础文本编码器 - if base_encoder == 'clip': - self.text_encoder = CLIPTextModel.from_pretrained('openai/clip-vit-large-patch14') - elif base_encoder == 't5': - self.text_encoder = T5EncoderModel.from_pretrained('t5-large') - - # 时序增强层 - self.temporal_layers = nn.ModuleList([ - nn.TransformerEncoderLayer( - d_model=768, - nhead=8, - dim_feedforward=3072 - ) for _ in range(temporal_layers) - ]) - - # 时序标记 - self.temporal_tokens = nn.Parameter(torch.randn(1, 16, 768)) # 16个时序位置 - - def forward(self, text, frame_indices=None): - # 基础文本编码 - text_features = self.text_encoder(text).last_hidden_state - - # 添加时序标记 - if frame_indices is not None: - # 根据帧索引选择时序标记 - temporal_embeds = self.temporal_tokens[:, frame_indices] - text_features = text_features + temporal_embeds - - # 时序增强 - for layer in self.temporal_layers: - text_features = layer(text_features) - - return text_features -``` + +[代码实现已转换为数学公式和文字描述] **动作词提取与对齐**： -```python -class ActionAlignment(nn.Module): - """对齐文本中的动作描述与视频时序""" - def __init__(self): - super().__init__() - # 动作词检测 - self.action_detector = ActionWordDetector() - - # 时序分配网络 - self.temporal_allocator = nn.Sequential( - nn.Linear(768, 512), - nn.ReLU(), - nn.Linear(512, 256), - nn.ReLU(), - nn.Linear(256, 1), # 预测时间位置 - nn.Sigmoid() - ) - - def forward(self, text_features, num_frames): - # 检测动作词 - action_masks = self.action_detector(text_features) - action_features = text_features * action_masks.unsqueeze(-1) - - # 分配到时间轴 - temporal_positions = self.temporal_allocator(action_features) - temporal_positions = temporal_positions * num_frames - - # 生成时序attention mask - attention_weights = self.gaussian_attention( - temporal_positions, - num_frames, - sigma=2.0 - ) - - return attention_weights - - def gaussian_attention(self, centers, length, sigma): - """生成高斯形状的注意力权重""" - positions = torch.arange(length).float() - weights = [] - - for center in centers: - weight = torch.exp(-(positions - center)**2 / (2 * sigma**2)) - weights.append(weight) - - return torch.stack(weights) -``` + +[代码实现已转换为数学公式和文字描述] 💡 **关键技巧：时序提示工程** 有效的视频生成提示需要包含： @@ -1005,125 +304,12 @@ class ActionAlignment(nn.Module): 将静态图像转换为动态视频： **图像编码与运动预测**： -```python -class Image2Video(nn.Module): - """图像到视频生成""" - def __init__(self, image_encoder, motion_predictor, video_decoder): - super().__init__() - self.image_encoder = image_encoder - self.motion_predictor = motion_predictor - self.video_decoder = video_decoder - - def forward(self, image, text_prompt=None, num_frames=16): - # 编码输入图像 - image_features = self.image_encoder(image) - - # 预测运动模式 - if text_prompt is not None: - # 文本引导的运动 - motion_params = self.motion_predictor( - image_features, - text_prompt - ) - else: - # 自动运动预测 - motion_params = self.motion_predictor(image_features) - - # 生成视频帧 - frames = [image] # 第一帧是原始图像 - current_features = image_features - - for t in range(1, num_frames): - # 应用运动 - current_features = self.apply_motion( - current_features, - motion_params, - t - ) - - # 解码为图像 - frame = self.video_decoder(current_features) - frames.append(frame) - - return torch.stack(frames, dim=1) - - def apply_motion(self, features, motion_params, t): - """应用运动变换""" - # 提取运动参数 - translation = motion_params['translation'] * t - rotation = motion_params['rotation'] * t - scaling = motion_params['scaling'] ** t - - # 应用空间变换 - transformed = self.spatial_transform( - features, - translation, - rotation, - scaling - ) - - return transformed -``` + +[代码实现已转换为数学公式和文字描述] **运动类型分解**： -```python -class MotionDecomposition(nn.Module): - """将复杂运动分解为基本组件""" - def __init__(self): - super().__init__() - # 全局运动（相机运动） - self.global_motion = GlobalMotionPredictor() - - # 局部运动（对象运动） - self.local_motion = LocalMotionPredictor() - - # 形变运动（非刚性变形） - self.deformation = DeformationPredictor() - - def forward(self, image_features, motion_type='mixed'): - motions = {} - - if motion_type in ['global', 'mixed']: - # 预测相机运动 - motions['camera'] = self.global_motion(image_features) - - if motion_type in ['local', 'mixed']: - # 预测对象运动 - motions['objects'] = self.local_motion(image_features) - - if motion_type in ['deform', 'mixed']: - # 预测形变 - motions['deformation'] = self.deformation(image_features) - - return motions - -class GlobalMotionPredictor(nn.Module): - """预测相机运动参数""" - def __init__(self): - super().__init__() - self.encoder = nn.Sequential( - nn.Conv2d(256, 512, 3, 2, 1), - nn.ReLU(), - nn.Conv2d(512, 1024, 3, 2, 1), - nn.ReLU(), - nn.AdaptiveAvgPool2d(1) - ) - - self.predictor = nn.Sequential( - nn.Linear(1024, 512), - nn.ReLU(), - nn.Linear(512, 6) # 6-DOF相机运动 - ) - - def forward(self, features): - encoded = self.encoder(features).squeeze(-1).squeeze(-1) - motion_params = self.predictor(encoded) - - return { - 'translation': motion_params[:, :3], - 'rotation': motion_params[:, 3:] - } -``` + +[代码实现已转换为数学公式和文字描述] 🔬 **研究挑战：运动的歧义性** 同一张图像可能对应多种合理的运动。如何处理这种多模态性？可以使用变分方法或条件流匹配来建模运动分布。 @@ -1133,146 +319,12 @@ class GlobalMotionPredictor(nn.Module): 精确控制视频中的运动路径： **轨迹表示与编码**： -```python -class TrajectoryEncoder(nn.Module): - """编码用户指定的运动轨迹""" - def __init__(self, hidden_dim=256): - super().__init__() - # 轨迹点编码 - self.point_encoder = nn.Sequential( - nn.Linear(2, 64), # 2D坐标 - nn.ReLU(), - nn.Linear(64, hidden_dim) - ) - - # 时序编码 - self.temporal_encoder = nn.LSTM( - hidden_dim, - hidden_dim, - num_layers=2, - bidirectional=True - ) - - # 轨迹到特征图的映射 - self.trajectory_to_feature = nn.Conv2d( - hidden_dim * 2, # 双向LSTM - 256, - kernel_size=1 - ) - - def forward(self, trajectory_points, num_frames, feature_size): - # trajectory_points: [B, N, 2] N个轨迹点的坐标 - - # 编码轨迹点 - point_features = self.point_encoder(trajectory_points) - - # 时序编码 - lstm_out, _ = self.temporal_encoder(point_features) - - # 插值到目标帧数 - trajectory_features = F.interpolate( - lstm_out.transpose(1, 2), - size=num_frames, - mode='linear' - ).transpose(1, 2) - - # 转换为空间特征图 - spatial_features = self.render_trajectory_map( - trajectory_features, - trajectory_points, - feature_size - ) - - return spatial_features - - def render_trajectory_map(self, features, points, size): - """将轨迹渲染为特征图""" - H, W = size - feature_map = torch.zeros(features.shape[0], features.shape[-1], H, W) - - for b in range(features.shape[0]): - for t, (x, y) in enumerate(points[b]): - # 将轨迹点转换为特征图坐标 - x_idx = int(x * W) - y_idx = int(y * H) - - # 高斯散布 - self.gaussian_splat( - feature_map[b], - features[b, t], - x_idx, - y_idx, - sigma=3.0 - ) - - return feature_map -``` + +[代码实现已转换为数学公式和文字描述] **稀疏控制点插值**： -```python -class SparseControlInterpolation(nn.Module): - """从稀疏控制点生成密集运动场""" - def __init__(self): - super().__init__() - self.flow_basis = FlowBasisNetwork() - self.interpolator = BilinearInterpolator() - - def forward(self, control_points, control_flows, image_size): - """ - control_points: [B, K, 2] K个控制点位置 - control_flows: [B, K, T, 2] 每个控制点的运动向量 - """ - B, K, T, _ = control_flows.shape - H, W = image_size - - # 生成流基函数 - basis_flows = self.flow_basis(control_points, image_size) - - # 稀疏到密集插值 - dense_flows = [] - for t in range(T): - # 当前时刻的控制流 - flows_t = control_flows[:, :, t, :] - - # 加权组合基函数 - weights = self.compute_weights(control_points, (H, W)) - dense_flow = torch.sum( - basis_flows * weights.unsqueeze(-1).unsqueeze(-1), - dim=1 - ) - - dense_flows.append(dense_flow) - - return torch.stack(dense_flows, dim=1) - -class DragGAN(nn.Module): - """基于拖拽的视频编辑""" - def __init__(self): - super().__init__() - self.feature_extractor = FeatureExtractor() - self.motion_predictor = MotionPredictor() - self.warping_module = WarpingModule() - - def forward(self, video, source_points, target_points): - """ - source_points: 用户选择的源点 - target_points: 用户拖拽的目标点 - """ - # 提取特征 - features = self.feature_extractor(video) - - # 预测整体运动场 - motion_field = self.motion_predictor( - features, - source_points, - target_points - ) - - # 应用运动 - edited_video = self.warping_module(video, motion_field) - - return edited_video -``` + +[代码实现已转换为数学公式和文字描述]
**练习 11.3：实现交互式视频控制** @@ -1305,180 +357,17 @@ class DragGAN(nn.Module): 分离视频的内容（什么）和风格（如何）： -```python -class StyleContentDiSffusion(nn.Module): - """风格-内容解耦的视频扩散模型""" - def __init__(self): - super().__init__() - # 内容编码器（提取语义和结构） - self.content_encoder = ContentEncoder() - - # 风格编码器（提取视觉风格） - self.style_encoder = StyleEncoder() - - # 运动编码器（提取运动模式） - self.motion_encoder = MotionEncoder() - - # 解耦的去噪网络 - self.denoiser = DisentangledDenoiser() - - def forward(self, x_t, t, content_ref=None, style_ref=None, motion_ref=None): - # 提取各种参考特征 - if content_ref is not None: - content_features = self.content_encoder(content_ref) - else: - content_features = None - - if style_ref is not None: - style_features = self.style_encoder(style_ref) - else: - style_features = None - - if motion_ref is not None: - motion_features = self.motion_encoder(motion_ref) - else: - motion_features = None - - # 解耦去噪 - noise_pred = self.denoiser( - x_t, t, - content=content_features, - style=style_features, - motion=motion_features - ) - - return noise_pred - -class DisentangledDenoiser(nn.Module): - """支持风格-内容-运动解耦的去噪器""" - def __init__(self, base_channels=256): - super().__init__() - # 基础U-Net - self.unet = UNet3D(base_channels) - - # 条件注入模块 - self.content_inject = FiLMLayer(base_channels) - self.style_inject = AdaIN(base_channels) - self.motion_inject = SpatioTemporalModulation(base_channels) - - def forward(self, x_t, t, content=None, style=None, motion=None): - # 基础特征提取 - features = self.unet.encoder(x_t, t) - - # 注入各种条件 - if content is not None: - features = self.content_inject(features, content) - - if style is not None: - features = self.style_inject(features, style) - - if motion is not None: - features = self.motion_inject(features, motion) - - # 解码 - output = self.unet.decoder(features) - - return output -``` +[代码块已移除] **时序一致的风格迁移**： -```python -class TemporalStyleTransfer(nn.Module): - """保持时序一致性的视频风格迁移""" - def __init__(self): - super().__init__() - self.style_extractor = VGGStyleExtractor() - self.temporal_consistency = TemporalConsistencyModule() - - def forward(self, content_video, style_image): - B, T, C, H, W = content_video.shape - - # 提取风格特征 - style_features = self.style_extractor(style_image) - - # 逐帧风格化 - stylized_frames = [] - prev_frame = None - - for t in range(T): - frame = content_video[:, t] - - # 应用风格 - stylized = self.apply_style(frame, style_features) - - # 保持时序一致性 - if prev_frame is not None: - stylized = self.temporal_consistency( - stylized, - prev_frame, - content_video[:, t-1], - content_video[:, t] - ) - - stylized_frames.append(stylized) - prev_frame = stylized - - return torch.stack(stylized_frames, dim=1) -``` + +[代码实现已转换为数学公式和文字描述] ### 11.3.5 细粒度属性控制 控制视频的特定属性： -```python -class AttributeController(nn.Module): - """细粒度属性控制""" - def __init__(self, attributes=['speed', 'direction', 'intensity']): - super().__init__() - self.attributes = attributes - - # 每个属性的编码器 - self.encoders = nn.ModuleDict({ - attr: self.build_encoder(attr) - for attr in attributes - }) - - # 属性融合 - self.fusion = AttributeFusion(len(attributes)) - - def build_encoder(self, attribute): - if attribute == 'speed': - return SpeedEncoder() - elif attribute == 'direction': - return DirectionEncoder() - elif attribute == 'intensity': - return IntensityEncoder() - else: - return GenericAttributeEncoder() - - def forward(self, attribute_values): - encoded_attrs = {} - - for attr, value in attribute_values.items(): - if attr in self.encoders: - encoded_attrs[attr] = self.encoders[attr](value) - - # 融合所有属性 - control_signal = self.fusion(encoded_attrs) - - return control_signal - -class SpeedController(nn.Module): - """控制视频播放速度和运动速度""" - def __init__(self): - super().__init__() - self.speed_embedding = nn.Embedding(10, 256) # 10个速度级别 - self.temporal_modulator = TemporalModulator() - - def forward(self, video_features, speed_level): - # 获取速度嵌入 - speed_emb = self.speed_embedding(speed_level) - - # 调制时间维度 - modulated = self.temporal_modulator(video_features, speed_emb) - - return modulated -``` +[代码块已移除] 🌟 **前沿方向：可组合的视频控制** 如何设计一个统一框架，支持任意组合的控制信号（文本+轨迹+风格+属性）？这需要解决控制信号的对齐、融合和冲突解决。 @@ -1487,70 +376,6 @@ class SpeedController(nn.Module): 确保生成的运动符合物理规律： -```python -class PhysicsAwareGeneration(nn.Module): - """物理感知的视频生成""" - def __init__(self): - super().__init__() - # 物理模拟器 - self.physics_engine = DifferentiablePhysics() - - # 物理参数预测 - self.physics_predictor = nn.Sequential( - nn.Conv3d(256, 128, 3, 1, 1), - nn.ReLU(), - nn.Conv3d(128, 64, 3, 1, 1), - nn.ReLU(), - nn.Conv3d(64, 5, 1) # 质量、摩擦、弹性等 - ) - - def forward(self, initial_state, num_frames): - # 预测物理参数 - physics_params = self.physics_predictor(initial_state) - - # 物理模拟 - states = [initial_state] - for t in range(1, num_frames): - # 应用物理规律 - next_state = self.physics_engine.step( - states[-1], - physics_params, - dt=1.0/30 # 30 FPS - ) - states.append(next_state) - - return torch.stack(states, dim=1) - -class DifferentiablePhysics(nn.Module): - """可微分的物理模拟""" - def __init__(self): - super().__init__() - - def step(self, state, params, dt): - # 提取物理量 - position = state['position'] - velocity = state['velocity'] - mass = params['mass'] - - # 计算力（重力、摩擦等） - forces = self.compute_forces(state, params) - - # 更新速度和位置（欧拉积分） - acceleration = forces / mass - new_velocity = velocity + acceleration * dt - new_position = position + new_velocity * dt - - # 处理碰撞 - new_position, new_velocity = self.handle_collisions( - new_position, - new_velocity, - params - ) - - return { - 'position': new_position, - 'velocity': new_velocity - } -``` +[代码块已移除] 通过这些条件控制机制，视频扩散模型可以生成高度可控和真实的动态内容。下一节将探讨如何高效地训练和部署这些模型。 \ No newline at end of file From 28b3a0cbfa2682ac026a5ae00fd45b60d4e5d3a8 Mon Sep 17 00:00:00 2001 From: William Date: Sun, 27 Jul 2025 11:49:23 +0800 Subject: [PATCH 17/62] interim --- chapter10.md | 76 ++++++++++++++++++++++++++-------------------------- chapter3.md | 54 ++++++++++++++++++------------------- chapter5.md | 32 +++++++++++----------- chapter6.md | 46 +++++++++++++++---------------- chapter9.md | 74 +++++++++++++++++++++++++------------------------- 5 files changed, 141 insertions(+), 141 deletions(-) diff --git a/chapter10.md b/chapter10.md index e3b1140..546dac8 100644 --- a/chapter10.md +++ b/chapter10.md @@ -154,11 +154,11 @@ LDM采用两阶段训练，分离压缩和生成： **第一阶段：训练自编码器** 自编码器训练的关键要素： -- **编码-解码流程**：$\mathbf{x} \to \mathbf{z} = \mathcal{E}(\mathbf{x}) \to \mathbf{x}_{recon} = \mathcal{D}(\mathbf{z})$ -- **重建损失**：$\mathcal{L}_{recon} = ||\mathbf{x} - \mathbf{x}_{recon}||_1$ -- **感知损失**：$\mathcal{L}_{percep} = ||\phi(\mathbf{x}) - \phi(\mathbf{x}_{recon})||_2$，其中 $\phi$ 是感知网络 -- **KL正则化**（VAE情况）：$\mathcal{L}_{KL} = \text{KL}(q(\mathbf{z}|\mathbf{x})||p(\mathbf{z}))$ -- **总损失**：$\mathcal{L} = \mathcal{L}_{recon} + \lambda_1 \mathcal{L}_{percep} + \lambda_2 \mathcal{L}_{KL}$ +- **编码-解码流程**： $\mathbf{x} \to \mathbf{z} = \mathcal{E}(\mathbf{x}) \to \mathbf{x}_{recon} = \mathcal{D}(\mathbf{z})$ +- **重建损失**： $\mathcal{L}_{recon} = ||\mathbf{x} - \mathbf{x}_{recon}||_1$ +- **感知损失**： $\mathcal{L}_{percep} = ||\phi(\mathbf{x}) - \phi(\mathbf{x}_{recon})||_2$ ，其中 $\phi$ 是感知网络 +- **KL正则化**（VAE情况）： $\mathcal{L}_{KL} = \text{KL}(q(\mathbf{z}|\mathbf{x})||p(\mathbf{z}))$ +- **总损失**： $\mathcal{L} = \mathcal{L}_{recon} + \lambda_1 \mathcal{L}_{percep} + \lambda_2 \mathcal{L}_{KL}$ **第二阶段：训练扩散模型** @@ -167,9 +167,9 @@ LDM采用两阶段训练，分离压缩和生成： - **编码数据**：将图像 $\mathbf{x}$ 编码为 $\mathbf{z} = \mathcal{E}(\mathbf{x})$ - **标准扩散训练**： - 采样时间步 $t \sim \mathcal{U}[0, T]$ - - 添加噪声：$\mathbf{z}_t = \sqrt{\bar{\alpha}_t}\mathbf{z}_0 + \sqrt{1-\bar{\alpha}_t}\boldsymbol{\epsilon}$ - - 预测噪声：$\boldsymbol{\epsilon}_\theta(\mathbf{z}_t, t, \mathbf{c})$ - - 损失函数：$\mathcal{L} = \mathbb{E}_{t,\mathbf{z}_0,\boldsymbol{\epsilon}}[||\boldsymbol{\epsilon} - \boldsymbol{\epsilon}_\theta(\mathbf{z}_t, t, \mathbf{c})||^2]$ + - 添加噪声： $\mathbf{z}_t = \sqrt{\bar{\alpha}_t}\mathbf{z}_0 + \sqrt{1-\bar{\alpha}_t}\boldsymbol{\epsilon}$ + - 预测噪声： $\boldsymbol{\epsilon}_\theta(\mathbf{z}_t, t, \mathbf{c})$ + - 损失函数： $\mathcal{L} = \mathbb{E}_{t,\mathbf{z}_0,\boldsymbol{\epsilon}}[||\boldsymbol{\epsilon} - \boldsymbol{\epsilon}_\theta(\mathbf{z}_t, t, \mathbf{c})||^2]$ 💡 **实践技巧：预训练策略** 可以使用大规模数据集预训练通用自编码器，然后在特定领域微调。这大大减少了训练成本。 @@ -239,9 +239,9 @@ $$\boldsymbol{\mu}_\theta(\mathbf{z}_t, t) = \frac{1}{\sqrt{\alpha_t}}\left(\mat **1. 信噪比分析**： 分析潜在空间的信噪比特性： -- **信号功率**：$P_{signal} = \mathbb{E}[||\mathbf{z}||^2]$ -- **噪声功率**：$P_{noise} = (1-\bar{\alpha}_t) \cdot P_{signal}$ -- **信噪比**：$\text{SNR}(t) = 10\log_{10}(P_{signal}/P_{noise})$ dB +- **信号功率**： $P_{signal} = \mathbb{E}[||\mathbf{z}||^2]$ +- **噪声功率**： $P_{noise} = (1-\bar{\alpha}_t) \cdot P_{signal}$ +- **信噪比**： $\text{SNR}(t) = 10\log_{10}(P_{signal}/P_{noise})$ dB 通过分析不同时间步的SNR，可以了解噪声调度的合理性。 @@ -249,7 +249,7 @@ $$\boldsymbol{\mu}_\theta(\mathbf{z}_t, t) = \frac{1}{\sqrt{\alpha_t}}\left(\mat 根据潜在空间的统计特性设计噪声调度： - **考虑潜在空间均值和方差**：使用数据集的统计量 -- **调整 $\beta$ 范围**：$\beta_{start} = 0.0001 \cdot \sigma_z$，$\beta_{end} = 0.02 \cdot \sigma_z$ +- **调整 $\beta$ 范围**： $\beta_{start} = 0.0001 \cdot \sigma_z$ ， $\beta_{end} = 0.02 \cdot \sigma_z$ - **目标最终SNR**：确保 $T$ 步后 SNR $\approx -20$ dB - **线性或余弦调度**：根据潜在空间分布选择 @@ -263,10 +263,10 @@ LDM中的条件信息通过多种方式注入： **1. 交叉注意力机制**： 交叉注意力允许潜在特征与条件信息交互： -- **输入**：潜在特征 $\mathbf{x} \in \mathbb{R}^{B \times HW \times C}$，条件编码 $\mathbf{c} \in \mathbb{R}^{B \times L \times D}$ -- **注意力计算**：$\text{Attention}(\mathbf{Q}, \mathbf{K}, \mathbf{V}) = \text{softmax}(\frac{\mathbf{Q}\mathbf{K}^T}{\sqrt{d_k}})\mathbf{V}$ -- **其中**：$\mathbf{Q} = \mathbf{x}\mathbf{W}_Q$，$\mathbf{K} = \mathbf{c}\mathbf{W}_K$，$\mathbf{V} = \mathbf{c}\mathbf{W}_V$ -- **残差连接**：$\mathbf{x}_{out} = \mathbf{x} + \text{Attention}(\mathbf{x}, \mathbf{c}, \mathbf{c})$ +- **输入**：潜在特征 $\mathbf{x} \in \mathbb{R}^{B \times HW \times C}$ ，条件编码 $\mathbf{c} \in \mathbb{R}^{B \times L \times D}$ +- **注意力计算**： $\text{Attention}(\mathbf{Q}, \mathbf{K}, \mathbf{V}) = \text{softmax}(\frac{\mathbf{Q}\mathbf{K}^T}{\sqrt{d_k}})\mathbf{V}$ +- **其中**： $\mathbf{Q} = \mathbf{x}\mathbf{W}_Q$ ， $\mathbf{K} = \mathbf{c}\mathbf{W}_K$ ， $\mathbf{V} = \mathbf{c}\mathbf{W}_V$ +- **残差连接**： $\mathbf{x}_{out} = \mathbf{x} + \text{Attention}(\mathbf{x}, \mathbf{c}, \mathbf{c})$ **2. 特征调制（FiLM）**： @@ -274,18 +274,18 @@ FiLM（Feature-wise Linear Modulation）通过缩放和偏移调制特征： $$\mathbf{x}_{out} = \mathbf{x} \odot (1 + \gamma(\mathbf{c})) + \beta(\mathbf{c})$$ 其中： -- $\gamma(\mathbf{c})$：条件相关的缩放参数 -- $\beta(\mathbf{c})$：条件相关的偏移参数 -- $\odot$：逐元素乘法 +- $\gamma(\mathbf{c})$ ：条件相关的缩放参数 +- $\beta(\mathbf{c})$ ：条件相关的偏移参数 +- $\odot$ ：逐元素乘法 **3. 空间条件控制**： 处理空间条件（如掩码、边缘图）的方法： -- **拼接方法**：$\mathbf{z}_{cond} = [\mathbf{z}_t, \mathbf{s}]$，沿通道维度拼接 -- **加法融合**：$\mathbf{z}_{cond} = \mathbf{z}_t + \mathbf{s}$，需要维度匹配 -- **门控融合**：$\mathbf{z}_{cond} = \mathbf{z}_t \odot \sigma(\mathbf{s}) + \mathbf{s} \odot (1-\sigma(\mathbf{s}))$ +- **拼接方法**： $\mathbf{z}_{cond} = [\mathbf{z}_t, \mathbf{s}]$ ，沿通道维度拼接 +- **加法融合**： $\mathbf{z}_{cond} = \mathbf{z}_t + \mathbf{s}$ ，需要维度匹配 +- **门控融合**： $\mathbf{z}_{cond} = \mathbf{z}_t \odot \sigma(\mathbf{s}) + \mathbf{s} \odot (1-\sigma(\mathbf{s}))$ -其中 $\mathbf{s}$ 是空间条件，$\sigma$ 是sigmoid函数。 +其中 $\mathbf{s}$ 是空间条件， $\sigma$ 是sigmoid函数。 🔬 **研究方向：条件注入的最优位置** 应该在U-Net的哪些层注入条件信息？早期层影响全局结构，后期层控制细节。系统研究这种权衡可以指导架构设计。 @@ -372,7 +372,7 @@ $$\mathbf{x}_{out} = \mathbf{x} \odot (1 + \gamma(\mathbf{c})) + \beta(\mathbf{c 3. **反向去噪**：从纯噪声开始，逐步去噪恢复清晰的潜在表示 4. **解码可视化**：将各个阶段的潜在表示解码回图像空间 -选择关键时间步（如 $t \in \{0, 250, 500, 750, 999\}$）进行可视化。 +选择关键时间步（如 $t \in \{0, 250, 500, 750, 999\}$ ）进行可视化。 **诊断工具**： @@ -382,7 +382,7 @@ $$\mathbf{x}_{out} = \mathbf{x} \odot (1 + \gamma(\mathbf{c})) + \beta(\mathbf{c - 检查是否存在异常值或分布偏移 2. **重建质量评估**： - - 计算重建误差：$\mathcal{L}_{recon} = ||\mathbf{x} - \mathcal{D}(\mathcal{E}(\mathbf{x}))||^2$ + - 计算重建误差： $\mathcal{L}_{recon} = ||\mathbf{x} - \mathcal{D}(\mathcal{E}(\mathbf{x}))||^2$ - 检查感知质量和细节保留 3. **噪声预测准确性**： @@ -420,7 +420,7 @@ VQ-VAE使用离散的潜在表示： - **编码器**：将图像编码为连续特征 $\mathbf{z}_e = \text{Encoder}(\mathbf{x})$ - **向量量化**：将连续特征映射到最近的码本 $\mathbf{z}_q = \text{Quantize}(\mathbf{z}_e)$ - **码本（Codebook）**：包含 $K$ 个可学习的向量，通常 $K=8192$ -- **承诺损失**：$\mathcal{L}_{commit} = ||\mathbf{z}_e - \text{sg}[\mathbf{z}_q]||^2$，鼓励编码器输出接近码本 +- **承诺损失**： $\mathcal{L}_{commit} = ||\mathbf{z}_e - \text{sg}[\mathbf{z}_q]||^2$ ，鼓励编码器输出接近码本 - **优点**：离散表示、压缩率高 - **缺点**：码本崩塌、重建质量受限 @@ -428,9 +428,9 @@ VQ-VAE使用离散的潜在表示： KL-VAE使用连续的潜在表示和概率分布： - **编码器输出**：均值 $\boldsymbol{\mu}$ 和对数方差 $\log\boldsymbol{\sigma}^2$ -- **重参数化技巧**：$\mathbf{z} = \boldsymbol{\mu} + \boldsymbol{\sigma} \odot \boldsymbol{\epsilon}$，其中 $\boldsymbol{\epsilon} \sim \mathcal{N}(0, \mathbf{I})$ -- **KL损失**：$\mathcal{L}_{KL} = \text{KL}(q(\mathbf{z}|\mathbf{x})||p(\mathbf{z}))$，促使潜在分布接近标准正态 -- **KL权重**：通常设置为很小的值（如 $10^{-6}$），以保持重建质量 +- **重参数化技巧**： $\mathbf{z} = \boldsymbol{\mu} + \boldsymbol{\sigma} \odot \boldsymbol{\epsilon}$ ，其中 $\boldsymbol{\epsilon} \sim \mathcal{N}(0, \mathbf{I})$ +- **KL损失**： $\mathcal{L}_{KL} = \text{KL}(q(\mathbf{z}|\mathbf{x})||p(\mathbf{z}))$ ，促使潜在分布接近标准正态 +- **KL权重**：通常设置为很小的值（如 $10^{-6}$ ），以保持重建质量 - **优点**：连续表示、训练稳定、适合扩散模型 - **缺点**：压缩率受限、可能出现后验崩塌 @@ -451,24 +451,24 @@ KL-VAE使用连续的潜在表示和概率分布： LDM使用组合损失函数来训练自编码器： -1. **重建损失**：$\mathcal{L}_{rec} = ||\mathbf{x} - \mathbf{x}_{recon}||_1$ +1. **重建损失**： $\mathcal{L}_{rec} = ||\mathbf{x} - \mathbf{x}_{recon}||_1$ - 保证基本的像素级重建 -2. **感知损失**：$\mathcal{L}_{percep} = ||\phi(\mathbf{x}) - \phi(\mathbf{x}_{recon})||_2$ +2. **感知损失**： $\mathcal{L}_{percep} = ||\phi(\mathbf{x}) - \phi(\mathbf{x}_{recon})||_2$ - 使用预训练VGG网络的特征 - 保持高级语义信息 -3. **KL正则化**：$\mathcal{L}_{KL} = -\frac{1}{2}\sum(1 + \log\sigma^2 - \mu^2 - \sigma^2)$ +3. **KL正则化**： $\mathcal{L}_{KL} = -\frac{1}{2}\sum(1 + \log\sigma^2 - \mu^2 - \sigma^2)$ - 约束潜在分布接近标准正态 -4. **对抗损失**：$\mathcal{L}_{adv} = -\mathbb{E}[D(\mathbf{x}_{recon})]$ +4. **对抗损失**： $\mathcal{L}_{adv} = -\mathbb{E}[D(\mathbf{x}_{recon})]$ - 延迟启动（通常在50k步后） - 提高细节真实性 # 组合 loss = rec_loss + self.perceptual_weight * p_loss + \ self.kl_weight * kl_loss + self.disc_weight * g_loss -**总损失**：$\mathcal{L}_{total} = \mathcal{L}_{rec} + \lambda_1\mathcal{L}_{percep} + \lambda_2\mathcal{L}_{KL} + \lambda_3\mathcal{L}_{adv}$ +**总损失**： $\mathcal{L}_{total} = \mathcal{L}_{rec} + \lambda_1\mathcal{L}_{percep} + \lambda_2\mathcal{L}_{KL} + \lambda_3\mathcal{L}_{adv}$ **判别器设计**： @@ -476,7 +476,7 @@ PatchGAN判别器的特点： - **局部判别**：输出特征图而非单一标量 - **多尺度卷积**：逐步下采样，提取不同尺度特征 - **LeakyReLU激活**：更适合判别器训练 -- **最终输出**：$H/16 \times W/16$ 的特征图，每个位置判别对应的局部区域 +- **最终输出**： $H/16 \times W/16$ 的特征图，每个位置判别对应的局部区域 ### 10.2.3 潜在空间的正则化 @@ -498,8 +498,8 @@ PatchGAN判别器的特点： 梯度惩罚（Gradient Penalty）是WGAN-GP的核心技术： - **原理**：在真实和生成样本之间插值，约束梯度范数接近1 -- **插值公式**：$\mathbf{x}_{interp} = \epsilon\mathbf{x}_{real} + (1-\epsilon)\mathbf{x}_{fake}$ -- **惩罚项**：$\mathcal{L}_{GP} = \mathbb{E}[(||\nabla_{\mathbf{x}_{interp}}D(\mathbf{x}_{interp})||_2 - 1)^2]$ +- **插值公式**： $\mathbf{x}_{interp} = \epsilon\mathbf{x}_{real} + (1-\epsilon)\mathbf{x}_{fake}$ +- **惩罚项**： $\mathcal{L}_{GP} = \mathbb{E}[(||\nabla_{\mathbf{x}_{interp}}D(\mathbf{x}_{interp})||_2 - 1)^2]$ - **优点**：更稳定的训练，避免模式崩塌 gradient_norm = gradients.norm(2, dim=1) penalty = ((gradient_norm - 1) ** 2).mean() @@ -517,7 +517,7 @@ PatchGAN判别器的特点： 编码器的层次结构： 1. **初始卷积**：3×3卷积将RGB图像映射到特征空间 2. **下采样阶段**： - - 使用多个分辨率级别，通道数逐级增加：$(1, 2, 4, 8) \times ch$ + - 使用多个分辨率级别，通道数逐级增加： $(1, 2, 4, 8) \times ch$ - 每个级别包含多个ResNet块 - 级别之间使用2倍下采样 3. **中间处理**： diff --git a/chapter3.md b/chapter3.md index 63d72b4..e7002fb 100644 --- a/chapter3.md +++ b/chapter3.md @@ -9,7 +9,7 @@ 在DDPM之前，扩散模型虽然理论优雅，但实践起来却充满挑战。DDPM的革命性贡献在于：**将复杂的变分推断问题简化为了一个简单直观的去噪任务**。 > **定义：DDPM的三个关键简化** -> 1. **固定前向过程**：前向加噪过程使用一个预先设定的、固定的方差调度 $\beta_t$，无需学习。 +> 1. **固定前向过程**：前向加噪过程使用一个预先设定的、固定的方差调度 $\beta_t$ ，无需学习。 > 2. **简化反向过程**：假设反向去噪过程也是高斯分布，且其方差也是固定的。因此，模型只需要学习高斯分布的均值。 > 3. **重参数化目标**：将学习“去噪后的图像均值”这一困难任务，巧妙地转换为学习“添加到图像中的噪声”，极大地稳定了训练过程。 @@ -25,37 +25,37 @@ > | **梯度流** | 在高噪声时可能梯度消失 | 梯度传播更稳定 | > | **物理意义** | 预测去噪后的图像 | 预测被添加的噪声 | -🔬 **研究线索**：DDPM预测噪声 $\epsilon$，而一些后续工作（如Cold Diffusion）则探索直接预测 $x_0$。这两种参数化方式的优劣在不同场景下仍有争议。例如，在处理视频时，预测帧间差（类似于噪声）可能比预测完整帧更有效。 +🔬 **研究线索**：DDPM预测噪声 $\epsilon$ ，而一些后续工作（如Cold Diffusion）则探索直接预测 $x_0$ 。这两种参数化方式的优劣在不同场景下仍有争议。例如，在处理视频时，预测帧间差（类似于噪声）可能比预测完整帧更有效。 ### 3.1.2 DDPM训练算法概览 得益于上述简化，DDPM的训练过程变得异常简洁。 **DDPM训练伪代码** -1. 从数据集中随机抽取一批原始图像 $x_0$。 +1. 从数据集中随机抽取一批原始图像 $x_0$ 。 2. 为该批次中的每个图像随机选择一个时间步 $t$ (从1到T)。 -3. 从标准正态分布中采样一个噪声 $\epsilon$。 -4. 使用闭式解计算 $t$ 时刻的噪声图像 $x_t$：$x_t = \sqrt{\bar{\alpha}_t} x_0 + \sqrt{1 - \bar{\alpha}_t} \epsilon$。 -5. 将 $x_t$ 和 $t$ 输入到神经网络 $\epsilon_\theta$ 中，得到预测的噪声 $\epsilon_{pred}$。 -6. 计算损失：$loss = \text{MSE}(\epsilon, \epsilon_{pred})$。 -7. 使用梯度下降更新模型参数 $\theta$。 +3. 从标准正态分布中采样一个噪声 $\epsilon$ 。 +4. 使用闭式解计算 $t$ 时刻的噪声图像 $x_t$ ： $x_t = \sqrt{\bar{\alpha}_t} x_0 + \sqrt{1 - \bar{\alpha}_t} \epsilon$ 。 +5. 将 $x_t$ 和 $t$ 输入到神经网络 $\epsilon_\theta$ 中，得到预测的噪声 $\epsilon_{pred}$ 。 +6. 计算损失： $loss = \text{MSE}(\epsilon, \epsilon_{pred})$ 。 +7. 使用梯度下降更新模型参数 $\theta$ 。 这种端到端的去噪训练方式，是DDPM易于实现和训练稳定的核心原因。 ## 3.2 前向过程：从数据到噪声 -前向过程定义了一个固定的马尔可夫链，它逐步将数据分布 $q(x_0)$ 转换为一个已知的先验分布（通常是标准正态分布 $\mathcal{N}(0, I)$）。 +前向过程定义了一个固定的马尔可夫链，它逐步将数据分布 $q(x_0)$ 转换为一个已知的先验分布（通常是标准正态分布 $\mathcal{N}(0, I)$ ）。 $q(\mathbf{x}_t|\mathbf{x}_{t-1}) = \mathcal{N}(\mathbf{x}_t; \sqrt{1-\beta_t}\mathbf{x}_{t-1}, \beta_t\mathbf{I})$ ### 3.2.1 重参数化技巧 -DDPM的一个关键数学技巧是，我们可以直接从 $x_0$ 采样任意时刻的 $x_t$，而无需迭代计算。 +DDPM的一个关键数学技巧是，我们可以直接从 $x_0$ 采样任意时刻的 $x_t$ ，而无需迭代计算。 > **定理：闭式采样公式** -> 定义 $\alpha_t = 1 - \beta_t$ 和 $\bar{\alpha}_t = \prod_{s=1}^{t} \alpha_s$，则： +> 定义 $\alpha_t = 1 - \beta_t$ 和 $\bar{\alpha}_t = \prod_{s=1}^{t} \alpha_s$ ，则： > $q(\mathbf{x}_t|\mathbf{x}_0) = \mathcal{N}(\mathbf{x}_t; \sqrt{\bar{\alpha}_t}\mathbf{x}_0, (1-\bar{\alpha}_t)\mathbf{I})$ -> 这个公式的证明基于高斯分布的可加性，是一个简单的归纳法练习。它的重要性在于，它使得我们可以在训练中随机采样任意时间步 $t$ 并直接计算出 $x_t$，极大地提高了训练效率。 +> 这个公式的证明基于高斯分布的可加性，是一个简单的归纳法练习。它的重要性在于，它使得我们可以在训练中随机采样任意时间步 $t$ 并直接计算出 $x_t$ ，极大地提高了训练效率。 ### 3.2.2 噪声调度 (Noise Schedule) @@ -83,7 +83,7 @@ DDPM的一个关键数学技巧是，我们可以直接从 $x_0$ 采样任意时 ## 3.3 反向过程：从噪声到数据 -反向过程是扩散模型的核心——学习如何从纯噪声 $x_T$ 逐步恢复出清晰的数据 $x_0$。 +反向过程是扩散模型的核心——学习如何从纯噪声 $x_T$ 逐步恢复出清晰的数据 $x_0$ 。 ### 3.3.1 反向条件概率的推导 @@ -93,21 +93,21 @@ DDPM的一个关键数学技巧是，我们可以直接从 $x_0$ 采样任意时 > $q(\mathbf{x}_{t-1}|\mathbf{x}_t, \mathbf{x}_0) = \mathcal{N}(\mathbf{x}_{t-1}; \tilde{\boldsymbol{\mu}}_t(\mathbf{x}_t, \mathbf{x}_0), \tilde{\beta}_t\mathbf{I})$ > 其中均值 $\tilde{\mu}_t$ 是 $x_t$ 和 $x_0$ 的线性组合，方差 $\tilde{\beta}_t$ 只与预设的 $\beta_t$ 相关。 -这个定理的**关键洞察**在于：如果我们能以某种方式从 $x_t$ 中估计出 $x_0$，我们就能近似真实的反向过程。这正是神经网络需要做的事情。 +这个定理的**关键洞察**在于：如果我们能以某种方式从 $x_t$ 中估计出 $x_0$ ，我们就能近似真实的反向过程。这正是神经网络需要做的事情。 利用 $x_0 = (x_t - \sqrt{1 - \bar{\alpha}_t} \epsilon) / \sqrt{\bar{\alpha}_t}$ 的关系，我们可以将后验均值 $\tilde{\mu}_t$ 完全用 $x_t$ 和噪声 $\epsilon$ 来表达： $\tilde{\boldsymbol{\mu}}_t(\mathbf{x}_t, \boldsymbol{\epsilon}) = \frac{1}{\sqrt{\alpha_t}}\left(\mathbf{x}_t - \frac{\beta_t}{\sqrt{1-\bar{\alpha}_t}}\boldsymbol{\epsilon}\right)$ -这个表达式优雅地揭示了：**学习反向过程等价于学习预测噪声 $\epsilon$**。 +这个表达式优雅地揭示了：**学习反向过程等价于学习预测噪声 $\epsilon$ **。 ### 3.3.2 方差的处理：固定 vs 可学习 -DDPM的另一个简化是固定反向过程的方差 $\sigma_t^2$。论文中探讨了两种选择：$\sigma_t^2 = \tilde{\beta}_t$（理论上更优）和 $\sigma_t^2 = \beta_t$（实现上更简单，效果也很好）。后续工作（如Improved DDPM）则探索了让网络同时预测方差，这可以提高对数似然（log-likelihood），但对生成质量的提升通常不明显。对于大多数应用，固定方差是足够的。 +DDPM的另一个简化是固定反向过程的方差 $\sigma_t^2$ 。论文中探讨了两种选择： $\sigma_t^2 = \tilde{\beta}_t$ （理论上更优）和 $\sigma_t^2 = \beta_t$ （实现上更简单，效果也很好）。后续工作（如Improved DDPM）则探索了让网络同时预测方差，这可以提高对数似然（log-likelihood），但对生成质量的提升通常不明显。对于大多数应用，固定方差是足够的。
练习 3.2：参数化的等价性与差异 -1. **数学推导**：从后验均值 $\tilde{\mu}_t(x_t, x_0)$ 的表达式出发，代入 $x_0$ 与 $x_t, \epsilon$ 的关系式，推导出 $\tilde{\mu}_t(x_t, \epsilon)$ 的表达式，从而证明“预测$x_0$”和“预测$\epsilon$”在数学上是等价的。 -2. **稳定性分析**：从优化的角度，分析为什么预测一个目标为 $\mathcal{N}(0, I)$ 的噪声 $\epsilon$，比预测一个目标为复杂数据分布 $q(x_0)$ 的 $x_0$ 更稳定？（提示：考虑不同时间步 $t$ 下目标函数的尺度和梯度。） +1. **数学推导**：从后验均值 $\tilde{\mu}_t(x_t, x_0)$ 的表达式出发，代入 $x_0$ 与 $x_t, \epsilon$ 的关系式，推导出 $\tilde{\mu}_t(x_t, \epsilon)$ 的表达式，从而证明“预测 $x_0$ ”和“预测 $\epsilon$ ”在数学上是等价的。 +2. **稳定性分析**：从优化的角度，分析为什么预测一个目标为 $\mathcal{N}(0, I)$ 的噪声 $\epsilon$ ，比预测一个目标为复杂数据分布 $q(x_0)$ 的 $x_0$ 更稳定？（提示：考虑不同时间步 $t$ 下目标函数的尺度和梯度。） 3. **开放探索**：DDPM选择固定方差。但在某些情况下，让方差可学习可能很重要。设想一个场景（例如，生成具有不同纹理区域的图像），其中自适应的去噪方差可能带来优势，并解释原因。
@@ -116,26 +116,26 @@ DDPM的另一个简化是固定反向过程的方差 $\sigma_t^2$。论文中探 DDPM的最终妙笔是将复杂的变分下界（Variational Lower Bound, VLB）损失函数简化为一个简单的均方误差（MSE）。 -完整的VLB损失可以写成三项之和：$L_{\text{VLB}} = L_T + \sum_{t>1} L_{t-1} + L_0$。其中 $L_{t-1}$ 是主要的去噪匹配项，可以表示为两个高斯分布（真实后验 $q$ 和模型预测 $p_\theta$）之间的KL散度。通过我们上面的推导，这一项可以简化为对两个均值 $\tilde{\mu}_t$ 和 $\mu_\theta$ 差值的L2损失。 +完整的VLB损失可以写成三项之和： $L_{\text{VLB}} = L_T + \sum_{t>1} L_{t-1} + L_0$ 。其中 $L_{t-1}$ 是主要的去噪匹配项，可以表示为两个高斯分布（真实后验 $q$ 和模型预测 $p_\theta$ ）之间的KL散度。通过我们上面的推导，这一项可以简化为对两个均值 $\tilde{\mu}_t$ 和 $\mu_\theta$ 差值的L2损失。 > **🎯 DDPM的简化训练目标** > Ho等人发现，如果忽略VLB损失中复杂的加权系数，直接优化一个更简单的目标函数，效果反而更好： > $L_{\text{simple}} = \mathbb{E}_{t,\mathbf{x}_0,\boldsymbol{\epsilon}}\left[\|\boldsymbol{\epsilon} - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t)\|^2\right]$ -> 这就是DDPM最终的训练目标：**在随机的时间步 $t$，让神经网络 $\epsilon_\theta$ 预测出添加到 $x_0$ 上的原始噪声 $\epsilon$**。 +> 这就是DDPM最终的训练目标：**在随机的时间步 $t$ ，让神经网络 $\epsilon_\theta$ 预测出添加到 $x_0$ 上的原始噪声 $\epsilon$ **。 -⚡ **实现挑战与研究前沿**：虽然简单损失效果很好，但它对所有时间步 $t$ 的误差一视同仁。后续研究（如Min-SNR-$\gamma$加权策略）表明，对不同 $t$ 的损失进行加权（例如，降低高信噪比、即低噪声区域的损失权重）可以显著提高生成质量，尤其是在高分辨率生成任务中。 +⚡ **实现挑战与研究前沿**：虽然简单损失效果很好，但它对所有时间步 $t$ 的误差一视同仁。后续研究（如Min-SNR- $\gamma$ 加权策略）表明，对不同 $t$ 的损失进行加权（例如，降低高信噪比、即低噪声区域的损失权重）可以显著提高生成质量，尤其是在高分辨率生成任务中。 ## 3.5 采样算法：从理论到实践 训练完成后，我们就可以从随机噪声中生成图像了。采样过程是反向过程的实际执行。 **DDPM标准采样算法** -1. 从标准正态分布中采样一个初始噪声图像 $x_T$。 -2. 从 $t = T$ 循环到 $t = 1$： - a. 将当前的 $x_t$ 和时间步 $t$ 输入模型，得到噪声预测 $\epsilon_\theta(x_t, t)$。 - b. 使用 $\epsilon_\theta$ 和 $x_t$ 计算去噪后的均值 $\mu_\theta(x_t, t)$。 - c. 从标准正态分布中采样一个随机噪声 $z$。 - d. 计算 $x_{t-1} = \mu_\theta(x_t, t) + \sigma_t z$。（其中 $\sigma_t$ 是固定的方差） +1. 从标准正态分布中采样一个初始噪声图像 $x_T$ 。 +2. 从 $t = T$ 循环到 $t = 1$ ： + a. 将当前的 $x_t$ 和时间步 $t$ 输入模型，得到噪声预测 $\epsilon_\theta(x_t, t)$ 。 + b. 使用 $\epsilon_\theta$ 和 $x_t$ 计算去噪后的均值 $\mu_\theta(x_t, t)$ 。 + c. 从标准正态分布中采样一个随机噪声 $z$ 。 + d. 计算 $x_{t-1} = \mu_\theta(x_t, t) + \sigma_t z$ 。（其中 $\sigma_t$ 是固定的方差） 3. 最终得到的 $x_0$ 就是生成的图像。 这个迭代过程通常需要1000步，因此速度较慢，这是DDPM的主要缺点之一，也催生了后续大量的快速采样算法研究（将在第8章讨论）。 diff --git a/chapter5.md b/chapter5.md index ed3fed7..090d1f3 100644 --- a/chapter5.md +++ b/chapter5.md @@ -10,11 +10,11 @@ 让我们回顾DDPM的离散前向过程： $x_k = \sqrt{1-\beta_k} x_{k-1} + \sqrt{\beta_k} z_{k-1}, \quad z_{k-1} \sim \mathcal{N}(0, I)$ -其中 $\beta_k$ 是一个小的正数。当 $\beta_k$ 趋近于0时，我们可以用泰勒展开近似 $\sqrt{1 - \beta_k} \approx 1 - \beta_k / 2$。于是，更新步骤可以写成： +其中 $\beta_k$ 是一个小的正数。当 $\beta_k$ 趋近于0时，我们可以用泰勒展开近似 $\sqrt{1 - \beta_k} \approx 1 - \beta_k / 2$ 。于是，更新步骤可以写成： $x_k - x_{k-1} \approx -\frac{\beta_k}{2} x_{k-1} + \sqrt{\beta_k} z_{k-1}$ -这看起来非常像一个微分方程的离散化形式。现在，我们将时间区间 $[0, T]$ 分成 $N$ 份，令 $\Delta t = T/N$，并设 $\beta_k = b(t_k)\Delta t$，其中 $b(t)$ 是一个连续的函数。那么上式变为： +这看起来非常像一个微分方程的离散化形式。现在，我们将时间区间 $[0, T]$ 分成 $N$ 份，令 $\Delta t = T/N$ ，并设 $\beta_k = b(t_k)\Delta t$ ，其中 $b(t)$ 是一个连续的函数。那么上式变为： $\frac{x(t_k) - x(t_{k-1})}{\Delta t} \approx -\frac{b(t_{k-1})}{2} x(t_{k-1}) + \sqrt{b(t_{k-1})} \frac{z_{k-1}}{\sqrt{\Delta t}}$ -当 $N \to \infty$（即 $\Delta t \to 0$）时，左边变成了导数 $dx/dt$。而右边的随机项 $z_k / \sqrt{\Delta t}$，根据中心极限定理的推广，其累积效应收敛到一个称为“白噪声”的随机过程，其积分就是布朗运动（Wiener Process）$W_t$。最终，我们得到了一个随机微分方程（SDE）： +当 $N \to \infty$ （即 $\Delta t \to 0$ ）时，左边变成了导数 $dx/dt$ 。而右边的随机项 $z_k / \sqrt{\Delta t}$ ，根据中心极限定理的推广，其累积效应收敛到一个称为“白噪声”的随机过程，其积分就是布朗运动（Wiener Process） $W_t$ 。最终，我们得到了一个随机微分方程（SDE）： $dx_t = -\frac{b(t)}{2} x_t dt + \sqrt{b(t)} dW_t$ 这就是DDPM在连续时间下的极限形式，被称为一种方差保持（Variance Preserving, VP）的SDE。 @@ -22,11 +22,11 @@ $dx_t = -\frac{b(t)}{2} x_t dt + \sqrt{b(t)} dW_t$ SDE为我们提供了一个统一的语言来描述各种扩散模型。一个通用的前向SDE可以写成： $dx_t = f(x_t, t) dt + g(t) dW_t$ -其中 $f(x, t)$ 称为漂移系数（drift coefficient），描述了数据演化的确定性趋势；$g(t)$ 称为扩散系数（diffusion coefficient），控制着随机噪声的强度。 +其中 $f(x, t)$ 称为漂移系数（drift coefficient），描述了数据演化的确定性趋势； $g(t)$ 称为扩散系数（diffusion coefficient），控制着随机噪声的强度。 > **定义：SDE家族** -> - **VP-SDE (Variance Preserving)**：对应DDPM。$f(x,t) = -1/2 \beta(t) x$， $g(t) = \sqrt{\beta(t)}$。其特点是在演化过程中，如果初始数据方差为1，那么在任何时刻 $t$，数据方差都近似为1。 -> - **VE-SDE (Variance Exploding)**：对应NCSN。$f(x,t) = 0$， $g(t) = \sqrt{d[\sigma^2(t)]/dt}$。其特点是数据均值不变，但方差随时间爆炸式增长。 +> - **VP-SDE (Variance Preserving)**：对应DDPM。 $f(x,t) = -1/2 \beta(t) x$ ， $g(t) = \sqrt{\beta(t)}$ 。其特点是在演化过程中，如果初始数据方差为1，那么在任何时刻 $t$ ，数据方差都近似为1。 +> - **VE-SDE (Variance Exploding)**：对应NCSN。 $f(x,t) = 0$ ， $g(t) = \sqrt{d[\sigma^2(t)]/dt}$ 。其特点是数据均值不变，但方差随时间爆炸式增长。 > - **sub-VP-SDE**：是VP-SDE的一个变体，具有更好的数值稳定性和理论性质。 💡 **开放问题**：VP和VE只是两种最常见的选择。是否存在其他形式的SDE，能在特定类型的数据（如具有周期性的时间序列、位于特殊流形上的数据）上实现更高效的生成？设计数据依赖的SDE是一个前沿研究方向。 @@ -36,22 +36,22 @@ $dx_t = f(x_t, t) dt + g(t) dW_t$ 如果前向SDE描述了数据如何被噪声破坏，那么我们如何构建一个反向的过程来从噪声中恢复数据呢？物理学家和数学家早在几十年前就解决了这个问题。 > **定理：Anderson反向时间SDE** -> 对于一个前向SDE $dx = f(x, t)dt + g(t)dW_t$，其对应的反向时间SDE（从时间 $T$ 到 $0$）存在且唯一，形式如下： +> 对于一个前向SDE $dx = f(x, t)dt + g(t)dW_t$ ，其对应的反向时间SDE（从时间 $T$ 到 $0$ ）存在且唯一，形式如下： > $dx_t = [f(x_t, t) - g(t)^2 \nabla_{x_t} \log p_t(x_t)] dt + g(t) d\bar{W}_t$ > 其中 $d\bar{W}_t$ 是反向时间的布朗运动，而 $\nabla_{x_t} \log p_t(x_t)$ 就是我们在第四章学习过的**分数函数**！ 这个定理是整个生成模型理论的基石。它告诉我们： 1. **反向过程是存在的**：从噪声恢复数据的过程在数学上是良定义的。 2. **反向过程的核心是分数**：反向的漂移项 = 前向漂移项 - 噪声强度 * 分数。为了反转过程，我们必须在每个时刻 $t$ 沿着能使概率密度 $p_t(x_t)$ 增加最快的方向（即分数函数的方向）进行修正。 -3. **生成建模的核心任务**：因此，训练一个扩散模型的核心任务，就是学习所有时刻 $t$ 的分数函数 $\nabla_{x_t} \log p_t(x_t)$。这完美地将DDPM的去噪目标和NCSN的分数匹配目标统一了起来。 +3. **生成建模的核心任务**：因此，训练一个扩散模型的核心任务，就是学习所有时刻 $t$ 的分数函数 $\nabla_{x_t} \log p_t(x_t)$ 。这完美地将DDPM的去噪目标和NCSN的分数匹配目标统一了起来。 ⚡ **实现挑战**：分数函数 $\nabla_{x_t} \log p_t(x_t)$ 是未知的，且依赖于整个数据集在时刻 $t$ 的分布。我们需要用一个神经网络 $s_\theta(x_t, t)$ 来近似它。这个网络被称为分数模型（score model）。
练习 5.1：推导反向SDE -1. **VP-SDE的反向过程**：给定前向VP-SDE $dx = -1/2 \beta(t) x dt + \sqrt{\beta(t)} dW_t$，写出其对应的反向SDE表达式。 -2. **与DDPM的联系**：在DDPM中，我们训练模型 $\epsilon_\theta(x_t, t)$ 来预测噪声。而在SDE框架下，我们训练模型 $s_\theta(x_t, t)$ 来预测分数。证明这两个模型之间存在一个简单的线性关系：$s_\theta(x_t, t) = -\epsilon_\theta(x_t, t) / \sqrt{1 - \bar{\alpha}_t}$。 +1. **VP-SDE的反向过程**：给定前向VP-SDE $dx = -1/2 \beta(t) x dt + \sqrt{\beta(t)} dW_t$ ，写出其对应的反向SDE表达式。 +2. **与DDPM的联系**：在DDPM中，我们训练模型 $\epsilon_\theta(x_t, t)$ 来预测噪声。而在SDE框架下，我们训练模型 $s_\theta(x_t, t)$ 来预测分数。证明这两个模型之间存在一个简单的线性关系： $s_\theta(x_t, t) = -\epsilon_\theta(x_t, t) / \sqrt{1 - \bar{\alpha}_t}$ 。 3. **研究思路**： * Anderson定理的原始证明涉及随机微积分和测度论。可以查阅相关文献，理解其对概率密度函数 $p_t$ 的光滑性要求。 * 探索当 $g(t)$ 是矩阵（各向异性噪声）时，反向SDE的形式如何变化。 @@ -63,14 +63,14 @@ $dx_t = f(x_t, t) dt + g(t) dW_t$ SDE的采样过程是随机的，意味着从同一个噪声 $x_T$ 出发，每次得到的 $x_0$ 都会略有不同。是否存在一种确定性的路径，也能将噪声映射到数据呢？答案是肯定的，这就是概率流（Probability Flow）ODE。 > **定义：概率流ODE** -> 每一个SDE都存在一个与之对应的常微分方程（Ordinary Differential Equation, ODE），它具有与SDE完全相同的边缘概率密度 $p_t(x)$。这个ODE被称为概率流ODE： +> 每一个SDE都存在一个与之对应的常微分方程（Ordinary Differential Equation, ODE），它具有与SDE完全相同的边缘概率密度 $p_t(x)$ 。这个ODE被称为概率流ODE： > $dx_t = [f(x_t, t) - \frac{1}{2} g(t)^2 \nabla_{x_t} \log p_t(x_t)] dt$ > 注意，这个ODE中没有了随机的 $dW_t$ 项！ 概率流ODE的直观理解是，它描述了概率密度 $p_t(x)$ 中“概率质量”的平均速度场。沿着这个速度场流动，样本的分布演化将和随机的SDE完全一样。 **概率流ODE的优势**： -1. **确定性采样**：从一个 $x_T$ 出发，总能得到完全相同的 $x_0$。这对于需要可复现生成的任务非常有用。 +1. **确定性采样**：从一个 $x_T$ 出发，总能得到完全相同的 $x_0$ 。这对于需要可复现生成的任务非常有用。 2. **更快的采样**：作为ODE，我们可以使用各种现成的高阶数值求解器（如Runge-Kutta法），可以用比SDE求解器少得多的步数（例如50-100步 vs 1000步）得到高质量的样本。这是DDIM等快速采样算法的理论基础。 3. **精确的似然计算**：通过ODE的瞬时变量变换公式，可以精确计算出数据点 $x_0$ 的对数似然，而SDE只能计算一个下界。 @@ -81,9 +81,9 @@ SDE的采样过程是随机的，意味着从同一个噪声 $x_T$ 出发，每 SDE和ODE描述了单个数据点（粒子）的轨迹。如果我们想从宏观上描述整个概率密度 $p_t(x)$ 的演化，就需要偏微分方程（Partial Differential Equation, PDE）的语言，这就是Fokker-Planck方程。 > **定义：Fokker-Planck方程** -> 对于一个SDE $dx = f(x,t)dt + g(t)dW_t$，其概率密度 $p_t(x)$ 的演化遵循Fokker-Planck方程： +> 对于一个SDE $dx = f(x,t)dt + g(t)dW_t$ ，其概率密度 $p_t(x)$ 的演化遵循Fokker-Planck方程： > $\frac{\partial p_t(x)}{\partial t} = -\nabla \cdot (f(x,t)p_t(x)) + \frac{1}{2} g(t)^2 \Delta p_t(x)$ -> 其中 $\nabla \cdot$ 是散度算子，$\Delta$ 是拉普拉斯算子。 +> 其中 $\nabla \cdot$ 是散度算子， $\Delta$ 是拉普拉斯算子。 这个方程的直观含义是：概率密度的变化率 = 由漂移项引起的输运（advection）+ 由扩散项引起的平滑（diffusion）。它将微观的粒子随机运动与宏观的概率密度演化联系在了一起。虽然在实践中我们通常不直接求解这个PDE，但它为理解扩散模型提供了强大的理论工具，并与物理学中的热力学、流体力学等领域建立了深刻的联系。 @@ -98,7 +98,7 @@ SDE和ODE描述了单个数据点（粒子）的轨迹。如果我们想从宏 * SDE的优点是什么？（提示：与分数匹配的联系） * ODE的优点是什么？（提示：采样速度和似然计算） * PDE的优点是什么？（提示：宏观理论分析） -4. **开放探索**：概率流ODE提供了一条确定性的从噪声到数据的路径。这本质上定义了一个可逆的函数 $g: x_T \to x_0$。这与连续归一化流（Continuous Normalizing Flows, CNF）有何联系？分析两种模型的异同。 +4. **开放探索**：概率流ODE提供了一条确定性的从噪声到数据的路径。这本质上定义了一个可逆的函数 $g: x_T \to x_0$ 。这与连续归一化流（Continuous Normalizing Flows, CNF）有何联系？分析两种模型的异同。
@@ -107,7 +107,7 @@ SDE和ODE描述了单个数据点（粒子）的轨迹。如果我们想从宏 本章将我们对扩散模型的理解从离散时间步提升到了连续时间的SDE/PDE框架，这是一个更深刻、更统一的视角。 - **从离散到连续**：我们展示了当时间步数趋于无穷时，离散的DDPM和NCSN过程如何自然地收敛到连续的SDE。 -- **反向时间SDE**：我们学习了Anderson定理，它揭示了反向去噪过程的核心是学习分数函数 $\nabla_{x_t} \log p_t(x)$，从而将DDPM和分数匹配统一起来。 +- **反向时间SDE**：我们学习了Anderson定理，它揭示了反向去噪过程的核心是学习分数函数 $\nabla_{x_t} \log p_t(x)$ ，从而将DDPM和分数匹配统一起来。 - **概率流ODE**：我们发现每个SDE都对应一个确定性的ODE，它不仅能实现更快的采样，还能进行精确的似然计算。 - **Fokker-Planck方程**：我们引入了描述概率密度演化的PDE，为宏观理论分析提供了工具。 diff --git a/chapter6.md b/chapter6.md index 1ee69f6..18c3987 100644 --- a/chapter6.md +++ b/chapter6.md @@ -94,11 +94,11 @@ CFM的训练只需要：(1) 采样时间 $t \sim \mathcal{U}[0,1]$ ；(2) 采样 ### 6.2.1 Monge-Kantorovich问题与Wasserstein距离 -经典的最优传输问题（Monge问题）旨在寻找一个映射 $T: \mathbb{R}^d \to \mathbb{R}^d$ ，使得如果 $\mathbf{x}_0 \sim p_0$，则 $T(\mathbf{x}_0) \sim p_1$，并且总的“运输成本”最小化： +经典的最优传输问题（Monge问题）旨在寻找一个映射 $T: \mathbb{R}^d \to \mathbb{R}^d$ ，使得如果 $\mathbf{x}_0 \sim p_0$ ，则 $T(\mathbf{x}_0) \sim p_1$ ，并且总的“运输成本”最小化： $\inf_T \int_{\mathbb{R}^d} c(\mathbf{x}_0, T(\mathbf{x}_0)) p_0(\mathbf{x}_0) d\mathbf{x}_0$ -其中 $c(\mathbf{x}, \mathbf{y})$ 是成本函数，通常取为欧氏距离的平方 $c(\mathbf{x}, \mathbf{y}) = \|\mathbf{x} - \mathbf{y}\|^2$。这个问题的解给出了两个分布之间最有效的“耦合”方式。当成本为距离时，这个最小成本定义了两个分布之间的**Wasserstein距离**，它衡量了分布之间的几何差异。 +其中 $c(\mathbf{x}, \mathbf{y})$ 是成本函数，通常取为欧氏距离的平方 $c(\mathbf{x}, \mathbf{y}) = \|\mathbf{x} - \mathbf{y}\|^2$ 。这个问题的解给出了两个分布之间最有效的“耦合”方式。当成本为距离时，这个最小成本定义了两个分布之间的**Wasserstein距离**，它衡量了分布之间的几何差异。 ### 6.2.2 动态最优传输与Benamou-Brenier公式 @@ -110,14 +110,14 @@ Benamou-Brenier公式表明，Wasserstein-2距离的平方等于在所有满足 $W_2^2(p_0, p_1) = \inf_{p_t, v_t} \int_0^1 \int_{\mathbb{R}^d} \|v_t(\mathbf{x})\|^2 p_t(\mathbf{x}) d\mathbf{x} dt$ -这个公式的深刻之处在于，它将一个静态的匹配问题（寻找最优映射 $T$）转化为了一个动态的路径规划问题（寻找最优速度场 $v_t$）。 +这个公式的深刻之处在于，它将一个静态的匹配问题（寻找最优映射 $T$ ）转化为了一个动态的路径规划问题（寻找最优速度场 $v_t$ ）。 ### 6.2.3 流匹配作为最优传输的实现 流匹配的目标函数——最小化模型向量场 $v_\theta$ 与真实向量场 $u_t$ 之间的L2距离——可以被看作是Benamou-Brenier公式的一种近似实现。 - 如果我们选择的概率路径 $p_t$ 正好是最优传输路径，那么学习到的向量场 $v_\theta$ 就是最优传输的速度场。 -- 即使我们使用简单的线性插值路径（这通常不是最优的），流匹配仍然能学习到一个有效的向量场，将 $p_0$ 变换到 $p_1$。 +- 即使我们使用简单的线性插值路径（这通常不是最优的），流匹配仍然能学习到一个有效的向量场，将 $p_0$ 变换到 $p_1$ 。 因此，流匹配为我们提供了一个强大的、可操作的工具，用于学习高维分布之间的传输映射，而无需直接解决复杂的OT问题。 @@ -128,21 +128,21 @@ $W_2^2(p_0, p_1) = \inf_{p_t, v_t} \int_0^1 \int_{\mathbb{R}^d} \|v_t(\mathbf{x} ### 6.3.1 概率路径与边缘保持性质 让我们更正式地定义这个思想。 -1. **联合分布**：我们首先定义一个源分布 $p_0$ 和目标分布 $p_1$ 的联合分布（或称“耦合”）$q(\mathbf{x}_0, \mathbf{x}_1)$。最简单的选择是独立耦合 $q(\mathbf{x}_0, \mathbf{x}_1) = p_0(\mathbf{x}_0) p_1(\mathbf{x}_1)$。 -2. **条件概率路径**：给定一对样本 $(\mathbf{x}_0, \mathbf{x}_1) \sim q$，我们定义一个条件概率路径 $p_t(\mathbf{x} | \mathbf{x}_0, \mathbf{x}_1)$。这是一个随时间 $t$ 演化的分布，满足 $p_0(\mathbf{x} | \mathbf{x}_0, \mathbf{x}_1) = \delta(\mathbf{x} - \mathbf{x}_0)$ 和 $p_1(\mathbf{x} | \mathbf{x}_0, \mathbf{x}_1) = \delta(\mathbf{x} - \mathbf{x}_1)$。 +1. **联合分布**：我们首先定义一个源分布 $p_0$ 和目标分布 $p_1$ 的联合分布（或称“耦合”） $q(\mathbf{x}_0, \mathbf{x}_1)$ 。最简单的选择是独立耦合 $q(\mathbf{x}_0, \mathbf{x}_1) = p_0(\mathbf{x}_0) p_1(\mathbf{x}_1)$ 。 +2. **条件概率路径**：给定一对样本 $(\mathbf{x}_0, \mathbf{x}_1) \sim q$ ，我们定义一个条件概率路径 $p_t(\mathbf{x} | \mathbf{x}_0, \mathbf{x}_1)$ 。这是一个随时间 $t$ 演化的分布，满足 $p_0(\mathbf{x} | \mathbf{x}_0, \mathbf{x}_1) = \delta(\mathbf{x} - \mathbf{x}_0)$ 和 $p_1(\mathbf{x} | \mathbf{x}_0, \mathbf{x}_1) = \delta(\mathbf{x} - \mathbf{x}_1)$ 。 3. **边缘概率路径**：通过对联合分布 $q$ 进行积分，我们可以得到边缘概率路径： $p_t(\mathbf{x}) = \int p_t(\mathbf{x} | \mathbf{x}_0, \mathbf{x}_1) q(\mathbf{x}_0, \mathbf{x}_1) d\mathbf{x}_0 d\mathbf{x}_1$ 这个边缘路径 $p_t$ 描述了从 $p_0$ 到 $p_1$ 的连续变换。 ### 6.3.2 向量场的推导 -与概率路径对应，我们也有条件向量场 $u_t(\mathbf{x} | \mathbf{x}_0, \mathbf{x}_1)$ 和边缘向量场 $u_t(\mathbf{x})$。它们通过连续性方程联系在一起。一个关键的数学结论是，边缘向量场是条件向量场在后验分布 $q(\mathbf{x}_0, \mathbf{x}_1 | \mathbf{x}_t)$ 下的期望： +与概率路径对应，我们也有条件向量场 $u_t(\mathbf{x} | \mathbf{x}_0, \mathbf{x}_1)$ 和边缘向量场 $u_t(\mathbf{x})$ 。它们通过连续性方程联系在一起。一个关键的数学结论是，边缘向量场是条件向量场在后验分布 $q(\mathbf{x}_0, \mathbf{x}_1 | \mathbf{x}_t)$ 下的期望： $u_t(\mathbf{x}_t) = \mathbb{E}_{q(\mathbf{x}_0, \mathbf{x}_1 | \mathbf{x}_t)}[u_t(\mathbf{x}_t | \mathbf{x}_0, \mathbf{x}_1)]$ ### 6.3.3 流匹配目标函数 -我们的目标是让模型 $v_\theta(t, \mathbf{x})$ 学习边缘向量场 $u_t(\mathbf{x})$。损失函数为： +我们的目标是让模型 $v_\theta(t, \mathbf{x})$ 学习边缘向量场 $u_t(\mathbf{x})$ 。损失函数为： $L_{FM}(\theta) = \int_0^1 \mathbb{E}_{p_t(\mathbf{x}_t)}[\|v_\theta(t, \mathbf{x}_t) - u_t(\mathbf{x}_t)\|^2] dt$ 直接优化这个损失函数是困难的，因为我们无法轻易地从 $p_t$ 或 $u_t$ 中采样。 @@ -150,13 +150,13 @@ $L_{FM}(\theta) = \int_0^1 \mathbb{E}_{p_t(\mathbf{x}_t)}[\|v_\theta(t, \mathbf{ $L_{CFM}(\theta) = \int_0^1 \mathbb{E}_{q(\mathbf{x}_0, \mathbf{x}_1)} \mathbb{E}_{p_t(\mathbf{x}_t|\mathbf{x}_0, \mathbf{x}_1)} [\|v_\theta(t, \mathbf{x}_t) - u_t(\mathbf{x}_t|\mathbf{x}_0, \mathbf{x}_1)\|^2] dt$ 这个形式的妙处在于，我们可以通过以下方式简单地获得训练样本： -1. 采样 $t \sim \mathcal{U}[0,1]$。 -2. 采样一对 $(\mathbf{x}_0, \mathbf{x}_1) \sim q$。 -3. 采样 $\mathbf{x}_t \sim p_t(\cdot|\mathbf{x}_0, \mathbf{x}_1)$。 -4. 计算条件向量场 $u_t(\mathbf{x}_t|\mathbf{x}_0, \mathbf{x}_1)$。 -5. 用梯度下降优化 $\|v_\theta(t, \mathbf{x}_t) - u_t(\mathbf{x}_t|\mathbf{x}_0, \mathbf{x}_1)\|^2$。 +1. 采样 $t \sim \mathcal{U}[0,1]$ 。 +2. 采样一对 $(\mathbf{x}_0, \mathbf{x}_1) \sim q$ 。 +3. 采样 $\mathbf{x}_t \sim p_t(\cdot|\mathbf{x}_0, \mathbf{x}_1)$ 。 +4. 计算条件向量场 $u_t(\mathbf{x}_t|\mathbf{x}_0, \mathbf{x}_1)$ 。 +5. 用梯度下降优化 $\|v_\theta(t, \mathbf{x}_t) - u_t(\mathbf{x}_t|\mathbf{x}_0, \mathbf{x}_1)\|^2$ 。 -对于线性插值路径 $\mathbf{x}_t = (1-t)\mathbf{x}_0 + t\mathbf{x}_1$，后两步变得极其简单：$\mathbf{x}_t$ 是确定的，向量场就是 $\mathbf{x}_1 - \mathbf{x}_0$。这使得训练过程完全“模拟免费”（simulation-free）。 +对于线性插值路径 $\mathbf{x}_t = (1-t)\mathbf{x}_0 + t\mathbf{x}_1$ ，后两步变得极其简单： $\mathbf{x}_t$ 是确定的，向量场就是 $\mathbf{x}_1 - \mathbf{x}_0$ 。这使得训练过程完全“模拟免费”（simulation-free）。 ## 6.4 与扩散模型的联系 @@ -166,10 +166,10 @@ $L_{CFM}(\theta) = \int_0^1 \mathbb{E}_{q(\mathbf{x}_0, \mathbf{x}_1)} \mathbb{E 回想一下，任何扩散SDE都对应一个概率流ODE： $dx_t = [f(x_t, t) - \frac{1}{2} g(t)^2 \nabla_{x_t} \log p_t(x_t)] dt$ -这个ODE描述了一个确定性的从噪声到数据的变换路径，它本身就是一个连续正则化流！它的向量场是 $v_t(x_t) = f(x_t, t) - \frac{1}{2} g(t)^2 s_\theta(x_t, t)$。 +这个ODE描述了一个确定性的从噪声到数据的变换路径，它本身就是一个连续正则化流！它的向量场是 $v_t(x_t) = f(x_t, t) - \frac{1}{2} g(t)^2 s_\theta(x_t, t)$ 。 - **扩散模型**通过学习分数函数 $s_\theta(x_t, t) \approx \nabla_{x_t} \log p_t(x_t)$ 来间接定义这个向量场。 -- **流匹配**则直接学习这个向量场 $v_\theta(t, \mathbf{x}_t)$。 +- **流匹配**则直接学习这个向量场 $v_\theta(t, \mathbf{x}_t)$ 。 ### 6.4.2 从分数匹配到流匹配 @@ -182,8 +182,8 @@ $L_{FM}(\theta) = \int_0^1 \mathbb{E}_{p_t(\mathbf{x}_t)}[\|\mathbf{v}_\theta(t, ### 6.4.3 计算效率的比较分析 流匹配在训练效率上通常优于传统的扩散模型： -- **模拟免费**：流匹配的训练不需要像扩散模型那样前向模拟SDE来产生带噪声的样本 $x_t$。它通过简单的插值直接构造训练对，避免了数值误差和计算开销。 -- **路径灵活性**：扩散模型被锁定在由SDE定义的特定概率路径上。流匹配可以选择任意（通常更简单）的路径，如线性插值，这简化了目标向量场的计算（例如，对于线性路径，目标是常数 $\mathbf{x}_1 - \mathbf{x}_0$）。 +- **模拟免费**：流匹配的训练不需要像扩散模型那样前向模拟SDE来产生带噪声的样本 $x_t$ 。它通过简单的插值直接构造训练对，避免了数值误差和计算开销。 +- **路径灵活性**：扩散模型被锁定在由SDE定义的特定概率路径上。流匹配可以选择任意（通常更简单）的路径，如线性插值，这简化了目标向量场的计算（例如，对于线性路径，目标是常数 $\mathbf{x}_1 - \mathbf{x}_0$ ）。 - **一步到位**：扩散模型通常需要先学习分数，然后构建ODE。流匹配直接学习ODE的向量场，更加直接。 ## 6.5 实践中的流匹配 @@ -191,15 +191,15 @@ $L_{FM}(\theta) = \int_0^1 \mathbb{E}_{p_t(\mathbf{x}_t)}[\|\mathbf{v}_\theta(t, ### 6.5.1 路径选择：线性插值 vs 最优传输 在实践中，如何选择条件概率路径 $p_t(\mathbf{x}|\mathbf{x}_0, \mathbf{x}_1)$ 是一个关键的设计决策。 -- **线性插值**：这是最简单和最常用的选择。路径是确定的直线：$\mathbf{x}_t = (1-t)\mathbf{x}_0 + t\mathbf{x}_1$。对应的条件向量场是常数 $\mathbf{u}_t = \mathbf{x}_1 - \mathbf{x}_0$。这种方法的优点是极其简单高效。 +- **线性插值**：这是最简单和最常用的选择。路径是确定的直线： $\mathbf{x}_t = (1-t)\mathbf{x}_0 + t\mathbf{x}_1$ 。对应的条件向量场是常数 $\mathbf{u}_t = \mathbf{x}_1 - \mathbf{x}_0$ 。这种方法的优点是极其简单高效。 - **最优传输引导**：虽然线性插值不是最优传输路径，但研究表明，使用更接近真实OT路径的插值方案可以提高生成质量。例如，"Optimal Transport-Guided Conditional Flow Matching" (OT-CFM) 提出了一种修正线性插值的方法，使其更好地匹配数据流形。 - **扩散路径**：我们也可以使用扩散SDE本身定义的路径。这表明流匹配可以被用来重新推导和训练扩散模型，突显了其框架的统一性。 ### 6.5.2 采样算法与ODE求解器选择 -训练完成后，我们得到了一个向量场 $v_\theta(t, \mathbf{x})$。生成新样本的过程就是求解从 $t=0$ 到 $t=1$ 的ODE： -1. 从先验分布中采样一个噪声点 $\mathbf{x}_0 \sim p_0$。 -2. 使用数值ODE求解器求解 $\frac{d\mathbf{x}_t}{dt} = v_\theta(t, \mathbf{x}_t)$，从 $\mathbf{x}_0$ 开始，积分到 $t=1$。 +训练完成后，我们得到了一个向量场 $v_\theta(t, \mathbf{x})$ 。生成新样本的过程就是求解从 $t=0$ 到 $t=1$ 的ODE： +1. 从先验分布中采样一个噪声点 $\mathbf{x}_0 \sim p_0$ 。 +2. 使用数值ODE求解器求解 $\frac{d\mathbf{x}_t}{dt} = v_\theta(t, \mathbf{x}_t)$ ，从 $\mathbf{x}_0$ 开始，积分到 $t=1$ 。 3. 最终得到的 $\mathbf{x}_1$ 就是一个生成的样本。 由于这是一个标准的ODE，我们可以利用数值分析领域的各种高效求解器： @@ -220,7 +220,7 @@ $\min_\theta \mathbb{E}_{p(c)} \mathbb{E}_{t, q(\mathbf{x}_0, \mathbf{x}_1|c)} [ 假设你的任务是学习一个从二维标准高斯分布 $p_0$ 到一个“月牙”形状的二维分布 $p_1$ 的生成模型。 -1. **网络架构**：你会如何设计向量场网络 $v_\theta(t, \mathbf{x})$？输入和输出应该是什么维度？时间 $t$ 应该如何编码并输入到网络中？（提示：参考Transformer中的位置编码思想） +1. **网络架构**：你会如何设计向量场网络 $v_\theta(t, \mathbf{x})$ ？输入和输出应该是什么维度？时间 $t$ 应该如何编码并输入到网络中？（提示：参考Transformer中的位置编码思想） 2. **训练流程**：写出使用线性插值的CFM训练该模型的伪代码。 diff --git a/chapter9.md b/chapter9.md index e129b77..461244b 100644 --- a/chapter9.md +++ b/chapter9.md @@ -52,7 +52,7 @@ **1. 拼接（Concatenation）** -最直接的方式是将条件信息与输入拼接。对于图像条件，可以在通道维度上拼接 $[\mathbf{x}_t, \mathbf{c}_{image}]$。对于向量条件，先通过条件编码器得到嵌入 $\mathbf{c}_{embed}$，然后扩展到空间维度后拼接。这种方法简单有效，但会增加第一层的参数量。 +最直接的方式是将条件信息与输入拼接。对于图像条件，可以在通道维度上拼接 $[\mathbf{x}_t, \mathbf{c}_{image}]$ 。对于向量条件，先通过条件编码器得到嵌入 $\mathbf{c}_{embed}$ ，然后扩展到空间维度后拼接。这种方法简单有效，但会增加第一层的参数量。 **2. 自适应归一化（Adaptive Normalization）** @@ -68,7 +68,7 @@ $$\mathbf{h} = \gamma(\mathbf{c}) \odot \text{Normalize}(\mathbf{h}) + \beta(\ma $$\text{Attention}(\mathbf{Q}, \mathbf{K}, \mathbf{V}) = \text{softmax}\left(\frac{\mathbf{Q}\mathbf{K}^T}{\sqrt{d_k}}\right)\mathbf{V}$$ -其中 $\mathbf{Q} = \mathbf{h}_{image}W_Q$，$\mathbf{K} = \mathbf{h}_{text}W_K$，$\mathbf{V} = \mathbf{h}_{text}W_V$。 +其中 $\mathbf{Q} = \mathbf{h}_{image}W_Q$ ， $\mathbf{K} = \mathbf{h}_{text}W_K$ ， $\mathbf{V} = \mathbf{h}_{text}W_V$ 。 **4. 特征调制（Feature-wise Modulation）** @@ -98,7 +98,7 @@ $$\mathbf{h}_{out} = \gamma(\mathbf{c}) \odot \mathbf{h}_{in} + \beta(\mathbf{c} - 中分辨率层获得结构控制（如物体形状） - 低分辨率层获得语义控制（如整体布局） -每个下采样块和上采样块都接收条件信息：$\mathbf{h}_i = f_i(\mathbf{h}_{i-1}, t, \mathbf{c})$ +每个下采样块和上采样块都接收条件信息： $\mathbf{h}_i = f_i(\mathbf{h}_{i-1}, t, \mathbf{c})$ **3. 时间-条件交互** @@ -106,13 +106,13 @@ $$\mathbf{h}_{out} = \gamma(\mathbf{c}) \odot \mathbf{h}_{in} + \beta(\mathbf{c} $$\mathbf{e}_{joint} = \text{MLP}(\mathbf{e}_t + \mathbf{e}_c)$$ -其中 $\mathbf{e}_t$ 是时间嵌入，$\mathbf{e}_c$ 是条件嵌入。这种交互允许模型根据去噪阶段调整条件的影响方式。 +其中 $\mathbf{e}_t$ 是时间嵌入， $\mathbf{e}_c$ 是条件嵌入。这种交互允许模型根据去噪阶段调整条件的影响方式。 ### 9.1.4 训练策略 **1. 条件dropout** -随机丢弃条件信息，训练模型同时处理条件和无条件生成。在训练时，以概率 $p_{uncond}$ 将条件 $\mathbf{c}$ 替换为空条件 $\varnothing$： +随机丢弃条件信息，训练模型同时处理条件和无条件生成。在训练时，以概率 $p_{uncond}$ 将条件 $\mathbf{c}$ 替换为空条件 $\varnothing$ ： $$\mathbf{c}_{train} = \begin{cases} \mathbf{c} & \text{with probability } 1-p_{uncond} \\ @@ -140,7 +140,7 @@ $$\mathcal{L}_{total} = \mathcal{L}_{uncond} + \lambda_1\mathcal{L}_{class} + \l 其中 $\lambda_i$ 是各任务的权重系数。 💡 **实践技巧：条件缩放** -不同条件的强度可能需要不同的缩放。使用可学习的缩放因子：$\mathbf{c}_{scaled} = s_c \cdot \mathbf{c}$，其中 $s_c$ 是可学习参数。 +不同条件的强度可能需要不同的缩放。使用可学习的缩放因子： $\mathbf{c}_{scaled} = s_c \cdot \mathbf{c}$ ，其中 $s_c$ 是可学习参数。
**练习 9.1：实现多模态条件扩散模型** @@ -200,7 +200,7 @@ $$q(\mathbf{x}_t|\mathbf{x}_0, \mathbf{c}) = q(\mathbf{x}_t|\mathbf{x}_0)$$ - **编码器共享**：多个条件类型共享底层特征提取器 **数值稳定性保障**： -- **条件归一化**：$\mathbf{c}_{encoded} = s \cdot \mathbf{c}_{encoded} / \|\mathbf{c}_{encoded}\|_2$ +- **条件归一化**： $\mathbf{c}_{encoded} = s \cdot \mathbf{c}_{encoded} / \|\mathbf{c}_{encoded}\|_2$ - **残差缩放**：条件注入时使用小的初始权重 - **梯度裁剪**：防止条件相关的梯度爆炸 @@ -251,10 +251,10 @@ $$\tilde{\boldsymbol{\epsilon}}_\theta(\mathbf{x}_t, t, \mathbf{c}) = \boldsymbo **采样算法流程**： 1. 从标准高斯分布采样初始噪声 $\mathbf{x}_T \sim \mathcal{N}(0, \mathbf{I})$ -2. 对于每个时间步 $t = T, T-1, ..., 1$： - - 使用扩散模型预测无条件噪声：$\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t)$ - - 计算分类器对数概率的梯度：$\nabla_{\mathbf{x}_t} \log p_\phi(\mathbf{c}|\mathbf{x}_t)$ - - 组合得到引导后的噪声预测：$\tilde{\boldsymbol{\epsilon}} = \boldsymbol{\epsilon}_\theta - s\sqrt{1-\bar{\alpha}_t}\nabla_{\mathbf{x}_t} \log p_\phi(\mathbf{c}|\mathbf{x}_t)$ +2. 对于每个时间步 $t = T, T-1, ..., 1$ ： + - 使用扩散模型预测无条件噪声： $\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t)$ + - 计算分类器对数概率的梯度： $\nabla_{\mathbf{x}_t} \log p_\phi(\mathbf{c}|\mathbf{x}_t)$ + - 组合得到引导后的噪声预测： $\tilde{\boldsymbol{\epsilon}} = \boldsymbol{\epsilon}_\theta - s\sqrt{1-\bar{\alpha}_t}\nabla_{\mathbf{x}_t} \log p_\phi(\mathbf{c}|\mathbf{x}_t)$ - 执行去噪步骤得到 $\mathbf{x}_{t-1}$ **梯度计算细节**： @@ -286,10 +286,10 @@ $$\nabla_{clipped} = \frac{\nabla}{\max(1, \|\nabla\|_2 / \lambda)}$$ $$\nabla_{stable} = \frac{1}{N} \sum_{i=1}^N \nabla_{\mathbf{x}_t} \log p_\phi(\mathbf{c}|\mathbf{x}_t + \sigma\boldsymbol{\epsilon}_i)$$ -其中 $\boldsymbol{\epsilon}_i \sim \mathcal{N}(0, \mathbf{I})$，$\sigma$ 是小的噪声尺度。 +其中 $\boldsymbol{\epsilon}_i \sim \mathcal{N}(0, \mathbf{I})$ ， $\sigma$ 是小的噪声尺度。 💡 **实践技巧：温度调节** -对分类器输出使用温度缩放可以控制引导的锐度：$p_\phi(\mathbf{c}|\mathbf{x}_t) \propto \exp(\text{logits}/\tau)$，其中 $\tau$ 是温度参数。 +对分类器输出使用温度缩放可以控制引导的锐度： $p_\phi(\mathbf{c}|\mathbf{x}_t) \propto \exp(\text{logits}/\tau)$ ，其中 $\tau$ 是温度参数。 ### 9.2.5 局限性分析 @@ -406,7 +406,7 @@ $$\nabla_{\mathbf{x}_t} \log p(\mathbf{c}|\mathbf{x}_t) \approx \nabla_{\mathbf{ 1. 对于每个训练样本，以概率 $p_{uncond}$ 将条件替换为空条件 $\varnothing$ 2. 使用修改后的条件进行标准扩散模型训练 -3. 损失函数保持不变：$\mathcal{L} = \mathbb{E}_{t,\mathbf{x}_0,\boldsymbol{\epsilon}}[\|\boldsymbol{\epsilon} - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c}_{masked})\|^2]$ +3. 损失函数保持不变： $\mathcal{L} = \mathbb{E}_{t,\mathbf{x}_0,\boldsymbol{\epsilon}}[\|\boldsymbol{\epsilon} - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c}_{masked})\|^2]$ 其中： $$\mathbf{c}_{masked} = \begin{cases} @@ -414,7 +414,7 @@ $$\mathbf{c}_{masked} = \begin{cases} \varnothing & \text{with probability } p_{uncond} \end{cases}$$ -这使得单个模型能够同时学习条件分布 $p(\mathbf{x}|\mathbf{c})$ 和边缘分布 $p(\mathbf{x})$。 +这使得单个模型能够同时学习条件分布 $p(\mathbf{x}|\mathbf{c})$ 和边缘分布 $p(\mathbf{x})$ 。 **空条件的表示**： - 对于文本条件：使用空字符串或特殊的 `[NULL]` token @@ -442,9 +442,9 @@ $$\tilde{\boldsymbol{\epsilon}}_\theta = \boldsymbol{\epsilon}_\theta(\mathbf{x} 为了避免两次独立的模型前向传播，可以批量处理条件和无条件预测： -1. 将输入 $\mathbf{x}_t$ 复制一份：$[\mathbf{x}_t, \mathbf{x}_t]$ -2. 准备条件批次：$[\mathbf{c}, \varnothing]$ -3. 单次前向传播得到：$[\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c}), \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing)]$ +1. 将输入 $\mathbf{x}_t$ 复制一份： $[\mathbf{x}_t, \mathbf{x}_t]$ +2. 准备条件批次： $[\mathbf{c}, \varnothing]$ +3. 单次前向传播得到： $[\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c}), \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing)]$ 4. 应用CFG公式组合预测 **内存优化**： @@ -452,10 +452,10 @@ $$\tilde{\boldsymbol{\epsilon}}_\theta = \boldsymbol{\epsilon}_\theta(\mathbf{x} - 使用梯度检查点减少激活内存 - 在低精度（FP16）下运行推理 **采样算法完整流程**： -1. 初始化：$\mathbf{x}_T \sim \mathcal{N}(0, \mathbf{I})$ -2. 对每个时间步 $t = T, T-1, ..., 1$： +1. 初始化： $\mathbf{x}_T \sim \mathcal{N}(0, \mathbf{I})$ +2. 对每个时间步 $t = T, T-1, ..., 1$ ： - 计算条件和无条件预测 - - 应用CFG公式：$\tilde{\boldsymbol{\epsilon}} = \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing) + w[\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c}) - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing)]$ + - 应用CFG公式： $\tilde{\boldsymbol{\epsilon}} = \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing) + w[\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c}) - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing)]$ - 执行采样步骤（DDPM或DDIM） ### 9.3.5 引导权重的选择 @@ -476,7 +476,7 @@ $$\tilde{\boldsymbol{\epsilon}}_\theta = \boldsymbol{\epsilon}_\theta(\mathbf{x} 可以使用时变的引导权重，例如线性插值： $$w(t) = w_{start} \cdot (1 - t/T) + w_{end} \cdot (t/T)$$ -其中早期使用较强的引导（$w_{start}$较大），后期逐渐减弱（$w_{end}$较小），帮助模型在保持条件忠实度的同时提高细节质量。 +其中早期使用较强的引导（ $w_{start}$ 较大），后期逐渐减弱（ $w_{end}$ 较小），帮助模型在保持条件忠实度的同时提高细节质量。 💡 **实践洞察：引导权重与条件类型** 不同条件类型需要不同的引导强度。文本条件通常需要 w=7.5，而类别条件可能只需要 w=3。 @@ -537,14 +537,14 @@ CFG可以视为变分推断中的重要性加权： 使用负条件来避免特定内容的生成。组合公式为： $$\tilde{\boldsymbol{\epsilon}} = \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing) + w_{pos} [\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c}_{pos}) - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing)] - w_{neg} [\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c}_{neg}) - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing)]$$ -其中 $\mathbf{c}_{pos}$ 是期望的条件，$\mathbf{c}_{neg}$ 是要避免的条件，$w_{pos}$ 和 $w_{neg}$ 分别控制正向和负向引导的强度。 +其中 $\mathbf{c}_{pos}$ 是期望的条件， $\mathbf{c}_{neg}$ 是要避免的条件， $w_{pos}$ 和 $w_{neg}$ 分别控制正向和负向引导的强度。 **2. 多尺度引导** 在不同时间步使用不同的引导策略。例如： -- 早期阶段（$t > 0.8T$）：使用强语义引导（$w=10$），确保整体结构正确 -- 中期阶段（$0.3T < t \leq 0.8T$）：使用平衡引导（$w=7.5$） -- 后期阶段（$t \leq 0.3T$）：使用较弱引导（$w=3$），保留细节多样性 +- 早期阶段（ $t > 0.8T$ ）：使用强语义引导（ $w=10$ ），确保整体结构正确 +- 中期阶段（ $0.3T < t \leq 0.8T$ ）：使用平衡引导（ $w=7.5$ ） +- 后期阶段（ $t \leq 0.3T$ ）：使用较弱引导（ $w=3$ ），保留细节多样性 **3. 自适应CFG** @@ -594,7 +594,7 @@ CFG的成功启发了许多后续工作。未来可能出现统一的引导理 $$\tilde{\boldsymbol{\epsilon}} = \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing) + \sum_{i=1}^{n} w_i [\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c}_i) - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing)]$$ -其中 $\mathbf{c}_i$ 是第 $i$ 个条件，$w_i$ 是对应的权重。权重需要满足 $\sum_i w_i = 1$ 以保持引导的整体强度。 +其中 $\mathbf{c}_i$ 是第 $i$ 个条件， $w_i$ 是对应的权重。权重需要满足 $\sum_i w_i = 1$ 以保持引导的整体强度。 **2. 层次化条件** @@ -602,7 +602,7 @@ $$\tilde{\boldsymbol{\epsilon}} = \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, - 全局条件：影响整体结构和布局 - 局部条件：影响细节和纹理 -在早期阶段（$t > 0.5T$）应用全局条件，后期阶段（$t \leq 0.5T$）应用局部条件。这种方法可以确保先建立正确的整体结构，再添加细节。 +在早期阶段（ $t > 0.5T$ ）应用全局条件，后期阶段（ $t \leq 0.5T$ ）应用局部条件。这种方法可以确保先建立正确的整体结构，再添加细节。 **3. 条件图结构** @@ -624,7 +624,7 @@ $$\tilde{\boldsymbol{\epsilon}} = \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, 当需要避免多个不希望的属性时，可以使用多负向提示： $$\tilde{\boldsymbol{\epsilon}} = \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing) + w_{pos}[\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c}_{pos}) - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing)] - \sum_{i=1}^{n} w_{neg,i}[\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c}_{neg,i}) - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing)]$$ -每个负向条件可以有不同的权重 $w_{neg,i}$。 +每个负向条件可以有不同的权重 $w_{neg,i}$ 。 **3. 自适应负向强度** @@ -686,7 +686,7 @@ ControlNet通过复制基础模型的编码器结构，并使用零初始化的 同时使用多个控制信号（如深度图、边缘图、姿态图）时，可以通过加权组合各个控制网络的输出： $$\tilde{\boldsymbol{\epsilon}} = \boldsymbol{\epsilon}_{text} + \sum_{i} w_i \cdot \boldsymbol{\epsilon}_{control_i}$$ -其中 $\boldsymbol{\epsilon}_{text}$ 是文本引导的预测，$\boldsymbol{\epsilon}_{control_i}$ 是第 $i$ 个控制网络的输出，$w_i$ 是对应的权重。 +其中 $\boldsymbol{\epsilon}_{text}$ 是文本引导的预测， $\boldsymbol{\epsilon}_{control_i}$ 是第 $i$ 个控制网络的输出， $w_i$ 是对应的权重。 **3. 适配器方法** @@ -694,9 +694,9 @@ $$\tilde{\boldsymbol{\epsilon}} = \boldsymbol{\epsilon}_{text} + \sum_{i} w_i \c $$\mathbf{h} = \mathbf{x} + \text{UP}(\text{GELU}(\text{DOWN}(\mathbf{c})))$$ 其中： -- $\text{DOWN}$：降维投影，$\mathbb{R}^{d} \to \mathbb{R}^{d'}$，$d' < d$ -- $\text{UP}$：升维投影，$\mathbb{R}^{d'} \to \mathbb{R}^{d}$，零初始化 -- $\text{GELU}$：非线性激活函数 +- $\text{DOWN}$ ：降维投影， $\mathbb{R}^{d} \to \mathbb{R}^{d'}$ ， $d' < d$ +- $\text{UP}$ ：升维投影， $\mathbb{R}^{d'} \to \mathbb{R}^{d}$ ，零初始化 +- $\text{GELU}$ ：非线性激活函数 这种设计保持了参数效率，同时通过零初始化确保训练稳定性。 @@ -787,28 +787,28 @@ $$\mathbf{x}^{(i+1)} = \text{ApplyGuidance}(\mathbf{x}^{(i)}, t, \mathbf{c}_i, w 对于类别条件，可以使用预训练的分类器评估生成图像的类别一致性： $$\text{Accuracy} = \frac{1}{N} \sum_{i=1}^{N} \mathbb{1}[\arg\max_j p(y_j|\mathbf{x}_i) = c_i]$$ -其中 $p(y_j|\mathbf{x}_i)$ 是分类器对生成图像 $\mathbf{x}_i$ 的预测概率，$c_i$ 是目标类别。 +其中 $p(y_j|\mathbf{x}_i)$ 是分类器对生成图像 $\mathbf{x}_i$ 的预测概率， $c_i$ 是目标类别。 **2. CLIP Score** 对于文本条件，使用CLIP模型计算图像-文本的对齐度： $$\text{CLIP Score} = \mathbb{E}[\cos(\mathbf{f}_I(\mathbf{x}), \mathbf{f}_T(\mathbf{c}))]$$ -其中 $\mathbf{f}_I$ 和 $\mathbf{f}_T$ 分别是CLIP的图像和文本编码器，$\cos(\cdot,\cdot)$ 是余弦相似度。更高的CLIP分数表示更好的图像-文本对齐。 +其中 $\mathbf{f}_I$ 和 $\mathbf{f}_T$ 分别是CLIP的图像和文本编码器， $\cos(\cdot,\cdot)$ 是余弦相似度。更高的CLIP分数表示更好的图像-文本对齐。 **3. 结构相似度** 对于空间控制（如ControlNet），可以使用结构相似性指标（SSIM）或边缘检测来评估： $$\text{SSIM} = \frac{(2\mu_x\mu_y + c_1)(2\sigma_{xy} + c_2)}{(\mu_x^2 + \mu_y^2 + c_1)(\sigma_x^2 + \sigma_y^2 + c_2)}$$ -其中 $\mu$ 是均值，$\sigma$ 是标准差，$\sigma_{xy}$ 是协方差，$c_1, c_2$ 是稳定常数。 +其中 $\mu$ 是均值， $\sigma$ 是标准差， $\sigma_{xy}$ 是协方差， $c_1, c_2$ 是稳定常数。 **4. 语义一致性** 使用预训练模型评估语义对齐。通过提取图像和条件的语义特征，计算它们之间的距离： $$\text{Semantic Consistency} = \frac{1}{1 + d(\mathbf{s}_I, \mathbf{s}_C)}$$ -其中 $\mathbf{s}_I$ 是图像的语义特征，$\mathbf{s}_C$ 是条件的语义特征，$d(\cdot,\cdot)$ 是距离度量（如L2距离）。 +其中 $\mathbf{s}_I$ 是图像的语义特征， $\mathbf{s}_C$ 是条件的语义特征， $d(\cdot,\cdot)$ 是距离度量（如L2距离）。 ### 9.5.2 多样性与质量权衡 From c5c192ed38040e9ce7c67cdfd12af465972be6ef Mon Sep 17 00:00:00 2001 From: William Date: Sun, 27 Jul 2025 12:03:44 +0800 Subject: [PATCH 18/62] interim --- chapter12.md | 1102 ++++++++++++++++++++++++++++++++++++++++++++++++++ chapter13.md | 477 ++++++++++++++++++++++ chapter7.md | 7 +- chapter8.md | 37 +- chapter9.md | 35 +- index.md | 88 +++- 6 files changed, 1665 insertions(+), 81 deletions(-) create mode 100644 chapter12.md create mode 100644 chapter13.md diff --git a/chapter12.md b/chapter12.md new file mode 100644 index 0000000..b7c0488 --- /dev/null +++ b/chapter12.md @@ -0,0 +1,1102 @@ +[← 返回目录](index.md) | 第12章 / 共14章 | [下一章 →](chapter13.md) + +# 第12章：文本扩散模型 + +文本生成是扩散模型面临的独特挑战。与连续的图像空间不同，文本是离散的符号序列，这给扩散过程的设计带来了根本性的困难。本章将深入探讨如何将扩散模型的强大能力扩展到文本领域，包括处理离散状态空间的D3PM方法和在连续嵌入空间工作的Diffusion-LM。您将学习文本扩散的核心技术，理解离散与连续方法的权衡，掌握设计文本生成系统的关键原理。通过本章的学习，您将能够构建可控、高质量的文本生成模型，并理解其与自回归模型的本质区别。 + +## 章节大纲 + +### 12.1 文本扩散的独特挑战 +- 离散性与连续性的鸿沟 +- 语言的结构约束 +- 评估指标的复杂性 +- 与自回归模型的比较 + +### 12.2 离散扩散模型（D3PM） +- 离散状态空间的马尔可夫链 +- 转移矩阵的设计 +- 吸收态与均匀分布 +- 训练与采样算法 + +### 12.3 连续嵌入空间扩散 +- Diffusion-LM的核心思想 +- 嵌入与重建的挑战 +- 舍入策略与梯度估计 +- 语义保持的技巧 + +### 12.4 架构设计与条件控制 +- Transformer在文本扩散中的应用 +- 长度控制与位置编码 +- 语义条件与风格控制 +- 多语言与跨语言生成 + +### 12.5 应用案例与未来方向 +- 可控文本生成 +- 文本编辑与改写 +- 对话系统中的应用 +- 与大语言模型的结合 + +## 12.1 文本扩散的独特挑战 + +### 12.1.1 离散性与连续性的鸿沟 + +文本扩散面临的核心挑战是离散token空间与连续扩散过程之间的不匹配： + +**离散文本的特性**： +1. **符号性质**：词汇是离散符号，没有自然的距离度量 +2. **组合爆炸**：词汇表大小V通常为10K-100K +3. **硬边界**：token之间没有"中间状态" +4. **语义跳跃**：相邻token可能语义完全不同 + +**扩散模型的假设**： +- 连续状态空间 +- 高斯噪声添加 +- 平滑的概率密度 +- 梯度可微分 + +这种根本性的不匹配导致了两种主要解决方案： +1. **离散扩散**：重新设计扩散过程以适应离散空间 +2. **嵌入空间扩散**：在连续嵌入空间中进行扩散 + +💡 **关键洞察：离散与连续的桥梁** +成功的文本扩散模型必须在保持离散性约束的同时，利用连续空间的优势。这需要精心设计的映射函数和概率模型。 + +### 12.1.2 语言的结构约束 + +自然语言具有丰富的结构，这些约束必须在扩散过程中得到尊重： + +**1. 语法约束**： +- 词性搭配规则 +- 句法树结构 +- 依存关系 + +**2. 语义连贯性**： +- 上下文一致性 +- 主题相关性 +- 逻辑关系 + +**3. 长程依赖**： +- 指代消解 +- 时态一致 +- 语篇结构 + +**4. 多尺度结构**： +``` +字符 → 子词 → 词 → 短语 → 句子 → 段落 +``` + +传统的逐token自回归生成自然地维护了从左到右的依赖关系，而扩散模型需要显式地建模这些约束。 + +🔬 **研究线索：结构感知的噪声过程** +如何设计噪声过程，使其更多地破坏局部结构而保留全局语义？可以考虑语法树引导的噪声添加或基于依存关系的扩散核。 + +### 12.1.3 评估指标的复杂性 + +文本生成的评估比图像生成更加复杂： + +**自动评估指标**： +1. **困惑度（Perplexity）**： + $$\text{PPL} = \exp\left(-\frac{1}{N}\sum_{i=1}^N \log p(x_i|x_{ +**练习 12.1：对比实验设计** + +设计实验来深入理解文本扩散的特性。 + +1. **离散性影响分析**： + - 实现简单的离散扩散过程 + - 比较不同词汇表大小的影响 + - 分析噪声过程的信息损失 + +2. **结构保持实验**： + - 设计保持句法结构的噪声方案 + - 测试不同mask策略（随机vs结构化） + - 评估生成文本的语法正确性 + +3. **评估指标相关性**： + - 收集人工评分数据 + - 计算各种自动指标 + - 分析指标间的相关性和差异 + +4. **生成模式对比**： + - 实现简化版的自回归和扩散模型 + - 比较生成速度、多样性、质量 + - 分析各自的失败模式 + +
+ +### 12.1.5 文本扩散的机遇 + +尽管面临挑战，文本扩散模型也带来了独特的机遇： + +**1. 灵活的生成控制**： +- 任意位置的条件约束 +- 全局属性控制（情感、风格） +- 迭代优化过程 + +**2. 更好的编辑能力**： +- 局部修改不影响全局 +- 保持上下文一致性 +- 支持多轮优化 + +**3. 新的应用场景**： +- 填充任务（中间词预测） +- 并行翻译 +- 文本风格转换 + +**4. 与其他模态的统一**： +- 多模态扩散模型 +- 共享的生成框架 +- 跨模态转换 + +🌟 **前沿思考：扩散与自回归的融合** +能否设计一个模型，结合自回归的因果建模能力和扩散的全局优化优势？例如，使用扩散模型生成语义骨架，然后用自回归模型填充细节。 + +### 12.1.6 技术路线图 + +解决文本扩散挑战的主要技术路线： + +**1. 离散状态空间方法**： +- D3PM（Discrete Denoising Diffusion Probabilistic Models） +- Multinomial Diffusion +- Masked Diffusion + +**2. 连续嵌入空间方法**： +- Diffusion-LM +- CDCD（Continuous Diffusion for Categorical Data） +- Latent Diffusion for Text + +**3. 混合方法**： +- Analog Bits +- SUNDAE（Step-unrolled Diffusion Autoencoder） +- 离散-连续桥接 + +**4. 架构创新**： +- 自注意力机制的改进 +- 位置编码的设计 +- 条件机制的优化 + +💡 **实践建议：选择合适的方法** +- 短文本生成：离散方法简单有效 +- 长文本生成：嵌入空间方法更稳定 +- 可控生成：考虑混合方法 +- 实时应用：需要特殊的加速技术 + +通过理解这些挑战和机遇，我们可以更好地设计和应用文本扩散模型。接下来，我们将深入探讨具体的技术实现。 + +## 12.2 离散扩散模型（D3PM） + +### 12.2.1 离散状态空间的马尔可夫链 + +D3PM（Discrete Denoising Diffusion Probabilistic Models）通过将连续扩散过程替换为离散马尔可夫链来处理离散数据。核心思想是定义一个从数据分布逐渐过渡到先验分布的离散随机过程。 + +**前向过程定义**： + +对于离散状态 $x \in \{1, 2, ..., K\}$（K是词汇表大小），前向过程定义为： +$$q(x_t|x_{t-1}) = \text{Cat}(x_t; \mathbf{Q}_t x_{t-1})$$ + +其中 $\mathbf{Q}_t \in \mathbb{R}^{K \times K}$ 是转移矩阵，$\text{Cat}$ 表示分类分布。 + +**转移矩阵的性质**： +1. **行随机矩阵**：$\sum_j Q_{ij} = 1$ +2. **可逆性**：早期时刻的 $\mathbf{Q}_t$ 接近单位矩阵 +3. **收敛性**：$\mathbf{Q}_T$ 使分布收敛到先验 + +**累积转移矩阵**： +$$\bar{\mathbf{Q}}_t = \mathbf{Q}_1 \mathbf{Q}_2 \cdots \mathbf{Q}_t$$ + +这允许我们直接从 $x_0$ 采样 $x_t$： +$$q(x_t|x_0) = \text{Cat}(x_t; \bar{\mathbf{Q}}_t x_0)$$ + +💡 **设计原则：平衡信息保留与噪声添加** +转移矩阵的设计需要在保持足够信息（用于反向去噪）和添加足够噪声（用于探索）之间取得平衡。太少的噪声导致模式崩溃，太多的噪声使去噪任务过难。 + +### 12.2.2 转移矩阵的设计 + +D3PM提供了几种转移矩阵的设计方案： + +**1. 均匀转移（Uniform Transition）**： +$$\mathbf{Q}_t = (1-\beta_t)\mathbf{I} + \beta_t \mathbf{1}\mathbf{1}^T/K$$ + +其中 $\beta_t$ 是噪声调度，$\mathbf{1}$ 是全1向量。这种设计以概率 $\beta_t$ 将状态替换为均匀随机状态。 + +**2. 吸收态转移（Absorbing State）**： +$$Q_{ij} = \begin{cases} +1-\beta_t & \text{if } i=j \neq m \\ +\beta_t & \text{if } j=m \\ +1 & \text{if } i=j=m \\ +0 & \text{otherwise} +\end{cases}$$ + +其中 $m$ 是特殊的MASK token。这种设计逐渐将所有token转换为MASK。 + +**3. 语义感知转移**： +基于词嵌入相似度设计转移概率： +$$Q_{ij} \propto \exp(-\|\mathbf{e}_i - \mathbf{e}_j\|^2/\tau_t)$$ + +其中 $\mathbf{e}_i$ 是词嵌入，$\tau_t$ 是温度参数。 + +🔬 **研究方向：自适应转移矩阵** +能否学习数据依赖的转移矩阵？例如，频繁共现的词之间有更高的转移概率。这可能需要神经网络来参数化 $\mathbf{Q}_t$。 + +### 12.2.3 反向过程与变分下界 + +**反向过程参数化**： +$$p_\theta(x_{t-1}|x_t) = \text{Cat}(x_{t-1}; \boldsymbol{\mu}_\theta(x_t, t))$$ + +其中 $\boldsymbol{\mu}_\theta$ 是神经网络预测的分布。 + +**后验分布**（当 $x_0$ 已知时）： +$$q(x_{t-1}|x_t, x_0) = \frac{q(x_t|x_{t-1})q(x_{t-1}|x_0)}{q(x_t|x_0)}$$ + +对于离散情况，这可以通过矩阵运算精确计算： +$$q(x_{t-1}|x_t, x_0) \propto \mathbf{Q}_t^T \odot \bar{\mathbf{Q}}_{t-1}$$ + +其中 $\odot$ 表示逐元素乘积。 + +**变分下界（VLB）**： +$$\mathcal{L}_\text{VLB} = \mathbb{E}_q\left[\sum_{t=2}^T D_\text{KL}(q(x_{t-1}|x_t,x_0) \| p_\theta(x_{t-1}|x_t)) + \log p_\theta(x_0|x_1)\right]$$ + +其中KL散度对于离散分布有闭式解： +$$D_\text{KL}(p\|q) = \sum_i p_i \log \frac{p_i}{q_i}$$ + +### 12.2.4 训练算法与实现细节 + +**损失函数选择**： + +1. **VLB损失**：理论最优但可能不稳定 +2. **交叉熵损失**： + $$\mathcal{L}_\text{CE} = -\mathbb{E}_{x_0,t}\left[\log p_\theta(x_0|x_t)\right]$$ +3. **混合损失**： + $$\mathcal{L} = \mathcal{L}_\text{CE} + \lambda \mathcal{L}_\text{VLB}$$ + +**训练算法**： +``` +输入：数据集 D，噪声调度 β，步数 T +1. 初始化模型参数 θ +2. repeat +3. 采样 x_0 ~ D +4. 采样 t ~ Uniform(1, T) +5. 计算 x_t ~ q(x_t|x_0) 使用累积转移矩阵 +6. 计算后验 q(x_{t-1}|x_t, x_0) +7. 预测 p_θ(x_{t-1}|x_t) = Model(x_t, t) +8. 计算损失 L = KL(q||p_θ) +9. 更新 θ +10. until 收敛 +``` + +**实现技巧**： +- 使用one-hot编码表示离散状态 +- 预计算并缓存转移矩阵 +- 使用稳定的log-space计算 +- 添加数值稳定性的small epsilon + +
+**练习 12.2：实现D3PM核心组件** + +深入理解D3PM的实现细节。 + +1. **转移矩阵实验**： + - 实现三种转移矩阵设计 + - 可视化不同时间步的转移模式 + - 分析信息保留程度 + +2. **后验计算**： + - 推导后验分布的矩阵形式 + - 实现高效的批量计算 + - 验证概率归一化 + +3. **损失函数比较**： + - 实现VLB和CE损失 + - 在toy数据上比较收敛速度 + - 分析梯度稳定性 + +4. **采样算法优化**： + - 实现基础采样算法 + - 探索加速采样技巧 + - 比较不同温度的影响 + +
+ +### 12.2.5 采样与生成策略 + +**基础采样算法**： +``` +输入：模型 p_θ，步数 T，温度 τ +1. 初始化 x_T ~ Uniform(1, K) +2. for t = T to 1: +3. 预测分布 p = p_θ(·|x_t) +4. 应用温度：p_i ← p_i^{1/τ} +5. 重归一化：p ← p / Σp_i +6. 采样 x_{t-1} ~ Cat(p) +7. return x_0 +``` + +**高级采样技巧**： + +1. **Top-k采样**：只从概率最高的k个token中采样 +2. **Nucleus采样**：从累积概率达到p的最小token集合中采样 +3. **重参数化技巧**：使用Gumbel-Softmax for梯度估计 +4. **条件采样**：固定部分token进行条件生成 + +**生成质量控制**： +- **温度调节**：低温度→确定性，高温度→多样性 +- **重复惩罚**：降低已生成token的概率 +- **长度控制**：通过特殊的结束token或长度条件 + +💡 **实践技巧：平衡质量与多样性** +通常需要在生成质量和多样性之间权衡。建议从较低温度（0.7-0.8）开始，根据具体任务调整。对于创造性任务使用更高温度，对于事实性任务使用更低温度。 + +### 12.2.6 D3PM的优势与局限 + +**优势**： +1. **理论完备**：保持了扩散模型的理论框架 +2. **灵活性高**：支持任意离散空间 +3. **可解释性**：转移矩阵有明确含义 +4. **双向建模**：自然支持填充和编辑任务 + +**局限性**： +1. **计算开销**：需要存储和计算大型转移矩阵 +2. **扩展性**：词汇表大小受限于内存 +3. **语义鸿沟**：离散转移可能破坏语义连续性 +4. **训练不稳定**：离散采样导致梯度估计困难 + +**改进方向**： +- 稀疏转移矩阵减少计算 +- 分层词汇表处理大规模词汇 +- 结合连续嵌入改善语义 +- 使用强化学习优化离散决策 + +🌟 **前沿探索：离散与连续的统一** +最新研究尝试统一离散和连续扩散，例如通过将离散token视为连续空间中的点，或使用混合离散-连续变量。这可能是未来的重要方向。 + +## 12.3 连续嵌入空间扩散 + +### 12.3.1 Diffusion-LM的核心思想 + +Diffusion-LM通过在连续嵌入空间中进行扩散来避免离散性带来的困难。基本流程是： + +1. **嵌入**：将离散token映射到连续空间 +2. **扩散**：在嵌入空间中运行标准扩散过程 +3. **重建**：将去噪后的嵌入映射回离散token + +**数学框架**： + +设词嵌入矩阵为 $\mathbf{E} \in \mathbb{R}^{K \times d}$，其中K是词汇表大小，d是嵌入维度。 + +- **嵌入步骤**：$\mathbf{e}_0 = \mathbf{E}[x_0]$（索引操作） +- **前向扩散**：$q(\mathbf{e}_t|\mathbf{e}_{t-1}) = \mathcal{N}(\mathbf{e}_t; \sqrt{1-\beta_t}\mathbf{e}_{t-1}, \beta_t\mathbf{I})$ +- **反向去噪**：$p_\theta(\mathbf{e}_{t-1}|\mathbf{e}_t) = \mathcal{N}(\mathbf{e}_{t-1}; \boldsymbol{\mu}_\theta(\mathbf{e}_t, t), \boldsymbol{\Sigma}_\theta(\mathbf{e}_t, t))$ + +**关键挑战**：如何从连续嵌入恢复离散token？ + +💡 **核心洞察：嵌入空间的几何结构** +成功的关键在于学习一个具有良好几何结构的嵌入空间，使得语义相似的词在空间中接近，且去噪过程能保持这种结构。 + +### 12.3.2 嵌入与重建的挑战 + +**挑战1：离散化误差** + +从连续嵌入 $\hat{\mathbf{e}}_0$ 恢复离散token最直接的方法是最近邻搜索： +$$\hat{x}_0 = \arg\min_{i \in [K]} \|\hat{\mathbf{e}}_0 - \mathbf{E}[i]\|^2$$ + +但这种硬舍入会导致： +- 梯度无法反向传播 +- 累积误差 +- 训练不稳定 + +**挑战2：嵌入崩塌** + +如果没有适当的正则化，所有词嵌入可能崩塌到一个点，使得重建变得不可能。 + +**挑战3：分布不匹配** + +扩散过程假设高斯分布，但词嵌入的自然分布可能远非高斯。 + +### 12.3.3 舍入策略与梯度估计 + +**1. 软最大值（Soft-max）重建**： +$$p(x_i|\hat{\mathbf{e}}_0) = \frac{\exp(-\|\hat{\mathbf{e}}_0 - \mathbf{E}[i]\|^2/\tau)}{\sum_j \exp(-\|\hat{\mathbf{e}}_0 - \mathbf{E}[j]\|^2/\tau)}$$ + +这保持了可微性，但计算开销大。 + +**2. Straight-Through估计器**： +- 前向：使用硬舍入 $\hat{x}_0 = \text{argmin}_i \|\hat{\mathbf{e}}_0 - \mathbf{E}[i]\|^2$ +- 反向：假装没有舍入，直接传递梯度 + +**3. Gumbel-Softmax重参数化**： +$$\hat{x}_0 = \text{softmax}((\log \pi + g)/\tau)$$ +其中 $\pi_i \propto \exp(-\|\hat{\mathbf{e}}_0 - \mathbf{E}[i]\|^2)$，$g$ 是Gumbel噪声。 + +**4. 强化学习方法**： +将离散化视为策略，使用REINFORCE或其他策略梯度方法。 + +🔬 **研究方向：可学习的舍入** +能否学习一个神经网络来执行最优的舍入操作？这个网络可以考虑局部上下文和全局一致性。 + +### 12.3.4 语义保持的技巧 + +**1. 嵌入正则化**： + +- **对比学习损失**： +$$\mathcal{L}_\text{contrast} = -\log \frac{\exp(\text{sim}(\mathbf{e}_i, \mathbf{e}_j^+))}{\sum_k \exp(\text{sim}(\mathbf{e}_i, \mathbf{e}_k))}$$ +其中 $\mathbf{e}_j^+$ 是正样本（语义相似）。 + +- **均匀性损失**： +$$\mathcal{L}_\text{uniform} = \log \mathbb{E}_{i,j}\left[\exp(-2\|\mathbf{e}_i - \mathbf{e}_j\|^2)\right]$$ +防止嵌入崩塌。 + +**2. 自监督预训练**： + +使用大规模文本数据预训练嵌入空间： +- Masked Language Modeling +- Next Sentence Prediction +- Contrastive Learning + +**3. 锚点嵌入**： + +固定一些高频词的嵌入作为锚点，保持空间结构： +$$\mathbf{E}_\text{anchor} = \text{frozen}, \quad \mathbf{E}_\text{rest} = \text{learnable}$$ + +
+**练习 12.3：探索嵌入空间扩散** + +深入理解连续嵌入空间扩散的特性。 + +1. **嵌入空间可视化**： + - 使用t-SNE/UMAP可视化词嵌入 + - 追踪扩散过程中的轨迹 + - 分析语义聚类的保持程度 + +2. **舍入策略比较**： + - 实现四种舍入方法 + - 比较重建准确率 + - 分析梯度流和训练稳定性 + +3. **正则化实验**： + - 测试不同正则化强度 + - 观察嵌入分布的变化 + - 找到防止崩塌的最小正则化 + +4. **混合方法设计**： + - 结合离散和连续的优势 + - 设计自适应切换机制 + - 评估计算效率和生成质量 + +
+ +### 12.3.5 训练策略与优化 + +**两阶段训练**： + +1. **阶段1：嵌入空间学习** + - 固定扩散模型，只训练嵌入 + - 使用重建损失和正则化 + - 确保嵌入空间质量 + +2. **阶段2：联合优化** + - 解冻所有参数 + - 端到端训练 + - 微调嵌入和扩散模型 + +**损失函数设计**： +$$\mathcal{L}_\text{total} = \mathcal{L}_\text{diffusion} + \lambda_1 \mathcal{L}_\text{reconstruct} + \lambda_2 \mathcal{L}_\text{regularize}$$ + +其中： +- $\mathcal{L}_\text{diffusion}$：标准扩散损失 +- $\mathcal{L}_\text{reconstruct}$：离散重建损失 +- $\mathcal{L}_\text{regularize}$：嵌入正则化损失 + +**优化技巧**： +- 使用较小的学习率for嵌入矩阵 +- 梯度裁剪防止不稳定 +- 早停基于验证集困惑度 + +### 12.3.6 Diffusion-LM的扩展与变体 + +**1. 分层Diffusion-LM**： +- 字符级→子词级→词级的分层扩散 +- 不同层次使用不同的噪声调度 +- 支持可变长度生成 + +**2. 潜在Diffusion-LM**： +- 使用VAE学习更紧凑的潜在空间 +- 在潜在空间进行扩散 +- 类似于图像的LDM + +**3. 混合离散-连续模型**： +- 高频词使用离散扩散 +- 低频词使用连续扩散 +- 自适应选择机制 + +💡 **实践建议：选择合适的变体** +- 短文本：基础Diffusion-LM足够 +- 长文本：考虑分层或潜在变体 +- 特定领域：可能需要定制嵌入空间 +- 多语言：需要特殊的嵌入对齐 + +### 12.3.7 与其他方法的比较 + +**Diffusion-LM vs D3PM**： + +| 方面 | Diffusion-LM | D3PM | +|------|--------------|------| +| 理论基础 | 连续扩散 | 离散马尔可夫链 | +| 计算效率 | 高（矩阵乘法） | 低（大转移矩阵） | +| 扩展性 | 好（嵌入维度固定） | 差（随词汇表增长） | +| 语义保持 | 依赖嵌入质量 | 可显式设计 | +| 训练稳定性 | 中等 | 较差 | + +**优势总结**： +- 利用预训练嵌入 +- 计算效率更高 +- 更容易扩展到大词汇表 +- 与连续模态统一框架 + +**劣势总结**： +- 离散化误差难以避免 +- 需要高质量嵌入空间 +- 可能丢失精确的token信息 +- 训练更加复杂 + +🌟 **未来展望：统一的文本生成框架** +理想的文本扩散模型应该结合离散和连续方法的优势，支持多粒度生成，并与其他模态无缝集成。这需要在理论和实践上的进一步突破。 + +## 12.4 架构设计与条件控制 + +### 12.4.1 Transformer在文本扩散中的应用 + +文本扩散模型主要使用Transformer架构，但需要特殊的适配： + +**标准Transformer的修改**： + +1. **时间嵌入注入**： + - 将时间步 $t$ 编码为向量 $\mathbf{t}_\text{emb} = \text{MLP}(\text{sinusoidal}(t))$ + - 通过AdaLN或交叉注意力注入每层 + +2. **双向注意力**： + - 与自回归模型不同，使用完全的双向注意力 + - 所有位置可以互相看到，支持全局优化 + +3. **位置编码选择**： + - 绝对位置编码：简单但限制最大长度 + - 相对位置编码：更灵活，支持可变长度 + - RoPE（旋转位置编码）：保持相对距离信息 + +**架构示例**： +``` +输入嵌入 → [Transformer Block × N] → 输出投影 + ↑ + 时间条件注入 +``` + +每个Transformer Block包含： +- Multi-Head Self-Attention（双向） +- 时间条件的AdaLN或FiLM +- Feed-Forward Network +- 残差连接 + +💡 **设计考虑：注意力模式的选择** +虽然使用全局注意力理论上最优，但对于长文本可能需要稀疏注意力模式（如局部窗口、稀疏模式）来控制计算复杂度。 + +### 12.4.2 长度控制与位置编码 + +文本扩散的一个独特挑战是处理可变长度序列： + +**长度预测与控制**： + +1. **显式长度条件**： + - 将目标长度作为额外条件：$p_\theta(\mathbf{x}_{t-1}|\mathbf{x}_t, t, L)$ + - 训练时使用真实长度，推理时指定 + +2. **特殊标记方法**： + - 使用[PAD]标记填充到固定长度 + - 使用[EOS]标记表示序列结束 + - 在扩散过程中保持这些标记的语义 + +3. **动态长度生成**： + - 先生成长度：$L \sim p_\theta(L|\mathbf{c})$ + - 然后生成对应长度的内容 + +**位置编码策略**： + +1. **固定最大长度**： + ``` + PE[pos, 2i] = sin(pos/10000^(2i/d)) + PE[pos, 2i+1] = cos(pos/10000^(2i/d)) + ``` + +2. **相对位置编码**： + - T5风格：学习的相对位置偏置 + - ALiBi：线性衰减的注意力偏置 + +3. **分段位置编码**： + - 句子级 + 词级的层次化编码 + - 支持超长文本生成 + +🔬 **研究挑战：长度与内容的解耦** +如何设计架构使得长度控制不影响内容质量？一种思路是使用两个独立的扩散过程，分别生成长度和内容。 + +### 12.4.3 语义条件与风格控制 + +**多种条件机制**： + +1. **前缀条件（Prefix Conditioning）**： + - 将条件文本作为前缀拼接 + - 简单但占用序列长度 + +2. **交叉注意力（Cross-Attention）**： + ``` + Attention(Q_content, K_condition, V_condition) + ``` + - 内容query，条件key/value + - 灵活且表达力强 + +3. **FiLM调制（Feature-wise Linear Modulation）**： + $$\mathbf{h} = \gamma(\mathbf{c}) \odot \mathbf{h} + \beta(\mathbf{c})$$ + - 计算高效 + - 全局调制效果 + +**风格控制技术**： + +1. **风格嵌入**： + - 学习风格向量：formal, casual, poetic等 + - 通过插值实现风格混合 + +2. **细粒度属性控制**： + - 情感：positive/negative/neutral + - 复杂度：简单/复杂句式 + - 时态：过去/现在/将来 + +3. **示例驱动的风格**： + - 从参考文本提取风格 + - 使用对比学习对齐风格空间 + +
+**练习 12.4：实现条件控制机制** + +探索不同的条件控制方法。 + +1. **条件机制比较**： + - 实现三种条件注入方法 + - 比较对生成质量的影响 + - 分析计算开销 + +2. **多条件融合**： + - 设计同时控制内容、风格、长度的机制 + - 处理条件冲突 + - 实现条件强度调节 + +3. **可控性评估**： + - 设计自动评估指标 + - 人工评估控制精度 + - 分析失败案例 + +4. **交互式控制**： + - 实现渐进式编辑 + - 支持局部条件约束 + - 设计用户友好的接口 + +
+ +### 12.4.4 多语言与跨语言生成 + +文本扩散模型在多语言场景下的应用： + +**多语言架构设计**： + +1. **共享嵌入空间**： + - 所有语言共享词嵌入矩阵 + - 使用语言对齐技术（如MUSE） + - 支持零样本跨语言生成 + +2. **语言特定组件**： + - 语言ID嵌入 + - 特定语言的子网络 + - 适配器（Adapter）模块 + +3. **统一词表vs分离词表**： + - 统一：简单但词表爆炸 + - 分离：需要对齐机制 + - 混合：高频词统一，低频词分离 + +**跨语言应用**： + +1. **零样本翻译**： + - 源语言→嵌入空间→目标语言 + - 不需要平行语料 + +2. **代码切换（Code-switching）**： + - 同一句子中混合多种语言 + - 自然的多语言生成 + +3. **跨语言风格迁移**： + - 保持内容，改变语言风格 + - 文化适应性调整 + +### 12.4.5 高效架构设计 + +**模型压缩技术**： + +1. **知识蒸馏**： + - 大模型→小模型 + - 保持生成质量 + - 加速推理 + +2. **量化**： + - INT8/INT4量化 + - 量化感知训练 + - 动态量化 + +3. **稀疏化**： + - 结构化剪枝 + - 非结构化剪枝 + - 动态稀疏 + +**推理优化**： + +1. **缓存机制**： + - KV缓存（虽然对扩散模型作用有限） + - 中间结果缓存 + - 增量更新 + +2. **并行化策略**： + - 多个去噪步骤并行 + - 批量推理 + - 模型并行 + +3. **早停机制**： + - 动态确定去噪步数 + - 基于质量的早停 + - 自适应采样 + +💡 **实践建议：架构选择指南** +- 研究原型：使用标准Transformer，关注算法创新 +- 生产部署：考虑模型压缩和推理优化 +- 特定领域：可能需要定制架构 +- 资源受限：探索轻量级变体 + +### 12.4.6 与大语言模型的集成 + +**集成策略**： + +1. **串联模式**： + - LLM生成草稿→扩散模型优化 + - 扩散模型生成→LLM后处理 + +2. **并联模式**： + - 同时运行，结果融合 + - 互相提供条件信号 + +3. **嵌入模式**： + - 扩散模块嵌入LLM + - 作为特殊的生成头 + +**优势互补**： +- LLM：逻辑推理、知识利用 +- 扩散：全局优化、可控编辑 +- 结合：兼具两者优势 + +🌟 **前沿方向：统一的生成范式** +未来可能出现统一自回归和扩散的模型，在不同任务和场景下自适应选择生成策略。这需要新的理论框架和训练方法。 + +## 12.5 应用案例与未来方向 + +### 12.5.1 可控文本生成 + +文本扩散模型在可控生成方面展现出独特优势： + +**1. 填充任务（Text Infilling）**： + +扩散模型天然支持任意位置的条件约束： +- **中间词预测**：给定开头和结尾，生成中间部分 +- **掩码语言建模**：填充多个[MASK]位置 +- **模板填充**：保持模板结构，填充内容 + +示例应用： +``` +输入：The [MASK] jumped over the [MASK] fence. +输出：The cat jumped over the wooden fence. +``` + +**2. 文本编辑（Text Editing）**： + +通过部分去噪实现精确编辑： +- **局部修改**：只改变指定部分 +- **保持上下文**：维持整体连贯性 +- **迭代优化**：多轮编辑改进 + +编辑流程： +1. 将原文本加噪到中间步骤 $t$ +2. 修改需要编辑的部分 +3. 从步骤 $t$ 开始去噪 +4. 得到编辑后的文本 + +**3. 属性控制生成**： + +精确控制生成文本的各种属性： +- **情感控制**：正面/负面/中性 +- **风格控制**：正式/非正式/诗意 +- **复杂度控制**：简单/复杂句式 +- **主题控制**：指定话题领域 + +💡 **应用亮点：细粒度控制** +与自回归模型相比，扩散模型可以在生成过程的任意阶段注入控制信号，实现更精细的控制。 + +### 12.5.2 文本改写与风格转换 + +**1. 释义生成（Paraphrasing）**： + +保持语义，改变表达： +- 同义词替换 +- 句式变换 +- 详略调整 + +技术方法： +- 在语义嵌入空间约束 +- 使用对比学习保持语义 +- 多样性与忠实度平衡 + +**2. 风格迁移（Style Transfer）**： + +改变文本风格而保持内容： +- 现代文→古文 +- 口语→书面语 +- 简单→复杂 + +实现策略： +- 解耦内容和风格表示 +- 使用平行语料训练 +- 无监督的循环一致性 + +**3. 简化与扩展**： + +- **文本简化**：复杂→简单，保持信息 +- **文本扩展**：简洁→详细，添加细节 +- **摘要生成**：长文→短文，提取要点 + +### 12.5.3 对话系统中的应用 + +**1. 对话回复生成**： + +扩散模型的优势： +- 全局一致性：考虑整个对话历史 +- 多样性：生成多种合理回复 +- 可编辑性：根据反馈调整回复 + +**2. 对话改写**： + +- 提升回复质量 +- 调整语气和风格 +- 纠正事实错误 + +**3. 多轮对话规划**： + +- 生成对话策略 +- 预测对话走向 +- 优化长期目标 + +
+**练习 12.5：实现文本应用** + +动手实现文本扩散的应用。 + +1. **填充任务实现**： + - 设计掩码策略 + - 实现条件采样 + - 评估填充质量 + +2. **编辑系统构建**： + - 实现加噪-编辑-去噪流程 + - 设计编辑强度控制 + - 测试不同编辑类型 + +3. **风格转换实验**： + - 收集平行风格数据 + - 训练风格转换模型 + - 评估内容保持度 + +4. **对话应用开发**： + - 集成到对话系统 + - 实现实时编辑 + - 用户体验优化 + +
+ +### 12.5.4 与大语言模型的协同 + +**1. 质量提升**： +- LLM生成初稿 +- 扩散模型优化表达 +- 结合两者优势 + +**2. 事实性增强**： +- LLM提供事实内容 +- 扩散模型改善流畅性 +- 保持准确性 + +**3. 创造性写作**： +- LLM提供故事框架 +- 扩散模型丰富细节 +- 迭代改进 + +**集成架构示例**： +``` +用户输入 → LLM（内容生成） → 扩散模型（优化） → 输出 + ↑ ↓ + ← ← ← ← 反馈循环 ← ← ← ← ← ← ← +``` + +🔬 **研究机会：最优集成策略** +如何设计LLM和扩散模型的最优集成方式？什么任务适合串联，什么适合并联？这需要系统性的实验研究。 + +### 12.5.5 评估方法与基准 + +**自动评估指标**： + +1. **生成质量**： + - 困惑度（Perplexity） + - BLEU/ROUGE（与参考对比） + - BERTScore（语义相似度） + +2. **多样性**： + - Self-BLEU（生成内容间的相似度） + - Distinct-n（n-gram多样性） + - 熵度量 + +3. **可控性**： + - 属性准确率 + - 条件一致性 + - 编辑距离 + +**人工评估框架**： +- 流畅性评分 +- 相关性评分 +- 创造性评分 +- 整体质量评分 + +**基准数据集**： +- 文本填充：CLOTH、LAMBaDA +- 风格转换：GYAFC、Shakespeare +- 对话：PersonaChat、MultiWOZ +- 通用生成：WikiText、BookCorpus + +### 12.5.6 未来研究方向 + +**1. 理论突破**： +- 离散与连续的统一理论 +- 最优传输视角的文本扩散 +- 信息论分析框架 + +**2. 架构创新**： +- 自适应去噪步数 +- 层次化扩散模型 +- 神经架构搜索 + +**3. 训练方法**： +- 自监督预训练 +- 强化学习微调 +- 对抗训练提升 + +**4. 应用拓展**： +- 代码生成 +- 结构化数据生成 +- 多模态文本生成 + +**5. 效率优化**： +- 一步生成模型 +- 模型压缩技术 +- 硬件加速 + +💡 **开放挑战**： +1. **长文本生成**：如何高效生成数千词的连贯文本？ +2. **实时应用**：如何将推理时间降至毫秒级？ +3. **可解释性**：如何理解扩散过程中的语义变化？ +4. **公平性**：如何避免和减少偏见？ + +### 12.5.7 总结与展望 + +文本扩散模型开辟了文本生成的新范式： + +**主要贡献**： +1. 提供了非自回归的生成方法 +2. 实现了灵活的条件控制 +3. 支持全局优化和编辑 +4. 统一了离散和连续建模 + +**当前局限**： +1. 推理速度仍需提升 +2. 长文本生成存在挑战 +3. 训练成本较高 +4. 理论理解不完整 + +**未来展望**： +文本扩散模型有望成为文本生成的重要范式之一，特别是在需要精细控制、全局优化和灵活编辑的场景中。随着理论和技术的进步，我们期待看到： + +- 更快的生成速度 +- 更好的生成质量 +- 更广泛的应用场景 +- 与其他技术的深度融合 + +🌟 **结语** +文本扩散模型代表了生成式AI的一个重要方向。通过本章的学习，您已经掌握了文本扩散的核心概念、技术方法和应用场景。继续探索这个充满机遇的领域，您将能够推动文本生成技术的边界，创造出更智能、更可控的文本生成系统。 + +## 本章小结 + +本章深入探讨了文本扩散模型的理论基础和实践技术： + +1. **独特挑战**：理解了离散文本与连续扩散之间的根本矛盾，以及语言结构带来的约束 +2. **技术路线**：掌握了D3PM的离散扩散和Diffusion-LM的嵌入空间扩散两种主要方法 +3. **架构设计**：学习了Transformer在文本扩散中的应用和各种条件控制机制 +4. **实际应用**：了解了文本编辑、风格转换、对话生成等丰富的应用场景 +5. **未来方向**：探讨了与大语言模型的集成以及领域的发展趋势 + +下一章，我们将进入扩散模型的广阔应用领域，探索图像生成、编辑、超分辨率、3D生成等激动人心的应用。 \ No newline at end of file diff --git a/chapter13.md b/chapter13.md new file mode 100644 index 0000000..720bb53 --- /dev/null +++ b/chapter13.md @@ -0,0 +1,477 @@ +[← 返回目录](index.md) | 第13章 / 共14章 | [下一章 →](chapter14.md) + +# 第13章：扩散模型的应用 + +扩散模型已经从理论研究走向广泛的实际应用，在图像生成、编辑、超分辨率、3D内容创建等领域展现出革命性的能力。本章将深入探讨扩散模型在各个领域的具体应用，包括技术实现、最佳实践和未来潜力。您将学习如何将前面章节的理论知识转化为实际的应用系统，理解不同任务的特殊需求和解决方案。通过本章的学习，您将掌握构建先进生成式AI应用的关键技术，并了解如何在实际项目中应用扩散模型。 + +## 章节大纲 + +### 13.1 图像生成的艺术与科学 +- 文本到图像生成（Text-to-Image） +- 艺术创作与风格化 +- 高分辨率图像合成 +- 批量生成与质量控制 + +### 13.2 智能图像编辑 +- 图像修复（Inpainting） +- 图像扩展（Outpainting） +- 语义编辑与属性操控 +- 智能抠图与合成 + +### 13.3 图像增强与超分辨率 +- 经典超分辨率方法回顾 +- 基于扩散的超分辨率 +- 老照片修复 +- 实时增强技术 + +### 13.4 3D内容生成 +- 3D物体生成 +- 场景合成 +- 纹理生成 +- NeRF与扩散模型的结合 + +### 13.5 跨模态应用与新兴领域 +- 音频生成与处理 +- 分子设计 +- 数据增强 +- 个性化生成 + +## 13.1 图像生成的艺术与科学 + +### 13.1.1 文本到图像生成（Text-to-Image） + +文本到图像生成是扩散模型最成功的应用之一，以DALL-E 2、Stable Diffusion、Midjourney等为代表。 + +**核心技术栈**： + +1. **文本编码器**： + - CLIP文本编码器：提取语义特征 + - T5编码器：捕获更长的上下文 + - 多语言支持：mCLIP、XLM-R + +2. **条件机制**： + - 交叉注意力：最常用的条件注入方式 + - 特征融合：在多个层级注入文本信息 + - 时间步条件：与噪声水平相关的条件强度 + +3. **采样策略**： + - CFG（Classifier-Free Guidance）：平衡质量与多样性 + - 负提示词（Negative Prompts）：排除不需要的元素 + - 种子控制：确保可重复性 + +**提示词工程（Prompt Engineering）**： + +有效的提示词结构： +``` +[主体描述], [风格描述], [质量词], [艺术家/摄影师], [其他修饰] + +例如： +"A majestic dragon perched on a mountain peak, digital art, +highly detailed, artstation trending, by Greg Rutkowski" +``` + +提示词技巧： +- 具体性：使用精确的描述词 +- 权重控制：使用括号或数字调整重要性 +- 风格标签：借鉴已知的艺术风格 +- 负面提示：明确排除不想要的元素 + +💡 **实践洞察：提示词的艺术** +好的提示词是科学与艺术的结合。需要理解模型的训练数据分布，同时具备视觉想象力。建议建立提示词库，记录成功的组合。 + +### 13.1.2 艺术创作与风格化 + +扩散模型在艺术创作中展现出惊人的潜力： + +**1. 风格迁移**： +- 艺术风格：油画、水彩、素描、像素艺术 +- 时代风格：文艺复兴、印象派、现代主义 +- 个人风格：模仿特定艺术家（注意版权问题） + +**2. 概念混合**： +``` +提示词示例： +"A cyberpunk samurai" = 赛博朋克 + 武士 +"Steampunk butterfly" = 蒸汽朋克 + 蝴蝶 +``` + +**3. 抽象艺术生成**： +- 情感表达：将抽象概念可视化 +- 色彩实验：探索非传统配色 +- 形式探索：打破现实约束 + +**4. 风格一致性**： +- 使用相同的种子和风格描述 +- 固定艺术家标签 +- 批量生成后筛选 + +🔬 **研究前沿：可控风格化** +如何精确控制风格强度？如何混合多种风格？这需要对扩散过程中的特征表示有更深入的理解。 + +### 13.1.3 高分辨率图像合成 + +生成高质量、高分辨率图像的技术： + +**1. 级联扩散模型**： +``` +64×64 → 256×256 → 1024×1024 → 4096×4096 +基础模型 → 超分模型1 → 超分模型2 → 细节增强 +``` + +**2. 潜在扩散的优势**： +- 在压缩的潜在空间生成 +- 解码器负责高频细节 +- 计算效率更高 + +**3. 分块生成（Tiling）**： +- 将大图分成重叠的块 +- 独立生成每块 +- 智能混合边界 + +**4. 注意力优化**： +- 局部注意力窗口 +- 金字塔注意力 +- 稀疏注意力模式 + +**质量控制指标**： +- 清晰度：边缘锐利度、纹理细节 +- 一致性：全局光照、透视正确 +- 真实感：符合物理规律 +- 美感：构图、色彩和谐 + +
+**练习 13.1：构建图像生成管道** + +实践图像生成的完整流程。 + +1. **提示词优化器**： + - 实现提示词模板系统 + - 自动扩展简单描述 + - A/B测试不同提示词 + +2. **批量生成系统**： + - 参数网格搜索 + - 自动质量评估 + - 结果分类存储 + +3. **风格探索工具**： + - 风格插值实验 + - 风格强度调节 + - 风格组合矩阵 + +4. **高分辨率管道**： + - 实现级联超分 + - 优化内存使用 + - 处理边界伪影 + +
+ +### 13.1.4 批量生成与质量控制 + +在生产环境中的最佳实践： + +**1. 批量生成策略**： +- 参数扫描：系统地探索参数空间 +- 多样性采样：确保结果的丰富性 +- 并行处理：利用多GPU加速 + +**2. 自动质量评估**： +- 美学评分模型 +- CLIP相似度 +- FID/IS等指标 +- 异常检测 + +**3. 人机协作流程**： +``` +批量生成 → 自动筛选 → 人工精选 → 微调优化 → 最终输出 +``` + +**4. 版本管理**： +- 保存所有参数 +- 追踪生成历史 +- 支持结果复现 + +### 13.1.5 实际应用案例 + +**1. 商业设计**： +- 产品概念图 +- 营销素材 +- UI/UX原型 + +**2. 游戏开发**： +- 概念艺术 +- 纹理生成 +- 场景原画 + +**3. 影视制作**： +- 故事板 +- 视觉特效概念 +- 场景设计 + +**4. 教育出版**： +- 教材插图 +- 科学可视化 +- 历史场景重现 + +💡 **商业考虑：版权与伦理** +使用扩散模型时需要考虑： +- 训练数据的版权 +- 生成内容的所有权 +- 避免生成有害内容 +- 尊重艺术家权益 + +## 13.2 智能图像编辑 + +### 13.2.1 图像修复（Inpainting） + +图像修复是扩散模型的杀手级应用，可以智能填充图像中的缺失或不需要的部分。 + +**技术原理**： + +1. **掩码条件扩散**： + $$\mathbf{x}_t = \mathbf{m} \odot \mathbf{x}_t^{\text{known}} + (1-\mathbf{m}) \odot \mathbf{x}_t^{\text{unknown}}$$ + 其中 $\mathbf{m}$ 是二值掩码，1表示保留区域，0表示修复区域。 + +2. **边界融合**： + - 软掩码：使用高斯模糊避免硬边界 + - 泊松融合：保持梯度连续性 + - 多尺度混合：不同频率分别处理 + +3. **上下文理解**： + - 全局语义：理解整体场景 + - 局部纹理：匹配周围纹理 + - 光照一致：保持光影关系 + +**应用场景**： + +1. **对象移除**： + - 移除不需要的人物/物体 + - 去除水印/文字 + - 清理照片瑕疵 + +2. **内容替换**： + - 更换服装/配饰 + - 改变物体材质 + - 替换背景元素 + +3. **创意编辑**： + - 添加新元素 + - 改变表情/姿态 + - 场景扩展 + +**高级技巧**： + +1. **多步修复**： + ``` + 粗修复 → 细节增强 → 边界优化 → 色彩校正 + ``` + +2. **引导修复**： + - 文本引导：描述期望的修复结果 + - 参考图引导：提供样例 + - 草图引导：手绘大致形状 + +3. **智能掩码生成**： + - 自动检测需要修复的区域 + - 语义分割辅助 + - 交互式精修 + +💡 **实践技巧：自然的修复效果** +- 掩码边缘要足够软 +- 考虑周围环境的语义 +- 多次生成选择最佳结果 +- 必要时分步骤修复 + +### 13.2.2 图像扩展（Outpainting） + +将图像边界向外扩展，生成合理的延续内容。 + +**技术挑战**： + +1. **边界一致性**： + - 纹理延续 + - 透视保持 + - 光照匹配 + +2. **内容合理性**： + - 符合场景逻辑 + - 保持风格统一 + - 避免重复模式 + +**实现方法**： + +1. **滑动窗口法**： + ``` + 原图 → [重叠区域] → 扩展区域1 + → [重叠区域] → 扩展区域2 + ``` + +2. **多分辨率扩展**： + - 先低分辨率确定布局 + - 再高分辨率添加细节 + +3. **方向性控制**： + - 指定扩展方向 + - 控制扩展内容 + - 渐进式扩展 + +**应用实例**： +- 将16:9视频转换为21:9 +- 扩展历史照片的视野 +- 创建全景图像 +- 补充画面构图 + +### 13.2.3 语义编辑与属性操控 + +精确控制图像的语义内容和视觉属性。 + +**1. 局部编辑**： + +通过注意力机制实现精确控制： +- 选择性编辑：只改变特定对象 +- 属性迁移：改变颜色、材质、风格 +- 关系调整：改变对象间的相对位置 + +**2. 全局调整**： + +- **风格转换**： + ``` + 照片 → 油画/水彩/素描 + 白天 → 夜晚 + 夏天 → 冬天 + ``` + +- **情绪渲染**： + - 明亮欢快 ↔ 阴暗忧郁 + - 温暖 ↔ 冷峻 + - 柔和 ↔ 锐利 + +**3. 细粒度控制**： + +使用ControlNet等技术实现精确控制： +- 边缘图控制：保持形状改变内容 +- 深度图控制：保持3D结构 +- 姿态控制：改变人物动作 +- 语义图控制：精确指定每个区域 + +
+**练习 13.2：实现智能编辑工具** + +构建实用的图像编辑应用。 + +1. **智能修复工具**： + - 实现自动掩码生成 + - 多种修复模式 + - 批量处理功能 + +2. **创意扩展器**： + - 支持四个方向扩展 + - 智能内容预测 + - 无缝拼接算法 + +3. **属性编辑器**： + - 实现滑块式属性控制 + - 支持多属性组合 + - 实时预览效果 + +4. **风格转换器**： + - 预设多种风格 + - 风格强度调节 + - 局部风格应用 + +
+ +### 13.2.4 智能抠图与合成 + +结合扩散模型的高级图像合成技术。 + +**1. 语义感知抠图**： + +不仅分离前景背景，还理解语义关系： +- 头发丝级别的精细抠图 +- 半透明物体处理 +- 反射和阴影保留 + +**2. 智能合成**： + +将抠出的对象自然地融入新场景： +- **光照适配**：自动调整光影 +- **色彩和谐**：匹配环境色调 +- **透视校正**：调整大小和角度 +- **交互生成**：生成合理的接触阴影 + +**3. 场景理解**： + +- 遮挡关系推理 +- 深度顺序调整 +- 反射生成 +- 环境交互 + +**工作流程示例**： +``` +1. 智能选择对象 → 2. 精细边缘处理 → 3. 提取带alpha通道 +4. 分析目标场景 → 5. 自动调整参数 → 6. 生成合成结果 +7. 细节优化 → 8. 最终输出 +``` + +### 13.2.5 批量编辑与自动化 + +**1. 模板化编辑**： +- 预定义编辑操作 +- 参数化控制 +- 批量应用 + +**2. 智能批处理**： +```python +编辑管道 = [ + 检测人脸 → 美化处理, + 识别天空 → 替换天空, + 增强细节 → 色彩校正 +] +``` + +**3. API集成**： +- RESTful接口 +- 流式处理 +- 错误处理 + +**4. 质量保证**： +- 自动检测失败案例 +- 人工审核接口 +- 迭代优化 + +🔬 **技术前沿：视频编辑** +如何将图像编辑技术扩展到视频？时间一致性是关键挑战。需要考虑帧间连续性、运动补偿和长时依赖。 + +### 13.2.6 实际应用案例分析 + +**1. 电商应用**： +- 商品图片优化 +- 背景统一化 +- 模特换装 +- 场景合成 + +**2. 社交媒体**： +- 滤镜效果 +- 创意贴纸 +- 背景替换 +- 美颜优化 + +**3. 专业摄影**： +- 瑕疵修复 +- 构图调整 +- 艺术化处理 +- 批量后期 + +**4. 建筑设计**： +- 效果图渲染 +- 材质替换 +- 环境模拟 +- 方案对比 + +💡 **最佳实践：编辑工作流** +1. 始终保留原图 +2. 分层编辑，保持可逆性 +3. 建立编辑历史 +4. 定期保存中间结果 +5. 使用版本控制 \ No newline at end of file diff --git a/chapter7.md b/chapter7.md index 2b717a7..d13f1d7 100644 --- a/chapter7.md +++ b/chapter7.md @@ -141,11 +141,8 @@ DiT提供了多种模型规模： - 考虑使用 `torch.compile` 进行图优化 **混合精度训练**： -```python -# 使用自动混合精度 -with torch.cuda.amp.autocast(): - noise_pred = dit_model(noisy_images, timesteps, classes) -``` + +[代码实现已转换为数学公式和文字描述] **推理加速技巧**： - KV-cache在自回归生成中很有用，但在扩散模型中作用有限 diff --git a/chapter8.md b/chapter8.md index a4e5b53..b8c2ccf 100644 --- a/chapter8.md +++ b/chapter8.md @@ -240,20 +240,8 @@ DPM-Solver++引入了两个关键改进： $$\mathbf{x}_0 = \text{clip}(\mathbf{x}_0, -1, 1)$$ **算法伪代码**： -```python -def dpm_solver_pp_2nd(x_t, t, s, model, old_pred=None): - # 第一步预测 - pred_t = predict_x0(x_t, t, model) - - if old_pred is None: - # 使用一阶方法 - x_s = update_rule_1st(x_t, t, s, pred_t) - else: - # 使用二阶方法 - x_s = update_rule_2nd(x_t, t, s, pred_t, old_pred) - - return x_s, pred_t -``` + +[代码实现已转换为数学公式和文字描述] 🔬 **研究方向：高阶求解器的稳定性** 高阶方法理论上更准确，但在实践中可能不稳定。如何设计既高阶又稳定的求解器？可以借鉴刚性ODE求解器的思想。 @@ -354,26 +342,7 @@ $$\mathcal{L} = \mathcal{L}_{\text{distill}} + \lambda \mathcal{L}_{\text{adv}}$ ### 8.5.4 实现优化 -```python -# 缓存计算 -alpha_cumprod = torch.cumprod(alphas, dim=0) -sqrt_alpha_cumprod = torch.sqrt(alpha_cumprod) -sqrt_one_minus_alpha_cumprod = torch.sqrt(1 - alpha_cumprod) - -# 向量化操作 -def sample_batch(x_T, timesteps, model): - x = x_T - for t in reversed(timesteps): - # 批量处理所有样本 - x = sampling_step(x, t, model) - return x - -# JIT编译 -@torch.jit.script -def sampling_step(x, t, noise_pred, alpha, sigma): - # 采样步骤的高效实现 - ... -``` +[代码块已移除]
**综合练习：设计自适应采样器** diff --git a/chapter9.md b/chapter9.md index 461244b..139620a 100644 --- a/chapter9.md +++ b/chapter9.md @@ -854,20 +854,7 @@ $$w^* = \arg\min_w |Q(w) - Q_{target}| + |D(w) - D_{target}|$$ **3. 语义漂移检测** -```python -def detect_semantic_drift(samples, conditions, steps=10): - # 追踪生成过程中的语义变化 - semantic_trajectory = [] - - for step in range(steps): - intermediate = get_intermediate_result(step) - semantics = extract_semantics(intermediate) - semantic_trajectory.append(semantics) - - # 检测异常漂移 - drift = compute_trajectory_drift(semantic_trajectory) - return drift > drift_threshold -``` +[代码块已移除] 💡 **调试技巧：可视化中间结果** 保存并可视化不同时间步的中间结果，可以帮助识别引导在哪个阶段失效。 @@ -876,25 +863,7 @@ def detect_semantic_drift(samples, conditions, steps=10): **1. 文本到图像生成** -```python -class Text2ImagePipeline: - def __init__(self, model, cfg_scale=7.5): - self.model = model - self.cfg_scale = cfg_scale - self.negative_prompts = [ - "low quality", "blurry", "distorted" - ] - - def generate(self, prompt, **kwargs): - # 编码文本 - text_emb = self.encode_text(prompt) - neg_emb = self.encode_text(self.negative_prompts) - - # CFG采样 - image = self.sample_with_cfg( - text_emb, neg_emb, - self.cfg_scale, **kwargs - ) +[代码实现已转换为数学公式和文字描述] **2. 图像编辑** diff --git a/index.md b/index.md index 332a2d3..0b8ed3c 100644 --- a/index.md +++ b/index.md @@ -50,47 +50,99 @@ 从随机微分方程(SDE)和偏微分方程(PDE)角度理解扩散模型，包括概率流ODE、Fokker-Planck方程等连续时间框架。 -### 第6章：流匹配 (Flow Matching) +# 扩散模型教程 + +## Diffusion Models: From Theory to Practice + +欢迎来到扩散模型教程！本教程将带你从基础理论逐步深入到实际应用，帮助你全面理解和掌握扩散模型这一强大的生成模型技术。 + +每个章节包含： + +- 理论基础与数学推导 +- 可视化演示和交互式示例 +- 编程练习与实践项目 +- 习题与参考答案（默认折叠） + +## 前置知识要求 + +本教程假设读者已具备以下基础知识： + +- **概率论与统计**：随机变量、概率分布、期望、方差、贝叶斯定理 +- **线性代数**：矩阵运算、特征值分解、向量空间 +- **微积分**：多元微积分、偏导数、链式法则、泰勒展开 +- **深度学习基础**：神经网络、反向传播、卷积网络、Transformer +- **PyTorch 编程**：张量操作、自动微分、模型训练流程 + +如果对某些概念不熟悉，建议先补充相关知识再开始学习。附录部分提供了部分高级数学概念的速成指南。 + +## 课程章节 + +### [第1章：扩散模型导论](chapter1.md) +*已完成* + +介绍扩散模型的基本概念、历史发展、与其他生成模型的比较，以及前向扩散过程的数学基础。 + +### [第2章：神经网络架构：U-Net与ViT](chapter2.md) +*已完成* + +探索去噪网络的历史发展，从医学图像分割到生成模型，深入理解U-Net架构演进和Vision Transformer的崛起。 + +### [第3章：去噪扩散概率模型 (DDPM)](chapter3.md) +*已完成* + +深入理解DDPM的核心原理，包括前向过程、反向过程、变分下界推导、训练算法和完整实现。 + +### [第4章：基于分数的生成模型](chapter4.md) +*已完成* + +探索score matching和Langevin dynamics，理解扩散模型与分数函数的深层联系。 + +### [第5章：连续时间扩散模型 (PDE/SDE)](chapter5.md) +*已完成* + +从随机微分方程(SDE)和偏微分方程(PDE)角度理解扩散模型，包括概率流ODE、Fokker-Planck方程等连续时间框架。 + +### [第6章：流匹配 (Flow Matching)](chapter6.md) *计划中* 连续正则化流、最优传输视角、与扩散模型的联系。 -### 第7章：扩散Transformer (DiT) +### [第7章：扩散Transformer (DiT)](chapter7.md) *计划中* Diffusion Transformer架构、与U-Net的对比、可扩展性分析。 -### 第8章：采样算法与加速技术 +### [第8章：采样算法与加速技术](chapter8.md) *计划中* 学习DDIM、DPM-Solver等快速采样方法，以及如何优化生成质量与速度的平衡。 -### 第9章：条件生成与引导技术 +### [第9章：条件生成与引导技术](chapter9.md) *计划中* 掌握classifier guidance、classifier-free guidance等条件生成技术，实现可控生成。 -### 第10章：潜在扩散模型 (LDM) +### [第10章：潜在扩散模型 (LDM)](chapter10.md) *计划中* 理解Stable Diffusion的架构，学习如何在潜在空间中进行高效的扩散建模。 -### 第11章：视频扩散模型 +### [第11章：视频扩散模型](chapter11.md) *计划中* 时序建模、3D U-Net、视频生成的挑战与方法。 -### 第12章：文本扩散模型 +### [第12章：文本扩散模型](chapter12.md) *计划中* 探索离散域上的扩散模型，包括D3PM、Diffusion-LM等文本生成方法，以及embedding空间的扩散技术。 -### 第13章：扩散模型的应用 +### [第13章：扩散模型的应用](chapter13.md) *计划中* 探索图像生成、图像编辑、超分辨率、3D生成等实际应用场景。 -### 第14章：前沿研究与未来方向 +### [第14章：前沿研究与未来方向](chapter14.md) *计划中* 了解最新研究进展，包括一致性模型、扩散模型的未来发展趋势。 @@ -111,3 +163,21 @@ Diffusion Transformer架构、与U-Net的对比、可扩展性分析。 *已完成* 从信息几何角度理解扩散模型，揭示分数函数作为"力"的物理意义，建立与能量优化的联系。 + + +## 附录 + +### [附录A：测度论与随机过程速成](appendix-a.md) +*已完成* + +为第5章PDE/SDE内容提供数学基础，包括σ-代数、测度、布朗运动等核心概念。 + +### [附录B：倒向随机微分方程 (BSDE) 速成](appendix-b.md) +*已完成* + +理解扩散模型反向过程的数学工具，包括BSDE基本理论、Feynman-Kac公式等。 + +### [附录C：信息几何与分数函数的力学解释](appendix-c.md) +*已完成* + +从信息几何角度理解扩散模型，揭示分数函数作为"力"的物理意义，建立与能量优化的联系。 From cf1df498525110fa01bf6b104a11c5b5923029a9 Mon Sep 17 00:00:00 2001 From: William Date: Sun, 27 Jul 2025 12:10:53 +0800 Subject: [PATCH 19/62] interim --- chapter13.md | 759 ++++++++++++++++++++++++++++++++++++++++++++++++++- chapter14.md | 696 ++++++++++++++++++++++++++++++++++++++++++++++ index.md | 17 -- 3 files changed, 1454 insertions(+), 18 deletions(-) create mode 100644 chapter14.md diff --git a/chapter13.md b/chapter13.md index 720bb53..0d4e71b 100644 --- a/chapter13.md +++ b/chapter13.md @@ -474,4 +474,761 @@ highly detailed, artstation trending, by Greg Rutkowski" 2. 分层编辑，保持可逆性 3. 建立编辑历史 4. 定期保存中间结果 -5. 使用版本控制 \ No newline at end of file +5. 使用版本控制 + +## 13.3 图像增强与超分辨率 + +### 13.3.1 经典超分辨率方法回顾 + +在深入扩散模型之前，了解传统方法有助于理解扩散模型的优势： + +**1. 插值方法**： +- 双线性插值：简单但模糊 +- 双三次插值：稍好但仍缺乏细节 +- Lanczos插值：边缘稍锐利 + +**2. 基于学习的方法**： +- SRCNN：开创性的CNN方法 +- ESRGAN：基于GAN的方法 +- Real-ESRGAN：针对真实场景优化 + +**3. 传统方法的局限**： +- 过度平滑或过度锐化 +- 缺乏语义理解 +- 难以生成真实纹理 +- 对退化类型敏感 + +### 13.3.2 基于扩散的超分辨率 + +扩散模型为超分辨率带来了新的可能性： + +**核心原理**： + +1. **条件扩散框架**： + $$p_\theta(\mathbf{x}_\text{HR}|\mathbf{x}_\text{LR}) = \prod_{t=1}^T p_\theta(\mathbf{x}_{t-1}|\mathbf{x}_t, \mathbf{x}_\text{LR})$$ + +2. **退化建模**： + - 不仅是简单下采样 + - 包括模糊、噪声、压缩伪影 + - 学习真实世界的退化分布 + +3. **渐进式细化**： + ``` + 低分辨率 → 结构恢复 → 纹理生成 → 细节优化 + ``` + +**技术优势**： + +1. **语义感知**：理解图像内容，生成合理细节 +2. **纹理合成**：创造而非简单插值 +3. **不确定性建模**：多种合理的高分辨率对应 +4. **稳定训练**：避免GAN的训练不稳定 + +**实现架构**： + +1. **级联扩散**： + ``` + 64×64 → 256×256 (4×) + → 512×512 (2×) + → 1024×1024 (2×) + ``` + +2. **潜在扩散超分**： + - 在潜在空间进行超分 + - 解码器负责细节生成 + - 计算效率更高 + +3. **条件编码器设计**： + - 多尺度特征提取 + - 跳跃连接保留信息 + - 自适应特征融合 + +💡 **关键洞察：创造vs重建** +传统超分追求"重建"原始图像，扩散超分则是"创造"合理的高分辨率版本。这种范式转变带来了更自然的结果。 + +### 13.3.3 老照片修复 + +结合多种退化处理的综合应用： + +**1. 退化类型**： +- 褪色和偏色 +- 划痕和折痕 +- 噪点和颗粒 +- 模糊和失焦 +- 部分缺失 + +**2. 修复流程**： + +``` +输入分析 → 退化检测 → 分类处理 → 综合修复 → 质量提升 + ↓ ↓ ↓ ↓ ↓ + 评估退化 识别类型 针对处理 扩散修复 超分增强 +``` + +**3. 技术组合**： + +- **预处理**： + - 色彩校正 + - 噪声抑制 + - 几何校正 + +- **扩散修复**： + - 结构补全 + - 纹理恢复 + - 细节生成 + +- **后处理**： + - 锐化增强 + - 色彩优化 + - 一致性检查 + +**4. 特殊考虑**： +- 保持历史真实性 +- 避免过度修复 +- 保留时代特征 +- 人脸优先处理 + +
+**练习 13.3：实现图像增强系统** + +构建完整的图像增强管道。 + +1. **超分辨率模块**： + - 实现多尺度超分 + - 自适应退化检测 + - 批量处理优化 + +2. **老照片修复**： + - 退化类型分类器 + - 组合修复策略 + - 交互式修复工具 + +3. **实时增强**： + - 视频流处理 + - 帧间一致性 + - 延迟优化 + +4. **质量评估**： + - 无参考质量评分 + - A/B测试框架 + - 用户反馈收集 + +
+ +### 13.3.4 实时增强技术 + +在实际应用中，速度often与质量同等重要： + +**1. 模型优化**： +- 知识蒸馏：大模型→小模型 +- 量化：FP32→INT8/INT4 +- 剪枝：移除冗余参数 +- 架构搜索：自动优化结构 + +**2. 推理加速**： +- TensorRT优化 +- ONNX部署 +- 模型分片 +- 批处理 + +**3. 分块处理**： +``` +大图像 → 分块 → 并行处理 → 智能拼接 + ↓ + 重叠区域处理 +``` + +**4. 渐进式显示**： +- 先显示快速预览 +- 后台继续优化 +- 增量更新显示 + +### 13.3.5 领域特定的增强 + +**1. 人脸增强**： +- 五官对齐 +- 皮肤纹理 +- 表情保持 +- 身份一致性 + +**2. 文字增强**： +- 笔画清晰化 +- 背景净化 +- 倾斜校正 +- OCR友好 + +**3. 医学图像**： +- 保真度优先 +- 噪声抑制 +- 对比度增强 +- 标准化处理 + +**4. 卫星图像**： +- 大气校正 +- 多光谱融合 +- 时序对齐 +- 地物识别 + +🔬 **研究前沿：盲超分辨率** +真实场景中退化类型未知，如何设计通用的盲超分模型？这需要强大的退化建模和自适应处理能力。 + +### 13.3.6 评估指标与质量控制 + +**1. 客观指标**： +- PSNR：峰值信噪比（越高越好） +- SSIM：结构相似性（0-1，越高越好） +- LPIPS：感知距离（越低越好） +- FID：用于生成质量 + +**2. 主观评估**： +- 清晰度 +- 自然度 +- 细节丰富度 +- 无伪影 + +**3. 任务相关指标**： +- 人脸：身份保持度 +- 文字：OCR准确率 +- 医学：诊断一致性 + +**4. 实时监控**： +- 处理速度 +- 内存占用 +- 失败率 +- 用户满意度 + +💡 **实践建议：平衡质量与速度** +- 提供多个质量等级选项 +- 根据内容类型自动选择 +- 允许用户微调参数 +- 保存用户偏好设置 + +## 13.4 3D内容生成 + +### 13.4.1 3D生成的挑战与机遇 + +3D内容生成是扩散模型的新前沿，面临独特的技术挑战： + +**主要挑战**： + +1. **表示方法多样**： + - 体素（Voxels）：3D网格，内存密集 + - 点云（Point Clouds）：稀疏但缺乏拓扑 + - 网格（Meshes）：工业标准但难以生成 + - 隐式表示（NeRF/SDF）：连续但计算密集 + +2. **数据稀缺**： + - 3D数据采集成本高 + - 标注困难 + - 质量参差不齐 + +3. **计算复杂度**： + - 维度诅咒：3D比2D计算量大幅增加 + - 多视角一致性 + - 物理约束 + +**扩散模型的优势**： +- 生成质量高 +- 训练稳定 +- 支持条件生成 +- 可以处理多种3D表示 + +### 13.4.2 3D物体生成 + +**1. 基于体素的扩散**： + +直接在3D体素网格上应用扩散： +``` +噪声体素 → 3D U-Net去噪 → 清晰3D形状 +``` + +优点：概念简单，直接扩展2D方法 +缺点：分辨率受限，内存消耗大 + +**2. 基于点云的扩散**： + +点云表示：$\mathcal{P} = \{(x_i, y_i, z_i)\}_{i=1}^N$ + +扩散过程： +- 位置扩散：添加高斯噪声到坐标 +- 数量扩散：点的增删 +- 特征扩散：颜色、法向等属性 + +**3. 基于隐式表示的扩散**： + +神经隐式表示（如DeepSDF、NeRF）： +$$f_\theta(x, y, z) = \begin{cases} +\text{SDF值} & \text{(形状表示)} \\ +(\mathbf{c}, \sigma) & \text{(NeRF表示)} +\end{cases}$$ + +扩散应用于： +- 潜在代码 +- 网络参数 +- 特征场 + +💡 **技术洞察：多模态融合** +最新方法often结合多种表示的优势，如先生成粗糙体素，再细化为网格，最后添加纹理细节。 + +### 13.4.3 条件3D生成 + +**1. 文本到3D（Text-to-3D）**： + +代表方法：DreamFusion、Magic3D + +核心技术：Score Distillation Sampling (SDS) +$$\nabla_\theta \mathcal{L}_\text{SDS} = \mathbb{E}_{t,\epsilon}\left[w(t)(\epsilon_\phi(\mathbf{x}_t, t, y) - \epsilon)\frac{\partial \mathbf{x}}{\partial \theta}\right]$$ + +流程： +1. 文本编码（CLIP） +2. 2D扩散模型作为先验 +3. 优化3D表示以匹配多视角渲染 + +**2. 图像到3D（Image-to-3D）**： + +单视图重建的挑战： +- 深度歧义 +- 遮挡区域 +- 纹理推断 + +解决方案： +- 多视图扩散：生成多个一致视角 +- 几何先验：利用大规模3D数据 +- 渐进式细化：粗到细的生成 + +**3. 草图到3D（Sketch-to-3D）**： + +将手绘草图转换为3D模型： +- 笔画解析 +- 深度推断 +- 风格保持 + +### 13.4.4 纹理生成与材质合成 + +**1. UV映射纹理生成**： + +给定3D网格，生成2D纹理图： +``` +3D网格 → UV展开 → 2D纹理生成 → 映射回3D +``` + +挑战： +- 接缝处理 +- 分辨率分配 +- 风格一致性 + +**2. 直接3D纹理合成**： + +在3D表面直接生成纹理： +- 表面参数化 +- 3D卷积网络 +- 多尺度细节 + +**3. 材质属性生成**： + +PBR（物理渲染）材质： +- 漫反射（Albedo） +- 金属度（Metallic） +- 粗糙度（Roughness） +- 法线贴图（Normal） + +
+**练习 13.4：实现3D生成系统** + +探索3D内容创建的完整流程。 + +1. **基础3D生成**： + - 实现简单的体素扩散 + - 点云生成与可视化 + - 网格提取算法 + +2. **条件控制**： + - 文本条件编码 + - 多视图一致性约束 + - 风格控制 + +3. **纹理与材质**： + - UV映射生成 + - PBR材质预测 + - 实时渲染集成 + +4. **应用集成**： + - 导出标准格式（OBJ、FBX） + - 游戏引擎集成 + - AR/VR预览 + +
+ +### 13.4.5 场景生成与组合 + +**1. 室内场景生成**： + +生成完整的室内环境： +- 房间布局 +- 家具摆放 +- 光照设置 +- 材质配置 + +技术要点： +- 场景图表示 +- 物体关系建模 +- 物理约束（防碰撞、支撑关系） + +**2. 室外场景**： + +大规模环境生成： +- 地形生成 +- 植被分布 +- 建筑放置 +- 天气效果 + +**3. 场景编辑**： + +- 物体增删 +- 布局调整 +- 风格转换 +- 光照编辑 + +### 13.4.6 NeRF与扩散模型的结合 + +**1. NeRF简介**： + +神经辐射场表示3D场景： +$$F_\Theta: (x, y, z, \theta, \phi) \rightarrow (\mathbf{c}, \sigma)$$ + +- 输入：3D位置 + 观察方向 +- 输出：颜色 + 密度 + +**2. 扩散增强的NeRF**： + +- **生成式NeRF**：从噪声生成NeRF +- **编辑式NeRF**：修改现有NeRF +- **超分辨率NeRF**：提升渲染质量 + +**3. 应用场景**： + +- 新视角合成 +- 3D场景编辑 +- 虚拟物体插入 +- 光照重打光 + +🔬 **前沿研究：4D生成** +如何生成随时间变化的3D内容（4D）？这涉及运动建模、时序一致性和高效表示，是活跃的研究领域。 + +### 13.4.7 实际应用与工业集成 + +**1. 游戏资产生成**： +- 角色模型 +- 环境道具 +- 纹理变体 +- LOD生成 + +**2. 建筑可视化**： +- 概念设计 +- 室内布局 +- 材质方案 +- 光照模拟 + +**3. 电商3D**： +- 产品建模 +- 虚拟试穿 +- AR预览 +- 定制设计 + +**4. 医疗应用**： +- 器官重建 +- 手术规划 +- 假体设计 +- 教学模型 + +**5. 工业设计**： +- 原型生成 +- 参数化设计 +- 仿真准备 +- 逆向工程 + +💡 **实施建议：3D生成管道** +1. 明确目标格式和质量要求 +2. 选择合适的3D表示 +3. 考虑下游应用的约束 +4. 建立质量检查流程 +5. 优化生成速度vs质量平衡 + +## 13.5 跨模态应用与新兴领域 + +### 13.5.1 音频生成与处理 + +扩散模型在音频领域展现出巨大潜力： + +**1. 音乐生成**： + +- **波形级生成**：直接生成原始音频波形 +- **谱图生成**：在梅尔谱图空间应用扩散 +- **符号音乐**：生成MIDI或乐谱 + +技术特点： +- 时序建模：处理长程依赖 +- 多轨生成：不同乐器的协调 +- 风格控制：流派、情绪、节奏 + +**2. 语音合成**： + +文本到语音（TTS）的扩散方法： +``` +文本 → 音素序列 → 声学特征 → 波形生成 +``` + +优势： +- 自然度高 +- 韵律控制精细 +- 说话人适应快速 + +**3. 音频修复与增强**： + +- 去噪：消除背景噪音 +- 带宽扩展：提升音质 +- 缺失补全：修复损坏音频 +- 源分离：分离混合音源 + +**4. 音效生成**： + +- 环境音：风、雨、海浪 +- 动作音效：脚步、碰撞 +- 抽象音效：科幻、魔法 + +🔬 **研究前沿：多模态音频** +如何生成与视觉内容同步的音频？这需要理解视听对应关系，是多模态学习的重要方向。 + +### 13.5.2 分子设计与药物发现 + +扩散模型在分子生成中的革命性应用： + +**1. 分子表示**： + +- **2D分子图**：原子为节点，键为边 +- **3D构象**：空间坐标 + 原子类型 +- **SMILES字符串**：线性表示 + +**2. 药物分子生成**： + +条件生成目标分子： +- 靶点结合亲和力 +- ADMET性质 +- 合成可行性 +- 新颖性 + +**3. 蛋白质设计**： + +- 序列设计：氨基酸序列优化 +- 结构预测：3D折叠预测 +- 功能设计：特定功能的蛋白 + +**4. 材料发现**： + +- 晶体结构生成 +- 聚合物设计 +- 催化剂优化 + +应用流程： +``` +目标属性 → 条件扩散生成 → 候选分子 → 虚拟筛选 → 实验验证 +``` + +💡 **应用价值：加速创新** +传统药物发现需要10-15年，AI辅助可以大幅缩短前期筛选时间，降低研发成本。 + +### 13.5.3 数据增强与合成数据 + +**1. 计算机视觉数据增强**： + +超越传统增强的生成式方法： +- 语义保持的变换 +- 罕见场景生成 +- 对抗样本生成 +- 领域适应 + +**2. 医学影像增强**： + +- 病变合成：生成罕见病例 +- 模态转换：CT→MRI +- 分辨率提升 +- 标注生成 + +**3. 自动驾驶数据**： + +- 极端天气场景 +- 事故场景模拟 +- 传感器数据合成 +- 边缘案例生成 + +**4. 隐私保护合成**： + +生成不含个人信息的数据： +- 人脸匿名化 +- 医疗记录合成 +- 行为数据生成 + +
+**练习 13.5：实现跨模态应用** + +探索扩散模型的创新应用。 + +1. **音频实验**： + - 实现简单的音效生成 + - 尝试音频修复任务 + - 探索音视频同步 + +2. **分子生成**： + - 使用开源工具生成分子 + - 可视化分子结构 + - 评估分子性质 + +3. **数据增强**： + - 为特定任务设计增强策略 + - 评估增强效果 + - 平衡真实性与多样性 + +4. **创新应用**： + - 识别新的应用领域 + - 设计原型系统 + - 评估可行性 + +
+ +### 13.5.4 个性化生成 + +**1. 少样本个性化**： + +从少量样本学习个人特征： +- 人脸个性化：3-5张照片 +- 风格学习：艺术家风格 +- 声音克隆：短音频样本 + +**2. 概念学习**： + +DreamBooth类方法： +- 学习新概念/物体 +- 保持生成能力 +- 避免过拟合 + +**3. 用户偏好适应**： + +- 交互式优化 +- 隐式反馈学习 +- 个性化推荐 + +**4. 定制化生成**： + +- 品牌视觉设计 +- 个人虚拟形象 +- 定制产品设计 + +### 13.5.5 实时交互应用 + +**1. 创意工具**： + +- 实时绘画辅助 +- 交互式编辑 +- 协作创作 +- 版本控制 + +**2. 游戏应用**： + +- 程序化内容生成 +- 玩家定制内容 +- 动态场景生成 +- NPC外观生成 + +**3. 虚拟现实**： + +- 沉浸式环境 +- 手势交互生成 +- 实时场景编辑 +- 社交虚拟空间 + +**4. 直播与视频**： + +- 实时滤镜 +- 虚拟背景 +- 表情迁移 +- 实时翻译配音 + +### 13.5.6 边缘计算与移动应用 + +**1. 模型压缩**： + +- 量化：INT8/INT4 +- 剪枝：稀疏化 +- 蒸馏：大模型→小模型 +- NAS：架构搜索 + +**2. 移动优化**： + +- 分片计算 +- 云端协同 +- 缓存策略 +- 功耗优化 + +**3. 隐私保护**： + +- 端侧处理 +- 联邦学习 +- 差分隐私 +- 安全计算 + +**4. 典型应用**： + +- 手机摄影增强 +- AR滤镜 +- 离线翻译 +- 健康监测 + +🌟 **未来展望：普及化AI创作** +随着模型效率提升和硬件发展，每个人都将拥有强大的AI创作工具，创意表达的门槛将大幅降低。 + +### 13.5.7 伦理考虑与负责任的AI + +**1. 内容真实性**： +- 深度伪造检测 +- 水印技术 +- 来源追溯 +- 真实性验证 + +**2. 版权保护**： +- 训练数据版权 +- 生成内容归属 +- 创作者权益 +- 使用许可 + +**3. 偏见与公平**： +- 数据偏见识别 +- 公平性度量 +- 去偏见技术 +- 包容性设计 + +**4. 社会影响**： +- 就业影响评估 +- 创意产业变革 +- 教育需求演变 +- 监管框架建立 + +💡 **行动指南：负责任的开发** +1. 透明度：公开模型能力和局限 +2. 可控性：提供用户控制选项 +3. 安全性：实施内容过滤机制 +4. 包容性：确保多元群体受益 +5. 可持续：考虑环境影响 + +## 本章小结 + +本章全面探讨了扩散模型的实际应用： + +1. **图像生成**：从艺术创作到商业设计，扩散模型展现了惊人的创造力 +2. **智能编辑**：修复、扩展、语义编辑等功能revolutionize了图像处理 +3. **超分辨率**：不仅提升分辨率，更是创造性地生成细节 +4. **3D生成**：开启了三维内容创作的新纪元 +5. **跨模态应用**：音频、分子、数据增强等展示了技术的普适性 + +扩散模型正在改变创意产业、科学研究和日常生活。随着技术不断进步，我们期待看到更多创新应用，同时也需要认真对待伦理挑战，确保技术发展造福人类。 + +下一章，我们将展望扩散模型的未来发展方向，探讨前沿研究和潜在突破。 \ No newline at end of file diff --git a/chapter14.md b/chapter14.md new file mode 100644 index 0000000..9711066 --- /dev/null +++ b/chapter14.md @@ -0,0 +1,696 @@ +[← 返回目录](index.md) | 第14章 / 共14章 + +# 第14章：前沿研究与未来方向 + +我们即将结束这段扩散模型的学习之旅。在最后一章，让我们将目光投向未来，探索这个快速发展领域的前沿研究和潜在突破。本章将介绍最新的理论进展、架构创新和应用拓展，帮助您把握扩散模型的发展脉络，激发您参与到这个激动人心的研究领域中。通过学习本章，您将了解一致性模型等新范式，理解理论研究的最新进展，掌握架构设计的创新方向，并对扩散模型的未来发展有清晰的认识。 + +## 章节大纲 + +### 14.1 一致性模型：超越扩散的新范式 +- 一致性模型的基本原理 +- 一步生成的实现 +- 与扩散模型的关系 +- 性能对比与应用前景 + +### 14.2 理论前沿与数学创新 +- 最优传输视角 +- 流匹配与概率流 +- 信息论分析 +- 统一生成模型理论 + +### 14.3 架构创新与效率突破 +- 新型神经网络架构 +- 计算效率优化 +- 模型压缩技术 +- 硬件协同设计 + +### 14.4 应用拓展与社会影响 +- 科学计算应用 +- 多智能体生成系统 +- 人机协作创新 +- 伦理与监管框架 + +### 14.5 研究方向与开放问题 +- 基础理论挑战 +- 技术瓶颈突破 +- 跨学科融合 +- 长期发展愿景 + +## 14.1 一致性模型：超越扩散的新范式 + +### 14.1.1 一致性模型的基本原理 + +一致性模型（Consistency Models）是2023年提出的新一代生成模型，旨在解决扩散模型的主要痛点：多步采样的低效率。 + +**核心思想**： + +与扩散模型逐步去噪不同，一致性模型学习一个函数 $f_\theta$，直接将任意时刻的噪声数据映射到干净数据： + +$$f_\theta(\mathbf{x}_t, t) = \mathbf{x}_0, \quad \forall t \in [0, T]$$ + +**自一致性属性**： + +关键约束是自一致性（self-consistency）： +$$f_\theta(\mathbf{x}_t, t) = f_\theta(\mathbf{x}_s, s), \quad \forall t, s \in [0, T]$$ + +这意味着同一轨迹上的所有点都映射到相同的干净数据。 + +**训练目标**： + +一致性损失通过强制相邻时间步的输出一致来训练： +$$\mathcal{L}(\theta) = \mathbb{E}_{t,\mathbf{x}_0,\boldsymbol{\epsilon}}\left[\|f_\theta(\mathbf{x}_{t+\Delta t}, t+\Delta t) - f_{\theta^-}(\mathbf{x}_t, t)\|^2\right]$$ + +其中 $\theta^-$ 是目标网络参数（类似于强化学习中的目标网络）。 + +💡 **革命性创新：一步生成** +一致性模型最吸引人的特性是能够一步生成高质量样本，同时保持多步细化的能力。这打破了质量与速度的传统权衡。 + +### 14.1.2 一步生成的实现 + +**生成过程**： + +1. **一步生成**： + ``` + z ~ N(0, I) # 采样噪声 + x_0 = f_θ(z, T) # 一步生成 + ``` + +2. **多步细化**（可选）： + ``` + x_T ~ N(0, I) + for t in [T-1, ..., 1]: + x_t = 采样过程(x_{t+1}, t) + x_0 = f_θ(x_t, t) # 细化 + ``` + +**技术细节**： + +1. **参数化技巧**： + - 使用skip connection：$f_\theta(\mathbf{x}_t, t) = c_\text{skip}(t)\mathbf{x}_t + c_\text{out}(t)F_\theta(\mathbf{x}_t, t)$ + - 边界条件：$f_\theta(\mathbf{x}_0, 0) = \mathbf{x}_0$ + +2. **训练策略**： + - 课程学习：从小$\Delta t$开始，逐渐增大 + - EMA更新目标网络 + - 数据增强提升鲁棒性 + +3. **架构选择**： + - 可以使用任何条件生成架构 + - 通常采用U-Net或DiT + - 时间编码至关重要 + +### 14.1.3 与扩散模型的关系 + +**1. 蒸馏视角**： + +一致性模型可以看作扩散模型的蒸馏： +- 教师：预训练的扩散模型 +- 学生：一致性模型 +- 知识：ODE轨迹 + +**2. 独立训练**： + +也可以从头训练，不需要预训练扩散模型： +- 直接从数据学习一致性映射 +- 可能需要更多训练时间 +- 提供了新的理论视角 + +**3. 理论联系**： + +两者都基于相同的概率流ODE： +$$\frac{d\mathbf{x}_t}{dt} = f(t)\mathbf{x}_t + \frac{g^2(t)}{2\sigma_t}\nabla_{\mathbf{x}_t} \log p_t(\mathbf{x}_t)$$ + +一致性模型直接学习ODE的解映射。 + +🔬 **研究洞察：统一框架** +一致性模型揭示了生成模型的更深层结构。它暗示可能存在一个统一框架，涵盖扩散、流、VAE等多种生成范式。 + +### 14.1.4 性能对比与优势 + +**速度优势**： + +| 模型 | 生成步数 | FID@1步 | FID@最优 | +|------|----------|---------|----------| +| DDPM | 1000 | >100 | 3.17 | +| DDIM | 50 | 13.36 | 4.04 | +| 一致性模型 | 1 | 3.55 | 2.93 | + +**质量保持**： +- 一步生成质量接近多步扩散 +- 保留细节和多样性 +- 支持各种条件生成任务 + +**灵活性**： +- 可在速度和质量间权衡 +- 支持zero-shot编辑 +- 易于部署和扩展 + +
+**练习 14.1：实现简化版一致性模型** + +深入理解一致性模型的核心概念。 + +1. **基础实现**： + - 实现一致性损失函数 + - 设计简单的玩具实验 + - 比较与扩散模型的差异 + +2. **蒸馏实验**： + - 从预训练扩散模型蒸馏 + - 分析不同蒸馏策略 + - 评估加速效果 + +3. **架构探索**： + - 尝试不同的网络架构 + - 研究时间编码的影响 + - 优化推理效率 + +4. **应用开发**： + - 实现实时生成demo + - 探索新的应用场景 + - 集成到现有系统 + +
+ +### 14.1.5 一致性模型的扩展 + +**1. 潜在一致性模型（LCM）**： +- 在潜在空间应用一致性训练 +- 结合预训练的VAE +- 进一步提升效率 + +**2. 条件一致性模型**： +- 文本条件：保持扩散模型的可控性 +- 图像条件：支持各种图像任务 +- 多模态条件：灵活的控制机制 + +**3. 级联一致性模型**： +``` +低分辨率CM → 中分辨率CM → 高分辨率CM + (1步) (1步) (1步) +``` + +**4. 一致性编辑**： +- 利用一致性属性进行图像编辑 +- 保持未编辑区域不变 +- 实现精确的局部控制 + +### 14.1.6 局限性与挑战 + +**当前局限**： +1. 训练不稳定性：需要精心调参 +2. 模式覆盖：可能丢失一些细节模式 +3. 理论理解：数学基础仍在发展 +4. 泛化能力：在某些复杂任务上表现不如扩散 + +**研究方向**： +- 改进训练算法 +- 理论分析和保证 +- 与其他方法结合 +- 新的应用探索 + +🌟 **未来展望：生成模型的新纪元** +一致性模型可能开启生成模型的新纪元，where高质量生成不再需要昂贵的多步推理。这将极大扩展生成模型的应用范围。 + +## 14.2 理论前沿与数学创新 + +### 14.2.1 最优传输视角 + +最优传输（Optimal Transport, OT）理论为理解扩散模型提供了新的数学框架。 + +**核心概念**： + +1. **Wasserstein距离**： + $$W_2(\mu, \nu) = \inf_{\pi \in \Pi(\mu, \nu)} \left(\int \|\mathbf{x} - \mathbf{y}\|^2 d\pi(\mathbf{x}, \mathbf{y})\right)^{1/2}$$ + + 度量两个分布之间的"运输成本"。 + +2. **最优传输映射**： + 寻找从数据分布到噪声分布的最优映射 $T^*$： + $$T^* = \arg\min_{T: T_\#\mu = \nu} \int \|\mathbf{x} - T(\mathbf{x})\|^2 d\mu(\mathbf{x})$$ + +3. **动态最优传输**： + 考虑随时间演化的传输路径： + $$\inf_{\rho_t, \mathbf{v}_t} \int_0^1 \int \|\mathbf{v}_t(\mathbf{x})\|^2 \rho_t(\mathbf{x}) d\mathbf{x} dt$$ + +**与扩散模型的联系**： + +1. **概率流ODE作为最优传输**： + 扩散模型的概率流可以看作一种近似最优传输 + +2. **Schrödinger桥**： + 扩散过程是熵正则化的最优传输： + $$\min_{\mathbb{P}} \mathbb{E}_\mathbb{P}[\mathcal{A}] + \epsilon \text{KL}(\mathbb{P} \| \mathbb{Q})$$ + +3. **计算优势**： + - OT提供了新的训练目标 + - 可以设计更高效的采样路径 + - 理论保证更强 + +💡 **理论洞察：几何视角** +最优传输揭示了生成模型的几何本质：我们在学习数据流形上的测地线，这为设计新算法提供了指导。 + +### 14.2.2 流匹配与连续正则化流 + +**流匹配（Flow Matching）**： + +新的训练范式，直接学习向量场： + +1. **目标函数**： + $$\mathcal{L}_\text{FM}(\theta) = \mathbb{E}_{t,\mathbf{x}_t}\left[\|\mathbf{v}_\theta(\mathbf{x}_t, t) - \mathbf{u}_t(\mathbf{x}_t)\|^2\right]$$ + + 其中 $\mathbf{u}_t$ 是目标向量场。 + +2. **条件流匹配**： + $$\mathbf{u}_t(\mathbf{x}_t|\mathbf{x}_0, \mathbf{x}_1) = \frac{\mathbf{x}_1 - \mathbf{x}_0}{1 - 0} = \mathbf{x}_1 - \mathbf{x}_0$$ + + 提供了简单的训练目标。 + +3. **优势**： + - 训练更稳定 + - 理论更清晰 + - 可以使用任意路径 + +**连续正则化流（CNF）的新发展**： + +1. **神经ODE的改进**： + - 自适应求解器 + - 增广动力学 + - 正则化技术 + +2. **FFJORD扩展**： + - 更高效的迹估计 + - 条件生成支持 + - 多尺度架构 + +3. **与扩散的统一**： + 扩散模型可以看作特殊的CNF，这促进了方法融合。 + +### 14.2.3 信息论分析 + +**1. 率失真理论视角**： + +生成模型as信息压缩： +$$R(D) = \inf_{p(\hat{\mathbf{x}}|\mathbf{x}): \mathbb{E}[d(\mathbf{x}, \hat{\mathbf{x}})] \leq D} I(\mathbf{x}; \hat{\mathbf{x}})$$ + +扩散模型在压缩和重建之间寻找最优平衡。 + +**2. 互信息分析**： + +扩散过程中的信息流： +$$I(\mathbf{x}_0; \mathbf{x}_t) = H(\mathbf{x}_0) - H(\mathbf{x}_0|\mathbf{x}_t)$$ + +随着 $t$ 增加，互信息减少，直到达到独立。 + +**3. 信息瓶颈原理**： + +去噪网络学习压缩表示： +$$\max_{p(\mathbf{z}|\mathbf{x}_t)} I(\mathbf{z}; \mathbf{x}_0) - \beta I(\mathbf{z}; \mathbf{x}_t)$$ + +这解释了为什么扩散模型能学习有意义的特征。 + +🔬 **研究前沿：信息几何** +将信息几何应用于扩散模型，研究概率分布流形上的自然梯度、测地线等，可能带来新的算法突破。 + +### 14.2.4 统一生成模型理论 + +**寻找大统一理论**： + +1. **变分框架统一**： + - VAE：KL散度正则化 + - 扩散：时间连续的VAE + - 流模型：可逆变换 + - GAN：隐式变分界 + +2. **SDE/ODE统一**： + $$d\mathbf{x}_t = f(t)\mathbf{x}_t dt + g(t)d\mathbf{w}_t$$ + + 通过调整 $f$ 和 $g$，可以得到不同的生成模型。 + +3. **能量视角统一**： + 所有生成模型都在学习能量函数： + $$p(\mathbf{x}) \propto \exp(-E_\theta(\mathbf{x}))$$ + +**新兴统一框架**： + +1. **扩散薛定谔桥（DSB）**： + 统一扩散和最优传输 + +2. **去噪扩散GAN**： + 结合对抗训练和扩散 + +3. **变分扩散模型**： + 统一VAE和扩散的优势 + +
+**练习 14.2：探索理论创新** + +深入理解理论前沿。 + +1. **最优传输实验**： + - 实现简单的OT算法 + - 比较与扩散的路径 + - 可视化传输映射 + +2. **流匹配实践**： + - 实现条件流匹配 + - 设计新的路径 + - 评估训练效率 + +3. **信息论分析**： + - 计算扩散过程的互信息 + - 分析信息瓶颈 + - 设计信息论损失 + +4. **统一框架探索**： + - 实现混合模型 + - 比较不同范式 + - 提出新的统一视角 + +
+ +### 14.2.5 数学工具的创新应用 + +**1. 微分几何**： +- 流形上的扩散 +- 黎曼度量优化 +- 测地线采样 + +**2. 随机分析**： +- Itô积分的推广 +- 跳跃扩散过程 +- 分数布朗运动 + +**3. 泛函分析**： +- 无限维扩散 +- 算子理论应用 +- 谱分析方法 + +**4. 代数拓扑**： +- 持续同调分析 +- 拓扑数据分析 +- 流形学习 + +### 14.2.6 计算复杂性与理论界限 + +**基础问题**： + +1. **样本复杂度**： + 生成 $\epsilon$-近似分布需要多少样本？ + $$n = \Omega\left(\frac{d}{\epsilon^2}\right) ?$$ + +2. **计算复杂度**： + - 训练复杂度 + - 推理复杂度 + - 空间复杂度 + +3. **逼近能力**： + 扩散模型的表达能力边界在哪里？ + +**理论保证**： + +1. **收敛速度**： + $$\text{KL}(p_\theta \| p_\text{data}) \leq O(1/\sqrt{n})$$ + +2. **泛化界**： + $$\mathbb{E}[\mathcal{L}(\theta)] - \hat{\mathcal{L}}(\theta) \leq O(\sqrt{d/n})$$ + +3. **鲁棒性保证**： + 对抗扰动下的稳定性分析 + +🌟 **开放问题：理论完备性** +扩散模型的理论仍有许多开放问题：最优性？必要条件？计算下界？这些基础问题的解答将指导未来发展。 + +## 14.3 架构创新与效率突破 + +### 14.3.1 新型神经网络架构 + +**1. 状态空间模型（SSM）在扩散中的应用**： + +Mamba等架构带来的新可能： +- **线性复杂度**：$O(L)$ vs Transformer的 $O(L^2)$ +- **长序列建模**：处理超长序列（>100k tokens） +- **选择性机制**：动态调整信息流 + +在扩散模型中的应用： +``` +输入序列 → SSM编码器 → 时间条件融合 → SSM解码器 → 去噪输出 +``` + +**2. 图神经网络（GNN）扩散**： + +处理非欧几里得数据： +- **分子生成**：原子作为节点，化学键作为边 +- **社交网络**：用户和关系的生成 +- **3D场景图**：物体和空间关系 + +创新架构： +- E(3)等变GNN：保持旋转平移不变性 +- 层次化GNN：多尺度图表示 +- 注意力GNN：结合图结构和注意力机制 + +**3. 神经场（Neural Fields）与扩散**： + +连续表示的优势： +- **分辨率无关**：可以在任意分辨率采样 +- **内存高效**：隐式表示大规模数据 +- **平滑插值**：自然的连续性 + +架构设计： +``` +坐标 → 傅里叶特征 → MLP → 局部特征 → 扩散去噪 → 输出值 +``` + +💡 **架构选择原则** +选择架构时考虑：数据模态、计算预算、质量要求、部署环境。没有通用最优架构，需要根据具体任务定制。 + +### 14.3.2 计算效率的根本性突破 + +**1. 稀疏化技术**： + +- **动态稀疏注意力**： + ``` + 只计算重要的注意力连接 + 稀疏度随时间步动态调整 + 早期步骤更稀疏，后期更密集 + ``` + +- **结构化稀疏**： + - 块稀疏：以块为单位的稀疏模式 + - 低秩分解：注意力矩阵的低秩近似 + - 蝶形变换：$O(N\log N)$ 复杂度 + +**2. 混合精度与量化**： + +- **自适应精度**： + - 关键层：FP32/FP16 + - 非关键层：INT8/INT4 + - 动态调整：根据时间步调整精度 + +- **量化感知训练**： + ``` + 训练时模拟量化效果 + 学习量化友好的权重分布 + 保持生成质量 + ``` + +**3. 并行化策略**： + +- **模型并行**： + - 层间并行：不同层在不同设备 + - 张量并行：单层跨设备分割 + - 流水线并行：批次在设备间流动 + +- **数据并行2.0**： + - 梯度压缩通信 + - 异步更新 + - 局部SGD + +🔬 **效率前沿：亚线性扩散** +能否设计计算复杂度亚线性于数据维度的扩散模型？这需要巧妙利用数据结构和近似算法。 + +### 14.3.3 模型压缩的新范式 + +**1. 神经架构搜索（NAS）for扩散**： + +自动发现高效架构： +``` +搜索空间定义 → 超网络训练 → 架构采样 → 性能评估 → 最优选择 +``` + +特殊考虑： +- 多时间步性能 +- 条件生成能力 +- 硬件适配性 + +**2. 动态网络**： + +- **早退机制**： + 简单样本提前退出 + +- **自适应深度**： + 根据时间步调整网络深度 + +- **专家混合（MoE）**： + 不同专家处理不同类型数据 + +**3. 蒸馏新方法**： + +- **渐进式蒸馏**： + ``` + 1000步教师 → 100步学生 → 10步学生 → 1步学生 + ``` + +- **特征蒸馏**： + 不仅蒸馏输出，还蒸馏中间特征 + +- **对抗蒸馏**： + 使用判别器确保质量 + +
+**练习 14.3：实现高效架构** + +探索架构创新和效率优化。 + +1. **新架构实验**： + - 实现简化版Mamba扩散 + - 尝试GNN用于结构化数据 + - 探索神经场表示 + +2. **效率优化**： + - 实现动态稀疏注意力 + - 测试混合精度训练 + - 评估不同并行策略 + +3. **模型压缩**： + - 设计蒸馏pipeline + - 实现量化感知训练 + - 比较压缩前后质量 + +4. **硬件适配**： + - 针对特定硬件优化 + - 实现自定义算子 + - 评估端到端延迟 + +
+ +### 14.3.4 硬件协同设计 + +**1. AI芯片优化**： + +- **专用加速器**： + - Attention加速单元 + - 稀疏计算单元 + - 混合精度单元 + +- **近数据计算**： + 减少数据移动开销 + +- **可重构架构**： + 适应不同网络结构 + +**2. 编译器优化**： + +- **图优化**： + - 算子融合 + - 内存规划 + - 并行调度 + +- **自动调优**： + 搜索最优实现参数 + +- **跨平台部署**： + 统一的部署框架 + +**3. 系统级优化**： + +- **分布式推理**： + 多机协同生成 + +- **缓存策略**： + 重用中间结果 + +- **流式处理**： + 降低延迟 + +### 14.3.5 新型训练方法 + +**1. 自监督预训练**： + +无需标注数据的预训练： +- **掩码扩散建模**：类似MAE的方法 +- **对比扩散学习**：学习不变表示 +- **自回归扩散**：结合两种范式 + +**2. 持续学习**： + +- **弹性权重巩固（EWC）**： + 保持旧任务性能 + +- **动态架构**： + 为新任务扩展网络 + +- **记忆重放**： + 保留关键样本 + +**3. 元学习**： + +快速适应新任务： +``` +元训练 → 任务采样 → 快速适应 → 少样本生成 +``` + +应用场景： +- 个性化生成 +- 领域适应 +- 新概念学习 + +### 14.3.6 实时生成技术 + +**1. 缓存与预计算**： + +- **特征缓存**： + 重用计算结果 + +- **查找表**： + 预计算常见模式 + +- **增量更新**： + 只计算变化部分 + +**2. 流式生成**： + +逐步输出结果： +``` +粗糙预览 → 基本形状 → 主要细节 → 精细纹理 +(10ms) (50ms) (200ms) (1000ms) +``` + +**3. 端云协同**： + +- **端侧**：快速预览 +- **云端**：高质量生成 +- **智能切换**：根据网络和需求 + +💡 **未来展望：无处不在的生成** +随着效率提升，生成模型将嵌入各种设备和应用，实现真正的普适计算。从手机到IoT设备，AI生成将无处不在。 + +### 14.3.7 架构创新的未来方向 + +**短期（1-2年）**： +- 更高效的注意力机制 +- 更好的稀疏化方法 +- 自动化架构设计 + +**中期（3-5年）**： +- 神经形态计算 +- 量子加速 +- 生物启发架构 + +**长期（5-10年）**： +- 通用生成架构 +- 自适应智能系统 +- 超人类创造力 + +🌟 **架构哲学：少即是多** +最好的架构often是最简单的。在追求创新时，不要忘记简洁性、可解释性和可维护性的价值。 \ No newline at end of file diff --git a/index.md b/index.md index 0b8ed3c..b270b83 100644 --- a/index.md +++ b/index.md @@ -164,20 +164,3 @@ Diffusion Transformer架构、与U-Net的对比、可扩展性分析。 从信息几何角度理解扩散模型，揭示分数函数作为"力"的物理意义，建立与能量优化的联系。 - -## 附录 - -### [附录A：测度论与随机过程速成](appendix-a.md) -*已完成* - -为第5章PDE/SDE内容提供数学基础，包括σ-代数、测度、布朗运动等核心概念。 - -### [附录B：倒向随机微分方程 (BSDE) 速成](appendix-b.md) -*已完成* - -理解扩散模型反向过程的数学工具，包括BSDE基本理论、Feynman-Kac公式等。 - -### [附录C：信息几何与分数函数的力学解释](appendix-c.md) -*已完成* - -从信息几何角度理解扩散模型，揭示分数函数作为"力"的物理意义，建立与能量优化的联系。 From d674f8ecb4fb67621043abe5d27da272700434e2 Mon Sep 17 00:00:00 2001 From: William Date: Sun, 27 Jul 2025 12:12:20 +0800 Subject: [PATCH 20/62] interim --- chapter14.md | 315 ++++++++++++++++++++++++++++++++++++++++++++++++++- index.md | 52 --------- 2 files changed, 314 insertions(+), 53 deletions(-) diff --git a/chapter14.md b/chapter14.md index 9711066..b9fa1a9 100644 --- a/chapter14.md +++ b/chapter14.md @@ -693,4 +693,317 @@ Mamba等架构带来的新可能： - 超人类创造力 🌟 **架构哲学：少即是多** -最好的架构often是最简单的。在追求创新时，不要忘记简洁性、可解释性和可维护性的价值。 \ No newline at end of file +最好的架构often是最简单的。在追求创新时，不要忘记简洁性、可解释性和可维护性的价值。 + +## 14.4 应用拓展与社会影响 + +### 14.4.1 科学计算中的扩散模型 + +**1. 气候建模与天气预报**： + +扩散模型在地球科学中的革命性应用： + +- **高分辨率气候模拟**： + ``` + 低分辨率物理模型 → 扩散超分辨率 → 高分辨率预测 + ``` + +- **极端天气事件预测**： + - 生成罕见事件样本 + - 不确定性量化 + - 多模态预测 + +- **数据同化**： + 融合观测数据和模型预测 + +**2. 蛋白质折叠与药物设计**： + +生命科学的新工具： + +- **蛋白质结构预测**： + - 序列到结构的扩散 + - 构象采样 + - 动力学模拟 + +- **分子生成**： + - 目标导向的药物设计 + - 副作用预测 + - 合成路径规划 + +- **蛋白质设计**： + 从功能需求生成新蛋白质 + +**3. 材料科学**： + +- **晶体结构预测** +- **新材料发现** +- **性质优化** +- **缺陷模拟** + +💡 **科学影响：加速发现** +扩散模型正在改变科学研究范式，从"理论→实验"到"AI生成→验证"，大幅加速科学发现过程。 + +### 14.4.2 多智能体生成系统 + +**1. 协作式创作**： + +多个AI智能体协同工作： +``` +文本智能体 → 场景描述 +图像智能体 → 视觉生成 → 融合优化 → 最终作品 +音频智能体 → 配乐音效 +``` + +**2. 对抗式改进**： + +- **生成器vs评判器**： + 迭代改进质量 + +- **多样性vs一致性**： + 平衡探索和收敛 + +- **专家委员会**： + 不同专长的模型投票 + +**3. 分布式生成**： + +- **任务分解**：大任务分割为子任务 +- **并行处理**：多智能体并行工作 +- **结果聚合**：智能合并结果 + +**4. 涌现行为**： + +多智能体交互产生的新特性： +- 创意涌现 +- 风格融合 +- 集体智慧 + +🔬 **研究方向：群体智能** +如何设计多智能体系统，使其展现超越单一模型的创造力？这涉及博弈论、涌现理论和分布式AI。 + +### 14.4.3 人机协作的新模式 + +**1. 创意放大器**： + +AI作为人类创意的增强工具： + +- **灵感生成**： + ``` + 粗略想法 → AI扩展 → 人类筛选 → AI细化 → 最终作品 + ``` + +- **风格探索**： + 一个想法的多种表现 + +- **快速原型**： + 加速创意迭代 + +**2. 教育辅助**： + +个性化学习体验： + +- **定制教材**： + 根据学生水平生成内容 + +- **交互式学习**： + 实时生成练习和反馈 + +- **可视化解释**： + 抽象概念的直观呈现 + +**3. 专业增强**： + +各行业的AI辅助： + +- **建筑设计**：概念可视化 +- **医疗诊断**：影像增强和分析 +- **法律文书**：文件生成和审查 +- **金融分析**：数据可视化 + +**4. 无障碍技术**： + +- **视觉辅助**：为盲人生成场景描述 +- **听力辅助**：语音到视觉转换 +- **认知辅助**：简化复杂信息 + +
+**练习 14.4：设计人机协作系统** + +探索人机协作的可能性。 + +1. **创意工具设计**： + - 选择一个创意领域 + - 设计协作流程 + - 实现原型系统 + +2. **多智能体实验**： + - 实现简单的多智能体系统 + - 测试不同协作策略 + - 分析涌现行为 + +3. **用户研究**： + - 设计用户实验 + - 收集反馈数据 + - 迭代改进界面 + +4. **影响评估**： + - 评估对创作过程的影响 + - 分析效率提升 + - 考虑伦理因素 + +
+ +### 14.4.4 伦理框架与负责任创新 + +**1. 技术伦理原则**： + +- **透明性**： + - 公开模型能力和限制 + - 标注AI生成内容 + - 解释决策过程 + +- **公平性**： + - 减少偏见 + - 确保多元代表性 + - 普惠访问 + +- **隐私保护**： + - 数据最小化 + - 本地处理优先 + - 用户控制权 + +- **安全性**： + - 内容过滤 + - 防止恶意使用 + - 鲁棒性保证 + +**2. 监管与治理**： + +- **行业标准**： + 制定技术规范和最佳实践 + +- **认证机制**： + 模型和应用的安全认证 + +- **国际合作**： + 跨国协调监管框架 + +- **动态调整**： + 随技术发展更新规则 + +**3. 社会影响评估**： + +- **就业影响**： + - 工作转型而非替代 + - 新职业机会 + - 技能培训需求 + +- **创意产业**： + - 版权新框架 + - 创作者权益 + - 价值分配 + +- **信息生态**： + - 真假难辨 + - 信息过载 + - 认知影响 + +💡 **行动呼吁：共建未来** +技术发展需要全社会参与。研究者、企业、政府和公众需要共同努力，确保AI技术造福人类。 + +### 14.4.5 经济与商业模式创新 + +**1. 新商业模式**： + +- **生成即服务（GaaS）**： + API经济的扩展 + +- **个性化定制**： + 大规模定制成为可能 + +- **创意市场**： + AI辅助创作的交易平台 + +- **订阅模式**： + 持续更新的AI能力 + +**2. 价值链重构**： + +``` +传统：创意 → 制作 → 分发 → 消费 +AI时代：想法 → AI生成 → 人工优化 → 个性化分发 +``` + +**3. 成本结构变化**： + +- **边际成本趋零**： + 数字内容生成成本大幅下降 + +- **质量民主化**： + 专业级质量普及化 + +- **时间成本降低**： + 创作周期大幅缩短 + +### 14.4.6 文化与艺术的转型 + +**1. 新艺术形式**： + +- **AI协作艺术**： + 人机共创的新流派 + +- **生成艺术**： + 算法美学的探索 + +- **交互艺术**： + 观众参与的动态作品 + +- **跨媒体艺术**： + 多模态融合创作 + +**2. 文化保护与传承**： + +- **数字修复**： + 文物和艺术品修复 + +- **风格保存**： + 传统艺术形式数字化 + +- **语言保护**： + 濒危语言的AI保存 + +- **文化翻译**： + 跨文化理解桥梁 + +**3. 创作民主化**： + +- 降低创作门槛 +- 激发大众创造力 +- 新的表达方式 +- 文化多样性增强 + +🌟 **文化愿景：增强而非替代** +AI应该增强人类创造力，而不是替代人类创作。技术是工具，创意和情感仍然是人类独有的财富。 + +### 14.4.7 长期社会愿景 + +**近期（2024-2026）**： +- AI工具普及化 +- 创作效率大幅提升 +- 初步监管框架建立 +- 商业模式探索 + +**中期（2027-2030）**： +- 人机协作成熟 +- 新职业大量涌现 +- 教育体系转型 +- 文化范式转变 + +**远期（2030+）**： +- 创意爆发时代 +- 个性化极致体验 +- 全新社会形态 +- 人类潜能释放 + +💡 **终极问题：人类的独特价值** +在AI越来越强大的时代，什么是人类独有的价值？创造力、情感、意识、道德判断——这些将定义我们的未来。 \ No newline at end of file diff --git a/index.md b/index.md index b270b83..9c29223 100644 --- a/index.md +++ b/index.md @@ -50,58 +50,6 @@ 从随机微分方程(SDE)和偏微分方程(PDE)角度理解扩散模型，包括概率流ODE、Fokker-Planck方程等连续时间框架。 -# 扩散模型教程 - -## Diffusion Models: From Theory to Practice - -欢迎来到扩散模型教程！本教程将带你从基础理论逐步深入到实际应用，帮助你全面理解和掌握扩散模型这一强大的生成模型技术。 - -每个章节包含： - -- 理论基础与数学推导 -- 可视化演示和交互式示例 -- 编程练习与实践项目 -- 习题与参考答案（默认折叠） - -## 前置知识要求 - -本教程假设读者已具备以下基础知识： - -- **概率论与统计**：随机变量、概率分布、期望、方差、贝叶斯定理 -- **线性代数**：矩阵运算、特征值分解、向量空间 -- **微积分**：多元微积分、偏导数、链式法则、泰勒展开 -- **深度学习基础**：神经网络、反向传播、卷积网络、Transformer -- **PyTorch 编程**：张量操作、自动微分、模型训练流程 - -如果对某些概念不熟悉，建议先补充相关知识再开始学习。附录部分提供了部分高级数学概念的速成指南。 - -## 课程章节 - -### [第1章：扩散模型导论](chapter1.md) -*已完成* - -介绍扩散模型的基本概念、历史发展、与其他生成模型的比较，以及前向扩散过程的数学基础。 - -### [第2章：神经网络架构：U-Net与ViT](chapter2.md) -*已完成* - -探索去噪网络的历史发展，从医学图像分割到生成模型，深入理解U-Net架构演进和Vision Transformer的崛起。 - -### [第3章：去噪扩散概率模型 (DDPM)](chapter3.md) -*已完成* - -深入理解DDPM的核心原理，包括前向过程、反向过程、变分下界推导、训练算法和完整实现。 - -### [第4章：基于分数的生成模型](chapter4.md) -*已完成* - -探索score matching和Langevin dynamics，理解扩散模型与分数函数的深层联系。 - -### [第5章：连续时间扩散模型 (PDE/SDE)](chapter5.md) -*已完成* - -从随机微分方程(SDE)和偏微分方程(PDE)角度理解扩散模型，包括概率流ODE、Fokker-Planck方程等连续时间框架。 - ### [第6章：流匹配 (Flow Matching)](chapter6.md) *计划中* From 8b584a6ea606d21de319ef921176ec09aa7f5c77 Mon Sep 17 00:00:00 2001 From: William Date: Sun, 27 Jul 2025 12:14:39 +0800 Subject: [PATCH 21/62] interim --- chapter14.md | 271 ++++++++++++++++++++++++++++++++++++++++++++++++++- index.md | 18 ++-- 2 files changed, 279 insertions(+), 10 deletions(-) diff --git a/chapter14.md b/chapter14.md index b9fa1a9..39fec11 100644 --- a/chapter14.md +++ b/chapter14.md @@ -1006,4 +1006,273 @@ AI应该增强人类创造力，而不是替代人类创作。技术是工具， - 人类潜能释放 💡 **终极问题：人类的独特价值** -在AI越来越强大的时代，什么是人类独有的价值？创造力、情感、意识、道德判断——这些将定义我们的未来。 \ No newline at end of file +在AI越来越强大的时代，什么是人类独有的价值？创造力、情感、意识、道德判断——这些将定义我们的未来。 + +## 14.5 研究方向与开放问题 + +### 14.5.1 基础理论的深层挑战 + +**1. 扩散过程的本质理解**： + +尽管扩散模型取得了巨大成功，但许多基础问题仍未解答： + +- **为什么扩散有效？** + - 去噪与生成的深层联系 + - 最优噪声调度的理论依据 + - 与其他生成范式的本质区别 + +- **信息理论视角**： + - 扩散过程的信息瓶颈 + - 最小描述长度原理 + - 压缩与生成的对偶性 + +- **统计物理联系**： + - 非平衡态统计力学 + - 自由能最小化 + - 相变与临界现象 + +**2. 数学基础的完善**： + +- **存在性与唯一性**： + SDE解的严格数学证明 + +- **收敛性保证**： + 有限步采样的误差界 + +- **最优性条件**： + 什么时候扩散是最优生成策略？ + +**3. 计算复杂性理论**： + +- **下界证明**： + 生成特定分布的最小计算量 + +- **近似算法**： + 快速近似的理论保证 + +- **量子加速可能性**： + 量子计算能否加速扩散？ + +🔬 **开放问题1：统一场论** +是否存在一个统一的数学框架，能够涵盖所有生成模型（VAE、GAN、Flow、Diffusion）？这个框架的核心原理是什么？ + +### 14.5.2 技术瓶颈与突破方向 + +**1. 采样速度的极限**： + +当前挑战： +- 高质量生成仍需多步 +- 一步生成质量下降 +- 实时应用受限 + +研究方向： +- **隐式采样**：避免显式迭代 +- **神经ODE加速**：更高效的求解器 +- **并行采样**：打破顺序依赖 + +**2. 超高分辨率生成**： + +技术瓶颈： +- 内存限制 +- 计算复杂度 +- 全局一致性 + +突破思路： +- **层次化生成**：多尺度协同 +- **隐式神经表示**：连续分辨率 +- **分布式架构**：跨设备协作 + +**3. 长序列建模**： + +挑战： +- 时间复杂度平方增长 +- 长程依赖捕获 +- 记忆效率 + +解决方案： +- **线性注意力**：降低复杂度 +- **压缩记忆**：高效存储 +- **分段处理**：局部全局结合 + +💡 **开放问题2：生成的物理极限** +给定计算资源，能生成的最复杂分布是什么？是否存在"生成复杂度"的普适定律？ + +### 14.5.3 跨学科融合机遇 + +**1. 神经科学启发**： + +大脑中的"扩散"机制： +- **预测编码**：大脑的生成模型 +- **噪声的作用**：随机共振现象 +- **分层处理**：皮层的层次结构 + +研究方向： +- 生物可信的扩散算法 +- 脉冲神经网络实现 +- 能量效率优化 + +**2. 物理学原理应用**： + +- **量子扩散**： + - 量子隧穿效应 + - 叠加态采样 + - 纠缠加速 + +- **统计力学**： + - 玻尔兹曼机联系 + - 退火算法改进 + - 临界现象利用 + +- **动力系统**： + - 混沌理论应用 + - 分岔分析 + - 吸引子设计 + +**3. 认知科学融合**： + +- **创造力模型**： + 人类创造过程的计算模型 + +- **美学理论**： + 计算美学的形式化 + +- **意识与生成**： + 意识在生成中的作用 + +
+**练习 14.5：探索跨学科研究** + +开展跨学科的创新研究。 + +1. **生物启发实验**： + - 研究视觉皮层的层次结构 + - 设计仿生扩散架构 + - 比较生物与人工系统 + +2. **物理原理验证**： + - 实现基于统计力学的生成模型 + - 探索量子启发的算法 + - 分析能量景观 + +3. **认知模型构建**： + - 设计创造力的计算模型 + - 实现美学评价系统 + - 研究生成与理解的关系 + +4. **跨界应用**： + - 将扩散应用于新领域 + - 寻找意外的联系 + - 提出新的研究问题 + +
+ +### 14.5.4 长期研究议程 + +**1. 通用人工智能（AGI）中的角色**： + +扩散模型在AGI中的定位： +- **世界模型**：环境的生成模型 +- **想象力引擎**：规划和推理 +- **知识表示**：概率化知识 + +研究问题： +- 如何整合感知、推理和生成？ +- 扩散模型能否学习因果关系？ +- 与强化学习的深度结合 + +**2. 意识与主观体验**： + +深层哲学问题： +- 生成模型是否具有某种"体验"？ +- 创造力的本质是什么？ +- 机器能否真正"理解"其生成内容？ + +**3. 超人类创造力**： + +未来可能： +- 生成人类无法想象的内容 +- 发现新的科学规律 +- 创造全新的艺术形式 + +🌟 **开放问题3：创造力的极限** +AI的创造力是否有上限？如果有，这个上限由什么决定？如果没有，意味着什么？ + +### 14.5.5 具体研究建议 + +**给博士生的建议**： + +1. **选题策略**： + - 结合理论与应用 + - 寻找跨学科机会 + - 关注长期影响 + +2. **研究方法**： + - 理论先行，实验验证 + - 开源贡献，社区合作 + - 持续学习，保持好奇 + +3. **职业发展**： + - 建立独特视角 + - 培养多元技能 + - 构建学术网络 + +**给产业研究者的建议**： + +1. **创新平衡**： + - 短期产品vs长期研究 + - 开放研究vs专有技术 + - 效率优化vs质量提升 + +2. **合作模式**： + - 产学研结合 + - 开源社区参与 + - 标准制定贡献 + +**给独立研究者的建议**： + +1. **资源利用**： + - 开源工具和数据 + - 云计算平台 + - 社区协作 + +2. **影响力建设**： + - 博客和教程 + - 开源项目 + - 学术发表 + +### 14.5.6 结语：未来已来 + +扩散模型的故事才刚刚开始。从2020年的DDPM到今天的一致性模型，短短几年间，这个领域经历了爆炸式发展。但这可能只是冰山一角。 + +**我们站在什么位置？** + +- 理论理解：初步建立，仍有深层奥秘 +- 技术能力：快速进步，接近实用门槛 +- 应用范围：不断扩展，超出想象 +- 社会影响：刚刚开始，未来深远 + +**下一个突破在哪里？** + +也许是一个优雅的数学理论，统一所有生成模型； +也许是一个巧妙的算法，实现真正的实时生成； +也许是一个意外的应用，改变整个行业； +也许是一个哲学洞察，重新定义创造力。 + +**给读者的寄语**： + +恭喜您完成了这段扩散模型的学习之旅！但这不是结束，而是开始。扩散模型领域充满机遇，等待着您的贡献。无论您是理论研究者、工程实践者，还是应用开发者，都能在这个领域找到自己的位置。 + +记住，最好的研究往往来自于： +- 深入的理解 +- 大胆的想象 +- 持续的努力 +- 开放的合作 + +愿您在扩散模型的研究道路上，既仰望星空，又脚踏实地。期待看到您的创新成果！ + +🌟 **最后的思考** +扩散模型教会我们：从噪声到结构，从混沌到秩序，这不仅是算法的原理，也是创新的隐喻。在研究的道路上，拥抱不确定性，相信过程，美好的结果终将涌现。 + +--- + +*感谢您的阅读。愿扩散模型的优雅激发您的创造力，愿您的研究如扩散过程般，从随机中诞生秩序，从噪声中创造美好。* \ No newline at end of file diff --git a/index.md b/index.md index 9c29223..6153236 100644 --- a/index.md +++ b/index.md @@ -51,47 +51,47 @@ 从随机微分方程(SDE)和偏微分方程(PDE)角度理解扩散模型，包括概率流ODE、Fokker-Planck方程等连续时间框架。 ### [第6章：流匹配 (Flow Matching)](chapter6.md) -*计划中* +*已完成* 连续正则化流、最优传输视角、与扩散模型的联系。 ### [第7章：扩散Transformer (DiT)](chapter7.md) -*计划中* +*已完成* Diffusion Transformer架构、与U-Net的对比、可扩展性分析。 ### [第8章：采样算法与加速技术](chapter8.md) -*计划中* +*已完成* 学习DDIM、DPM-Solver等快速采样方法，以及如何优化生成质量与速度的平衡。 ### [第9章：条件生成与引导技术](chapter9.md) -*计划中* +*已完成* 掌握classifier guidance、classifier-free guidance等条件生成技术，实现可控生成。 ### [第10章：潜在扩散模型 (LDM)](chapter10.md) -*计划中* +*已完成* 理解Stable Diffusion的架构，学习如何在潜在空间中进行高效的扩散建模。 ### [第11章：视频扩散模型](chapter11.md) -*计划中* +*已完成* 时序建模、3D U-Net、视频生成的挑战与方法。 ### [第12章：文本扩散模型](chapter12.md) -*计划中* +*已完成* 探索离散域上的扩散模型，包括D3PM、Diffusion-LM等文本生成方法，以及embedding空间的扩散技术。 ### [第13章：扩散模型的应用](chapter13.md) -*计划中* +*已完成* 探索图像生成、图像编辑、超分辨率、3D生成等实际应用场景。 ### [第14章：前沿研究与未来方向](chapter14.md) -*计划中* +*已完成* 了解最新研究进展，包括一致性模型、扩散模型的未来发展趋势。 From 116b947c9274fefe40132512c314dc056a1daa13 Mon Sep 17 00:00:00 2001 From: William Date: Sun, 27 Jul 2025 12:44:36 +0800 Subject: [PATCH 22/62] interim --- chapter12.md | 38 +++++++++++++++++++------------------- chapter13.md | 2 +- chapter14.md | 18 +++++++++--------- 3 files changed, 29 insertions(+), 29 deletions(-) diff --git a/chapter12.md b/chapter12.md index b7c0488..4bc698f 100644 --- a/chapter12.md +++ b/chapter12.md @@ -100,7 +100,7 @@ 2. **BLEU分数**： $$\text{BLEU} = \text{BP} \cdot \exp\left(\sum_{n=1}^4 w_n \log p_n\right)$$ - 其中$p_n$是n-gram精确率 + 其中 $p_n$ 是n-gram精确率 3. **语义相似度**： - BERTScore @@ -240,20 +240,20 @@ D3PM（Discrete Denoising Diffusion Probabilistic Models）通过将连续扩散 **前向过程定义**： -对于离散状态 $x \in \{1, 2, ..., K\}$（K是词汇表大小），前向过程定义为： +对于离散状态 $x \in \{1, 2, ..., K\}$ （K是词汇表大小），前向过程定义为： $$q(x_t|x_{t-1}) = \text{Cat}(x_t; \mathbf{Q}_t x_{t-1})$$ -其中 $\mathbf{Q}_t \in \mathbb{R}^{K \times K}$ 是转移矩阵，$\text{Cat}$ 表示分类分布。 +其中 $\mathbf{Q}_t \in \mathbb{R}^{K \times K}$ 是转移矩阵， $\text{Cat}$ 表示分类分布。 **转移矩阵的性质**： -1. **行随机矩阵**：$\sum_j Q_{ij} = 1$ +1. **行随机矩阵**： $\sum_j Q_{ij} = 1$ 2. **可逆性**：早期时刻的 $\mathbf{Q}_t$ 接近单位矩阵 -3. **收敛性**：$\mathbf{Q}_T$ 使分布收敛到先验 +3. **收敛性**： $\mathbf{Q}_T$ 使分布收敛到先验 **累积转移矩阵**： $$\bar{\mathbf{Q}}_t = \mathbf{Q}_1 \mathbf{Q}_2 \cdots \mathbf{Q}_t$$ -这允许我们直接从 $x_0$ 采样 $x_t$： +这允许我们直接从 $x_0$ 采样 $x_t$ ： $$q(x_t|x_0) = \text{Cat}(x_t; \bar{\mathbf{Q}}_t x_0)$$ 💡 **设计原则：平衡信息保留与噪声添加** @@ -266,7 +266,7 @@ D3PM提供了几种转移矩阵的设计方案： **1. 均匀转移（Uniform Transition）**： $$\mathbf{Q}_t = (1-\beta_t)\mathbf{I} + \beta_t \mathbf{1}\mathbf{1}^T/K$$ -其中 $\beta_t$ 是噪声调度，$\mathbf{1}$ 是全1向量。这种设计以概率 $\beta_t$ 将状态替换为均匀随机状态。 +其中 $\beta_t$ 是噪声调度， $\mathbf{1}$ 是全1向量。这种设计以概率 $\beta_t$ 将状态替换为均匀随机状态。 **2. 吸收态转移（Absorbing State）**： $$Q_{ij} = \begin{cases} @@ -282,10 +282,10 @@ $$Q_{ij} = \begin{cases} 基于词嵌入相似度设计转移概率： $$Q_{ij} \propto \exp(-\|\mathbf{e}_i - \mathbf{e}_j\|^2/\tau_t)$$ -其中 $\mathbf{e}_i$ 是词嵌入，$\tau_t$ 是温度参数。 +其中 $\mathbf{e}_i$ 是词嵌入， $\tau_t$ 是温度参数。 🔬 **研究方向：自适应转移矩阵** -能否学习数据依赖的转移矩阵？例如，频繁共现的词之间有更高的转移概率。这可能需要神经网络来参数化 $\mathbf{Q}_t$。 +能否学习数据依赖的转移矩阵？例如，频繁共现的词之间有更高的转移概率。这可能需要神经网络来参数化 $\mathbf{Q}_t$ 。 ### 12.2.3 反向过程与变分下界 @@ -430,11 +430,11 @@ Diffusion-LM通过在连续嵌入空间中进行扩散来避免离散性带来 **数学框架**： -设词嵌入矩阵为 $\mathbf{E} \in \mathbb{R}^{K \times d}$，其中K是词汇表大小，d是嵌入维度。 +设词嵌入矩阵为 $\mathbf{E} \in \mathbb{R}^{K \times d}$ ，其中K是词汇表大小，d是嵌入维度。 -- **嵌入步骤**：$\mathbf{e}_0 = \mathbf{E}[x_0]$（索引操作） -- **前向扩散**：$q(\mathbf{e}_t|\mathbf{e}_{t-1}) = \mathcal{N}(\mathbf{e}_t; \sqrt{1-\beta_t}\mathbf{e}_{t-1}, \beta_t\mathbf{I})$ -- **反向去噪**：$p_\theta(\mathbf{e}_{t-1}|\mathbf{e}_t) = \mathcal{N}(\mathbf{e}_{t-1}; \boldsymbol{\mu}_\theta(\mathbf{e}_t, t), \boldsymbol{\Sigma}_\theta(\mathbf{e}_t, t))$ +- **嵌入步骤**： $\mathbf{e}_0 = \mathbf{E}[x_0]$ （索引操作） +- **前向扩散**： $q(\mathbf{e}_t|\mathbf{e}_{t-1}) = \mathcal{N}(\mathbf{e}_t; \sqrt{1-\beta_t}\mathbf{e}_{t-1}, \beta_t\mathbf{I})$ +- **反向去噪**： $p_\theta(\mathbf{e}_{t-1}|\mathbf{e}_t) = \mathcal{N}(\mathbf{e}_{t-1}; \boldsymbol{\mu}_\theta(\mathbf{e}_t, t), \boldsymbol{\Sigma}_\theta(\mathbf{e}_t, t))$ **关键挑战**：如何从连续嵌入恢复离散token？ @@ -474,7 +474,7 @@ $$p(x_i|\hat{\mathbf{e}}_0) = \frac{\exp(-\|\hat{\mathbf{e}}_0 - \mathbf{E}[i]\| **3. Gumbel-Softmax重参数化**： $$\hat{x}_0 = \text{softmax}((\log \pi + g)/\tau)$$ -其中 $\pi_i \propto \exp(-\|\hat{\mathbf{e}}_0 - \mathbf{E}[i]\|^2)$，$g$ 是Gumbel噪声。 +其中 $\pi_i \propto \exp(-\|\hat{\mathbf{e}}_0 - \mathbf{E}[i]\|^2)$ ， $g$ 是Gumbel噪声。 **4. 强化学习方法**： 将离散化视为策略，使用REINFORCE或其他策略梯度方法。 @@ -551,9 +551,9 @@ $$\mathbf{E}_\text{anchor} = \text{frozen}, \quad \mathbf{E}_\text{rest} = \text $$\mathcal{L}_\text{total} = \mathcal{L}_\text{diffusion} + \lambda_1 \mathcal{L}_\text{reconstruct} + \lambda_2 \mathcal{L}_\text{regularize}$$ 其中： -- $\mathcal{L}_\text{diffusion}$：标准扩散损失 -- $\mathcal{L}_\text{reconstruct}$：离散重建损失 -- $\mathcal{L}_\text{regularize}$：嵌入正则化损失 +- $\mathcal{L}_\text{diffusion}$ ：标准扩散损失 +- $\mathcal{L}_\text{reconstruct}$ ：离散重建损失 +- $\mathcal{L}_\text{regularize}$ ：嵌入正则化损失 **优化技巧**： - 使用较小的学习率for嵌入矩阵 @@ -654,7 +654,7 @@ $$\mathcal{L}_\text{total} = \mathcal{L}_\text{diffusion} + \lambda_1 \mathcal{L **长度预测与控制**： 1. **显式长度条件**： - - 将目标长度作为额外条件：$p_\theta(\mathbf{x}_{t-1}|\mathbf{x}_t, t, L)$ + - 将目标长度作为额外条件： $p_\theta(\mathbf{x}_{t-1}|\mathbf{x}_t, t, L)$ - 训练时使用真实长度，推理时指定 2. **特殊标记方法**： @@ -663,7 +663,7 @@ $$\mathcal{L}_\text{total} = \mathcal{L}_\text{diffusion} + \lambda_1 \mathcal{L - 在扩散过程中保持这些标记的语义 3. **动态长度生成**： - - 先生成长度：$L \sim p_\theta(L|\mathbf{c})$ + - 先生成长度： $L \sim p_\theta(L|\mathbf{c})$ - 然后生成对应长度的内容 **位置编码策略**： diff --git a/chapter13.md b/chapter13.md index 0d4e71b..cfa916e 100644 --- a/chapter13.md +++ b/chapter13.md @@ -747,7 +747,7 @@ highly detailed, artstation trending, by Greg Rutkowski" **2. 基于点云的扩散**： -点云表示：$\mathcal{P} = \{(x_i, y_i, z_i)\}_{i=1}^N$ +点云表示： $\mathcal{P} = \{(x_i, y_i, z_i)\}_{i=1}^N$ 扩散过程： - 位置扩散：添加高斯噪声到坐标 diff --git a/chapter14.md b/chapter14.md index 39fec11..d5008d7 100644 --- a/chapter14.md +++ b/chapter14.md @@ -44,7 +44,7 @@ **核心思想**： -与扩散模型逐步去噪不同，一致性模型学习一个函数 $f_\theta$，直接将任意时刻的噪声数据映射到干净数据： +与扩散模型逐步去噪不同，一致性模型学习一个函数 $f_\theta$ ，直接将任意时刻的噪声数据映射到干净数据： $$f_\theta(\mathbf{x}_t, t) = \mathbf{x}_0, \quad \forall t \in [0, T]$$ @@ -86,11 +86,11 @@ $$\mathcal{L}(\theta) = \mathbb{E}_{t,\mathbf{x}_0,\boldsymbol{\epsilon}}\left[\ **技术细节**： 1. **参数化技巧**： - - 使用skip connection：$f_\theta(\mathbf{x}_t, t) = c_\text{skip}(t)\mathbf{x}_t + c_\text{out}(t)F_\theta(\mathbf{x}_t, t)$ - - 边界条件：$f_\theta(\mathbf{x}_0, 0) = \mathbf{x}_0$ + - 使用skip connection： $f_\theta(\mathbf{x}_t, t) = c_\text{skip}(t)\mathbf{x}_t + c_\text{out}(t)F_\theta(\mathbf{x}_t, t)$ + - 边界条件： $f_\theta(\mathbf{x}_0, 0) = \mathbf{x}_0$ 2. **训练策略**： - - 课程学习：从小$\Delta t$开始，逐渐增大 + - 课程学习：从小 $\Delta t$ 开始，逐渐增大 - EMA更新目标网络 - 数据增强提升鲁棒性 @@ -226,7 +226,7 @@ $$\frac{d\mathbf{x}_t}{dt} = f(t)\mathbf{x}_t + \frac{g^2(t)}{2\sigma_t}\nabla_{ 度量两个分布之间的"运输成本"。 2. **最优传输映射**： - 寻找从数据分布到噪声分布的最优映射 $T^*$： + 寻找从数据分布到噪声分布的最优映射 $T^*$ ： $$T^* = \arg\min_{T: T_\#\mu = \nu} \int \|\mathbf{x} - T(\mathbf{x})\|^2 d\mu(\mathbf{x})$$ 3. **动态最优传输**： @@ -325,7 +325,7 @@ $$\max_{p(\mathbf{z}|\mathbf{x}_t)} I(\mathbf{z}; \mathbf{x}_0) - \beta I(\mathb 2. **SDE/ODE统一**： $$d\mathbf{x}_t = f(t)\mathbf{x}_t dt + g(t)d\mathbf{w}_t$$ - 通过调整 $f$ 和 $g$，可以得到不同的生成模型。 + 通过调整 $f$ 和 $g$ ，可以得到不同的生成模型。 3. **能量视角统一**： 所有生成模型都在学习能量函数： @@ -396,7 +396,7 @@ $$\max_{p(\mathbf{z}|\mathbf{x}_t)} I(\mathbf{z}; \mathbf{x}_0) - \beta I(\mathb **基础问题**： 1. **样本复杂度**： - 生成 $\epsilon$-近似分布需要多少样本？ + 生成 $\epsilon$ -近似分布需要多少样本？ $$n = \Omega\left(\frac{d}{\epsilon^2}\right) ?$$ 2. **计算复杂度**： @@ -428,7 +428,7 @@ $$\max_{p(\mathbf{z}|\mathbf{x}_t)} I(\mathbf{z}; \mathbf{x}_0) - \beta I(\mathb **1. 状态空间模型（SSM）在扩散中的应用**： Mamba等架构带来的新可能： -- **线性复杂度**：$O(L)$ vs Transformer的 $O(L^2)$ +- **线性复杂度**： $O(L)$ vs Transformer的 $O(L^2)$ - **长序列建模**：处理超长序列（>100k tokens） - **选择性机制**：动态调整信息流 @@ -478,7 +478,7 @@ Mamba等架构带来的新可能： - **结构化稀疏**： - 块稀疏：以块为单位的稀疏模式 - 低秩分解：注意力矩阵的低秩近似 - - 蝶形变换：$O(N\log N)$ 复杂度 + - 蝶形变换： $O(N\log N)$ 复杂度 **2. 混合精度与量化**： From 0e7d85b76e0c7b76b4efcb1e74fdbc8cc5819f9c Mon Sep 17 00:00:00 2001 From: William Date: Sun, 27 Jul 2025 12:49:30 +0800 Subject: [PATCH 23/62] interim --- add_latex_spaces.py | 88 +++++++++++++++++++++++++++++++++++++++++++ remove_code_blocks.py | 49 ++++++++++++++++++++++++ 2 files changed, 137 insertions(+) create mode 100755 add_latex_spaces.py create mode 100644 remove_code_blocks.py diff --git a/add_latex_spaces.py b/add_latex_spaces.py new file mode 100755 index 0000000..1d9a8b1 --- /dev/null +++ b/add_latex_spaces.py @@ -0,0 +1,88 @@ +#!/usr/bin/env python3 +"""Add spaces around single dollar LaTeX expressions in markdown files.""" + +import re +import sys + +def add_spaces_around_latex(content): + """Add spaces around single dollar LaTeX expressions. + + Examples: + "我$a+b$，" -> "我 $a+b$ ，" + "其中$x$是" -> "其中 $x$ 是" + """ + # Pattern to match single dollar signs with content between them + # Negative lookbehind and lookahead to avoid matching double dollars + pattern = r'(? 0 else '' + after_char = content[end_pos] if end_pos < len(content) else '' + + # Add space before if needed (not already space or newline or start of string) + prefix = ' ' if before_char and before_char not in ' \n\t' else '' + + # Add space after if needed (not already space or newline or end of string) + suffix = ' ' if after_char and after_char not in ' \n\t' else '' + + return f"{prefix}${latex_content}${suffix}" + + # First pass: add spaces around LaTeX + result = content + + # We need to process from end to beginning to avoid position shifts + matches = list(re.finditer(pattern, content)) + for match in reversed(matches): + start_pos = match.start() + end_pos = match.end() + + # Get surrounding characters + before_char = content[start_pos - 1] if start_pos > 0 else '' + after_char = content[end_pos] if end_pos < len(content) else '' + + # Build replacement with appropriate spaces + latex_expr = match.group(0) + replacement = latex_expr + + # Add space before if needed + if before_char and before_char not in ' \n\t': + replacement = ' ' + replacement + + # Add space after if needed + if after_char and after_char not in ' \n\t': + replacement = replacement + ' ' + + # Replace in result + result = result[:start_pos] + replacement + result[end_pos:] + + return result + +def process_file(filepath): + """Process a markdown file to add spaces around LaTeX.""" + print(f"Processing {filepath}...") + + with open(filepath, 'r', encoding='utf-8') as f: + content = f.read() + + # Add spaces around LaTeX + processed_content = add_spaces_around_latex(content) + + # Write back + with open(filepath, 'w', encoding='utf-8') as f: + f.write(processed_content) + + print(f"Completed processing {filepath}") + +if __name__ == "__main__": + if len(sys.argv) < 2: + print("Usage: python add_latex_spaces.py [file2.md ...]") + sys.exit(1) + + for filepath in sys.argv[1:]: + process_file(filepath) \ No newline at end of file diff --git a/remove_code_blocks.py b/remove_code_blocks.py new file mode 100644 index 0000000..04627c2 --- /dev/null +++ b/remove_code_blocks.py @@ -0,0 +1,49 @@ +#!/usr/bin/env python3 +import re +import sys + +def remove_code_blocks(content): + """Remove all ```python code blocks and replace with descriptions.""" + + # Pattern to match code blocks with context + # This captures text before the code block to understand context + pattern = r'(\*\*[^*]+\*\*：\s*\n)(```python\n[\s\S]*?```)' + + def replace_code_block(match): + context = match.group(1) + # Keep the context header but remove the code + return context + "\n[代码实现已转换为数学公式和文字描述]" + + # First pass: replace code blocks that have clear context headers + content = re.sub(pattern, replace_code_block, content) + + # Second pass: remove any remaining standalone code blocks + content = re.sub(r'```python\n[\s\S]*?```', '[代码块已移除]', content) + + return content + +def process_file(filepath): + with open(filepath, 'r', encoding='utf-8') as f: + content = f.read() + + # Remove code blocks + new_content = remove_code_blocks(content) + + # Write back + with open(filepath, 'w', encoding='utf-8') as f: + f.write(new_content) + + # Count how many blocks were removed + original_count = content.count('```python') + new_count = new_content.count('```python') + removed = original_count - new_count + + print(f"Removed {removed} Python code blocks from {filepath}") + +if __name__ == "__main__": + if len(sys.argv) > 1: + filepath = sys.argv[1] + else: + filepath = "chapter10.md" + + process_file(filepath) \ No newline at end of file From cd346930150f5e21d7b611f70bfbfd7c694bf329 Mon Sep 17 00:00:00 2001 From: William Date: Sun, 27 Jul 2025 12:51:04 +0800 Subject: [PATCH 24/62] interim --- add_latex_spaces.py | 49 +++++++++++++++++++++------------------------ chapter12.md | 33 ++++++++++++++++++++---------- 2 files changed, 45 insertions(+), 37 deletions(-) diff --git a/add_latex_spaces.py b/add_latex_spaces.py index 1d9a8b1..9fa6e74 100755 --- a/add_latex_spaces.py +++ b/add_latex_spaces.py @@ -1,50 +1,47 @@ #!/usr/bin/env python3 -"""Add spaces around single dollar LaTeX expressions in markdown files.""" +"""Add spaces around single dollar LaTeX expressions and ensure newlines before $$ blocks in markdown files.""" import re import sys def add_spaces_around_latex(content): - """Add spaces around single dollar LaTeX expressions. + """Add spaces around single dollar LaTeX expressions and ensure newline before $$ blocks. Examples: "我$a+b$，" -> "我 $a+b$ ，" "其中$x$是" -> "其中 $x$ 是" + "文字$$公式$$" -> "文字\n$$公式$$" """ - # Pattern to match single dollar signs with content between them - # Negative lookbehind and lookahead to avoid matching double dollars - pattern = r'(? 0 else '' - after_char = content[end_pos] if end_pos < len(content) else '' + def ensure_newline_before_display(match): + before_char = match.group(1) + display_start = match.group(2) + rest = match.group(3) - # Add space before if needed (not already space or newline or start of string) - prefix = ' ' if before_char and before_char not in ' \n\t' else '' - - # Add space after if needed (not already space or newline or end of string) - suffix = ' ' if after_char and after_char not in ' \n\t' else '' - - return f"{prefix}${latex_content}${suffix}" + # Add newline before $$ if not already there + return f"{before_char}\n{display_start}{rest}" + + # Apply display math fix + result = re.sub(display_pattern, ensure_newline_before_display, content) - # First pass: add spaces around LaTeX - result = content + # Now handle single $ inline math + # Pattern to match single dollar signs with content between them + # Negative lookbehind and lookahead to avoid matching double dollars + pattern = r'(? 0 else '' - after_char = content[end_pos] if end_pos < len(content) else '' + before_char = result[start_pos - 1] if start_pos > 0 else '' + after_char = result[end_pos] if end_pos < len(result) else '' # Build replacement with appropriate spaces latex_expr = match.group(0) diff --git a/chapter12.md b/chapter12.md index 4bc698f..75ac109 100644 --- a/chapter12.md +++ b/chapter12.md @@ -96,10 +96,12 @@ **自动评估指标**： 1. **困惑度（Perplexity）**： - $$\text{PPL} = \exp\left(-\frac{1}{N}\sum_{i=1}^N \log p(x_i|x_{ **练习 12.3：探索嵌入空间扩散** @@ -701,7 +711,8 @@ $$\mathcal{L}_\text{total} = \mathcal{L}_\text{diffusion} + \lambda_1 \mathcal{L - 灵活且表达力强 3. **FiLM调制（Feature-wise Linear Modulation）**： - $$\mathbf{h} = \gamma(\mathbf{c}) \odot \mathbf{h} + \beta(\mathbf{c})$$ + +$$\mathbf{h} = \gamma(\mathbf{c}) \odot \mathbf{h} + \beta(\mathbf{c})$$ - 计算高效 - 全局调制效果 From 48c0032265679039dd265e82d8fe6ed109074c89 Mon Sep 17 00:00:00 2001 From: William Date: Sun, 27 Jul 2025 13:00:59 +0800 Subject: [PATCH 25/62] interim --- chapter1.md | 3 ++- chapter12.md | 9 ++++++--- chapter13.md | 26 +++++++++++++++----------- chapter14.md | 42 ++++++++++++++++++++++++++++-------------- chapter4.md | 39 ++++++++++++++++++++++++++------------- chapter7.md | 6 ++++-- chapter8.md | 18 ++++++++++++------ chapter9.md | 30 ++++++++++++++++++++---------- 8 files changed, 113 insertions(+), 60 deletions(-) diff --git a/chapter1.md b/chapter1.md index d3dc4d6..d7b2bf0 100644 --- a/chapter1.md +++ b/chapter1.md @@ -34,7 +34,8 @@ $$q(\mathbf{x}_t | \mathbf{x}_{t-1}) = \mathcal{N}(\mathbf{x}_t; \sqrt{1-\beta_t 通过重参数化技巧（reparameterization trick），我们可以直接从 $\mathbf{x}_0$ 采样任意时刻 $t$ 的 $\mathbf{x}_t$ ，而无需迭代计算： -$$ \mathbf{x}_t = \sqrt{\bar{\alpha}_t}\mathbf{x}_0 + \sqrt{1-\bar{\alpha}_t}\boldsymbol{\epsilon}, \quad \boldsymbol{\epsilon} \sim \mathcal{N}(0, \mathbf{I})$$ +$$ \mathbf{x}_t = \sqrt{\bar{\alpha}_t}\mathbf{x}_0 + \sqrt{1-\bar{\alpha}_t}\boldsymbol{\epsilon}, \quad \boldsymbol{\epsilon} \sim \mathcal{N}(0, \mathbf{I}) +$$ 这等价于条件概率： $$q(\mathbf{x}_t | \mathbf{x}_0) = \mathcal{N}(\mathbf{x}_t; \sqrt{\bar{\alpha}_t}\mathbf{x}_0, (1-\bar{\alpha}_t)\mathbf{I})$$ diff --git a/chapter12.md b/chapter12.md index 75ac109..728b96f 100644 --- a/chapter12.md +++ b/chapter12.md @@ -97,7 +97,8 @@ **自动评估指标**： 1. **困惑度（Perplexity）**： -$$\text{PPL} = \exp\left(-\frac{1}{N}\sum_{i=1}^N \log p(x_i|x_{ \sigma_2 > \cdots > \sigma_L$$ +$$\{\sigma_i\}_{i=1}^L, \quad \sigma_1 > \sigma_2 > \cdots > \sigma_L +$$ **动机**： - 大噪声帮助覆盖整个空间，避免模式遗漏 @@ -242,7 +250,8 @@ $$x_{k+1} = x_k + \epsilon s_\theta(x_k) + \sqrt{2\epsilon}\xi_k$$ 标准Langevin采样很慢，几种加速技术： 1. **预条件Langevin动力学** - $$dX_t = G(X_t)\nabla \log p(X_t)dt + \sqrt{2G(X_t)}dW_t$$ + +$$dX_t = G(X_t)\nabla \log p(X_t)dt + \sqrt{2G(X_t)}dW_t$$ 其中 $G(x)$ 是预条件矩阵。 @@ -281,10 +290,12 @@ $$x_{k+1} = x_k + \epsilon s_\theta(x_k) + \sqrt{2\epsilon}\xi_k$$ 关键发现：DDPM的去噪目标等价于分数匹配！ DDPM学习： -$$\mathbb{E}[\|\epsilon - \epsilon_\theta(x_t, t)\|^2]$$ +$$\mathbb{E}[\|\epsilon - \epsilon_\theta(x_t, t)\|^2] +$$ 而加噪数据的分数函数： -$$\nabla_{x_t} \log p_t(x_t) = -\frac{\epsilon}{\sqrt{1-\bar{\alpha}_t}}$$ +$$\nabla_{x_t} \log p_t(x_t) = -\frac{\epsilon}{\sqrt{1-\bar{\alpha}_t}} +$$ 因此DDPM实际上在学习（重新缩放的）分数函数。 @@ -295,7 +306,8 @@ $$\nabla_{x_t} \log p_t(x_t) = -\frac{\epsilon}{\sqrt{1-\bar{\alpha}_t}}$$ Song et al. (2021) 提出了统一的SDE框架： 前向SDE： -$$dx = f(x,t)dt + g(t)dW_t$$ +$$dx = f(x,t)dt + g(t)dW_t +$$ 对应的反向SDE： $$dx = [f(x,t) - g(t)^2\nabla_x \log p_t(x)]dt + g(t)d\bar{W}_t$$ @@ -349,7 +361,8 @@ $$dx = [f(x,t) - \frac{1}{2}g(t)^2\nabla_x \log p_t(x)]dt$$ 给定条件 $y$ ，如何建模 $p(x|y)$ 的分数？ **方法1：直接建模** -$$s_\theta(x, y, t) \approx \nabla_x \log p_t(x|y)$$ +$$s_\theta(x, y, t) \approx \nabla_x \log p_t(x|y) +$$ **方法2：分类器引导** $$\nabla_x \log p(x|y) = \nabla_x \log p(x) + \nabla_x \log p(y|x)$$ diff --git a/chapter7.md b/chapter7.md index d13f1d7..4f0aa3a 100644 --- a/chapter7.md +++ b/chapter7.md @@ -90,10 +90,12 @@ Zero初始化确保模型在训练初期表现得像一个恒等函数，这对 每个DiT block包含： 1. **多头自注意力（Multi-Head Self-Attention）** - $$\text{Attention}(Q,K,V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$$ + +$$\text{Attention}(Q,K,V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$$ 2. **逐点前馈网络（Pointwise Feedforward）** - $$\text{FFN}(x) = \text{GELU}(xW_1 + b_1)W_2 + b_2$$ + +$$\text{FFN}(x) = \text{GELU}(xW_1 + b_1)W_2 + b_2$$ 3. **AdaLN调制** - 在每个子层前应用AdaLN diff --git a/chapter8.md b/chapter8.md index b8c2ccf..5b77022 100644 --- a/chapter8.md +++ b/chapter8.md @@ -55,7 +55,8 @@ DDIM通过重新参数化前向过程，巧妙地解决了这些问题。 DDIM的关键洞察是：存在一族非马尔可夫前向过程，它们具有相同的边缘分布 $q(\mathbf{x}_t|\mathbf{x}_0)$ ，但对应的反向过程可以是确定性的。 具体地，DDIM定义了一个新的前向过程： -$$q_\sigma(\mathbf{x}_{t-1}|\mathbf{x}_t, \mathbf{x}_0) = \mathcal{N}(\mathbf{x}_{t-1}; \tilde{\boldsymbol{\mu}}_t(\mathbf{x}_t, \mathbf{x}_0), \sigma_t^2\mathbf{I})$$ +$$q_\sigma(\mathbf{x}_{t-1}|\mathbf{x}_t, \mathbf{x}_0) = \mathcal{N}(\mathbf{x}_{t-1}; \tilde{\boldsymbol{\mu}}_t(\mathbf{x}_t, \mathbf{x}_0), \sigma_t^2\mathbf{I}) +$$ 其中： $$\tilde{\boldsymbol{\mu}}_t(\mathbf{x}_t, \mathbf{x}_0) = \sqrt{\bar{\alpha}_{t-1}}\mathbf{x}_0 + \sqrt{1 - \bar{\alpha}_{t-1} - \sigma_t^2} \cdot \frac{\mathbf{x}_t - \sqrt{\bar{\alpha}_t}\mathbf{x}_0}{\sqrt{1 - \bar{\alpha}_t}}$$ @@ -114,7 +115,8 @@ DDIM最小化了一个修改后的变分下界，其中KL散度项被重新加 **2. 数值ODE求解器视角** 当 $\eta = 0$ 时，DDIM等价于求解概率流ODE： -$$\frac{d\mathbf{x}_t}{dt} = -\frac{1}{2}\beta_t\left[\mathbf{x}_t + \nabla_{\mathbf{x}_t} \log p_t(\mathbf{x}_t)\right]$$ +$$\frac{d\mathbf{x}_t}{dt} = -\frac{1}{2}\beta_t\left[\mathbf{x}_t + \nabla_{\mathbf{x}_t} \log p_t(\mathbf{x}_t)\right] +$$ **3. 最优传输视角** @@ -136,7 +138,8 @@ $$d\mathbf{x} = \mathbf{f}(\mathbf{x}, t)dt + g(t)d\mathbf{w}$$ - $\mathbf{w}$ ：标准维纳过程 对于DDPM/DDIM，相应的SDE是： -$$d\mathbf{x} = -\frac{1}{2}\beta(t)\mathbf{x}dt + \sqrt{\beta(t)}d\mathbf{w}$$ +$$d\mathbf{x} = -\frac{1}{2}\beta(t)\mathbf{x}dt + \sqrt{\beta(t)}d\mathbf{w} +$$ ### 8.2.2 反向时间SDE @@ -234,10 +237,12 @@ $$\boldsymbol{\epsilon}_\theta(\mathbf{x}_\tau, \tau) = \sum_{n=0}^{k-1} \frac{( DPM-Solver++引入了两个关键改进： 1. **数据预测参数化**：预测 $\mathbf{x}_0$ 而非 $\boldsymbol{\epsilon}$ - $$\mathbf{x}_0 = \frac{\mathbf{x}_t - \sigma_t\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t)}{\alpha_t}$$ + +$$\mathbf{x}_0 = \frac{\mathbf{x}_t - \sigma_t\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t)}{\alpha_t}$$ 2. **thresholding**：动态裁剪防止数值不稳定 - $$\mathbf{x}_0 = \text{clip}(\mathbf{x}_0, -1, 1)$$ + +$$\mathbf{x}_0 = \text{clip}(\mathbf{x}_0, -1, 1)$$ **算法伪代码**： @@ -297,7 +302,8 @@ $$\mathcal{L} = \mathbb{E}_{t,\mathbf{x}_0,\boldsymbol{\epsilon}}\left[\|f_\thet 一致性模型(Consistency Models)学习映射函数 $f_\theta$ ，使得同一轨迹上的所有点映射到相同的起点： -$$f_\theta(\mathbf{x}_t, t) = f_\theta(\mathbf{x}_s, s), \quad \forall s, t \in [0, T]$$ +$$f_\theta(\mathbf{x}_t, t) = f_\theta(\mathbf{x}_s, s), \quad \forall s, t \in [0, T] +$$ **自一致性损失**： $$\mathcal{L} = \mathbb{E}\left[\|f_\theta(\mathbf{x}_t, t) - f_{\theta^-}(\mathbf{x}_s, s)\|^2\right]$$ diff --git a/chapter9.md b/chapter9.md index 139620a..2cc427f 100644 --- a/chapter9.md +++ b/chapter9.md @@ -117,10 +117,12 @@ $$\mathbf{e}_{joint} = \text{MLP}(\mathbf{e}_t + \mathbf{e}_c)$$ $$\mathbf{c}_{train} = \begin{cases} \mathbf{c} & \text{with probability } 1-p_{uncond} \\ \varnothing & \text{with probability } p_{uncond} -\end{cases}$$ +\end{cases} +$$ 然后正常计算去噪损失： -$$\mathcal{L} = \mathbb{E}_{t,\mathbf{x}_0,\boldsymbol{\epsilon}}\left[\|\boldsymbol{\epsilon} - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c}_{train})\|^2\right]$$ +$$\mathcal{L} = \mathbb{E}_{t,\mathbf{x}_0,\boldsymbol{\epsilon}}\left[\|\boldsymbol{\epsilon} - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c}_{train})\|^2\right] +$$ 这是无分类器引导的基础，使模型能够同时进行条件和无条件生成。 @@ -173,7 +175,8 @@ $$\mathcal{L}_{total} = \mathcal{L}_{uncond} + \lambda_1\mathcal{L}_{class} + \l **变分下界的条件版本**： -$$\log p_\theta(\mathbf{x}_0|\mathbf{c}) \geq \mathbb{E}_q\left[\log p_\theta(\mathbf{x}_0|\mathbf{x}_1, \mathbf{c}) - \sum_{t=2}^T D_{KL}(q(\mathbf{x}_{t-1}|\mathbf{x}_t, \mathbf{x}_0) \| p_\theta(\mathbf{x}_{t-1}|\mathbf{x}_t, \mathbf{c}))\right]$$ +$$\log p_\theta(\mathbf{x}_0|\mathbf{c}) \geq \mathbb{E}_q\left[\log p_\theta(\mathbf{x}_0|\mathbf{x}_1, \mathbf{c}) - \sum_{t=2}^T D_{KL}(q(\mathbf{x}_{t-1}|\mathbf{x}_t, \mathbf{x}_0) \| p_\theta(\mathbf{x}_{t-1}|\mathbf{x}_t, \mathbf{c}))\right] +$$ 这保证了模型学习的是真实的条件分布。 @@ -210,7 +213,8 @@ $$q(\mathbf{x}_t|\mathbf{x}_0, \mathbf{c}) = q(\mathbf{x}_t|\mathbf{x}_0)$$ 分类器引导的核心思想是使用外部分类器的梯度来引导扩散模型的采样过程。我们从贝叶斯规则开始： -$$\nabla_{\mathbf{x}_t} \log p(\mathbf{x}_t|\mathbf{c}) = \nabla_{\mathbf{x}_t} \log p(\mathbf{x}_t) + \nabla_{\mathbf{x}_t} \log p(\mathbf{c}|\mathbf{x}_t)$$ +$$\nabla_{\mathbf{x}_t} \log p(\mathbf{x}_t|\mathbf{c}) = \nabla_{\mathbf{x}_t} \log p(\mathbf{x}_t) + \nabla_{\mathbf{x}_t} \log p(\mathbf{c}|\mathbf{x}_t) +$$ 第一项是无条件分数，第二项是分类器的梯度。这给出了条件采样的更新规则： @@ -268,7 +272,8 @@ $$\tilde{\boldsymbol{\epsilon}}_\theta(\mathbf{x}_t, t, \mathbf{c}) = \boldsymbo 不同时间步的梯度量级差异很大，需要自适应缩放。根据噪声水平调整： -$$\nabla_{scaled} = \frac{1}{\sqrt{1-\bar{\alpha}_t}} \cdot \nabla_{\mathbf{x}_t} \log p_\phi(\mathbf{c}|\mathbf{x}_t)$$ +$$\nabla_{scaled} = \frac{1}{\sqrt{1-\bar{\alpha}_t}} \cdot \nabla_{\mathbf{x}_t} \log p_\phi(\mathbf{c}|\mathbf{x}_t) +$$ 这种缩放补偿了不同噪声水平下的信号强度差异。 @@ -355,7 +360,8 @@ $$\tilde{\boldsymbol{\epsilon}} = \begin{cases} 使用空间掩码 $\mathbf{M}$ 只对图像的特定区域应用引导： -$$\tilde{\boldsymbol{\epsilon}} = \boldsymbol{\epsilon}_\theta - s\sqrt{1-\bar{\alpha}_t}(\mathbf{M} \odot \nabla \log p_\phi(\mathbf{c}|\mathbf{x}_t))$$ +$$\tilde{\boldsymbol{\epsilon}} = \boldsymbol{\epsilon}_\theta - s\sqrt{1-\bar{\alpha}_t}(\mathbf{M} \odot \nabla \log p_\phi(\mathbf{c}|\mathbf{x}_t)) +$$ 这允许精细的空间控制。 @@ -550,7 +556,8 @@ $$\tilde{\boldsymbol{\epsilon}} = \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, 根据预测的不确定性调整引导强度。一种方法是基于条件和无条件预测的差异： -$$w_{adaptive} = w_{base} \cdot \exp(-\alpha \cdot ||\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c}) - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing)||)$$ +$$w_{adaptive} = w_{base} \cdot \exp(-\alpha \cdot ||\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c}) - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing)||) +$$ 当预测差异较大时，说明模型对条件的理解存在不确定性，此时减小引导权重可以避免过度放大误差。 @@ -615,7 +622,8 @@ $$\tilde{\boldsymbol{\epsilon}} = \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, **1. 基础负向提示** 组合正向和负向条件的公式： -$$\tilde{\boldsymbol{\epsilon}} = \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing) + w_{pos}[\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c}_{pos}) - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing)] - w_{neg}[\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c}_{neg}) - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing)]$$ +$$\tilde{\boldsymbol{\epsilon}} = \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing) + w_{pos}[\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c}_{pos}) - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing)] - w_{neg}[\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c}_{neg}) - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing)] +$$ 这个公式使得生成朝着正向条件移动，同时远离负向条件。 @@ -643,7 +651,8 @@ $$w_{neg} = w_{neg,base} \cdot (1 + \alpha \cdot \text{sim}(\mathbf{c}_{pos}, \m **1. 时间相关的引导** 使用余弦调度的引导权重： -$$w(t) = w_{min} + (w_{max} - w_{min}) \cdot \frac{1 + \cos(\pi \cdot t/T)}{2}$$ +$$w(t) = w_{min} + (w_{max} - w_{min}) \cdot \frac{1 + \cos(\pi \cdot t/T)}{2} +$$ 这种调度在初期和末期使用较弱的引导，中期使用较强的引导，形成平滑的过渡。 @@ -732,7 +741,8 @@ $$\mathbf{h} = \mathbf{x} + \text{UP}(\text{GELU}(\text{DOWN}(\mathbf{c})))$$ **1. 级联引导** 级联引导通过逐步应用不同的条件来细化生成结果。每个阶段应用一个条件，并可选择地在阶段之间执行部分去噪： -$$\mathbf{x}^{(i+1)} = \text{ApplyGuidance}(\mathbf{x}^{(i)}, t, \mathbf{c}_i, w_i)$$ +$$\mathbf{x}^{(i+1)} = \text{ApplyGuidance}(\mathbf{x}^{(i)}, t, \mathbf{c}_i, w_i) +$$ 这种方法特别适合处理层次化的条件，如先应用全局布局条件，再应用局部细节条件。 From 638d41107f671e76e1d257d3f38414eab36f94ea Mon Sep 17 00:00:00 2001 From: William Date: Sun, 27 Jul 2025 13:06:37 +0800 Subject: [PATCH 26/62] interim --- appendix-a.md | 6 ++++-- appendix-b.md | 3 ++- appendix-c.md | 18 ++++++++++++------ chapter14.md | 24 ++++++++++++++++-------- chapter7.md | 3 ++- chapter8.md | 6 ++++-- 6 files changed, 40 insertions(+), 20 deletions(-) diff --git a/appendix-a.md b/appendix-a.md index 80f54f7..dee56ec 100644 --- a/appendix-a.md +++ b/appendix-a.md @@ -76,7 +76,8 @@ > **定理 A.3 (伊藤公式)** > 设 `X_t` 满足SDE `dX_t = μ_t dt + σ_t dB_t`，`f(x, t)` 是一个足够光滑的函数，则： -> $$df(X_t, t) = \left(\frac{\partial f}{\partial t} + \mu_t \frac{\partial f}{\partial x} + \frac{1}{2}\sigma_t^2 \frac{\partial^2 f}{\partial x^2}\right)dt + \sigma_t \frac{\partial f}{\partial x} dB_t$$ +> +$$df(X_t, t) = \left(\frac{\partial f}{\partial t} + \mu_t \frac{\partial f}{\partial x} + \frac{1}{2}\sigma_t^2 \frac{\partial^2 f}{\partial x^2}\right)dt + \sigma_t \frac{\partial f}{\partial x} dB_t$$ > 核心区别在于比普通链式法则多出的一项：`1/2 * σ_t^2 * ∂^2f/∂x^2`，这被称为**伊藤修正项**，它正是来源于 `(dB_t)^2 = dt`。
@@ -96,7 +97,8 @@ SDE描述了受随机扰动影响的动态系统，是扩散模型的数学语 > **定义 A.4 (SDE)** > 一个典型的SDE具有形式： -> $$dX_t = b(X_t, t)dt + \sigma(X_t, t)dB_t$$ +> +$$dX_t = b(X_t, t)dt + \sigma(X_t, t)dB_t$$ > - **漂移项 `b(X_t, t)`**: 描述系统的确定性平均行为。 > - **扩散项 `σ(X_t, t)`**: 描述随机波动的强度。 diff --git a/appendix-b.md b/appendix-b.md index 7d8284e..90f5073 100644 --- a/appendix-b.md +++ b/appendix-b.md @@ -10,7 +10,8 @@ > **定义 B.1 (一般BSDE)** > 一个BSDE的解是一对随机过程 `(Y_t, Z_t)`，满足： -> $$-dY_t = f(t, Y_t, Z_t)dt - Z_t dW_t$$ +> +$$-dY_t = f(t, Y_t, Z_t)dt - Z_t dW_t$$ > 并满足一个**终端条件** `Y_T = ξ`。 **与FSDE的核心区别**： diff --git a/appendix-c.md b/appendix-c.md index 00af2e3..8ec2c19 100644 --- a/appendix-c.md +++ b/appendix-c.md @@ -14,7 +14,8 @@ - **Fisher信息度量**: 这个流形上的“距离”不是欧几里得距离，而是由**Fisher信息矩阵** `I(θ)` 定义的黎曼度量。两点之间的最短路径是测地线（geodesic）。 > **定义 C.1 (Fisher信息矩阵)** > 对于参数化的概率分布族 `{p(x; θ)}`，Fisher信息矩阵定义为： - > $$I_{ij}( heta) = \mathbb{E}_{p(x;\theta)}\left[\frac{\partial \log p(x;\theta)}{\partial \theta_i} \frac{\partial \log p(x;\theta)}{\partial \theta_j}\right]$$ + > +$$I_{ij}( heta) = \mathbb{E}_{p(x;\theta)}\left[\frac{\partial \log p(x;\theta)}{\partial \theta_i} \frac{\partial \log p(x;\theta)}{\partial \theta_j}\right]$$ 它衡量了当我们微小地改变参数 `θ` 时，概率分布 `p(x; θ)` 的变化有多大。信息矩阵的元素越大，表示分布对该方向的参数变化越敏感。 ### C.1.2 自然梯度 (Natural Gradient) @@ -23,7 +24,8 @@ > **定义 C.2 (自然梯度)** > 设 `L(θ)` 是关于参数 `θ` 的损失函数，普通梯度为 `g = ∇_θ L`。自然梯度 `g_nat` 定义为： -> $$\tilde{g} = I(\theta)^{-1} g$$ +> +$$\tilde{g} = I(\theta)^{-1} g$$ > 优化步骤变为：`θ_{t+1} = θ_t - α * I(θ_t)^{-1} * g_t`。 💡 **关键洞察**：自然梯度下降具有**参数化不变性**。无论我们如何对模型进行重新参数化（例如，线性变换），其在概率流形上的优化路径都是相同的。而普通梯度下降的路径则会随参数化的改变而改变。这使得自然梯度在理论上是优化概率模型的更优选择。 @@ -58,7 +60,8 @@ Stein恒等式是连接分数函数与概率分布的桥梁，它构成了分数 > **定理 C.3 (Stein恒等式)** > 对于一个足够光滑的测试函数 `φ(x)` 和概率密度 `p(x)`，在一定边界条件下成立： -> $$\mathbb{E}_{p(x)}[\nabla_x \cdot \phi(x) + \phi(x) \cdot \nabla_x \log p(x)] = 0$$ +> +$$\mathbb{E}_{p(x)}[\nabla_x \cdot \phi(x) + \phi(x) \cdot \nabla_x \log p(x)] = 0$$ 💡 **关键洞察**：这个恒等式只涉及分数 `∇log p(x)` 和 `p(x)` 的期望，而完全不依赖于 `p(x)` 本身及其归一化常数。这使得我们可以在只拥有 `p(x)` 的样本的情况下，通过最小化Stein恒等式的残差来学习其分数函数，这正是**分数匹配**的核心思想。 @@ -68,9 +71,11 @@ Stein恒等式是连接分数函数与概率分布的桥梁，它构成了分数 > **定义 C.4 (能量函数与力)** > 给定一个概率分布 `p(x)`，我们可以定义一个对应的**能量函数**（或势能）： -> $$E(x) = -\log p(x)$$ +> +$$E(x) = -\log p(x)$$ > 那么，分数函数就变成了作用在粒子上的**力**： -> $$F(x) = -\nabla E(x) = \nabla \log p(x)$$ +> +$$F(x) = -\nabla E(x) = \nabla \log p(x)$$ 这是一个**保守力场**，因为它是一个标量势 `E(x)` 的梯度。 @@ -84,7 +89,8 @@ Stein恒等式是连接分数函数与概率分布的桥梁，它构成了分数 Langevin动力学描述了粒子在这个力场中，同时受到随机热噪声影响时的运动轨迹。 > **定义 C.5 (Langevin SDE)** -> $$dX_t = \nabla \log p(X_t) dt + \sqrt{2} dW_t$$ +> +$$dX_t = \nabla \log p(X_t) dt + \sqrt{2} dW_t$$ > - **漂移项 `∇log p(X_t)dt`**: 粒子受到分数“力”的作用，确定性地向能量更低处移动。 > - **扩散项 `sqrt(2)dW_t`**: 粒子受到随机布朗运动的扰动，使其能够探索整个能量景观，而不是仅仅陷入最近的势阱。 diff --git a/chapter14.md b/chapter14.md index 3484dc0..62830dc 100644 --- a/chapter14.md +++ b/chapter14.md @@ -224,19 +224,22 @@ $$ **核心概念**： 1. **Wasserstein距离**： - $$W_2(\mu, \nu) = \inf_{\pi \in \Pi(\mu, \nu)} \left(\int \|\mathbf{x} - \mathbf{y}\|^2 d\pi(\mathbf{x}, \mathbf{y})\right)^{1/2}$$ + +$$W_2(\mu, \nu) = \inf_{\pi \in \Pi(\mu, \nu)} \left(\int \|\mathbf{x} - \mathbf{y}\|^2 d\pi(\mathbf{x}, \mathbf{y})\right)^{1/2}$$ 度量两个分布之间的"运输成本"。 2. **最优传输映射**： 寻找从数据分布到噪声分布的最优映射 $T^*$ ： -$$T^* = \arg\min_{T: T_\#\mu = \nu} \int \|\mathbf{x} - T(\mathbf{x})\|^2 d\mu(\mathbf{x})$$ +$$T^* = \arg\min_{T: T_\#\mu = \nu} \int \|\mathbf{x} - T(\mathbf{x})\|^2 d\mu(\mathbf{x}) +$$ 3. **动态最优传输**： 考虑随时间演化的传输路径： -$$\inf_{\rho_t, \mathbf{v}_t} \int_0^1 \int \|\mathbf{v}_t(\mathbf{x})\|^2 \rho_t(\mathbf{x}) d\mathbf{x} dt$$ +$$\inf_{\rho_t, \mathbf{v}_t} \int_0^1 \int \|\mathbf{v}_t(\mathbf{x})\|^2 \rho_t(\mathbf{x}) d\mathbf{x} dt +$$ **与扩散模型的联系**： @@ -246,7 +249,8 @@ $$\inf_{\rho_t, \mathbf{v}_t} \int_0^1 \int \|\mathbf{v}_t(\mathbf{x})\|^2 \rho_ 2. **Schrödinger桥**： 扩散过程是熵正则化的最优传输： -$$\min_{\mathbb{P}} \mathbb{E}_\mathbb{P}[\mathcal{A}] + \epsilon \text{KL}(\mathbb{P} \| \mathbb{Q})$$ +$$\min_{\mathbb{P}} \mathbb{E}_\mathbb{P}[\mathcal{A}] + \epsilon \text{KL}(\mathbb{P} \| \mathbb{Q}) +$$ 3. **计算优势**： - OT提供了新的训练目标 @@ -270,7 +274,8 @@ $$\mathcal{L}_\text{FM}(\theta) = \mathbb{E}_{t,\mathbf{x}_t}\left[\|\mathbf{v}_ 2. **条件流匹配**： -$$\mathbf{u}_t(\mathbf{x}_t|\mathbf{x}_0, \mathbf{x}_1) = \frac{\mathbf{x}_1 - \mathbf{x}_0}{1 - 0} = \mathbf{x}_1 - \mathbf{x}_0$$ +$$\mathbf{u}_t(\mathbf{x}_t|\mathbf{x}_0, \mathbf{x}_1) = \frac{\mathbf{x}_1 - \mathbf{x}_0}{1 - 0} = \mathbf{x}_1 - \mathbf{x}_0 +$$ 提供了简单的训练目标。 @@ -333,7 +338,8 @@ $$ - GAN：隐式变分界 2. **SDE/ODE统一**： - $$d\mathbf{x}_t = f(t)\mathbf{x}_t dt + g(t)d\mathbf{w}_t$$ + +$$d\mathbf{x}_t = f(t)\mathbf{x}_t dt + g(t)d\mathbf{w}_t$$ 通过调整 $f$ 和 $g$ ，可以得到不同的生成模型。 @@ -409,7 +415,8 @@ $$p(\mathbf{x}) \propto \exp(-E_\theta(\mathbf{x}))$$ 1. **样本复杂度**： 生成 $\epsilon$ -近似分布需要多少样本？ -$$n = \Omega\left(\frac{d}{\epsilon^2}\right) ?$$ +$$n = \Omega\left(\frac{d}{\epsilon^2}\right) ? +$$ 2. **计算复杂度**： - 训练复杂度 @@ -423,7 +430,8 @@ $$n = \Omega\left(\frac{d}{\epsilon^2}\right) ?$$ 1. **收敛速度**： -$$\text{KL}(p_\theta \| p_\text{data}) \leq O(1/\sqrt{n})$$ +$$\text{KL}(p_\theta \| p_\text{data}) \leq O(1/\sqrt{n}) +$$ 2. **泛化界**： diff --git a/chapter7.md b/chapter7.md index 4f0aa3a..9aaa4e7 100644 --- a/chapter7.md +++ b/chapter7.md @@ -91,7 +91,8 @@ Zero初始化确保模型在训练初期表现得像一个恒等函数，这对 1. **多头自注意力（Multi-Head Self-Attention）** -$$\text{Attention}(Q,K,V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$$ +$$\text{Attention}(Q,K,V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V +$$ 2. **逐点前馈网络（Pointwise Feedforward）** diff --git a/chapter8.md b/chapter8.md index 5b77022..c11c45d 100644 --- a/chapter8.md +++ b/chapter8.md @@ -238,11 +238,13 @@ DPM-Solver++引入了两个关键改进： 1. **数据预测参数化**：预测 $\mathbf{x}_0$ 而非 $\boldsymbol{\epsilon}$ -$$\mathbf{x}_0 = \frac{\mathbf{x}_t - \sigma_t\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t)}{\alpha_t}$$ +$$\mathbf{x}_0 = \frac{\mathbf{x}_t - \sigma_t\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t)}{\alpha_t} +$$ 2. **thresholding**：动态裁剪防止数值不稳定 -$$\mathbf{x}_0 = \text{clip}(\mathbf{x}_0, -1, 1)$$ +$$\mathbf{x}_0 = \text{clip}(\mathbf{x}_0, -1, 1) +$$ **算法伪代码**： From f19794f575fdb56ef0f04e8175fb621d5003b09f Mon Sep 17 00:00:00 2001 From: William Date: Sun, 27 Jul 2025 13:14:18 +0800 Subject: [PATCH 27/62] interim --- add_latex_spaces.py | 34 ++++++++++++++++++++++------------ 1 file changed, 22 insertions(+), 12 deletions(-) diff --git a/add_latex_spaces.py b/add_latex_spaces.py index 9fa6e74..5a736a8 100755 --- a/add_latex_spaces.py +++ b/add_latex_spaces.py @@ -13,20 +13,30 @@ def add_spaces_around_latex(content): "文字$$公式$$" -> "文字\n$$公式$$" """ # First, handle $$ blocks - ensure newline before starting $$ - # Pattern to match $$ at the start of a display equation (not at the end) - # This looks for $$ that is NOT preceded by another $ and is followed by non-$ content - display_pattern = r'([^\n])(\$\$)(?!\$)([^\$]+?\$\$)' + # New approach: Find all $$ positions and process them correctly + # We need to identify which $$ are starts and which are ends - def ensure_newline_before_display(match): - before_char = match.group(1) - display_start = match.group(2) - rest = match.group(3) - - # Add newline before $$ if not already there - return f"{before_char}\n{display_start}{rest}" + result = content + + # Find all $$ positions + dollar_positions = [] + i = 0 + while i < len(result) - 1: + if result[i:i+2] == '$$': + dollar_positions.append(i) + i += 2 + else: + i += 1 - # Apply display math fix - result = re.sub(display_pattern, ensure_newline_before_display, content) + # Process $$ pairs from right to left (to avoid position shifts) + # Every odd-indexed $$ is a start, even-indexed is an end + for idx in range(len(dollar_positions) - 1, -1, -1): + if idx % 2 == 0: # This is a start $$ + pos = dollar_positions[idx] + # Check if there's a newline before this $$ + if pos > 0 and result[pos-1] != '\n': + # Insert newline before $$ + result = result[:pos] + '\n' + result[pos:] # Now handle single $ inline math # Pattern to match single dollar signs with content between them From 5a9f4f7fa5eb20ac41f1bfa0660e7a446c160dfe Mon Sep 17 00:00:00 2001 From: William Date: Sun, 27 Jul 2025 13:17:59 +0800 Subject: [PATCH 28/62] interim --- chapter12.md | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/chapter12.md b/chapter12.md index 728b96f..58c928c 100644 --- a/chapter12.md +++ b/chapter12.md @@ -97,7 +97,7 @@ **自动评估指标**： 1. **困惑度（Perplexity）**： -$$\text{PPL} = \exp\left(-\frac{1}{N}\sum_{i=1}^N \log p(x_i|x_{ Date: Sun, 27 Jul 2025 13:25:53 +0800 Subject: [PATCH 29/62] interim --- add_latex_spaces.py | 3 ++- appendix-a.md | 2 ++ appendix-b.md | 1 + appendix-c.md | 6 ++++++ chapter1.md | 2 ++ chapter10.md | 4 ++++ chapter12.md | 32 ++++++++++++++++++++++++++++++++ chapter13.md | 7 +++++++ chapter14.md | 28 ++++++++++++++++++++++++++++ chapter4.md | 28 ++++++++++++++++++++++++++++ chapter7.md | 3 +++ chapter8.md | 23 +++++++++++++++++++++++ chapter9.md | 34 ++++++++++++++++++++++++++++++++++ 13 files changed, 172 insertions(+), 1 deletion(-) diff --git a/add_latex_spaces.py b/add_latex_spaces.py index 5a736a8..3251b51 100755 --- a/add_latex_spaces.py +++ b/add_latex_spaces.py @@ -68,6 +68,7 @@ def add_spaces_around_latex(content): # Replace in result result = result[:start_pos] + replacement + result[end_pos:] + result = result.replace('\n$$', '\n\n$$').replace('\n\n\n$$', '\n\n$$') return result def process_file(filepath): @@ -92,4 +93,4 @@ def process_file(filepath): sys.exit(1) for filepath in sys.argv[1:]: - process_file(filepath) \ No newline at end of file + process_file(filepath) diff --git a/appendix-a.md b/appendix-a.md index dee56ec..031caf6 100644 --- a/appendix-a.md +++ b/appendix-a.md @@ -77,6 +77,7 @@ > **定理 A.3 (伊藤公式)** > 设 `X_t` 满足SDE `dX_t = μ_t dt + σ_t dB_t`，`f(x, t)` 是一个足够光滑的函数，则： > + $$df(X_t, t) = \left(\frac{\partial f}{\partial t} + \mu_t \frac{\partial f}{\partial x} + \frac{1}{2}\sigma_t^2 \frac{\partial^2 f}{\partial x^2}\right)dt + \sigma_t \frac{\partial f}{\partial x} dB_t$$ > 核心区别在于比普通链式法则多出的一项：`1/2 * σ_t^2 * ∂^2f/∂x^2`，这被称为**伊藤修正项**，它正是来源于 `(dB_t)^2 = dt`。 @@ -98,6 +99,7 @@ SDE描述了受随机扰动影响的动态系统，是扩散模型的数学语 > **定义 A.4 (SDE)** > 一个典型的SDE具有形式： > + $$dX_t = b(X_t, t)dt + \sigma(X_t, t)dB_t$$ > - **漂移项 `b(X_t, t)`**: 描述系统的确定性平均行为。 > - **扩散项 `σ(X_t, t)`**: 描述随机波动的强度。 diff --git a/appendix-b.md b/appendix-b.md index 90f5073..5d79f69 100644 --- a/appendix-b.md +++ b/appendix-b.md @@ -11,6 +11,7 @@ > **定义 B.1 (一般BSDE)** > 一个BSDE的解是一对随机过程 `(Y_t, Z_t)`，满足： > + $$-dY_t = f(t, Y_t, Z_t)dt - Z_t dW_t$$ > 并满足一个**终端条件** `Y_T = ξ`。 diff --git a/appendix-c.md b/appendix-c.md index 8ec2c19..9e8d4ea 100644 --- a/appendix-c.md +++ b/appendix-c.md @@ -15,6 +15,7 @@ > **定义 C.1 (Fisher信息矩阵)** > 对于参数化的概率分布族 `{p(x; θ)}`，Fisher信息矩阵定义为： > + $$I_{ij}( heta) = \mathbb{E}_{p(x;\theta)}\left[\frac{\partial \log p(x;\theta)}{\partial \theta_i} \frac{\partial \log p(x;\theta)}{\partial \theta_j}\right]$$ 它衡量了当我们微小地改变参数 `θ` 时，概率分布 `p(x; θ)` 的变化有多大。信息矩阵的元素越大，表示分布对该方向的参数变化越敏感。 @@ -25,6 +26,7 @@ $$I_{ij}( heta) = \mathbb{E}_{p(x;\theta)}\left[\frac{\partial \log p(x;\theta)} > **定义 C.2 (自然梯度)** > 设 `L(θ)` 是关于参数 `θ` 的损失函数，普通梯度为 `g = ∇_θ L`。自然梯度 `g_nat` 定义为： > + $$\tilde{g} = I(\theta)^{-1} g$$ > 优化步骤变为：`θ_{t+1} = θ_t - α * I(θ_t)^{-1} * g_t`。 @@ -61,6 +63,7 @@ Stein恒等式是连接分数函数与概率分布的桥梁，它构成了分数 > **定理 C.3 (Stein恒等式)** > 对于一个足够光滑的测试函数 `φ(x)` 和概率密度 `p(x)`，在一定边界条件下成立： > + $$\mathbb{E}_{p(x)}[\nabla_x \cdot \phi(x) + \phi(x) \cdot \nabla_x \log p(x)] = 0$$ 💡 **关键洞察**：这个恒等式只涉及分数 `∇log p(x)` 和 `p(x)` 的期望，而完全不依赖于 `p(x)` 本身及其归一化常数。这使得我们可以在只拥有 `p(x)` 的样本的情况下，通过最小化Stein恒等式的残差来学习其分数函数，这正是**分数匹配**的核心思想。 @@ -72,9 +75,11 @@ $$\mathbb{E}_{p(x)}[\nabla_x \cdot \phi(x) + \phi(x) \cdot \nabla_x \log p(x)] = > **定义 C.4 (能量函数与力)** > 给定一个概率分布 `p(x)`，我们可以定义一个对应的**能量函数**（或势能）： > + $$E(x) = -\log p(x)$$ > 那么，分数函数就变成了作用在粒子上的**力**： > + $$F(x) = -\nabla E(x) = \nabla \log p(x)$$ 这是一个**保守力场**，因为它是一个标量势 `E(x)` 的梯度。 @@ -90,6 +95,7 @@ Langevin动力学描述了粒子在这个力场中，同时受到随机热噪声 > **定义 C.5 (Langevin SDE)** > + $$dX_t = \nabla \log p(X_t) dt + \sqrt{2} dW_t$$ > - **漂移项 `∇log p(X_t)dt`**: 粒子受到分数“力”的作用，确定性地向能量更低处移动。 > - **扩散项 `sqrt(2)dW_t`**: 粒子受到随机布朗运动的扰动，使其能够探索整个能量景观，而不是仅仅陷入最近的势阱。 diff --git a/chapter1.md b/chapter1.md index d7b2bf0..772c967 100644 --- a/chapter1.md +++ b/chapter1.md @@ -35,9 +35,11 @@ $$q(\mathbf{x}_t | \mathbf{x}_{t-1}) = \mathcal{N}(\mathbf{x}_t; \sqrt{1-\beta_t 通过重参数化技巧（reparameterization trick），我们可以直接从 $\mathbf{x}_0$ 采样任意时刻 $t$ 的 $\mathbf{x}_t$ ，而无需迭代计算： $$ \mathbf{x}_t = \sqrt{\bar{\alpha}_t}\mathbf{x}_0 + \sqrt{1-\bar{\alpha}_t}\boldsymbol{\epsilon}, \quad \boldsymbol{\epsilon} \sim \mathcal{N}(0, \mathbf{I}) + $$ 这等价于条件概率： + $$q(\mathbf{x}_t | \mathbf{x}_0) = \mathcal{N}(\mathbf{x}_t; \sqrt{\bar{\alpha}_t}\mathbf{x}_0, (1-\bar{\alpha}_t)\mathbf{I})$$ 其中 $\alpha_t = 1 - \beta_t$ ， $\bar{\alpha}_t = \prod_{s=1}^{t}\alpha_s$ 。当 $t \to T$ 时，若 $\bar{\alpha}_T \to 0$ ，则 $\mathbf{x}_T$ 的分布将趋向于各向同性的标准高斯分布，与原始数据 $\mathbf{x}_0$ 无关。 diff --git a/chapter10.md b/chapter10.md index 546dac8..9cc7c1b 100644 --- a/chapter10.md +++ b/chapter10.md @@ -217,6 +217,7 @@ LDM采用两阶段训练，分离压缩和生成： 在潜在空间中进行扩散需要重新定义前向和反向过程： **前向过程**： + $$q(\mathbf{z}_t | \mathbf{z}_0) = \mathcal{N}(\mathbf{z}_t; \sqrt{\bar{\alpha}_t}\mathbf{z}_0, (1-\bar{\alpha}_t)\mathbf{I})$$ 其中 $\mathbf{z}_0 = \mathcal{E}(\mathbf{x})$ 是编码后的潜在表示。 @@ -227,9 +228,11 @@ $$q(\mathbf{z}_t | \mathbf{z}_0) = \mathcal{N}(\mathbf{z}_t; \sqrt{\bar{\alpha}_ 3. **尺度差异**：需要适当的归一化 **反向过程**： + $$p_\theta(\mathbf{z}_{t-1} | \mathbf{z}_t) = \mathcal{N}(\mathbf{z}_{t-1}; \boldsymbol{\mu}_\theta(\mathbf{z}_t, t), \sigma_t^2\mathbf{I})$$ 扩散模型学习预测噪声 $\boldsymbol{\epsilon}_\theta(\mathbf{z}_t, t)$ ，用于计算均值： + $$\boldsymbol{\mu}_\theta(\mathbf{z}_t, t) = \frac{1}{\sqrt{\alpha_t}}\left(\mathbf{z}_t - \frac{1-\alpha_t}{\sqrt{1-\bar{\alpha}_t}}\boldsymbol{\epsilon}_\theta(\mathbf{z}_t, t)\right)$$ ### 10.3.2 噪声调度的适配 @@ -271,6 +274,7 @@ LDM中的条件信息通过多种方式注入： **2. 特征调制（FiLM）**： FiLM（Feature-wise Linear Modulation）通过缩放和偏移调制特征： + $$\mathbf{x}_{out} = \mathbf{x} \odot (1 + \gamma(\mathbf{c})) + \beta(\mathbf{c})$$ 其中： diff --git a/chapter12.md b/chapter12.md index 58c928c..19e3486 100644 --- a/chapter12.md +++ b/chapter12.md @@ -97,11 +97,14 @@ **自动评估指标**： 1. **困惑度（Perplexity）**： + $$\text{PPL} = \exp\left(-\frac{1}{N}\sum_{i=1}^N \log p(x\_i|x_{< i})\right) + $$ 2. **BLEU分数**： + $$\text{BLEU} = \text{BP} \cdot \exp\left(\sum_{n=1}^4 w_n \log p_n\right)$$ 其中 $p_n$ 是n-gram精确率 @@ -244,6 +247,7 @@ D3PM（Discrete Denoising Diffusion Probabilistic Models）通过将连续扩散 **前向过程定义**： 对于离散状态 $x \in \{1, 2, ..., K\}$ （K是词汇表大小），前向过程定义为： + $$q(x_t|x_{t-1}) = \text{Cat}(x_t; \mathbf{Q}_t x_{t-1})$$ 其中 $\mathbf{Q}_t \in \mathbb{R}^{K \times K}$ 是转移矩阵， $\text{Cat}$ 表示分类分布。 @@ -254,10 +258,13 @@ $$q(x_t|x_{t-1}) = \text{Cat}(x_t; \mathbf{Q}_t x_{t-1})$$ 3. **收敛性**： $\mathbf{Q}_T$ 使分布收敛到先验 **累积转移矩阵**： + $$\bar{\mathbf{Q}}_t = \mathbf{Q}_1 \mathbf{Q}_2 \cdots \mathbf{Q}_t$$ 这允许我们直接从 $x_0$ 采样 $x_t$ ： + $$q(x_t|x_0) = \text{Cat}(x_t; \bar{\mathbf{Q}}_t x_0) + $$ 💡 **设计原则：平衡信息保留与噪声添加** @@ -268,11 +275,13 @@ $$ D3PM提供了几种转移矩阵的设计方案： **1. 均匀转移（Uniform Transition）**： + $$\mathbf{Q}_t = (1-\beta_t)\mathbf{I} + \beta_t \mathbf{1}\mathbf{1}^T/K$$ 其中 $\beta_t$ 是噪声调度， $\mathbf{1}$ 是全1向量。这种设计以概率 $\beta_t$ 将状态替换为均匀随机状态。 **2. 吸收态转移（Absorbing State）**： + $$Q_{ij} = \begin{cases} 1-\beta_t & \text{if } i=j \neq m \\ \beta_t & \text{if } j=m \\ @@ -284,6 +293,7 @@ $$Q_{ij} = \begin{cases} **3. 语义感知转移**： 基于词嵌入相似度设计转移概率： + $$Q_{ij} \propto \exp(-\|\mathbf{e}_i - \mathbf{e}_j\|^2/\tau_t)$$ 其中 $\mathbf{e}_i$ 是词嵌入， $\tau_t$ 是温度参数。 @@ -294,25 +304,33 @@ $$Q_{ij} \propto \exp(-\|\mathbf{e}_i - \mathbf{e}_j\|^2/\tau_t)$$ ### 12.2.3 反向过程与变分下界 **反向过程参数化**： + $$p_\theta(x_{t-1}|x_t) = \text{Cat}(x_{t-1}; \boldsymbol{\mu}_\theta(x_t, t))$$ 其中 $\boldsymbol{\mu}_\theta$ 是神经网络预测的分布。 **后验分布**（当 $x_0$ 已知时）： + $$q(x_{t-1}|x_t, x_0) = \frac{q(x_t|x_{t-1})q(x_{t-1}|x_0)}{q(x_t|x_0)} + $$ 对于离散情况，这可以通过矩阵运算精确计算： + $$q(x_{t-1}|x_t, x_0) \propto \mathbf{Q}_t^T \odot \bar{\mathbf{Q}}_{t-1}$$ 其中 $\odot$ 表示逐元素乘积。 **变分下界（VLB）**： + $$\mathcal{L}_\text{VLB} = \mathbb{E}_q\left[\sum_{t=2}^T D_\text{KL}(q(x_{t-1}|x_t,x_0) \| p_\theta(x_{t-1}|x_t)) + \log p_\theta(x_0|x_1)\right] + $$ 其中KL散度对于离散分布有闭式解： + $$D_\text{KL}(p\|q) = \sum_i p_i \log \frac{p_i}{q_i} + $$ ### 12.2.4 训练算法与实现细节 @@ -322,10 +340,13 @@ $$ 1. **VLB损失**：理论最优但可能不稳定 2. **交叉熵损失**： + $$\mathcal{L}_\text{CE} = -\mathbb{E}_{x_0,t}\left[\log p_\theta(x_0|x_t)\right] + $$ 3. **混合损失**： + $$\mathcal{L} = \mathcal{L}_\text{CE} + \lambda \mathcal{L}_\text{VLB}$$ **训练算法**： @@ -456,7 +477,9 @@ Diffusion-LM通过在连续嵌入空间中进行扩散来避免离散性带来 **挑战1：离散化误差** 从连续嵌入 $\hat{\mathbf{e}}_0$ 恢复离散token最直接的方法是最近邻搜索： + $$\hat{x}_0 = \arg\min_{i \in [K]} \|\hat{\mathbf{e}}_0 - \mathbf{E}[i]\|^2 + $$ 但这种硬舍入会导致： @@ -475,6 +498,7 @@ $$ ### 12.3.3 舍入策略与梯度估计 **1. 软最大值（Soft-max）重建**： + $$p(x_i|\hat{\mathbf{e}}_0) = \frac{\exp(-\|\hat{\mathbf{e}}_0 - \mathbf{E}[i]\|^2/\tau)}{\sum_j \exp(-\|\hat{\mathbf{e}}_0 - \mathbf{E}[j]\|^2/\tau)}$$ 这保持了可微性，但计算开销大。 @@ -484,6 +508,7 @@ $$p(x_i|\hat{\mathbf{e}}_0) = \frac{\exp(-\|\hat{\mathbf{e}}_0 - \mathbf{E}[i]\| - 反向：假装没有舍入，直接传递梯度 **3. Gumbel-Softmax重参数化**： + $$\hat{x}_0 = \text{softmax}((\log \pi + g)/\tau)$$ 其中 $\pi_i \propto \exp(-\|\hat{\mathbf{e}}_0 - \mathbf{E}[i]\|^2)$ ， $g$ 是Gumbel噪声。 @@ -498,11 +523,14 @@ $$\hat{x}_0 = \text{softmax}((\log \pi + g)/\tau)$$ **1. 嵌入正则化**： - **对比学习损失**： + $$\mathcal{L}_\text{contrast} = -\log \frac{\exp(\text{sim}(\mathbf{e}_i, \mathbf{e}_j^+))}{\sum_k \exp(\text{sim}(\mathbf{e}_i, \mathbf{e}_k))}$$ 其中 $\mathbf{e}_j^+$ 是正样本（语义相似）。 - **均匀性损失**： + $$\mathcal{L}_\text{uniform} = \log \mathbb{E}_{i,j}\left[\exp(-2\|\mathbf{e}_i - \mathbf{e}_j\|^2)\right] + $$ 防止嵌入崩塌。 @@ -516,7 +544,9 @@ $$ **3. 锚点嵌入**： 固定一些高频词的嵌入作为锚点，保持空间结构： + $$\mathbf{E}_\text{anchor} = \text{frozen}, \quad \mathbf{E}_\text{rest} = \text{learnable} + $$
@@ -561,6 +591,7 @@ $$ - 微调嵌入和扩散模型 **损失函数设计**： + $$\mathcal{L}_\text{total} = \mathcal{L}_\text{diffusion} + \lambda_1 \mathcal{L}_\text{reconstruct} + \lambda_2 \mathcal{L}_\text{regularize}$$ 其中： @@ -715,6 +746,7 @@ $$\mathcal{L}_\text{total} = \mathcal{L}_\text{diffusion} + \lambda_1 \mathcal{L 3. **FiLM调制（Feature-wise Linear Modulation）**： + $$\mathbf{h} = \gamma(\mathbf{c}) \odot \mathbf{h} + \beta(\mathbf{c})$$ - 计算高效 - 全局调制效果 diff --git a/chapter13.md b/chapter13.md index e10b61a..f3adcdc 100644 --- a/chapter13.md +++ b/chapter13.md @@ -230,6 +230,7 @@ highly detailed, artstation trending, by Greg Rutkowski" 1. **掩码条件扩散**： + $$\mathbf{x}_t = \mathbf{m} \odot \mathbf{x}_t^{\text{known}} + (1-\mathbf{m}) \odot \mathbf{x}_t^{\text{unknown}}$$ 其中 $\mathbf{m}$ 是二值掩码，1表示保留区域，0表示修复区域。 @@ -507,6 +508,7 @@ $$\mathbf{x}_t = \mathbf{m} \odot \mathbf{x}_t^{\text{known}} + (1-\mathbf{m}) \ 1. **条件扩散框架**： + $$p_\theta(\mathbf{x}_\text{HR}|\mathbf{x}_\text{LR}) = \prod_{t=1}^T p_\theta(\mathbf{x}_{t-1}|\mathbf{x}_t, \mathbf{x}_\text{LR})$$ 2. **退化建模**： @@ -759,10 +761,12 @@ $$p_\theta(\mathbf{x}_\text{HR}|\mathbf{x}_\text{LR}) = \prod_{t=1}^T p_\theta(\ **3. 基于隐式表示的扩散**： 神经隐式表示（如DeepSDF、NeRF）： + $$f_\theta(x, y, z) = \begin{cases} \text{SDF值} & \text{(形状表示)} \\ (\mathbf{c}, \sigma) & \text{(NeRF表示)} \end{cases} + $$ 扩散应用于： @@ -780,7 +784,9 @@ $$ 代表方法：DreamFusion、Magic3D 核心技术：Score Distillation Sampling (SDS) + $$\nabla_\theta \mathcal{L}_\text{SDS} = \mathbb{E}_{t,\epsilon}\left[w(t)(\epsilon_\phi(\mathbf{x}_t, t, y) - \epsilon)\frac{\partial \mathbf{x}}{\partial \theta}\right] + $$ 流程： @@ -898,6 +904,7 @@ PBR（物理渲染）材质： **1. NeRF简介**： 神经辐射场表示3D场景： + $$F_\Theta: (x, y, z, \theta, \phi) \rightarrow (\mathbf{c}, \sigma)$$ - 输入：3D位置 + 观察方向 diff --git a/chapter14.md b/chapter14.md index 62830dc..ae37f9c 100644 --- a/chapter14.md +++ b/chapter14.md @@ -47,12 +47,15 @@ 与扩散模型逐步去噪不同，一致性模型学习一个函数 $f_\theta$ ，直接将任意时刻的噪声数据映射到干净数据： $$f_\theta(\mathbf{x}_t, t) = \mathbf{x}_0, \quad \forall t \in [0, T] + $$ **自一致性属性**： 关键约束是自一致性（self-consistency）： + $$f_\theta(\mathbf{x}_t, t) = f_\theta(\mathbf{x}_s, s), \quad \forall t, s \in [0, T] + $$ 这意味着同一轨迹上的所有点都映射到相同的干净数据。 @@ -60,6 +63,7 @@ $$ **训练目标**： 一致性损失通过强制相邻时间步的输出一致来训练： + $$\mathcal{L}(\theta) = \mathbb{E}_{t,\mathbf{x}_0,\boldsymbol{\epsilon}}\left[\|f_\theta(\mathbf{x}_{t+\Delta t}, t+\Delta t) - f_{\theta^-}(\mathbf{x}_t, t)\|^2\right]$$ 其中 $\theta^-$ 是目标网络参数（类似于强化学习中的目标网络）。 @@ -120,7 +124,9 @@ $$\mathcal{L}(\theta) = \mathbb{E}_{t,\mathbf{x}_0,\boldsymbol{\epsilon}}\left[\ **3. 理论联系**： 两者都基于相同的概率流ODE： + $$\frac{d\mathbf{x}_t}{dt} = f(t)\mathbf{x}_t + \frac{g^2(t)}{2\sigma_t}\nabla_{\mathbf{x}_t} \log p_t(\mathbf{x}_t) + $$ 一致性模型直接学习ODE的解映射。 @@ -225,6 +231,7 @@ $$ 1. **Wasserstein距离**： + $$W_2(\mu, \nu) = \inf_{\pi \in \Pi(\mu, \nu)} \left(\int \|\mathbf{x} - \mathbf{y}\|^2 d\pi(\mathbf{x}, \mathbf{y})\right)^{1/2}$$ 度量两个分布之间的"运输成本"。 @@ -232,13 +239,17 @@ $$W_2(\mu, \nu) = \inf_{\pi \in \Pi(\mu, \nu)} \left(\int \|\mathbf{x} - \mathbf 2. **最优传输映射**： 寻找从数据分布到噪声分布的最优映射 $T^*$ ： + $$T^* = \arg\min_{T: T_\#\mu = \nu} \int \|\mathbf{x} - T(\mathbf{x})\|^2 d\mu(\mathbf{x}) + $$ 3. **动态最优传输**： 考虑随时间演化的传输路径： + $$\inf_{\rho_t, \mathbf{v}_t} \int_0^1 \int \|\mathbf{v}_t(\mathbf{x})\|^2 \rho_t(\mathbf{x}) d\mathbf{x} dt + $$ **与扩散模型的联系**： @@ -249,7 +260,9 @@ $$ 2. **Schrödinger桥**： 扩散过程是熵正则化的最优传输： + $$\min_{\mathbb{P}} \mathbb{E}_\mathbb{P}[\mathcal{A}] + \epsilon \text{KL}(\mathbb{P} \| \mathbb{Q}) + $$ 3. **计算优势**： @@ -268,13 +281,16 @@ $$ 1. **目标函数**： + $$\mathcal{L}_\text{FM}(\theta) = \mathbb{E}_{t,\mathbf{x}_t}\left[\|\mathbf{v}_\theta(\mathbf{x}_t, t) - \mathbf{u}_t(\mathbf{x}_t)\|^2\right]$$ 其中 $\mathbf{u}_t$ 是目标向量场。 2. **条件流匹配**： + $$\mathbf{u}_t(\mathbf{x}_t|\mathbf{x}_0, \mathbf{x}_1) = \frac{\mathbf{x}_1 - \mathbf{x}_0}{1 - 0} = \mathbf{x}_1 - \mathbf{x}_0 + $$ 提供了简单的训练目标。 @@ -304,7 +320,9 @@ $$ **1. 率失真理论视角**： 生成模型as信息压缩： + $$R(D) = \inf_{p(\hat{\mathbf{x}}|\mathbf{x}): \mathbb{E}[d(\mathbf{x}, \hat{\mathbf{x}})] \leq D} I(\mathbf{x}; \hat{\mathbf{x}}) + $$ 扩散模型在压缩和重建之间寻找最优平衡。 @@ -312,6 +330,7 @@ $$ **2. 互信息分析**： 扩散过程中的信息流： + $$I(\mathbf{x}_0; \mathbf{x}_t) = H(\mathbf{x}_0) - H(\mathbf{x}_0|\mathbf{x}_t)$$ 随着 $t$ 增加，互信息减少，直到达到独立。 @@ -319,7 +338,9 @@ $$I(\mathbf{x}_0; \mathbf{x}_t) = H(\mathbf{x}_0) - H(\mathbf{x}_0|\mathbf{x}_t) **3. 信息瓶颈原理**： 去噪网络学习压缩表示： + $$\max_{p(\mathbf{z}|\mathbf{x}_t)} I(\mathbf{z}; \mathbf{x}_0) - \beta I(\mathbf{z}; \mathbf{x}_t) + $$ 这解释了为什么扩散模型能学习有意义的特征。 @@ -339,6 +360,7 @@ $$ 2. **SDE/ODE统一**： + $$d\mathbf{x}_t = f(t)\mathbf{x}_t dt + g(t)d\mathbf{w}_t$$ 通过调整 $f$ 和 $g$ ，可以得到不同的生成模型。 @@ -346,6 +368,7 @@ $$d\mathbf{x}_t = f(t)\mathbf{x}_t dt + g(t)d\mathbf{w}_t$$ 3. **能量视角统一**： 所有生成模型都在学习能量函数： + $$p(\mathbf{x}) \propto \exp(-E_\theta(\mathbf{x}))$$ **新兴统一框架**： @@ -415,7 +438,9 @@ $$p(\mathbf{x}) \propto \exp(-E_\theta(\mathbf{x}))$$ 1. **样本复杂度**： 生成 $\epsilon$ -近似分布需要多少样本？ + $$n = \Omega\left(\frac{d}{\epsilon^2}\right) ? + $$ 2. **计算复杂度**： @@ -430,11 +455,14 @@ $$ 1. **收敛速度**： + $$\text{KL}(p_\theta \| p_\text{data}) \leq O(1/\sqrt{n}) + $$ 2. **泛化界**： + $$\mathbb{E}[\mathcal{L}(\theta)] - \hat{\mathcal{L}}(\theta) \leq O(\sqrt{d/n})$$ 3. **鲁棒性保证**： diff --git a/chapter4.md b/chapter4.md index 8e27ca8..2806a71 100644 --- a/chapter4.md +++ b/chapter4.md @@ -19,9 +19,11 @@ $$\nabla_x \log p(x) = \frac{\nabla_x p(x)}{p(x)}$$ 对于标准正态分布 $p(x) = \frac{1}{\sqrt{2\pi}} e^{-\frac{x^2}{2}}$ ： $$\log p(x) = -\frac{x^2}{2} - \frac{1}{2}\log(2\pi) + $$ 分数函数为： + $$\nabla_x \log p(x) = -x$$ 注意这个结果的直观性： @@ -44,11 +46,13 @@ $$p(x) = \frac{1}{Z} \exp(-E(x)), \quad Z = \int \exp(-E(x)) dx$$ 但分数函数可以直接计算，无需知道 $Z$ ： $$\nabla_x \log p(x) = -\nabla_x E(x) + $$ **实例：Ising模型** 在统计物理中的Ising模型中，系统能量为： + $$E(x) = -J \sum_{\langle i,j \rangle} x_i x_j - h \sum_i x_i$$ 其中 $x_i \in \{-1, +1\}$ 。配分函数 $Z$ 的计算是 #P-hard 问题，但能量的梯度（在连续松弛下）却很容易计算。 @@ -70,11 +74,14 @@ $$x_{t+1} = x_t + \epsilon \nabla_x \log p(x_t) + \sqrt{2\epsilon} \xi_t$$ 从几何角度看，分数函数定义了数据流形上的一个向量场。这个向量场有着优美的性质： **性质1：梯度流的不动点** + $$\nabla_x \log p(x^*) = 0 \Leftrightarrow x^* \text{ 是 } p(x) \text{ 的局部极值点} + $$ **性质2：体积收缩** 分数函数的散度反映了概率密度的局部曲率： + $$\nabla \cdot (\nabla \log p(x)) = \nabla^2 \log p(x) + \|\nabla \log p(x)\|^2$$ **🌟 理论缺口：** 分数函数的全局几何性质还未被完全理解。特别是在流形上的分数函数理论仍在发展中。这与最优传输理论有深刻联系，但具体的联系仍需探索。 @@ -103,6 +110,7 @@ $$\nabla \cdot (\nabla \log p(x)) = \nabla^2 \log p(x) + \|\nabla \log p(x)\|^2$ 给定数据分布 $p_{data}(x)$ 的样本，如何学习其分数函数？Hyvärinen (2005) 提出了分数匹配（Score Matching）方法。 **基本思想**：最小化模型分数与真实分数的差异 + $$\mathcal{L}_{SM} = \mathbb{E}_{p_{data}}\left[\frac{1}{2}\|\nabla_x \log p_{model}(x) - \nabla_x \log p_{data}(x)\|^2\right]$$ 但这里有个问题：我们不知道 $\nabla_x \log p_{data}(x)$ ！ @@ -110,6 +118,7 @@ $$\mathcal{L}_{SM} = \mathbb{E}_{p_{data}}\left[\frac{1}{2}\|\nabla_x \log p_{mo **Hyvärinen的天才洞察**：通过分部积分，可以得到一个等价的目标函数，不需要真实分数： $$\mathcal{L}_{SM} = \mathbb{E}_{p_{data}}\left[\text{tr}(\nabla_x^2 \log p_{model}(x)) + \frac{1}{2}\|\nabla_x \log p_{model}(x)\|^2\right] + \text{const} + $$ **🔬 研究线索：** 分数匹配的这种"隐式"特性是否可以推广到其他问题？考虑在因果推断、强化学习中的应用。隐式方法避免了直接估计难以处理的量，这个思想值得深入探索。 @@ -119,11 +128,15 @@ $$ 计算Hessian矩阵的迹 `torch.autograd.functional.hessian` 在高维情况下代价高昂。Vincent (2011) 提出了一个巧妙的替代方案： **核心思想**：向数据添加噪声，然后学习去噪 + $$\tilde{x} = x + \sigma \epsilon, \quad \epsilon \sim \mathcal{N}(0, I) + $$ 去噪分数匹配目标： + $$\mathcal{L}_{DSM} = \mathbb{E}_{p_{data}(x)}\mathbb{E}_{\epsilon}\left[\frac{1}{2}\|s_\theta(\tilde{x}, \sigma) + \frac{\epsilon}{\sigma}\|^2\right] + $$ **关键洞察**：这个目标函数在学习"如何去噪"，而去噪方向正是分数函数的方向！ @@ -138,6 +151,7 @@ $$ **⚡ 实现挑战：** 计算高维Hessian的另一种方法是使用随机投影： $$\mathcal{L}_{SSM} = \mathbb{E}_{p_{data}}\mathbb{E}_{v \sim \mathcal{N}(0,I)}\left[v^T\nabla_x^2 \log p_{model}(x)v + \frac{1}{2}(v^T\nabla_x \log p_{model}(x))^2\right] + $$ 这只需要计算方向导数，可以用 `torch.autograd.grad` 高效实现。但投影会损失信息，如何选择最优的投影方向仍是开放问题。 @@ -166,6 +180,7 @@ $$ Song & Ermon (2019) 的关键创新是引入多个噪声尺度： $$\{\sigma_i\}_{i=1}^L, \quad \sigma_1 > \sigma_2 > \cdots > \sigma_L + $$ **动机**： @@ -233,6 +248,7 @@ $$dX_t = \nabla \log p(X_t)dt + \sqrt{2}dW_t$$ ### 4.4.2 离散化与误差分析 Euler-Maruyama离散化： + $$x_{k+1} = x_k + \epsilon s_\theta(x_k) + \sqrt{2\epsilon}\xi_k$$ **关键问题**： @@ -251,6 +267,7 @@ $$x_{k+1} = x_k + \epsilon s_\theta(x_k) + \sqrt{2\epsilon}\xi_k$$ 1. **预条件Langevin动力学** + $$dX_t = G(X_t)\nabla \log p(X_t)dt + \sqrt{2G(X_t)}dW_t$$ 其中 $G(x)$ 是预条件矩阵。 @@ -290,11 +307,15 @@ $$dX_t = G(X_t)\nabla \log p(X_t)dt + \sqrt{2G(X_t)}dW_t$$ 关键发现：DDPM的去噪目标等价于分数匹配！ DDPM学习： + $$\mathbb{E}[\|\epsilon - \epsilon_\theta(x_t, t)\|^2] + $$ 而加噪数据的分数函数： + $$\nabla_{x_t} \log p_t(x_t) = -\frac{\epsilon}{\sqrt{1-\bar{\alpha}_t}} + $$ 因此DDPM实际上在学习（重新缩放的）分数函数。 @@ -306,10 +327,13 @@ $$ Song et al. (2021) 提出了统一的SDE框架： 前向SDE： + $$dx = f(x,t)dt + g(t)dW_t + $$ 对应的反向SDE： + $$dx = [f(x,t) - g(t)^2\nabla_x \log p_t(x)]dt + g(t)d\bar{W}_t$$ 不同选择的 $f$ 和 $g$ 对应不同的模型： @@ -325,6 +349,7 @@ $$dx = [f(x,t) - g(t)^2\nabla_x \log p_t(x)]dt + g(t)d\bar{W}_t$$ ### 4.5.3 概率流ODE 每个SDE都有对应的概率流ODE： + $$dx = [f(x,t) - \frac{1}{2}g(t)^2\nabla_x \log p_t(x)]dt$$ 这个ODE： @@ -361,10 +386,13 @@ $$dx = [f(x,t) - \frac{1}{2}g(t)^2\nabla_x \log p_t(x)]dt$$ 给定条件 $y$ ，如何建模 $p(x|y)$ 的分数？ **方法1：直接建模** + $$s_\theta(x, y, t) \approx \nabla_x \log p_t(x|y) + $$ **方法2：分类器引导** + $$\nabla_x \log p(x|y) = \nabla_x \log p(x) + \nabla_x \log p(y|x)$$ **🌟 理论缺口：** diff --git a/chapter7.md b/chapter7.md index 9aaa4e7..f408f2e 100644 --- a/chapter7.md +++ b/chapter7.md @@ -91,11 +91,14 @@ Zero初始化确保模型在训练初期表现得像一个恒等函数，这对 1. **多头自注意力（Multi-Head Self-Attention）** + $$\text{Attention}(Q,K,V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V + $$ 2. **逐点前馈网络（Pointwise Feedforward）** + $$\text{FFN}(x) = \text{GELU}(xW_1 + b_1)W_2 + b_2$$ 3. **AdaLN调制** diff --git a/chapter8.md b/chapter8.md index c11c45d..620848d 100644 --- a/chapter8.md +++ b/chapter8.md @@ -41,6 +41,7 @@ ### 8.1.1 DDPM采样的局限性 回顾DDPM的反向过程： + $$p_\theta(\mathbf{x}_{t-1}|\mathbf{x}_t) = \mathcal{N}(\mathbf{x}_{t-1}; \boldsymbol{\mu}_\theta(\mathbf{x}_t, t), \sigma_t^2\mathbf{I})$$ 每一步都需要添加随机噪声 $\sigma_t \boldsymbol{\epsilon}$ ，这导致： @@ -55,10 +56,13 @@ DDIM通过重新参数化前向过程，巧妙地解决了这些问题。 DDIM的关键洞察是：存在一族非马尔可夫前向过程，它们具有相同的边缘分布 $q(\mathbf{x}_t|\mathbf{x}_0)$ ，但对应的反向过程可以是确定性的。 具体地，DDIM定义了一个新的前向过程： + $$q_\sigma(\mathbf{x}_{t-1}|\mathbf{x}_t, \mathbf{x}_0) = \mathcal{N}(\mathbf{x}_{t-1}; \tilde{\boldsymbol{\mu}}_t(\mathbf{x}_t, \mathbf{x}_0), \sigma_t^2\mathbf{I}) + $$ 其中： + $$\tilde{\boldsymbol{\mu}}_t(\mathbf{x}_t, \mathbf{x}_0) = \sqrt{\bar{\alpha}_{t-1}}\mathbf{x}_0 + \sqrt{1 - \bar{\alpha}_{t-1} - \sigma_t^2} \cdot \frac{\mathbf{x}_t - \sqrt{\bar{\alpha}_t}\mathbf{x}_0}{\sqrt{1 - \bar{\alpha}_t}}$$ 当 $\sigma_t = 0$ 时，过程变为完全确定性。 @@ -66,6 +70,7 @@ $$\tilde{\boldsymbol{\mu}}_t(\mathbf{x}_t, \mathbf{x}_0) = \sqrt{\bar{\alpha}_{t ### 8.1.3 DDIM采样算法 DDIM的采样公式为： + $$\mathbf{x}_{t-1} = \sqrt{\bar{\alpha}_{t-1}}\underbrace{\left(\frac{\mathbf{x}_t - \sqrt{1 - \bar{\alpha}_t}\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t)}{\sqrt{\bar{\alpha}_t}}\right)}_{\text{预测的 } \mathbf{x}_0} + \underbrace{\sqrt{1 - \bar{\alpha}_{t-1} - \sigma_t^2} \cdot \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t)}_{\text{方向指向 } \mathbf{x}_t} + \underbrace{\sigma_t \boldsymbol{\epsilon}}_{\text{随机噪声}}$$ 关键参数 $\eta$ 控制随机性： @@ -115,7 +120,9 @@ DDIM最小化了一个修改后的变分下界，其中KL散度项被重新加 **2. 数值ODE求解器视角** 当 $\eta = 0$ 时，DDIM等价于求解概率流ODE： + $$\frac{d\mathbf{x}_t}{dt} = -\frac{1}{2}\beta_t\left[\mathbf{x}_t + \nabla_{\mathbf{x}_t} \log p_t(\mathbf{x}_t)\right] + $$ **3. 最优传输视角** @@ -130,6 +137,7 @@ DDIM寻找从噪声到数据的"直线"路径，最小化传输成本。 ### 8.2.1 从离散到连续：扩散SDE Song等人(2021)提出了基于随机微分方程(SDE)的统一框架。前向扩散过程可以表示为： + $$d\mathbf{x} = \mathbf{f}(\mathbf{x}, t)dt + g(t)d\mathbf{w}$$ 其中： @@ -138,12 +146,15 @@ $$d\mathbf{x} = \mathbf{f}(\mathbf{x}, t)dt + g(t)d\mathbf{w}$$ - $\mathbf{w}$ ：标准维纳过程 对于DDPM/DDIM，相应的SDE是： + $$d\mathbf{x} = -\frac{1}{2}\beta(t)\mathbf{x}dt + \sqrt{\beta(t)}d\mathbf{w} + $$ ### 8.2.2 反向时间SDE Anderson(1982)证明了反向时间SDE的存在性： + $$d\mathbf{x} = [\mathbf{f}(\mathbf{x}, t) - g(t)^2\nabla_\mathbf{x} \log p_t(\mathbf{x})]dt + g(t)d\bar{\mathbf{w}}$$ 其中 $\bar{\mathbf{w}}$ 是反向时间的维纳过程， $\nabla_\mathbf{x} \log p_t(\mathbf{x})$ 是分数函数（score function）。 @@ -151,6 +162,7 @@ $$d\mathbf{x} = [\mathbf{f}(\mathbf{x}, t) - g(t)^2\nabla_\mathbf{x} \log p_t(\m ### 8.2.3 概率流ODE 去除随机项，得到确定性的ODE： + $$\frac{d\mathbf{x}}{dt} = \mathbf{f}(\mathbf{x}, t) - \frac{1}{2}g(t)^2\nabla_\mathbf{x} \log p_t(\mathbf{x})$$ 这个ODE与原始SDE具有相同的边缘分布 $p_t(\mathbf{x})$ 。 @@ -211,6 +223,7 @@ $$\frac{d\mathbf{x}}{dt} = \mathbf{f}(\mathbf{x}, t) - \frac{1}{2}g(t)^2\nabla_\ ### 8.3.1 动机：利用半线性结构 扩散ODE具有特殊的半线性结构： + $$\frac{d\mathbf{x}}{dt} = \alpha(t)\mathbf{x} + \sigma(t)\boldsymbol{\epsilon}_\theta(\mathbf{x}, t)$$ 其中线性部分 $\alpha(t)\mathbf{x}$ 有解析解，这启发了DPM-Solver的设计。 @@ -218,6 +231,7 @@ $$\frac{d\mathbf{x}}{dt} = \alpha(t)\mathbf{x} + \sigma(t)\boldsymbol{\epsilon}_ ### 8.3.2 指数积分器 利用积分因子法，可以得到精确解： + $$\mathbf{x}_s = e^{\int_t^s \alpha(\tau)d\tau}\mathbf{x}_t + \int_t^s e^{\int_\tau^s \alpha(r)dr}\sigma(\tau)\boldsymbol{\epsilon}_\theta(\mathbf{x}_\tau, \tau)d\tau$$ 关键是如何近似积分中的 $\boldsymbol{\epsilon}_\theta(\mathbf{x}_\tau, \tau)$ 。 @@ -225,6 +239,7 @@ $$\mathbf{x}_s = e^{\int_t^s \alpha(\tau)d\tau}\mathbf{x}_t + \int_t^s e^{\int_\ ### 8.3.3 DPM-Solver的Taylor展开 DPM-Solver使用Taylor展开近似噪声预测： + $$\boldsymbol{\epsilon}_\theta(\mathbf{x}_\tau, \tau) = \sum_{n=0}^{k-1} \frac{(\tau - t)^n}{n!}\frac{d^n\boldsymbol{\epsilon}_\theta}{d\tau^n}\bigg|_{\tau=t} + O((\tau-t)^k)$$ 不同阶数的DPM-Solver： @@ -238,12 +253,16 @@ DPM-Solver++引入了两个关键改进： 1. **数据预测参数化**：预测 $\mathbf{x}_0$ 而非 $\boldsymbol{\epsilon}$ + $$\mathbf{x}_0 = \frac{\mathbf{x}_t - \sigma_t\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t)}{\alpha_t} + $$ 2. **thresholding**：动态裁剪防止数值不稳定 + $$\mathbf{x}_0 = \text{clip}(\mathbf{x}_0, -1, 1) + $$ **算法伪代码**： @@ -296,6 +315,7 @@ $$h_{new} = h_{old} \cdot \left(\frac{\text{tolerance}}{\text{error}}\right)^{1/ 3. 重复直到达到目标步数 **损失函数**： + $$\mathcal{L} = \mathbb{E}_{t,\mathbf{x}_0,\boldsymbol{\epsilon}}\left[\|f_\theta(\mathbf{x}_t, t) - \text{sg}[f_{\text{teacher}}(\mathbf{x}_t, t)]\|^2\right]$$ 其中 `sg` 表示停止梯度。 @@ -305,9 +325,11 @@ $$\mathcal{L} = \mathbb{E}_{t,\mathbf{x}_0,\boldsymbol{\epsilon}}\left[\|f_\thet 一致性模型(Consistency Models)学习映射函数 $f_\theta$ ，使得同一轨迹上的所有点映射到相同的起点： $$f_\theta(\mathbf{x}_t, t) = f_\theta(\mathbf{x}_s, s), \quad \forall s, t \in [0, T] + $$ **自一致性损失**： + $$\mathcal{L} = \mathbb{E}\left[\|f_\theta(\mathbf{x}_t, t) - f_{\theta^-}(\mathbf{x}_s, s)\|^2\right]$$ 其中 $\theta^-$ 是EMA参数。 @@ -317,6 +339,7 @@ $$\mathcal{L} = \mathbb{E}\left[\|f_\theta(\mathbf{x}_t, t) - f_{\theta^-}(\math ### 8.4.3 对抗蒸馏 结合GAN的思想，使用判别器指导蒸馏： + $$\mathcal{L} = \mathcal{L}_{\text{distill}} + \lambda \mathcal{L}_{\text{adv}}$$ 这可以进一步提升少步采样的质量。 diff --git a/chapter9.md b/chapter9.md index 2cc427f..0b32f19 100644 --- a/chapter9.md +++ b/chapter9.md @@ -118,10 +118,13 @@ $$\mathbf{c}_{train} = \begin{cases} \mathbf{c} & \text{with probability } 1-p_{uncond} \\ \varnothing & \text{with probability } p_{uncond} \end{cases} + $$ 然后正常计算去噪损失： + $$\mathcal{L} = \mathbb{E}_{t,\mathbf{x}_0,\boldsymbol{\epsilon}}\left[\|\boldsymbol{\epsilon} - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c}_{train})\|^2\right] + $$ 这是无分类器引导的基础，使模型能够同时进行条件和无条件生成。 @@ -176,6 +179,7 @@ $$\mathcal{L}_{total} = \mathcal{L}_{uncond} + \lambda_1\mathcal{L}_{class} + \l **变分下界的条件版本**： $$\log p_\theta(\mathbf{x}_0|\mathbf{c}) \geq \mathbb{E}_q\left[\log p_\theta(\mathbf{x}_0|\mathbf{x}_1, \mathbf{c}) - \sum_{t=2}^T D_{KL}(q(\mathbf{x}_{t-1}|\mathbf{x}_t, \mathbf{x}_0) \| p_\theta(\mathbf{x}_{t-1}|\mathbf{x}_t, \mathbf{c}))\right] + $$ 这保证了模型学习的是真实的条件分布。 @@ -183,6 +187,7 @@ $$ **条件独立性假设**： 在许多实现中，我们假设： + $$q(\mathbf{x}_t|\mathbf{x}_0, \mathbf{c}) = q(\mathbf{x}_t|\mathbf{x}_0)$$ 即前向过程与条件无关。这简化了训练但可能限制了模型能力。 @@ -214,6 +219,7 @@ $$q(\mathbf{x}_t|\mathbf{x}_0, \mathbf{c}) = q(\mathbf{x}_t|\mathbf{x}_0)$$ 分类器引导的核心思想是使用外部分类器的梯度来引导扩散模型的采样过程。我们从贝叶斯规则开始： $$\nabla_{\mathbf{x}_t} \log p(\mathbf{x}_t|\mathbf{c}) = \nabla_{\mathbf{x}_t} \log p(\mathbf{x}_t) + \nabla_{\mathbf{x}_t} \log p(\mathbf{c}|\mathbf{x}_t) + $$ 第一项是无条件分数，第二项是分类器的梯度。这给出了条件采样的更新规则： @@ -227,6 +233,7 @@ $$\tilde{\boldsymbol{\epsilon}}_\theta(\mathbf{x}_t, t, \mathbf{c}) = \boldsymbo 关键挑战是训练一个能在所有噪声水平 $t$ 上工作的分类器。 **训练目标**： + $$\mathcal{L}_{classifier} = \mathbb{E}_{t \sim \mathcal{U}[1,T], \mathbf{x}_0 \sim p_{data}, \boldsymbol{\epsilon} \sim \mathcal{N}(0,\mathbf{I})} \left[-\log p_\phi(\mathbf{c}|\mathbf{x}_t, t)\right]$$ 其中 $\mathbf{x}_t = \sqrt{\bar{\alpha}_t}\mathbf{x}_0 + \sqrt{1-\bar{\alpha}_t}\boldsymbol{\epsilon}$ 是加噪后的样本。 @@ -273,6 +280,7 @@ $$\tilde{\boldsymbol{\epsilon}}_\theta(\mathbf{x}_t, t, \mathbf{c}) = \boldsymbo 不同时间步的梯度量级差异很大，需要自适应缩放。根据噪声水平调整： $$\nabla_{scaled} = \frac{1}{\sqrt{1-\bar{\alpha}_t}} \cdot \nabla_{\mathbf{x}_t} \log p_\phi(\mathbf{c}|\mathbf{x}_t) + $$ 这种缩放补偿了不同噪声水平下的信号强度差异。 @@ -361,6 +369,7 @@ $$\tilde{\boldsymbol{\epsilon}} = \begin{cases} 使用空间掩码 $\mathbf{M}$ 只对图像的特定区域应用引导： $$\tilde{\boldsymbol{\epsilon}} = \boldsymbol{\epsilon}_\theta - s\sqrt{1-\bar{\alpha}_t}(\mathbf{M} \odot \nabla \log p_\phi(\mathbf{c}|\mathbf{x}_t)) + $$ 这允许精细的空间控制。 @@ -401,9 +410,11 @@ $$\nabla \log p_{ensemble}(\mathbf{c}|\mathbf{x}_t) = \sum_{i=1}^K w_i \nabla \l 无分类器引导（CFG）解决了分类器引导的主要限制：不需要训练额外的分类器。核心思想是同时训练条件和无条件扩散模型，然后在采样时组合它们的预测。 基本原理基于： + $$\nabla_{\mathbf{x}_t} \log p(\mathbf{x}_t|\mathbf{c}) = \nabla_{\mathbf{x}_t} \log p(\mathbf{x}_t) + \nabla_{\mathbf{x}_t} \log p(\mathbf{c}|\mathbf{x}_t)$$ CFG通过隐式估计 $\nabla_{\mathbf{x}_t} \log p(\mathbf{c}|\mathbf{x}_t)$ ： + $$\nabla_{\mathbf{x}_t} \log p(\mathbf{c}|\mathbf{x}_t) \approx \nabla_{\mathbf{x}_t} \log p(\mathbf{x}_t|\mathbf{c}) - \nabla_{\mathbf{x}_t} \log p(\mathbf{x}_t)$$ ### 9.3.2 训练策略：条件Dropout @@ -415,6 +426,7 @@ $$\nabla_{\mathbf{x}_t} \log p(\mathbf{c}|\mathbf{x}_t) \approx \nabla_{\mathbf{ 3. 损失函数保持不变： $\mathcal{L} = \mathbb{E}_{t,\mathbf{x}_0,\boldsymbol{\epsilon}}[\|\boldsymbol{\epsilon} - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c}_{masked})\|^2]$ 其中： + $$\mathbf{c}_{masked} = \begin{cases} \mathbf{c} & \text{with probability } 1-p_{uncond} \\ \varnothing & \text{with probability } p_{uncond} @@ -430,6 +442,7 @@ $$\mathbf{c}_{masked} = \begin{cases} ### 9.3.3 采样公式 CFG的采样公式： + $$\tilde{\boldsymbol{\epsilon}}_\theta(\mathbf{x}_t, t, \mathbf{c}) = (1 + w)\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c}) - w\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing)$$ 其中： @@ -438,6 +451,7 @@ $$\tilde{\boldsymbol{\epsilon}}_\theta(\mathbf{x}_t, t, \mathbf{c}) = (1 + w)\bo - $\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing)$ ：无条件预测 这可以重写为： + $$\tilde{\boldsymbol{\epsilon}}_\theta = \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing) + w[\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c}) - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing)]$$ 显示了从无条件预测出发，朝条件方向移动的解释。 @@ -480,6 +494,7 @@ $$\tilde{\boldsymbol{\epsilon}}_\theta = \boldsymbol{\epsilon}_\theta(\mathbf{x} **动态引导调度**： 可以使用时变的引导权重，例如线性插值： + $$w(t) = w_{start} \cdot (1 - t/T) + w_{end} \cdot (t/T)$$ 其中早期使用较强的引导（ $w_{start}$ 较大），后期逐渐减弱（ $w_{end}$ 较小），帮助模型在保持条件忠实度的同时提高细节质量。 @@ -492,6 +507,7 @@ $$w(t) = w_{start} \cdot (1 - t/T) + w_{end} \cdot (t/T)$$ **1. 为什么CFG有效？** CFG隐式地增强了条件的对数似然： + $$\log \tilde{p}(\mathbf{x}|\mathbf{c}) = \log p(\mathbf{x}|\mathbf{c}) + w\log p(\mathbf{c}|\mathbf{x})$$ 这相当于在采样时重新加权条件的重要性。 @@ -541,6 +557,7 @@ CFG可以视为变分推断中的重要性加权： **1. 负向提示（Negative Prompting）** 使用负条件来避免特定内容的生成。组合公式为： + $$\tilde{\boldsymbol{\epsilon}} = \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing) + w_{pos} [\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c}_{pos}) - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing)] - w_{neg} [\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c}_{neg}) - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing)]$$ 其中 $\mathbf{c}_{pos}$ 是期望的条件， $\mathbf{c}_{neg}$ 是要避免的条件， $w_{pos}$ 和 $w_{neg}$ 分别控制正向和负向引导的强度。 @@ -557,6 +574,7 @@ $$\tilde{\boldsymbol{\epsilon}} = \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, 根据预测的不确定性调整引导强度。一种方法是基于条件和无条件预测的差异： $$w_{adaptive} = w_{base} \cdot \exp(-\alpha \cdot ||\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c}) - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing)||) + $$ 当预测差异较大时，说明模型对条件的理解存在不确定性，此时减小引导权重可以避免过度放大误差。 @@ -622,7 +640,9 @@ $$\tilde{\boldsymbol{\epsilon}} = \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, **1. 基础负向提示** 组合正向和负向条件的公式： + $$\tilde{\boldsymbol{\epsilon}} = \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing) + w_{pos}[\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c}_{pos}) - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing)] - w_{neg}[\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c}_{neg}) - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing)] + $$ 这个公式使得生成朝着正向条件移动，同时远离负向条件。 @@ -630,6 +650,7 @@ $$ **2. 多负向提示** 当需要避免多个不希望的属性时，可以使用多负向提示： + $$\tilde{\boldsymbol{\epsilon}} = \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing) + w_{pos}[\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c}_{pos}) - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing)] - \sum_{i=1}^{n} w_{neg,i}[\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c}_{neg,i}) - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing)]$$ 每个负向条件可以有不同的权重 $w_{neg,i}$ 。 @@ -637,6 +658,7 @@ $$\tilde{\boldsymbol{\epsilon}} = \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, **3. 自适应负向强度** 根据正负向条件的相似度调整负向强度： + $$w_{neg} = w_{neg,base} \cdot (1 + \alpha \cdot \text{sim}(\mathbf{c}_{pos}, \mathbf{c}_{neg}))$$ 其中 $\text{sim}(\cdot,\cdot)$ 是余弦相似度。当正负向条件相似度高时（如“高质量”与“低质量”），增强负向强度更有必要。 @@ -651,7 +673,9 @@ $$w_{neg} = w_{neg,base} \cdot (1 + \alpha \cdot \text{sim}(\mathbf{c}_{pos}, \m **1. 时间相关的引导** 使用余弦调度的引导权重： + $$w(t) = w_{min} + (w_{max} - w_{min}) \cdot \frac{1 + \cos(\pi \cdot t/T)}{2} + $$ 这种调度在初期和末期使用较弱的引导，中期使用较强的引导，形成平滑的过渡。 @@ -659,6 +683,7 @@ $$ **2. 内容相关的引导** 基于当前生成内容与条件的对齐度调整引导强度。可以提取中间特征并计算与条件的对齐分数： + $$w = \begin{cases} w_{strong} & \text{if } \text{alignment}(\mathbf{x}_t, \mathbf{c}) < \tau \\ w_{normal} & \text{otherwise} @@ -693,6 +718,7 @@ ControlNet通过复制基础模型的编码器结构，并使用零初始化的 **2. 多控制组合** 同时使用多个控制信号（如深度图、边缘图、姿态图）时，可以通过加权组合各个控制网络的输出： + $$\tilde{\boldsymbol{\epsilon}} = \boldsymbol{\epsilon}_{text} + \sum_{i} w_i \cdot \boldsymbol{\epsilon}_{control_i}$$ 其中 $\boldsymbol{\epsilon}_{text}$ 是文本引导的预测， $\boldsymbol{\epsilon}_{control_i}$ 是第 $i$ 个控制网络的输出， $w_i$ 是对应的权重。 @@ -700,6 +726,7 @@ $$\tilde{\boldsymbol{\epsilon}} = \boldsymbol{\epsilon}_{text} + \sum_{i} w_i \c **3. 适配器方法** 适配器（Adapter）是一种轻量级的条件注入方法，使用下投影-激活-上投影的结构： + $$\mathbf{h} = \mathbf{x} + \text{UP}(\text{GELU}(\text{DOWN}(\mathbf{c})))$$ 其中： @@ -741,7 +768,9 @@ $$\mathbf{h} = \mathbf{x} + \text{UP}(\text{GELU}(\text{DOWN}(\mathbf{c})))$$ **1. 级联引导** 级联引导通过逐步应用不同的条件来细化生成结果。每个阶段应用一个条件，并可选择地在阶段之间执行部分去噪： + $$\mathbf{x}^{(i+1)} = \text{ApplyGuidance}(\mathbf{x}^{(i)}, t, \mathbf{c}_i, w_i) + $$ 这种方法特别适合处理层次化的条件，如先应用全局布局条件，再应用局部细节条件。 @@ -795,6 +824,7 @@ $$ **1. 分类准确率** 对于类别条件，可以使用预训练的分类器评估生成图像的类别一致性： + $$\text{Accuracy} = \frac{1}{N} \sum_{i=1}^{N} \mathbb{1}[\arg\max_j p(y_j|\mathbf{x}_i) = c_i]$$ 其中 $p(y_j|\mathbf{x}_i)$ 是分类器对生成图像 $\mathbf{x}_i$ 的预测概率， $c_i$ 是目标类别。 @@ -802,6 +832,7 @@ $$\text{Accuracy} = \frac{1}{N} \sum_{i=1}^{N} \mathbb{1}[\arg\max_j p(y_j|\math **2. CLIP Score** 对于文本条件，使用CLIP模型计算图像-文本的对齐度： + $$\text{CLIP Score} = \mathbb{E}[\cos(\mathbf{f}_I(\mathbf{x}), \mathbf{f}_T(\mathbf{c}))]$$ 其中 $\mathbf{f}_I$ 和 $\mathbf{f}_T$ 分别是CLIP的图像和文本编码器， $\cos(\cdot,\cdot)$ 是余弦相似度。更高的CLIP分数表示更好的图像-文本对齐。 @@ -809,6 +840,7 @@ $$\text{CLIP Score} = \mathbb{E}[\cos(\mathbf{f}_I(\mathbf{x}), \mathbf{f}_T(\ma **3. 结构相似度** 对于空间控制（如ControlNet），可以使用结构相似性指标（SSIM）或边缘检测来评估： + $$\text{SSIM} = \frac{(2\mu_x\mu_y + c_1)(2\sigma_{xy} + c_2)}{(\mu_x^2 + \mu_y^2 + c_1)(\sigma_x^2 + \sigma_y^2 + c_2)}$$ 其中 $\mu$ 是均值， $\sigma$ 是标准差， $\sigma_{xy}$ 是协方差， $c_1, c_2$ 是稳定常数。 @@ -816,6 +848,7 @@ $$\text{SSIM} = \frac{(2\mu_x\mu_y + c_1)(2\sigma_{xy} + c_2)}{(\mu_x^2 + \mu_y^ **4. 语义一致性** 使用预训练模型评估语义对齐。通过提取图像和条件的语义特征，计算它们之间的距离： + $$\text{Semantic Consistency} = \frac{1}{1 + d(\mathbf{s}_I, \mathbf{s}_C)}$$ 其中 $\mathbf{s}_I$ 是图像的语义特征， $\mathbf{s}_C$ 是条件的语义特征， $d(\cdot,\cdot)$ 是距离度量（如L2距离）。 @@ -839,6 +872,7 @@ $$\text{Semantic Consistency} = \frac{1}{1 + d(\mathbf{s}_I, \mathbf{s}_C)}$$ **3. 自动权衡选择** 可以基于历史数据拟合质量和多样性与引导权重的关系，然后根据目标质量和多样性自动选择最佳引导权重： + $$w^* = \arg\min_w |Q(w) - Q_{target}| + |D(w) - D_{target}|$$ 其中 $Q(w)$ 和 $D(w)$ 分别是质量和多样性关于引导权重的函数。 From 57e5d6fa8bdba5439a723e6e0bd5474a4ceda3d9 Mon Sep 17 00:00:00 2001 From: William Date: Sun, 27 Jul 2025 13:26:19 +0800 Subject: [PATCH 30/62] interim --- .gitignore | 1 + 1 file changed, 1 insertion(+) create mode 100644 .gitignore diff --git a/.gitignore b/.gitignore new file mode 100644 index 0000000..bee8a64 --- /dev/null +++ b/.gitignore @@ -0,0 +1 @@ +__pycache__ From 609ea53ef8204972293658b81fe066d055206bfd Mon Sep 17 00:00:00 2001 From: William Date: Sun, 27 Jul 2025 13:28:59 +0800 Subject: [PATCH 31/62] interim --- chapter12.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/chapter12.md b/chapter12.md index 19e3486..4780d1e 100644 --- a/chapter12.md +++ b/chapter12.md @@ -248,7 +248,7 @@ D3PM（Discrete Denoising Diffusion Probabilistic Models）通过将连续扩散 对于离散状态 $x \in \{1, 2, ..., K\}$ （K是词汇表大小），前向过程定义为： -$$q(x_t|x_{t-1}) = \text{Cat}(x_t; \mathbf{Q}_t x_{t-1})$$ +$$q(x\_t|x_{t-1}) = \text{Cat}(x\_t; \mathbf{Q}\_t x\_{t-1})$$ 其中 $\mathbf{Q}_t \in \mathbb{R}^{K \times K}$ 是转移矩阵， $\text{Cat}$ 表示分类分布。 From c0bfaa022adfe2fdf767a557c0d6fd09a6a4f6b5 Mon Sep 17 00:00:00 2001 From: William Date: Sun, 27 Jul 2025 13:32:35 +0800 Subject: [PATCH 32/62] interim --- add_latex_spaces.py | 46 +++++++++++++++++++++++++++++++++++++++++ chapter1.md | 50 ++++++++++++++++++++++----------------------- 2 files changed, 71 insertions(+), 25 deletions(-) diff --git a/add_latex_spaces.py b/add_latex_spaces.py index 3251b51..5835eb1 100755 --- a/add_latex_spaces.py +++ b/add_latex_spaces.py @@ -11,6 +11,9 @@ def add_spaces_around_latex(content): "我$a+b$，" -> "我 $a+b$ ，" "其中$x$是" -> "其中 $x$ 是" "文字$$公式$$" -> "文字\n$$公式$$" + + Also escapes underscores in LaTeX contexts: + "$x_i$" -> "$x\_i$" """ # First, handle $$ blocks - ensure newline before starting $$ # New approach: Find all $$ positions and process them correctly @@ -68,6 +71,49 @@ def add_spaces_around_latex(content): # Replace in result result = result[:start_pos] + replacement + result[end_pos:] + # Escape underscores within LaTeX contexts + # First, handle display math blocks $$...$$ + display_blocks = [] + i = 0 + while i < len(result) - 1: + if result[i:i+2] == '$$': + start = i + i += 2 + # Find the closing $$ + while i < len(result) - 1: + if result[i:i+2] == '$$': + end = i + 2 + display_blocks.append((start, end)) + i += 2 + break + i += 1 + else: + i += 1 + + # Process display blocks from end to beginning to avoid position shifts + for start, end in reversed(display_blocks): + block_content = result[start+2:end-2] + # Replace unescaped underscores + escaped_content = re.sub(r'(? **练习 1.1：分析噪声调度** -考虑一个线性噪声调度： $\beta_t = \beta_{min} + \frac{t-1}{T-1}(\beta_{max} - \beta_{min})$ ，其中 $T=1000$ , $\beta_{min}=10^{-4}$ , $\beta_{max}=0.02$ 。 +考虑一个线性噪声调度： $\beta\_t = \beta\_{min} + \frac{t-1}{T-1}(\beta\_{max} - \beta\_{min})$ ，其中 $T=1000$ , $\beta\_{min}=10^{-4}$ , $\beta\_{max}=0.02$ 。 -1. **推导与分析**：推导信噪比 (Signal-to-Noise Ratio, SNR) $\text{SNR}(t) = \frac{\bar{\alpha}_t}{1-\bar{\alpha}_t}$ 的表达式。分析其随时间 $t$ 的变化趋势，并解释为什么在对数尺度下观察SNR更有意义。 +1. **推导与分析**：推导信噪比 (Signal-to-Noise Ratio, SNR) $\text{SNR}(t) = \frac{\bar{\alpha}\_t}{1-\bar{\alpha}\_t}$ 的表达式。分析其随时间 $t$ 的变化趋势，并解释为什么在对数尺度下观察SNR更有意义。 2. **开放探索**：比较线性和余弦调度对整个扩散过程中信息损失速率的影响。哪种调度在过程的早期/晚期损失更多信息？这如何影响模型的学习难度和最终生成质量？ 3. **研究思路**： - * **信息瓶颈视角的噪声调度分析**：信息瓶颈（Information Bottleneck）理论最小化 $\mathcal{L} = I(X;Z) - \beta I(Z;Y)$ ，其中 $Z$ 是压缩表示。在扩散模型中， $\mathbf{x}_t$ 可视为 $\mathbf{x}_0$ 的压缩表示，互信息 $I(\mathbf{x}_0; \mathbf{x}_t) = \frac{1}{2}\log\frac{1}{1-\bar{\alpha}_t}$ 随时间递减。理想的噪声调度应该：(1) 在早期保留语义信息（高层特征），在后期才丢失细节；(2) 使信息损失率 $-\frac{dI}{dt}$ 尽可能恒定，避免某些时刻的学习困难；(3) 考虑数据的固有维度 $d_{intrinsic}$ ，高维数据可能需要更平缓的调度。这启发我们设计自适应调度： $\beta_t = f(I(\mathbf{x}_0; \mathbf{x}_t), d_{intrinsic})$ 。 + * **信息瓶颈视角的噪声调度分析**：信息瓶颈（Information Bottleneck）理论最小化 $\mathcal{L} = I(X;Z) - \beta I(Z;Y)$ ，其中 $Z$ 是压缩表示。在扩散模型中， $\mathbf{x}\_t$ 可视为 $\mathbf{x}\_0$ 的压缩表示，互信息 $I(\mathbf{x}\_0; \mathbf{x}\_t) = \frac{1}{2}\log\frac{1}{1-\bar{\alpha}\_t}$ 随时间递减。理想的噪声调度应该：(1) 在早期保留语义信息（高层特征），在后期才丢失细节；(2) 使信息损失率 $-\frac{dI}{dt}$ 尽可能恒定，避免某些时刻的学习困难；(3) 考虑数据的固有维度 $d\_{intrinsic}$ ，高维数据可能需要更平缓的调度。这启发我们设计自适应调度： $\beta\_t = f(I(\mathbf{x}\_0; \mathbf{x}\_t), d\_{intrinsic})$ 。 * 研究噪声调度与模型架构（如U-Net的不同层）之间的相互作用。 * 探索变分方法，将噪声调度本身作为可学习的参数。 @@ -66,25 +66,25 @@ $$q(\mathbf{x}_t | \mathbf{x}_0) = \mathcal{N}(\mathbf{x}_t; \sqrt{\bar{\alpha}_ ### 1.2.2 反向去噪过程 -反向过程的目标是学习条件分布 $p_\theta(\mathbf{x}_{t-1} | \mathbf{x}_t)$ ，从纯噪声 $\mathbf{x}_T \sim \mathcal{N}(0, \mathbf{I})$ 开始，逐步去除噪声，最终生成数据样本 $\mathbf{x}_0$ 。 +反向过程的目标是学习条件分布 $p\_\theta(\mathbf{x}\_{t-1} | \mathbf{x}\_t)$ ，从纯噪声 $\mathbf{x}\_T \sim \mathcal{N}(0, \mathbf{I})$ 开始，逐步去除噪声，最终生成数据样本 $\mathbf{x}\_0$ 。 -$$p_\theta(\mathbf{x}_{0:T}) = p(\mathbf{x}_T) \prod_{t=1}^T p_\theta(\mathbf{x}_{t-1} | \mathbf{x}_t)$$ +$$p\_\theta(\mathbf{x}\_{0:T}) = p(\mathbf{x}\_T) \prod\_{t=1}^T p\_\theta(\mathbf{x}\_{t-1} | \mathbf{x}\_t)$$ -其中，每一步的去噪由一个参数化的神经网络 $\boldsymbol{\mu}_\theta(\mathbf{x}_t, t)$ 建模： +其中，每一步的去噪由一个参数化的神经网络 $\boldsymbol{\mu}\_\theta(\mathbf{x}\_t, t)$ 建模： -$$p_\theta(\mathbf{x}_{t-1} | \mathbf{x}_t) = \mathcal{N}(\mathbf{x}_{t-1}; \boldsymbol{\mu}_\theta(\mathbf{x}_t, t), \sigma_t^2\mathbf{I})$$ +$$p\_\theta(\mathbf{x}\_{t-1} | \mathbf{x}\_t) = \mathcal{N}(\mathbf{x}\_{t-1}; \boldsymbol{\mu}\_\theta(\mathbf{x}\_t, t), \sigma\_t^2\mathbf{I})$$ ⚡ **实现挑战：方差参数化的选择** -固定方差vs学习方差是一个未解决的权衡问题。DDPM使用固定的、与 $\beta_t$ 相关的方差，而后续工作（如Improved DDPM）则学习方差 $\sigma_t^2$ 。理论上最优的参数化形式是什么？这涉及到`torch.nn.Parameter`的灵活使用和梯度流的稳定性分析。 +固定方差vs学习方差是一个未解决的权衡问题。DDPM使用固定的、与 $\beta\_t$ 相关的方差，而后续工作（如Improved DDPM）则学习方差 $\sigma\_t^2$ 。理论上最优的参数化形式是什么？这涉及到`torch.nn.Parameter`的灵活使用和梯度流的稳定性分析。
**练习 1.2：探索扩散过程的数学本质** -考虑一个简单的一维扩散过程，初始数据为单点 $x_0$ 。 +考虑一个简单的一维扩散过程，初始数据为单点 $x\_0$ 。 -1. **前向过程分析**：推导任意时刻 $t$ 的期望 $\mathbb{E}[x_t | x_0]$ 和方差 $\text{Var}(x_t | x_0)$ 。 -2. **信息论视角**：推导并分析互信息 $I(x_t; x_0)$ 如何随时间 $t$ 衰减。这对于理解扩散过程中的信息损失有何启示？ -3. **最优反向过程**：证明当 $\beta_t \to 0$ 时，真实的反向过程条件分布 $q(\mathbf{x}_{t-1} | \mathbf{x}_t, \mathbf{x}_0)$ 的均值，可以仅由 $\mathbf{x}_t$ 和 $\nabla_{\mathbf{x}_t} \log q_t(\mathbf{x}_t)$ （即分数函数）来近似表达。这揭示了扩散模型与分数模型的深刻联系（将在第4章详细讨论）。 +1. **前向过程分析**：推导任意时刻 $t$ 的期望 $\mathbb{E}[x\_t | x\_0]$ 和方差 $\text{Var}(x\_t | x\_0)$ 。 +2. **信息论视角**：推导并分析互信息 $I(x\_t; x\_0)$ 如何随时间 $t$ 衰减。这对于理解扩散过程中的信息损失有何启示？ +3. **最优反向过程**：证明当 $\beta\_t \to 0$ 时，真实的反向过程条件分布 $q(\mathbf{x}\_{t-1} | \mathbf{x}\_t, \mathbf{x}\_0)$ 的均值，可以仅由 $\mathbf{x}\_t$ 和 $\nabla\_{\mathbf{x}\_t} \log q\_t(\mathbf{x}\_t)$ （即分数函数）来近似表达。这揭示了扩散模型与分数模型的深刻联系（将在第4章详细讨论）。 4. **研究思路**： * 将1D高斯情况下的解析解作为理解高维、复杂数据分布上扩散过程的“玩具模型”。 * 探索非高斯噪声（如Laplace或Student's-t分布）对前向和反向过程的影响。 @@ -127,12 +127,12 @@ $$p_\theta(\mathbf{x}_{t-1} | \mathbf{x}_t) = \mathcal{N}(\mathbf{x}_{t-1}; \bol **综合练习：噪声调度的理论分析** 考虑三种常见的噪声调度策略： -- **线性调度**： $\beta_t = \beta_{\text{start}} + \frac{t-1}{T-1}(\beta_{\text{end}} - \beta_{\text{start}})$ -- **余弦调度**： $\bar{\alpha}_t = f(t)/f(0)$ ，其中 $f(t) = \cos\left(\frac{t/T + s}{1 + s} \cdot \frac{\pi}{2}\right)^2$ -- **二次调度**： $\beta_t$ 的增长率随 $t$ 呈二次关系。 +- **线性调度**： $\beta\_t = \beta\_{\text{start}} + \frac{t-1}{T-1}(\beta\_{\text{end}} - \beta\_{\text{start}})$ +- **余弦调度**： $\bar{\alpha}\_t = f(t)/f(0)$ ，其中 $f(t) = \cos\left(\frac{t/T + s}{1 + s} \cdot \frac{\pi}{2}\right)^2$ +- **二次调度**： $\beta\_t$ 的增长率随 $t$ 呈二次关系。 **理论分析与开放探索：** -1. **信噪比分析**：推导并绘制每种调度下信噪比 $\text{SNR}(t) = \bar{\alpha}_t / (1 - \bar{\alpha}_t)$ 的对数曲线。比较不同曲线的形状，并讨论其对模型学习过程可能产生的影响（例如，模型在哪些阶段需要学习更精细的细节？）。 +1. **信噪比分析**：推导并绘制每种调度下信噪比 $\text{SNR}(t) = \bar{\alpha}\_t / (1 - \bar{\alpha}\_t)$ 的对数曲线。比较不同曲线的形状，并讨论其对模型学习过程可能产生的影响（例如，模型在哪些阶段需要学习更精细的细节？）。 2. **与最优传输的联系**：噪声调度定义了从数据分布到噪声分布的路径。这与最优传输（Optimal Transport）理论中的位移插值（displacement interpolation）有何联系？是否存在一个“最优”的调度方案，可以最小化某种传输成本？ 3. **实现挑战：自适应噪声调度**：能否设计一个根据数据特性（如复杂度、固有维度）或训练阶段动态调整的噪声调度？这可能需要在线估计数据的局部几何性质。`torch.autograd.functional.jacobian`可用于计算此类局部几何量。 4. **理论空白：噪声调度与采样效率**：不同的噪声调度对DDIM等快速采样算法的影响机制尚不清楚。是否存在专门为快速采样（而非最优训练）设计的噪声调度？这涉及到对ODE/SDE求解器离散化误差的精细分析。 From 7c7d02b1eeaf142a5cc4c44b8446f8c77cf6a496 Mon Sep 17 00:00:00 2001 From: William Date: Sun, 27 Jul 2025 13:43:02 +0800 Subject: [PATCH 33/62] interim --- add_latex_spaces.py | 106 ++++++++++++++++++++++++-------------------- 1 file changed, 57 insertions(+), 49 deletions(-) diff --git a/add_latex_spaces.py b/add_latex_spaces.py index 5835eb1..12bbcc9 100755 --- a/add_latex_spaces.py +++ b/add_latex_spaces.py @@ -4,7 +4,7 @@ import re import sys -def add_spaces_around_latex(content): +def add_spaces_around_latex(content, escape_underscores=False): """Add spaces around single dollar LaTeX expressions and ensure newline before $$ blocks. Examples: @@ -12,8 +12,8 @@ def add_spaces_around_latex(content): "其中$x$是" -> "其中 $x$ 是" "文字$$公式$$" -> "文字\n$$公式$$" - Also escapes underscores in LaTeX contexts: - "$x_i$" -> "$x\_i$" + If escape_underscores=True, also escapes underscores in LaTeX contexts: + "$x_i$" -> "$x\\_i$" """ # First, handle $$ blocks - ensure newline before starting $$ # New approach: Find all $$ positions and process them correctly @@ -71,61 +71,64 @@ def add_spaces_around_latex(content): # Replace in result result = result[:start_pos] + replacement + result[end_pos:] - # Escape underscores within LaTeX contexts - # First, handle display math blocks $$...$$ - display_blocks = [] - i = 0 - while i < len(result) - 1: - if result[i:i+2] == '$$': - start = i - i += 2 - # Find the closing $$ - while i < len(result) - 1: - if result[i:i+2] == '$$': - end = i + 2 - display_blocks.append((start, end)) - i += 2 - break + # Optionally escape underscores within LaTeX contexts + if escape_underscores: + # First, handle display math blocks $$...$$ + display_blocks = [] + i = 0 + while i < len(result) - 1: + if result[i:i+2] == '$$': + start = i + i += 2 + # Find the closing $$ + while i < len(result) - 1: + if result[i:i+2] == '$$': + end = i + 2 + display_blocks.append((start, end)) + i += 2 + break + i += 1 + else: i += 1 - else: - i += 1 - - # Process display blocks from end to beginning to avoid position shifts - for start, end in reversed(display_blocks): - block_content = result[start+2:end-2] - # Replace unescaped underscores - escaped_content = re.sub(r'(? [file2.md ...]") - sys.exit(1) + import argparse + + parser = argparse.ArgumentParser(description="Add spaces around LaTeX expressions in markdown files") + parser.add_argument('files', nargs='+', help='Markdown files to process') + parser.add_argument('--escape-underscores', '-u', action='store_true', + help='Escape underscores in LaTeX contexts (default: off)') + + args = parser.parse_args() - for filepath in sys.argv[1:]: - process_file(filepath) + for filepath in args.files: + process_file(filepath, escape_underscores=args.escape_underscores) From d1b8142fb6fee4de0549fef1cd2314244f951434 Mon Sep 17 00:00:00 2001 From: William Date: Thu, 31 Jul 2025 07:46:34 +0800 Subject: [PATCH 34/62] interim --- PROJECT_STATUS.md | 110 ++++++++++++++++++++++++++++++++++++++++++++ README.md | 114 ++++++++++++++++++++++++++++++++++++++++++++++ chapter10.md | 101 ++++++++++++++++++++++++++++++++++++++++ 3 files changed, 325 insertions(+) create mode 100644 PROJECT_STATUS.md create mode 100644 README.md diff --git a/PROJECT_STATUS.md b/PROJECT_STATUS.md new file mode 100644 index 0000000..124c6ef --- /dev/null +++ b/PROJECT_STATUS.md @@ -0,0 +1,110 @@ +# 扩散模型教程项目状态 + +## 项目完成情况 + +### ✅ 已完成的任务 + +1. **章节编写（14章全部完成）** + - 第1章：扩散模型导论 + - 第2章：神经网络架构：U-Net与ViT + - 第3章：去噪扩散概率模型 (DDPM) + - 第4章：基于分数的生成模型 + - 第5章：连续时间扩散模型 (PDE/SDE) + - 第6章：流匹配 (Flow Matching) + - 第7章：扩散Transformer (DiT) + - 第8章：采样算法与加速技术 + - 第9章：条件生成与引导技术 + - 第10章：潜在扩散模型 (LDM) + - 第11章：视频扩散模型 + - 第12章：文本扩散模型 + - 第13章：扩散模型的应用 + - 第14章：前沿研究与未来方向 + +2. **代码块移除** + - 所有Python代码块已成功移除 + - 代码内容已转换为数学公式和文字描述 + - 使用自动化脚本 `remove_code_blocks.py` 处理 + +3. **LaTeX格式优化** + - 创建并优化了 `add_latex_spaces.py` 脚本 + - 确保单个 $ 的行内公式有适当空格 + - 确保 + +$$ 的显示公式前有换行 + +4. **项目文件完善** + - 更新了 `index.md`，标记所有章节为已完成 + - 创建了验证脚本 `validate_tutorial.py` + - 所有章节包含丰富的练习题和研究线索 + +## 教程特色 + +1. **由浅入深的结构设计** + - 从基础概念逐步过渡到前沿研究 + - 每章都有清晰的学习目标和章节大纲 + +2. **大量习题和参考答案** + - 每个重要概念都配有练习题 + - 练习题包含理论推导和实践任务 + - 答案使用 `
` 标签默认折叠 + +3. **丰富的研究线索** + - 使用 🔬 和 🌟 标记研究方向 + - 提供开放性问题供深入探索 + - 连接相关的数学理论和前沿论文 + +4. **数学严谨性** + - 使用LaTeX格式的数学公式 + - 提供完整的推导过程 + - 平衡直观理解和理论深度 + +## 统计信息 + +- 总行数：8,045行 +- 总字符数：155,944字符 +- 平均每章：574行，11,138字符 +- 最长章节：第14章（1,292行） +- 最短章节：第5章（115行） + +## 待完成项目（可选） + +1. **附录编写** + - 附录A：测度论与随机过程速成 + - 附录B：倒向随机微分方程 (BSDE) 速成 + +2. **交互式元素** + - 可以添加可视化demo链接 + - 集成Jupyter notebook示例 + +3. **进一步优化** + - 添加章节间的交叉引用 + - 创建术语表和索引 + - 设计统一的练习题难度标记系统 + +## 使用建议 + +1. **阅读顺序** + - 初学者：按章节顺序阅读 + - 有基础者：可以跳过前3章 + - 研究者：重点关注5-7章和14章 + +2. **练习策略** + - 每章至少完成一个练习题 + - 尝试拓展练习中的研究问题 + - 记录自己的理解和疑问 + +3. **深入学习** + - 跟随研究线索查阅相关论文 + - 实现简化版本的算法 + - 参与开源项目实践 + +## 项目维护 + +- 定期更新最新研究进展 +- 收集读者反馈改进内容 +- 添加更多实际应用案例 +- 保持数学符号的一致性 + +--- + +最后更新：2025-07-27 \ No newline at end of file diff --git a/README.md b/README.md new file mode 100644 index 0000000..6153236 --- /dev/null +++ b/README.md @@ -0,0 +1,114 @@ +# 扩散模型教程 + +## Diffusion Models: From Theory to Practice + +欢迎来到扩散模型教程！本教程将带你从基础理论逐步深入到实际应用，帮助你全面理解和掌握扩散模型这一强大的生成模型技术。 + +每个章节包含： + +- 理论基础与数学推导 +- 可视化演示和交互式示例 +- 编程练习与实践项目 +- 习题与参考答案（默认折叠） + +## 前置知识要求 + +本教程假设读者已具备以下基础知识： + +- **概率论与统计**：随机变量、概率分布、期望、方差、贝叶斯定理 +- **线性代数**：矩阵运算、特征值分解、向量空间 +- **微积分**：多元微积分、偏导数、链式法则、泰勒展开 +- **深度学习基础**：神经网络、反向传播、卷积网络、Transformer +- **PyTorch 编程**：张量操作、自动微分、模型训练流程 + +如果对某些概念不熟悉，建议先补充相关知识再开始学习。附录部分提供了部分高级数学概念的速成指南。 + +## 课程章节 + +### [第1章：扩散模型导论](chapter1.md) +*已完成* + +介绍扩散模型的基本概念、历史发展、与其他生成模型的比较，以及前向扩散过程的数学基础。 + +### [第2章：神经网络架构：U-Net与ViT](chapter2.md) +*已完成* + +探索去噪网络的历史发展，从医学图像分割到生成模型，深入理解U-Net架构演进和Vision Transformer的崛起。 + +### [第3章：去噪扩散概率模型 (DDPM)](chapter3.md) +*已完成* + +深入理解DDPM的核心原理，包括前向过程、反向过程、变分下界推导、训练算法和完整实现。 + +### [第4章：基于分数的生成模型](chapter4.md) +*已完成* + +探索score matching和Langevin dynamics，理解扩散模型与分数函数的深层联系。 + +### [第5章：连续时间扩散模型 (PDE/SDE)](chapter5.md) +*已完成* + +从随机微分方程(SDE)和偏微分方程(PDE)角度理解扩散模型，包括概率流ODE、Fokker-Planck方程等连续时间框架。 + +### [第6章：流匹配 (Flow Matching)](chapter6.md) +*已完成* + +连续正则化流、最优传输视角、与扩散模型的联系。 + +### [第7章：扩散Transformer (DiT)](chapter7.md) +*已完成* + +Diffusion Transformer架构、与U-Net的对比、可扩展性分析。 + +### [第8章：采样算法与加速技术](chapter8.md) +*已完成* + +学习DDIM、DPM-Solver等快速采样方法，以及如何优化生成质量与速度的平衡。 + +### [第9章：条件生成与引导技术](chapter9.md) +*已完成* + +掌握classifier guidance、classifier-free guidance等条件生成技术，实现可控生成。 + +### [第10章：潜在扩散模型 (LDM)](chapter10.md) +*已完成* + +理解Stable Diffusion的架构，学习如何在潜在空间中进行高效的扩散建模。 + +### [第11章：视频扩散模型](chapter11.md) +*已完成* + +时序建模、3D U-Net、视频生成的挑战与方法。 + +### [第12章：文本扩散模型](chapter12.md) +*已完成* + +探索离散域上的扩散模型，包括D3PM、Diffusion-LM等文本生成方法，以及embedding空间的扩散技术。 + +### [第13章：扩散模型的应用](chapter13.md) +*已完成* + +探索图像生成、图像编辑、超分辨率、3D生成等实际应用场景。 + +### [第14章：前沿研究与未来方向](chapter14.md) +*已完成* + +了解最新研究进展，包括一致性模型、扩散模型的未来发展趋势。 + +## 附录 + +### [附录A：测度论与随机过程速成](appendix-a.md) +*已完成* + +为第5章PDE/SDE内容提供数学基础，包括σ-代数、测度、布朗运动等核心概念。 + +### [附录B：倒向随机微分方程 (BSDE) 速成](appendix-b.md) +*已完成* + +理解扩散模型反向过程的数学工具，包括BSDE基本理论、Feynman-Kac公式等。 + +### [附录C：信息几何与分数函数的力学解释](appendix-c.md) +*已完成* + +从信息几何角度理解扩散模型，揭示分数函数作为"力"的物理意义，建立与能量优化的联系。 + diff --git a/chapter10.md b/chapter10.md index 9cc7c1b..b677df2 100644 --- a/chapter10.md +++ b/chapter10.md @@ -62,6 +62,14 @@ LDM通过在低维潜在空间操作获得多个优势： 3. **更好的归纳偏置**：自然图像的低维流形假设 4. **模块化设计**：分离压缩和生成任务 +潜在空间方法的核心洞察来自于自然图像的内在维度远低于其像素表示。一张512×512的RGB图像虽然有786,432个数值，但其语义内容可以用更紧凑的表示捕捉。这种观察基于流形假设：自然图像分布在高维像素空间的低维流形上。 + +通过学习这个流形的有效参数化，我们可以： +- **减少冗余**：像素级的细微变化往往对语义无关紧要 +- **提高泛化**：在语义空间建模比在像素空间更容易泛化 +- **加速训练**：更小的特征图意味着更快的前向和反向传播 +- **改善条件控制**：语义特征更容易与文本等条件对齐 + **压缩率vs质量的权衡**： ``` 下采样因子 | 潜在维度 | 加速比 | 重建PSNR @@ -70,6 +78,8 @@ LDM通过在低维潜在空间操作获得多个优势： 16 | 16×16 | 256x | ~23dB ``` +这个表格展示了一个关键的工程权衡。8倍下采样被广泛采用，因为它在保持足够的重建质量（~27dB PSNR通常被认为是"好"的质量）的同时，提供了显著的计算节省。更激进的压缩虽然更快，但会导致明显的质量下降，特别是在细节保留方面。 + ### 10.1.3 感知压缩vs信息压缩 LDM的关键洞察是区分两种压缩： @@ -84,11 +94,21 @@ LDM的关键洞察是区分两种压缩： - 方法：学习的编码器 + 感知损失 - 优势：更高压缩率，更语义化的表示 +这种区分具有深远的影响。传统的图像压缩算法（如JPEG、PNG）追求信息论意义上的最优——用最少的比特完美重建原始信号。然而，人类视觉系统并不同等对待所有信息。我们对结构、纹理和语义内容敏感，但对某些高频细节和精确的像素值不敏感。 + +感知压缩利用这一特点，通过以下方式实现更高效的表示： + +1. **结构保留**：优先保留边缘、形状等结构信息 +2. **纹理建模**：学习纹理的统计特性而非精确复制 +3. **语义聚焦**：分配更多容量给语义重要的区域 + 感知压缩的关键是组合不同类型的损失函数： - **像素级损失**：如L1或L2损失，保证基本的重建准确性 - **感知损失**：使用预训练网络（如VGG）的特征空间距离 - **损失权重**：平衡像素级和感知级的重建质量 +感知损失的作用机制值得深入理解。当我们使用VGG等预训练网络的中间层特征计算距离时，实际上是在比较图像的"感知指纹"。这些特征已经学会了识别边缘、纹理、物体部件等视觉模式，因此在这个空间的相似性更接近人类的感知判断。 + 🔬 **研究线索：最优压缩率** 什么决定了最优的压缩率？是否可以根据数据集特性自适应选择？这涉及到率失真理论和流形假设。 @@ -110,10 +130,20 @@ LDM由三个主要组件构成： - 处理文本、类别等条件信息 - 通过交叉注意力注入条件 +这种模块化设计带来了几个重要优势： + +**解耦训练**：自编码器和扩散模型可以独立训练和优化。这意味着我们可以使用大规模无标注数据训练通用的自编码器，然后在特定任务上训练扩散模型。这种方法大大降低了训练成本，并提高了模型的灵活性。 + +**组件复用**：一个训练好的自编码器可以被多个扩散模型共享。例如，同一个VAE可以用于文本到图像、图像编辑、超分辨率等不同任务。这种复用不仅节省了计算资源，还确保了不同任务之间的一致性。 + +**渐进式改进**：各个组件可以独立升级。当出现更好的文本编码器或去噪架构时，我们可以只替换相应的模块，而不需要重新训练整个系统。 + 工作流程： - 编码：图像 $\mathbf{x} \to$ 潜在表示 $\mathbf{z} = \mathcal{E}(\mathbf{x})$ - 扩散：在 $\mathbf{z}$ 空间执行正向/反向扩散过程 - 解码：潜在表示 $\mathbf{z} \to$ 图像 $\mathbf{x} = \mathcal{D}(\mathbf{z})$ + +这个流程的每一步都经过精心设计。编码步骤不仅压缩数据，还将其转换到更适合建模的空间。扩散过程在这个规整的空间中进行，享受更好的收敛性和稳定性。最后的解码步骤将生成的潜在表示转换回视觉丰富的图像空间。 z = z / self.scale_factor with torch.no_grad(): x = self.autoencoder.decode(z) @@ -153,6 +183,8 @@ LDM采用两阶段训练，分离压缩和生成： **第一阶段：训练自编码器** +自编码器训练是整个LDM系统的基础。这个阶段的目标是学习一个高质量的图像压缩和重建系统，为后续的扩散建模提供合适的表示空间。 + 自编码器训练的关键要素： - **编码-解码流程**： $\mathbf{x} \to \mathbf{z} = \mathcal{E}(\mathbf{x}) \to \mathbf{x}_{recon} = \mathcal{D}(\mathbf{z})$ - **重建损失**： $\mathcal{L}_{recon} = ||\mathbf{x} - \mathbf{x}_{recon}||_1$ @@ -160,8 +192,12 @@ LDM采用两阶段训练，分离压缩和生成： - **KL正则化**（VAE情况）： $\mathcal{L}_{KL} = \text{KL}(q(\mathbf{z}|\mathbf{x})||p(\mathbf{z}))$ - **总损失**： $\mathcal{L} = \mathcal{L}_{recon} + \lambda_1 \mathcal{L}_{percep} + \lambda_2 \mathcal{L}_{KL}$ +损失函数的每个部分都有其特定作用。重建损失确保基本的保真度，感知损失维护视觉质量，而KL正则化（在VAE中）约束潜在空间的分布。权重的选择至关重要：过大的KL权重会导致后验崩塌，而过小则可能使潜在空间不规整。实践中，KL权重通常设置为极小值（如1e-6），使模型表现接近确定性自编码器，同时保持轻微的正则化效果。 + **第二阶段：训练扩散模型** +第二阶段专注于在学习到的潜在空间中训练扩散模型。这个阶段的设计充分利用了潜在空间的优良特性。 + 在潜在空间训练扩散模型： - **冻结自编码器**：保持编码器参数固定 - **编码数据**：将图像 $\mathbf{x}$ 编码为 $\mathbf{z} = \mathcal{E}(\mathbf{x})$ @@ -171,6 +207,8 @@ LDM采用两阶段训练，分离压缩和生成： - 预测噪声： $\boldsymbol{\epsilon}_\theta(\mathbf{z}_t, t, \mathbf{c})$ - 损失函数： $\mathcal{L} = \mathbb{E}_{t,\mathbf{z}_0,\boldsymbol{\epsilon}}[||\boldsymbol{\epsilon} - \boldsymbol{\epsilon}_\theta(\mathbf{z}_t, t, \mathbf{c})||^2]$ +两阶段训练的优势在于其灵活性和效率。自编码器一旦训练完成，可以被多个扩散模型复用。这允许研究者和工程师专注于改进扩散模型本身，而不需要每次都重新训练整个系统。此外，在潜在空间的训练比在像素空间快得多，使得快速迭代和实验成为可能。 + 💡 **实践技巧：预训练策略** 可以使用大规模数据集预训练通用自编码器，然后在特定领域微调。这大大减少了训练成本。 @@ -183,6 +221,16 @@ LDM采用两阶段训练，分离压缩和生成： 3. **紧凑性**：高效利用每个维度 4. **正态性**：便于扩散模型建模 +这些特性不是自动获得的，而是通过精心的架构设计和训练策略实现的。让我们深入理解每个特性的重要性： + +**平滑性**确保了潜在空间的连续性。在一个平滑的潜在空间中，小的扰动只会导致输出的微小变化。这对于扩散模型至关重要，因为扩散过程本质上是在潜在空间中进行连续的轨迹追踪。如果空间不平滑，去噪过程可能会产生不连贯的结果。 + +**语义性**使得潜在表示具有可解释性。理想情况下，潜在空间的不同方向应该对应图像的不同语义属性，如物体的姿态、光照、风格等。虽然完全的解耦很难实现，但部分的语义对齐可以提高模型的可控性。 + +**紧凑性**要求每个潜在维度都携带有用信息。冗余或未使用的维度不仅浪费计算资源，还可能成为噪声源。通过适当的正则化和架构设计，我们可以鼓励模型学习紧凑的表示。 + +**正态性**是扩散模型的技术要求。标准的扩散理论假设数据分布接近高斯分布。虽然这个假设在像素空间中明显不成立，但通过适当的编码器设计和正则化，我们可以使潜在空间更接近这个理想。 + **分析潜在空间**： 可以通过以下方法分析潜在空间的特性： @@ -420,6 +468,8 @@ LDM中常用两种自编码器架构，各有优劣： **VQ-VAE（Vector Quantized VAE）**： +VQ-VAE通过向量量化实现离散的潜在表示，这种方法有其独特的优势和挑战。 + VQ-VAE使用离散的潜在表示： - **编码器**：将图像编码为连续特征 $\mathbf{z}_e = \text{Encoder}(\mathbf{x})$ - **向量量化**：将连续特征映射到最近的码本 $\mathbf{z}_q = \text{Quantize}(\mathbf{z}_e)$ @@ -428,8 +478,14 @@ VQ-VAE使用离散的潜在表示： - **优点**：离散表示、压缩率高 - **缺点**：码本崩塌、重建质量受限 +向量量化的核心思想是将连续的编码器输出映射到一个有限的码本集合。这类似于传统的矢量量化技术，但通过端到端学习实现。每个空间位置的特征向量被替换为码本中最近的向量，实现了离散化。这种离散性带来了极高的压缩率——整个图像可以用码本索引序列表示。 + +然而，VQ-VAE面临几个技术挑战。码本崩塌是最常见的问题，即模型只使用码本中的少数几个向量，浪费了表示容量。此外，量化操作的不可微性需要特殊的训练技巧，如直通估计器（straight-through estimator）。 + **KL-VAE（KL正则化的VAE）**： +相比之下，KL-VAE保持了连续的潜在表示，更适合扩散模型的需求。 + KL-VAE使用连续的潜在表示和概率分布： - **编码器输出**：均值 $\boldsymbol{\mu}$ 和对数方差 $\log\boldsymbol{\sigma}^2$ - **重参数化技巧**： $\mathbf{z} = \boldsymbol{\mu} + \boldsymbol{\sigma} \odot \boldsymbol{\epsilon}$ ，其中 $\boldsymbol{\epsilon} \sim \mathcal{N}(0, \mathbf{I})$ @@ -438,6 +494,10 @@ KL-VAE使用连续的潜在表示和概率分布： - **优点**：连续表示、训练稳定、适合扩散模型 - **缺点**：压缩率受限、可能出现后验崩塌 +KL-VAE的设计基于变分推断原理。编码器不是产生确定性的编码，而是输出一个分布的参数。通过重参数化技巧，我们可以从这个分布中采样，同时保持梯度的可传播性。KL散度项作为正则化，鼓励后验分布 $q(\mathbf{z}|\mathbf{x})$ 接近先验 $p(\mathbf{z})$ （通常是标准正态分布）。 + +在LDM的实践中，KL权重被设置得极小。这是一个关键的设计选择：我们想要VAE的架构灵活性和理论基础，但不希望过强的正则化损害重建质量。极小的KL权重使模型表现接近确定性自编码器，同时保留了概率建模的框架。 + **比较**： | 特性 | VQ-VAE | KL-VAE | |------|--------|---------| @@ -446,6 +506,8 @@ KL-VAE使用连续的潜在表示和概率分布： | 压缩率 | 固定 | 灵活 | | 后续扩散 | 需要适配 | 直接应用 | +选择哪种架构取决于具体应用。VQ-VAE在需要极高压缩率或离散表示的场景中表现出色，如音频生成或符号化表示学习。而对于扩散模型，KL-VAE的连续性使其成为自然选择。扩散过程的数学基础建立在连续空间的布朗运动上，离散空间需要特殊的适配（如D3PM中的离散扩散）。 + 💡 **实践选择：为什么LDM偏好KL-VAE** 连续潜在空间更适合扩散模型的高斯噪声假设。极小的KL权重（1e-6）使其接近确定性编码器。 @@ -453,27 +515,45 @@ KL-VAE使用连续的潜在表示和概率分布： 单纯的像素重建损失会导致模糊结果。LDM使用组合损失： +理解为什么需要超越像素级损失是关键。L1或L2损失在像素空间计算平均值，这导致了臭名昭著的"模糊"问题。当多个锐利的图像都是合理的重建时，像素级损失会倾向于它们的平均值——一个模糊的图像。这在高频细节（如纹理、边缘）上特别明显。 + LDM使用组合损失函数来训练自编码器： 1. **重建损失**： $\mathcal{L}_{rec} = ||\mathbf{x} - \mathbf{x}_{recon}||_1$ - 保证基本的像素级重建 + - L1损失比L2更鲁棒，对异常值不敏感 2. **感知损失**： $\mathcal{L}_{percep} = ||\phi(\mathbf{x}) - \phi(\mathbf{x}_{recon})||_2$ - 使用预训练VGG网络的特征 - 保持高级语义信息 + - 通常使用多个层的特征组合 + +感知损失的创新在于它在特征空间而非像素空间衡量相似性。预训练的VGG网络已经学会了提取图像的层次化特征：低层捕捉边缘和纹理，高层理解物体和场景。通过在这些特征上计算距离，我们鼓励重建保持感知上重要的属性。 3. **KL正则化**： $\mathcal{L}_{KL} = -\frac{1}{2}\sum(1 + \log\sigma^2 - \mu^2 - \sigma^2)$ - 约束潜在分布接近标准正态 + - 在LDM中权重极小，避免过度正则化 4. **对抗损失**： $\mathcal{L}_{adv} = -\mathbb{E}[D(\mathbf{x}_{recon})]$ - 延迟启动（通常在50k步后） - 提高细节真实性 + - 使用PatchGAN判别器 + +对抗训练的引入是为了进一步提高重建的真实性。判别器学习区分真实图像和重建图像，迫使生成器（解码器）产生更逼真的结果。延迟启动策略很重要：先让自编码器通过重建和感知损失学习基本的编码-解码能力，然后引入对抗损失来精细化细节。 # 组合 loss = rec_loss + self.perceptual_weight * p_loss + \ self.kl_weight * kl_loss + self.disc_weight * g_loss **总损失**： $\mathcal{L}_{total} = \mathcal{L}_{rec} + \lambda_1\mathcal{L}_{percep} + \lambda_2\mathcal{L}_{KL} + \lambda_3\mathcal{L}_{adv}$ +损失权重的设置是一门艺术。典型的配置可能是： +- 重建损失权重：1.0（作为基准） +- 感知损失权重：0.1-1.0（取决于具体的感知网络和层） +- KL权重：1e-6（极小，主要起正则化作用） +- 对抗损失权重：0.1-0.5（过大会导致训练不稳定） + +这些权重需要根据具体数据集和任务调整。一个好的起点是先只用重建和感知损失训练，观察重建质量，然后逐步加入其他损失项。 + **判别器设计**： PatchGAN判别器的特点： @@ -482,15 +562,30 @@ PatchGAN判别器的特点： - **LeakyReLU激活**：更适合判别器训练 - **最终输出**： $H/16 \times W/16$ 的特征图，每个位置判别对应的局部区域 +PatchGAN的设计理念是"局部真实性"。与传统的全局判别器不同，PatchGAN将图像分成重叠的块，对每个块独立判别。这种设计有几个优势： +1. 强制局部细节的真实性 +2. 参数效率更高 +3. 可以处理任意大小的图像 +4. 训练更稳定 + +判别器的感受野大小是一个重要的设计选择。太小的感受野只能捕捉纹理，太大则退化为全局判别器。典型的PatchGAN使用70×70的感受野，这在捕捉局部结构和保持计算效率之间取得了良好平衡。 + ### 10.2.3 潜在空间的正则化 为了确保潜在空间适合扩散建模，需要适当的正则化： +正则化在LDM中扮演着微妙但关键的角色。我们需要在两个目标之间取得平衡：保持足够的表示能力以准确重建图像，同时确保潜在空间具有良好的结构以支持扩散建模。 + **1. KL正则化的作用**： - 防止潜在空间坍缩 - 鼓励接近标准高斯分布 - 但权重需要很小避免信息损失 +KL正则化的数学形式值得深入理解。对于高斯VAE，KL散度有闭式解： +$$\mathcal{L}_{KL} = -\frac{1}{2}\sum_{i=1}^{d}(1 + \log\sigma_i^2 - \mu_i^2 - \sigma_i^2)$$ + +这个公式鼓励每个潜在维度的均值接近0，方差接近1。但在LDM中，我们使用极小的权重（通常1e-6），这意味着正则化的作用非常轻微。这是一个精心的设计选择：我们想要VAE的理论框架和稳定性，但不希望强制的标准正态分布损害重建质量。 + **2. 谱归一化**： 谱归一化通过约束权重矩阵的谱范数来稳定训练： @@ -498,6 +593,10 @@ PatchGAN判别器的特点： - **应用位置**：通常应用于判别器的所有卷积层 - **效果**：提高GAN训练稳定性 +谱归一化的核心思想是控制函数的Lipschitz常数。对于线性层 $f(\mathbf{x}) = \mathbf{W}\mathbf{x}$ ，其Lipschitz常数等于权重矩阵的谱范数（最大奇异值）。通过将权重除以其谱范数，我们确保每层的Lipschitz常数为1，整个网络的Lipschitz常数有界。 + +这在对抗训练中特别重要，因为它防止判别器变得过于"尖锐"，从而稳定了训练动态。实践中，谱归一化通过幂迭代方法高效计算，只需要很小的额外计算成本。 + **3. 梯度惩罚**： 梯度惩罚（Gradient Penalty）是WGAN-GP的核心技术： @@ -505,6 +604,8 @@ PatchGAN判别器的特点： - **插值公式**： $\mathbf{x}_{interp} = \epsilon\mathbf{x}_{real} + (1-\epsilon)\mathbf{x}_{fake}$ - **惩罚项**： $\mathcal{L}_{GP} = \mathbb{E}[(||\nabla_{\mathbf{x}_{interp}}D(\mathbf{x}_{interp})||_2 - 1)^2]$ - **优点**：更稳定的训练，避免模式崩塌 + +梯度惩罚基于Wasserstein距离的对偶形式。理论上，最优的Wasserstein判别器应该是1-Lipschitz函数。梯度惩罚通过软约束实现这一点，在数据流形附近强制梯度范数接近1。这比谱归一化更灵活，因为它只在数据分布附近施加约束，而不是全局限制网络容量。 gradient_norm = gradients.norm(2, dim=1) penalty = ((gradient_norm - 1) ** 2).mean() From 2db5feaa6c265361d4d3ba655304bf788f8bae8d Mon Sep 17 00:00:00 2001 From: William Date: Thu, 31 Jul 2025 07:51:51 +0800 Subject: [PATCH 35/62] interim --- chapter13.md | 215 ++++++++++++++++++++++++++++++++++++++++++--------- 1 file changed, 180 insertions(+), 35 deletions(-) diff --git a/chapter13.md b/chapter13.md index f3adcdc..5def0e2 100644 --- a/chapter13.md +++ b/chapter13.md @@ -40,27 +40,46 @@ ### 13.1.1 文本到图像生成（Text-to-Image） -文本到图像生成是扩散模型最成功的应用之一，以DALL-E 2、Stable Diffusion、Midjourney等为代表。 +文本到图像生成是扩散模型最成功的应用之一，以DALL-E 2、Stable Diffusion、Midjourney等为代表。这项技术的突破性进展不仅改变了创意产业的工作流程，更深刻影响了人们对AI创造力的认知。从简单的概念验证到能够生成照片级真实感图像，文本到图像生成技术在短短几年内经历了爆炸式发展。 **核心技术栈**： 1. **文本编码器**： - - CLIP文本编码器：提取语义特征 - - T5编码器：捕获更长的上下文 - - 多语言支持：mCLIP、XLM-R + + 文本编码器是整个系统的语义理解核心，负责将人类的自然语言描述转换为机器可理解的向量表示。 + + - **CLIP文本编码器**：OpenAI的CLIP（Contrastive Language-Image Pre-training）通过对比学习在4亿图文对上训练，能够提取丰富的视觉语义特征。其优势在于强大的零样本泛化能力和对视觉概念的深刻理解。CLIP使用Transformer架构，最大序列长度通常为77个token，这也解释了为什么很多系统的提示词有长度限制。 + + - **T5编码器**：Google的T5（Text-to-Text Transfer Transformer）编码器能够处理更长的文本序列（通常可达512个token），并且在语言理解任务上表现出色。Imagen等模型选择T5作为文本编码器，充分利用其强大的语言建模能力。T5的优势在于能够理解复杂的语法结构和长距离依赖关系。 + + - **多语言支持**：mCLIP（multilingual CLIP）和XLM-R（Cross-lingual Language Model - RoBERTa）等模型扩展了文本到图像生成的语言边界。这些模型在多语言数据集上训练，能够理解100+种语言的输入，使得非英语用户也能享受AI创作的便利。 2. **条件机制**： - - 交叉注意力：最常用的条件注入方式 - - 特征融合：在多个层级注入文本信息 - - 时间步条件：与噪声水平相关的条件强度 + + 条件机制决定了文本信息如何有效地指导图像生成过程，这是实现精确控制的关键。 + + - **交叉注意力**：这是最常用也是最有效的条件注入方式。在U-Net或DiT的多个层级中，图像特征通过交叉注意力机制与文本特征交互。具体来说，图像特征作为Query，文本特征作为Key和Value，通过注意力机制实现信息融合。这种机制允许模型在生成过程中持续参考文本描述，确保生成内容的语义一致性。 + + - **特征融合**：除了交叉注意力，还可以通过其他方式注入文本信息。例如，FiLM（Feature-wise Linear Modulation）通过学习的仿射变换调制特征图；AdaIN（Adaptive Instance Normalization）通过调整归一化参数注入风格信息；通道级连接（Channel-wise Concatenation）直接将文本特征与图像特征拼接。不同的融合方式有不同的计算效率和表达能力权衡。 + + - **时间步条件**：扩散模型的独特之处在于其迭代去噪过程。时间步编码（通常使用正弦位置编码）不仅告诉模型当前的噪声水平，还可以与文本条件结合，实现动态的条件强度控制。例如，在去噪初期（高噪声时），模型可能更多关注全局结构；在去噪后期（低噪声时），则更注重细节的文本对齐。 3. **采样策略**： - - CFG（Classifier-Free Guidance）：平衡质量与多样性 - - 负提示词（Negative Prompts）：排除不需要的元素 - - 种子控制：确保可重复性 + + 采样策略直接影响生成图像的质量、多样性和效率，是实际应用中的关键考虑因素。 + + - **CFG（Classifier-Free Guidance）**：这是一种优雅的条件生成增强技术。通过同时训练条件和无条件模型（通过随机dropout文本条件实现），在推理时可以通过调整guidance scale（通常记为w）来平衡生成质量与多样性。公式为： + $$\epsilon_\theta(x_t, t, c) = \epsilon_\theta(x_t, t, \emptyset) + w \cdot (\epsilon_\theta(x_t, t, c) - \epsilon_\theta(x_t, t, \emptyset))$$ + 其中w>1加强条件遵循，w<1增加多样性。实践中，w=7.5-12.5常给出好结果。 + + - **负提示词（Negative Prompts）**：这是一种实用的技术，允许用户明确指定不想要的元素。实现上，负提示词作为额外的条件输入，在CFG公式中替代无条件模型的输出。常见的负提示词包括："低质量"、"模糊"、"变形"、"多余的肢体"等。巧妙使用负提示词可以显著提升生成质量。 + + - **种子控制**：随机种子控制初始噪声的生成，确保结果的可重复性。在创作迭代中，固定种子可以探索不同提示词的效果；而改变种子则能生成多样化的结果。专业创作者often建立种子库，记录产生优秀结果的种子值。 **提示词工程（Prompt Engineering）**： +提示词工程已经发展成为一门独特的技能，结合了语言学、美学和对AI模型特性的深刻理解。掌握提示词工程不仅能提高生成效率，更能将创意准确转化为视觉作品。 + 有效的提示词结构： ``` [主体描述], [风格描述], [质量词], [艺术家/摄影师], [其他修饰] @@ -70,43 +89,169 @@ highly detailed, artstation trending, by Greg Rutkowski" ``` -提示词技巧： -- 具体性：使用精确的描述词 -- 权重控制：使用括号或数字调整重要性 -- 风格标签：借鉴已知的艺术风格 -- 负面提示：明确排除不想要的元素 +**深入理解提示词组成**： + +1. **主体描述的精确性**： + - 基础描述："一只猫" → 结果不可预测 + - 精确描述："一只橙色虎斑猫，绿色眼睛，坐在窗台上，阳光照射" → 结果可控 + - 动作和姿态："正在伸懒腰的猫" vs "警惕地竖起耳朵的猫" + - 情绪表达："快乐的"、"忧郁的"、"好奇的"等形容词能影响整体氛围 + +2. **风格控制的层次**： + - 媒介类型：油画（oil painting）、水彩（watercolor）、铅笔素描（pencil sketch）、数字艺术（digital art） + - 艺术流派：印象派（impressionism）、超现实主义（surrealism）、极简主义（minimalism） + - 时代风格：文艺复兴（Renaissance）、巴洛克（Baroque）、赛博朋克（cyberpunk）、蒸汽朋克（steampunk） + - 特定平台风格：ArtStation、DeviantArt、Pixiv等平台有各自的美学倾向 + +3. **质量控制词汇**： + - 细节程度：highly detailed、intricate、elaborate、fine details + - 图像质量：4K、8K、high resolution、sharp focus、crisp + - 专业术语：award-winning、masterpiece、professional、studio quality + - 渲染技术：ray tracing、octane render、unreal engine、volumetric lighting + +提示词技巧深度解析： + +- **具体性的艺术**：避免模糊描述，但也要留有创意空间。比如"美丽的风景"太宽泛，"黄昏时分的托斯卡纳山谷，金色阳光穿过橄榄树"则恰到好处。 + +- **权重控制系统**： + - 括号语法：(重要元素)增加1.1倍权重，((very important))增加1.21倍 + - 数字权重：(element:1.5)精确控制权重 + - 位置权重：提示词开头的元素通常获得更多注意力 + - 注意力竞争：过多的强调可能导致其他元素被忽略 + +- **风格标签的选择**： + - 研究艺术史：了解不同艺术家和流派的特点 + - 混合风格："Studio Ghibli style mixed with Art Nouveau" + - 避免版权问题：谨慎使用在世艺术家的名字 + - 创造独特组合：将看似不相关的风格元素结合 + +- **负面提示的策略**： + - 通用负面提示：ugly, tiling, poorly drawn, blurry, bad anatomy + - 特定场景负面：生成人物时排除"extra fingers, missing limbs" + - 风格纯净：排除不想要的艺术风格污染 + - 迭代优化：根据生成结果不断调整负面提示 + +**高级提示词技术**： + +1. **语义引导**：利用模型对概念关系的理解 + - "龙"+"机械"→"机械龙" + - "森林"+"水晶"→"水晶森林" + - "古典"+"未来"→"复古未来主义" + +2. **构图控制**： + - 视角：aerial view、close-up、wide angle、fisheye lens + - 构图规则：rule of thirds、golden ratio、symmetrical composition + - 景深：shallow depth of field、bokeh、tilt-shift + +3. **光照和氛围**： + - 自然光：golden hour、blue hour、overcast、harsh sunlight + - 人工光：neon lights、candlelight、studio lighting、rim lighting + - 氛围营造：moody、ethereal、dramatic、serene + +4. **文化和地域特色**： + - 建筑风格：Japanese architecture、Gothic cathedral、Art Deco building + - 服装元素：traditional kimono、Victorian dress、futuristic armor + - 环境特征：cherry blossoms、Northern lights、tropical beach 💡 **实践洞察：提示词的艺术** -好的提示词是科学与艺术的结合。需要理解模型的训练数据分布，同时具备视觉想象力。建议建立提示词库，记录成功的组合。 +好的提示词是科学与艺术的结合。需要理解模型的训练数据分布，同时具备视觉想象力。建议建立个人提示词库，分类记录成功的组合。定期实验新的组合，探索模型的边界。记住，提示词工程是一个迭代过程，每次生成都是学习的机会。 ### 13.1.2 艺术创作与风格化 -扩散模型在艺术创作中展现出惊人的潜力： +扩散模型在艺术创作中展现出惊人的潜力，它不仅是一个工具，更像是一个富有创造力的合作伙伴。艺术家们发现，通过巧妙运用扩散模型，可以突破传统创作的界限，探索前所未有的视觉表达形式。这种人机协作的创作模式正在重新定义艺术创作的过程和可能性。 + +**1. 风格迁移的深度探索**： + +风格迁移不仅仅是简单的视觉效果转换，而是对艺术本质的理解和重构。扩散模型通过学习大量艺术作品，内化了不同风格的本质特征。 -**1. 风格迁移**： -- 艺术风格：油画、水彩、素描、像素艺术 -- 时代风格：文艺复兴、印象派、现代主义 -- 个人风格：模仿特定艺术家（注意版权问题） +- **艺术风格的细腻把握**： + - 油画风格：不仅是厚重的笔触，还包括色彩的层次感、光影的柔和过渡、画布纹理的体现。模型能够理解油画中的impasto技法（厚涂）、glazing（透明色层）等专业技巧。 + - 水彩风格：捕捉水彩的流动性、透明度、边缘的晕染效果。模型能够模拟wet-on-wet（湿画法）和wet-on-dry（干画法）的不同效果。 + - 素描风格：理解线条的韵律、阴影的排线方式、留白的艺术。从粗犷的炭笔到精细的铅笔素描，每种工具都有其独特的表现力。 + - 像素艺术：不只是低分辨率，而是对有限调色板的巧妙运用、dithering（抖动）技术的应用、像素级的精确控制。 + +- **时代风格的历史理解**： + - 文艺复兴：追求完美的人体比例、透视法的精确运用、明暗对比法（chiaroscuro）的戏剧性效果 + - 印象派：捕捉瞬间的光影变化、色彩的分离与视觉混合、笔触的可见性作为表现手段 + - 现代主义：形式的简化、色彩的纯粹性、对传统透视的打破、情感的直接表达 + - 后现代主义：拼贴与混搭、对既定规则的质疑、多元文化的融合、观念性的强调 + +- **个人风格的学习与创新**： + 模型可以学习特定艺术家的风格特征，但这带来了伦理考量。在使用时应当： + - 明确标注灵感来源 + - 尊重在世艺术家的权益 + - 将其作为学习和致敬的工具，而非简单复制 + - 在此基础上发展个人独特风格 + +**2. 概念混合的创造性实验**： + +概念混合是扩散模型最令人兴奋的能力之一，它能够将看似不相关的概念有机融合，创造出全新的视觉语言。 -**2. 概念混合**： ``` -提示词示例： -"A cyberpunk samurai" = 赛博朋克 + 武士 -"Steampunk butterfly" = 蒸汽朋克 + 蝴蝶 +深度概念混合示例： +"有机机械" = 生物形态 + 机械结构 → 创造出既有生命感又有工业美感的设计 +"液态建筑" = 流体动力学 + 建筑结构 → 突破传统建筑的刚性形态 +"时间雕塑" = 时间流逝 + 三维形体 → 在静态图像中表现时间维度 ``` -**3. 抽象艺术生成**： -- 情感表达：将抽象概念可视化 -- 色彩实验：探索非传统配色 -- 形式探索：打破现实约束 - -**4. 风格一致性**： -- 使用相同的种子和风格描述 -- 固定艺术家标签 -- 批量生成后筛选 +概念混合的层次： +- **视觉层面**：形态、色彩、纹理的融合 +- **语义层面**：意义、象征、文化内涵的交织 +- **情感层面**：不同情绪氛围的碰撞与和谐 +- **功能层面**：实用性与艺术性的结合 + +**3. 抽象艺术生成的哲学思考**： + +扩散模型为抽象艺术创作提供了新的可能性，能够将难以言说的概念转化为视觉形式。 + +- **情感表达的视觉化**： + - "焦虑"可能表现为扭曲的线条、不和谐的色彩、破碎的形状 + - "宁静"可能呈现为柔和的渐变、对称的构图、流畅的曲线 + - "希望"可能展现为向上的动势、明亮的色调、开放的空间 + +- **色彩实验的无限可能**： + - 探索互补色的极限对比 + - 创造不存在于自然界的色彩组合 + - 研究色彩的心理效应和文化含义 + - 打破传统配色规则，发现新的和谐 + +- **形式探索的边界拓展**： + - 非欧几里得几何的视觉表现 + - 分形艺术与自然形态的结合 + - 拓扑变换的美学探索 + - 维度折叠的想象性表达 + +**4. 风格一致性的系统方法**： + +在创作系列作品时，保持风格一致性至关重要。这需要系统的方法和精细的控制。 + +- **技术层面的控制**： + - 种子管理：建立种子库，记录每个种子的特性 + - 提示词模板：创建可复用的风格描述模板 + - 参数标准化：固定关键参数如CFG scale、采样步数 + - 批量生成策略：同时生成多个变体，确保选择空间 + +- **艺术层面的统一**： + - 色彩方案：定义主色调和辅助色 + - 构图原则：确立统一的视觉语言 + - 主题连贯：在变化中保持核心概念 + - 情绪基调：维持一致的情感表达 + +- **工作流程优化**： + - 建立风格指南文档 + - 创建视觉参考板（mood board） + - 定期审查和调整 + - 与其他创作者分享和交流 🔬 **研究前沿：可控风格化** -如何精确控制风格强度？如何混合多种风格？这需要对扩散过程中的特征表示有更深入的理解。 +当前研究正在探索更精细的风格控制方法： +- 风格强度的连续调节：从0%到100%的渐变控制 +- 局部风格化：对图像不同区域应用不同风格 +- 风格解耦：分离内容、风格、技法等不同维度 +- 风格插值：在多种风格之间创造平滑过渡 +- 时序风格演变：风格随时间动态变化的可能性 + +这些研究不仅推动技术进步，更为艺术创作开辟了新的表达维度。 ### 13.1.3 高分辨率图像合成 From a621c42e4db4e5daad737b700a4fc6d0f1bafb17 Mon Sep 17 00:00:00 2001 From: William Date: Thu, 31 Jul 2025 07:55:39 +0800 Subject: [PATCH 36/62] interim --- chapter14.md | 237 +++++++++++++++++++++++++++++++++++++-------------- 1 file changed, 175 insertions(+), 62 deletions(-) diff --git a/chapter14.md b/chapter14.md index ae37f9c..07195da 100644 --- a/chapter14.md +++ b/chapter14.md @@ -40,9 +40,15 @@ ### 14.1.1 一致性模型的基本原理 -一致性模型（Consistency Models）是2023年提出的新一代生成模型，旨在解决扩散模型的主要痛点：多步采样的低效率。 +一致性模型（Consistency Models）是2023年提出的新一代生成模型，代表了生成模型研究的一个重要转折点。它的出现不仅仅是为了解决扩散模型的采样效率问题，更是对生成过程本质的重新思考。让我们深入理解这个革命性的创新。 -**核心思想**： +**问题的起源**： + +扩散模型虽然在生成质量上取得了巨大成功，但其多步采样过程始终是一个瓶颈。想象一下，DDPM需要1000步才能生成一张高质量图像，即使是加速版的DDIM也需要50-100步。这种计算开销严重限制了扩散模型在实时应用中的部署。研究者们一直在思考：是否存在一种方法，既能保持扩散模型的生成质量，又能大幅提升采样速度？ + +一致性模型给出了一个优雅的答案。它的核心洞察是：扩散过程中的所有中间状态实际上都包含了足够的信息来重建原始数据。如果我们能够直接学习这种映射关系，就可以跳过逐步去噪的过程。 + +**核心思想的深层理解**： 与扩散模型逐步去噪不同，一致性模型学习一个函数 $f_\theta$ ，直接将任意时刻的噪声数据映射到干净数据： @@ -50,7 +56,9 @@ $$f_\theta(\mathbf{x}_t, t) = \mathbf{x}_0, \quad \forall t \in [0, T] $$ -**自一致性属性**： +这个看似简单的公式背后蕴含着深刻的含义。在扩散模型中，我们学习的是每一步的去噪方向（score function或noise prediction），而一致性模型直接学习整个轨迹的终点。这就像是GPS导航的两种模式：扩散模型告诉你每个路口怎么转弯，而一致性模型直接告诉你目的地在哪里。 + +**自一致性属性的哲学意义**： 关键约束是自一致性（self-consistency）： @@ -58,9 +66,11 @@ $$f_\theta(\mathbf{x}_t, t) = f_\theta(\mathbf{x}_s, s), \quad \forall t, s \in $$ -这意味着同一轨迹上的所有点都映射到相同的干净数据。 +这个性质不仅是数学约束，更体现了一种哲学思想：同一个数据点的不同噪声版本应该指向同一个原点。这就像不同的河流最终汇入同一片海洋。自一致性确保了模型学习的是数据的本质特征，而不是噪声的表面模式。 -**训练目标**： +从概率论的角度看，这个约束确保了概率流ODE的解的唯一性。每条从数据到噪声的轨迹都是确定的，反向轨迹也应该是唯一的。一致性模型正是利用了这个数学性质。 + +**训练目标的巧妙设计**： 一致性损失通过强制相邻时间步的输出一致来训练： @@ -68,20 +78,30 @@ $$\mathcal{L}(\theta) = \mathbb{E}_{t,\mathbf{x}_0,\boldsymbol{\epsilon}}\left[\ 其中 $\theta^-$ 是目标网络参数（类似于强化学习中的目标网络）。 +这个损失函数的设计极其巧妙。它不直接强制 $f_\theta(\mathbf{x}_t, t) = \mathbf{x}_0$ （这需要知道配对的干净数据），而是通过相邻时间步的一致性间接学习映射。这种"局部一致性导致全局一致性"的思想，类似于微分方程通过局部斜率确定全局曲线。 + +目标网络的使用借鉴了深度强化学习的经验，能够稳定训练过程。没有目标网络，模型会陷入"追逐自己尾巴"的困境，导致训练不稳定。 + 💡 **革命性创新：一步生成** -一致性模型最吸引人的特性是能够一步生成高质量样本，同时保持多步细化的能力。这打破了质量与速度的传统权衡。 +一致性模型最吸引人的特性是能够一步生成高质量样本，同时保持多步细化的能力。这打破了质量与速度的传统权衡。更深层的意义在于，它证明了高质量生成不一定需要迭代细化，直接映射也可以达到相同效果。这可能改变我们对生成过程的根本理解。 ### 14.1.2 一步生成的实现 -**生成过程**： +一步生成是一致性模型最激动人心的特性。让我们深入探讨这个看似不可能的任务是如何实现的。 + +**生成过程的革命性简化**： -1. **一步生成**： +1. **一步生成的魔法**： ``` z ~ N(0, I) # 采样噪声 x_0 = f_θ(z, T) # 一步生成 ``` -2. **多步细化**（可选）： + 这两行简单的过程背后隐藏着深刻的变革。传统扩散模型需要模拟整个反向扩散过程，就像倒放一部电影，需要经历每一帧。而一致性模型直接跳到结局，这种"时间旅行"般的能力来自于对整个轨迹的深度理解。 + + 从信息论角度看，纯噪声 $z$ 实际上编码了生成样本的所有随机性。一致性模型学会了如何解码这种随机性，直接映射到有意义的数据分布。这个过程类似于密码学中的一次性密码本（one-time pad），噪声就是密钥，模型就是解码器。 + +2. **多步细化的灵活性**（可选）： ``` x_T ~ N(0, I) for t in [T-1, ..., 1]: @@ -89,39 +109,77 @@ $$\mathcal{L}(\theta) = \mathbb{E}_{t,\mathbf{x}_0,\boldsymbol{\epsilon}}\left[\ x_0 = f_θ(x_t, t) # 细化 ``` -**技术细节**： + 尽管一步生成已经很强大，一致性模型仍然保留了多步细化的能力。这种设计哲学体现了"最好的系统是灵活的系统"。用户可以根据质量要求和计算预算，在速度和质量之间自由权衡。 + + 多步细化过程中，每一步都在纠正前一步可能的误差，逐渐逼近真实分布。这个过程类似于数值分析中的迭代求精（iterative refinement），初始的粗略解通过反复迭代变得越来越精确。 + +**技术细节的深度解析**： -1. **参数化技巧**： - - 使用skip connection： $f_\theta(\mathbf{x}_t, t) = c_\text{skip}(t)\mathbf{x}_t + c_\text{out}(t)F_\theta(\mathbf{x}_t, t)$ - - 边界条件： $f_\theta(\mathbf{x}_0, 0) = \mathbf{x}_0$ +1. **参数化技巧的艺术**： + + 一致性模型采用了精心设计的参数化方式： + $$f_\theta(\mathbf{x}_t, t) = c_\text{skip}(t)\mathbf{x}_t + c_\text{out}(t)F_\theta(\mathbf{x}_t, t)$$ + + 这个设计并非随意为之，而是包含了多重考虑： + + - **Skip connection的作用**：$c_\text{skip}(t)$ 项确保了模型能够保留输入中的有用信息。在 $t$ 接近0时（噪声很小），这个系数接近1，意味着输入已经很接近目标，只需要微调。 + + - **网络输出的缩放**：$c_\text{out}(t)$ 控制神经网络预测的贡献。在 $t$ 较大时（噪声很大），网络需要做更多工作，这个系数相应增大。 + + - **边界条件的满足**：当 $t=0$ 时，必须有 $f_\theta(\mathbf{x}_0, 0) = \mathbf{x}_0$。这个恒等映射条件通过设置 $c_\text{skip}(0)=1$ 和 $c_\text{out}(0)=0$ 自然满足。 + + 这种参数化方式的深层含义是：模型学习的不是绝对的映射，而是相对于当前状态的修正量。这降低了学习难度，提高了训练稳定性。 -2. **训练策略**： - - 课程学习：从小 $\Delta t$ 开始，逐渐增大 - - EMA更新目标网络 - - 数据增强提升鲁棒性 +2. **训练策略的系统工程**： + + - **课程学习的哲学**：从小 $\Delta t$ 开始训练，逐渐增大时间间隔。这模仿了人类学习的过程——先掌握简单任务，再挑战困难任务。小的 $\Delta t$ 意味着相邻时间步差异很小，一致性约束容易满足。随着训练进行，模型逐渐学会处理更大的时间跨度。 + + - **EMA的稳定作用**：指数移动平均（EMA）更新目标网络是深度学习中的经典技巧。目标网络参数更新公式为：$\theta^- \leftarrow \mu\theta^- + (1-\mu)\theta$，其中 $\mu$ 通常设为0.999。这种缓慢更新避免了训练过程中的震荡，类似于物理系统中的阻尼器。 + + - **数据增强的必要性**：与分类任务不同，生成模型的数据增强需要格外小心。常用的增强包括：随机裁剪、轻微的颜色抖动、水平翻转等。这些增强不仅增加了训练数据的多样性，还提高了模型对输入扰动的鲁棒性。 -3. **架构选择**： - - 可以使用任何条件生成架构 - - 通常采用U-Net或DiT - - 时间编码至关重要 +3. **架构选择的考量**： + + 一致性模型在架构选择上具有很大的灵活性，但不同选择各有优劣： + + - **U-Net的优势**：多尺度特征处理能力强，在图像生成任务中表现优秀。其跳跃连接自然地与一致性模型的skip connection相呼应。计算效率高，适合实时应用。 + + - **DiT的潜力**：Transformer架构带来了更强的全局建模能力。自注意力机制能够捕获长程依赖，这对于复杂场景的生成至关重要。随着规模增大，性能提升更明显。 + + - **时间编码的关键性**：时间信息的注入方式直接影响模型性能。常见方法包括： + - Sinusoidal编码：借鉴Transformer的位置编码 + - 可学习的嵌入：为每个时间步学习独特表示 + - 连续时间编码：使用神经网络将连续时间映射到高维表示 + + 时间编码不仅告诉模型当前的噪声水平，更重要的是指导模型采用合适的去噪策略。不同时间步需要不同的处理方式：早期主要是结构恢复，后期主要是细节优化。 ### 14.1.3 与扩散模型的关系 -**1. 蒸馏视角**： +理解一致性模型与扩散模型的关系，对于把握生成模型的发展脉络至关重要。这种关系不仅是技术上的联系，更是思想上的传承与突破。 + +**1. 蒸馏视角：站在巨人的肩膀上** + +一致性模型的一个重要训练方式是通过蒸馏预训练的扩散模型： + +- **教师模型的智慧**：预训练的扩散模型已经学会了如何逐步去噪，掌握了数据分布的精细结构。它就像一位经验丰富的画家，知道如何一笔一笔地创作出完美的作品。 + +- **学生模型的效率**：一致性模型作为学生，不需要学习整个绘画过程，只需要学习"看到轮廓就知道最终画作"的能力。这种知识蒸馏不是简单的模仿，而是对本质规律的提炼。 + +- **ODE轨迹的传承**：扩散模型的概率流ODE定义了从噪声到数据的确定性轨迹。一致性模型学习的正是这些轨迹的"高速公路"——直接连接起点和终点的映射。 + +蒸馏过程的数学本质是：给定教师模型的ODE轨迹 $\{\mathbf{x}_t\}_{t=0}^T$，一致性模型学习满足 $f_\theta(\mathbf{x}_t, t) = \mathbf{x}_0$ 的映射。这个过程保留了扩散模型的生成质量，同时获得了巨大的速度提升。 -一致性模型可以看作扩散模型的蒸馏： -- 教师：预训练的扩散模型 -- 学生：一致性模型 -- 知识：ODE轨迹 +**2. 独立训练：开辟新天地** -**2. 独立训练**： +更令人兴奋的是，一致性模型也可以从头训练，完全不依赖预训练的扩散模型： -也可以从头训练，不需要预训练扩散模型： -- 直接从数据学习一致性映射 -- 可能需要更多训练时间 -- 提供了新的理论视角 +- **直接学习的挑战**：从原始数据直接学习一致性映射更加困难，因为没有教师模型提供的轨迹指导。这就像让一个学生直接学会速写，而不是先学素描基础。 -**3. 理论联系**： +- **训练时间的权衡**：独立训练通常需要更长的时间才能收敛，因为模型需要自己发现数据分布的结构。但这种方法的优势是不受教师模型质量的限制，可能发现新的生成模式。 + +- **理论意义的深远**：独立训练证明了一致性模型不仅仅是扩散模型的"快速版本"，而是一种全新的生成范式。它表明直接学习点到点的映射是可行的，这为生成模型的理论研究开辟了新方向。 + +**3. 理论联系：同源而异流** 两者都基于相同的概率流ODE： @@ -129,10 +187,26 @@ $$\frac{d\mathbf{x}_t}{dt} = f(t)\mathbf{x}_t + \frac{g^2(t)}{2\sigma_t}\nabla_{ $$ -一致性模型直接学习ODE的解映射。 +这个ODE是连接两种模型的数学桥梁： + +- **扩散模型的视角**：学习score function $\nabla_{\mathbf{x}_t} \log p_t(\mathbf{x}_t)$，然后通过数值积分求解ODE。这是一种"微分"的思想——通过局部信息重建整体。 + +- **一致性模型的视角**：直接学习ODE的解映射 $\mathbf{x}_0 = \Phi_t(\mathbf{x}_t)$，其中 $\Phi_t$ 是从时刻 $t$ 到时刻0的流映射。这是一种"积分"的思想——直接得到全局解。 + +这种对偶关系类似于物理学中的拉格朗日力学和哈密顿力学——描述同一系统的不同方式，各有其优势和适用场景。 + +**深层含义：从过程到结果的范式转变** + +一致性模型代表了生成建模思维的重要转变： + +1. **从过程导向到结果导向**：扩散模型关注"如何一步步生成"，一致性模型关注"最终生成什么"。 + +2. **从模拟到映射**：扩散模型模拟物理过程，一致性模型学习数学映射。 + +3. **从迭代到直达**：这种转变类似于从迭代算法到闭式解的飞跃。 🔬 **研究洞察：统一框架** -一致性模型揭示了生成模型的更深层结构。它暗示可能存在一个统一框架，涵盖扩散、流、VAE等多种生成范式。 +一致性模型揭示了生成模型的更深层结构。它暗示可能存在一个统一框架，涵盖扩散、流、VAE等多种生成范式。这个框架的核心可能是：所有生成模型都在学习某种形式的概率测度之间的传输映射。一致性模型通过其优雅的formulation，为这种统一理论提供了重要线索。 ### 14.1.4 性能对比与优势 @@ -225,53 +299,92 @@ $$ ### 14.2.1 最优传输视角 -最优传输（Optimal Transport, OT）理论为理解扩散模型提供了新的数学框架。 +最优传输（Optimal Transport, OT）理论为理解扩散模型提供了优美而深刻的数学框架。这个起源于18世纪的数学理论，在21世纪的AI时代焕发了新的生机。 -**核心概念**： +**理论的历史渊源与现代意义**： -1. **Wasserstein距离**： - +最优传输理论最初由法国数学家Monge在1781年提出，用于解决如何以最小成本将土堆移动到指定位置的问题。两个世纪后，这个看似简单的问题成为理解生成模型的关键。在生成模型的语境下，我们要解决的是如何以最小"成本"将数据分布变换到噪声分布，以及反向过程。 -$$W_2(\mu, \nu) = \inf_{\pi \in \Pi(\mu, \nu)} \left(\int \|\mathbf{x} - \mathbf{y}\|^2 d\pi(\mathbf{x}, \mathbf{y})\right)^{1/2}$$ - - 度量两个分布之间的"运输成本"。 +**核心概念的深入解读**： -2. **最优传输映射**： - 寻找从数据分布到噪声分布的最优映射 $T^*$ ： +1. **Wasserstein距离：分布之间的"真实距离"** + $$W_2(\mu, \nu) = \inf_{\pi \in \Pi(\mu, \nu)} \left(\int \|\mathbf{x} - \mathbf{y}\|^2 d\pi(\mathbf{x}, \mathbf{y})\right)^{1/2}$$ + + 这个公式的直观理解： + - $\pi$ 是联合分布，描述了如何将质量从分布 $\mu$ 搬运到分布 $\nu$ + - $\|\mathbf{x} - \mathbf{y}\|^2$ 是将一个点从 $\mathbf{x}$ 移动到 $\mathbf{y}$ 的成本 + - 整个积分计算总搬运成本，inf表示寻找最优搬运方案 + + Wasserstein距离相比KL散度的优势在于：即使两个分布的支撑集不重叠，它仍然能给出有意义的距离度量。这对于生成模型尤其重要，因为数据分布和噪声分布通常是不相交的。 -$$T^* = \arg\min_{T: T_\#\mu = \nu} \int \|\mathbf{x} - T(\mathbf{x})\|^2 d\mu(\mathbf{x}) - -$$ +2. **最优传输映射：寻找最佳路径** + + $$T^* = \arg\min_{T: T_\#\mu = \nu} \int \|\mathbf{x} - T(\mathbf{x})\|^2 d\mu(\mathbf{x})$$ + + 这里的 $T_\#\mu = \nu$ 表示通过映射 $T$ 将分布 $\mu$ 推前（push-forward）到分布 $\nu$。 + + 在生成模型中的含义： + - **前向过程**：$T$ 将数据点映射到对应的噪声点 + - **反向过程**：$T^{-1}$ 将噪声映射回数据 + - **最优性**：在所有可能的映射中，$T^*$ 使得平均移动距离最小 + + 这个最优映射的存在性和唯一性在某些条件下（如分布的凸性）是有保证的，这为理论分析提供了坚实基础。 -3. **动态最优传输**： - 考虑随时间演化的传输路径： +3. **动态最优传输：时间演化的视角** + $$\inf_{\rho_t, \mathbf{v}_t} \int_0^1 \int \|\mathbf{v}_t(\mathbf{x})\|^2 \rho_t(\mathbf{x}) d\mathbf{x} dt$$ + + 这个公式描述了随时间变化的最优传输问题： + - $\rho_t$ 是时刻 $t$ 的概率密度 + - $\mathbf{v}_t$ 是速度场，描述粒子如何移动 + - 目标是最小化整个过程的"动能" + + 这正是Benamou-Brenier公式，它将静态的最优传输问题转化为动态的流体力学问题。在扩散模型中，这个速度场 $\mathbf{v}_t$ 正对应于概率流ODE的漂移项。 -$$\inf_{\rho_t, \mathbf{v}_t} \int_0^1 \int \|\mathbf{v}_t(\mathbf{x})\|^2 \rho_t(\mathbf{x}) d\mathbf{x} dt +**与扩散模型的深层联系**： -$$ +1. **概率流ODE的最优传输解释**： + + 扩散模型的概率流ODE实际上定义了一种特殊的传输方案。虽然它不是严格意义上的最优传输（因为加入了随机性），但可以看作是熵正则化后的近似最优传输。 + + 具体来说，扩散过程选择的路径是在"传输成本"和"路径多样性"之间的平衡。这种平衡由扩散系数 $g(t)$ 控制——更大的扩散带来更多随机性，但也可能增加传输成本。 -**与扩散模型的联系**： +2. **Schrödinger桥：随机性与最优性的统一** + + $$\min_{\mathbb{P}} \mathbb{E}_\mathbb{P}[\mathcal{A}] + \epsilon \text{KL}(\mathbb{P} \| \mathbb{Q})$$ + + 这个公式展示了扩散过程的本质： + - $\mathcal{A}$ 是作用量（action），衡量路径的"成本" + - $\text{KL}(\mathbb{P} \| \mathbb{Q})$ 是相对于参考测度 $\mathbb{Q}$（通常是布朗运动）的相对熵 + - $\epsilon$ 控制随机性的程度 + + 当 $\epsilon \to 0$ 时，我们得到确定性的最优传输；当 $\epsilon > 0$ 时，我们得到随机的扩散过程。扩散模型正是在这个框架下，通过选择合适的 $\epsilon$（对应于噪声调度）来平衡生成质量和多样性。 -1. **概率流ODE作为最优传输**： - 扩散模型的概率流可以看作一种近似最优传输 +3. **计算和理论优势**： -2. **Schrödinger桥**： - 扩散过程是熵正则化的最优传输： + 最优传输视角带来的不仅是理论上的优雅，更有实际的好处： + - **新的损失函数**：基于Wasserstein距离的损失函数对mode collapse更鲁棒 + - **更好的插值**：最优传输提供了在数据流形上的自然插值方式 + - **理论保证**：收敛性、稳定性等都有严格的数学证明 + - **几何直觉**：将抽象的概率问题转化为直观的几何问题 -$$\min_{\mathbb{P}} \mathbb{E}_\mathbb{P}[\mathcal{A}] + \epsilon \text{KL}(\mathbb{P} \| \mathbb{Q}) +**实际应用中的创新**： -$$ +1. **OT-ODE**：直接使用最优传输映射定义ODE，避免了score function的估计误差 + +2. **Wasserstein自编码器**：将VAE的KL项替换为Wasserstein距离，获得更好的生成质量 -3. **计算优势**： - - OT提供了新的训练目标 - - 可以设计更高效的采样路径 - - 理论保证更强 +3. **流匹配与OT**：最新的流匹配方法直接利用最优传输理论设计训练目标 💡 **理论洞察：几何视角** -最优传输揭示了生成模型的几何本质：我们在学习数据流形上的测地线，这为设计新算法提供了指导。 +最优传输揭示了生成模型的几何本质：我们在学习数据流形上的测地线。这个视角的深远意义在于： +1. 数据不是孤立的点，而是流形上的分布 +2. 生成过程是在这个流形上的"运输" +3. 最优性原则指导我们找到最自然的生成路径 + +这种几何理解为设计新算法提供了直觉：好的生成模型应该尊重数据的内在几何结构，沿着流形的自然路径进行变换。 ### 14.2.2 流匹配与连续正则化流 From 8f21b308298583d12ecea854cc382afcb262530c Mon Sep 17 00:00:00 2001 From: William Date: Thu, 31 Jul 2025 07:59:58 +0800 Subject: [PATCH 37/62] interim --- chapter2.md | 382 ++++++++++++++++++++++++++++++++++++++++++++++++---- 1 file changed, 359 insertions(+), 23 deletions(-) diff --git a/chapter2.md b/chapter2.md index ecc3774..672ee85 100644 --- a/chapter2.md +++ b/chapter2.md @@ -6,20 +6,104 @@ ## 2.1 从图像分割到去噪：U-Net的历史演变 -U-Net最初并非为生成模型设计。2015年，Ronneberger等人在论文《U-Net: Convolutional Networks for Biomedical Image Segmentation》中提出U-Net，旨在解决生物医学图像分割的难题。其独特的编码器-解码器结构配合跳跃连接（skip-connections），能够在保留高分辨率细节信息的同时进行深度的语义特征提取。这种多尺度处理能力恰好契合了扩散模型的需求。 +### 2.1.1 生物医学图像的挑战与U-Net的诞生 -> **定义：历史脉络** -> - **2015年**：U-Net诞生，用于医学图像分割，在ISBI细胞追踪挑战赛中一举成名。 -> - **2017-2019年**：U-Net被广泛应用于各种像素级预测任务，如语义分割、深度估计等，成为该领域的标准架构之一。 -> - **2020年**：Ho等人在DDPM中采用U-Net作为核心的去噪网络，开启了U-Net在生成模型领域的辉煌篇章。 -> - **2021年至今**：各种改进版U-Net成为主流扩散模型的标配，例如加入注意力机制、自适应归一化等，如ADM、Stable Diffusion等。 +2015年，深度学习正在快速改变计算机视觉的格局。然而，在医学图像分析领域，研究者们面临着独特的挑战：标注数据极其稀缺（医学专家的时间宝贵），图像分辨率高，细节至关重要，且分割边界往往模糊不清。当时流行的全卷积网络（FCN）虽然在自然图像分割上取得了成功，但在医学图像上的表现并不理想。 -为什么U-Net特别适合扩散模型？关键在于扩散模型的去噪任务本质上是一个“图像到图像”的转换问题：输入一张噪声图像 $\mathbf{x}_t$ ，输出对噪声 $\boldsymbol{\epsilon}$ 的预测。这与U-Net最初设计的分割任务（输入：原始图像 → 输出：分割掩码）在结构上高度相似。U-Net的几个关键特性使其成为理想选择： +正是在这样的背景下，来自弗莱堡大学的Olaf Ronneberger、Philipp Fischer和Thomas Brox提出了U-Net。他们的灵感来自一个朴素但深刻的观察：医学图像分割需要两种看似矛盾的能力——既要理解全局的语义信息（这是什么器官？），又要精确定位每个像素（边界在哪里？）。传统的编码器-解码器架构在解码过程中丢失了太多空间信息，而U-Net通过引入跳跃连接，优雅地解决了这个问题。 -- **多尺度特征提取**：编码器通过逐步下采样，捕获从局部纹理到全局结构的各层次特征。 -- **跳跃连接保留细节**：将编码器的浅层特征直接传递给解码器，有效避免了关键细节信息在下采样过程中的丢失，对于高质量生成至关重要。 -- **对称的U形结构**：编码器和解码器的对称设计，在直觉上与“加噪”和“去噪”这两个互逆的过程相呼应。 -- **参数效率**：相比于全连接网络，卷积结构的局部连接和参数共享大大减少了模型参数量，使其能够处理高分辨率图像。 +> **定义：历史脉络的详细时间线** +> - **2012-2014年**：全卷积网络（FCN）的兴起，Long等人证明了CNN可以进行像素级预测，但在细节保留上存在不足。 +> - **2015年5月**：U-Net在ISBI细胞追踪挑战赛中首次亮相，以大幅领先的成绩震撼了医学图像界。原始论文展示了仅用30张训练图像就能达到出色性能的能力。 +> - **2016-2017年**：U-Net的变体开始涌现——3D U-Net用于体积数据、V-Net引入残差连接、Attention U-Net加入注意力机制。每个变体都针对特定应用场景进行了优化。 +> - **2017-2019年**：U-Net架构被广泛应用于各种像素级预测任务，从卫星图像分析到自动驾驶的道路分割，成为该领域的事实标准。其PyTorch和TensorFlow实现成为GitHub上最受欢迎的开源项目之一。 +> - **2020年6月**：Ho等人发表DDPM论文，首次将U-Net用作扩散模型的去噪网络。他们的关键洞察是：去噪本质上也是一个像素到像素的映射问题。 +> - **2021年**：Dhariwal和Nichol在论文《Diffusion Models Beat GANs on Image Synthesis》中提出了改进的U-Net架构（ADM），加入了自注意力层和自适应归一化，将扩散模型的生成质量推向新高度。 +> - **2022年**：Stable Diffusion的发布让U-Net架构走向大众。其高效的潜在空间U-Net设计使得高质量图像生成首次可以在消费级GPU上运行。 +> - **2023年至今**：U-Net继续演进，如加入更多的条件机制（ControlNet）、与Transformer混合（U-ViT）、针对视频生成的时空U-Net等。 + +### 2.1.2 从分割到去噪：任务的本质相似性 + +为什么一个为医学图像分割设计的架构能够如此完美地适用于扩散模型？答案隐藏在这两个看似不同的任务的数学本质中。 + +**图像分割的数学表述**：给定输入图像 $\mathbf{x} \in \mathbb{R}^{H \times W \times 3}$，预测每个像素的类别标签 $\mathbf{y} \in \{0,1,...,C-1\}^{H \times W}$。这是一个确定性的映射：$f_{\text{seg}}: \mathbb{R}^{H \times W \times 3} \rightarrow \{0,1,...,C-1\}^{H \times W}$。 + +**扩散模型去噪的数学表述**：给定带噪声的图像 $\mathbf{x}_t = \sqrt{\bar{\alpha}_t}\mathbf{x}_0 + \sqrt{1-\bar{\alpha}_t}\boldsymbol{\epsilon}$，预测噪声 $\boldsymbol{\epsilon} \in \mathbb{R}^{H \times W \times 3}$。这同样是一个确定性的映射：$f_{\text{denoise}}: \mathbb{R}^{H \times W \times 3} \times \mathbb{R} \rightarrow \mathbb{R}^{H \times W \times 3}$（额外的输入是时间步$t$）。 + +两者的共同点在于： +1. **像素级预测**：两个任务都需要为输入的每个空间位置产生一个输出。 +2. **多尺度信息融合**：分割需要结合局部纹理（判断边界）和全局语义（识别对象）；去噪需要结合局部细节（保留纹理）和全局结构（理解内容）。 +3. **空间对应关系**：输出的空间结构必须与输入严格对应，这正是跳跃连接所保证的。 + +### 2.1.3 U-Net设计哲学的深层洞察 + +U-Net的成功不仅仅是技术上的胜利，更体现了深刻的设计哲学。让我们深入剖析其核心设计原则： + +**1. 对称性的美学与功能** +U-Net的U形结构不仅在视觉上优雅，更重要的是体现了信息处理的对称性。编码器逐步压缩空间维度、提取抽象特征的过程，与解码器逐步恢复空间维度、重建具体细节的过程，形成了完美的镜像。这种对称性在扩散模型中获得了新的诠释：编码器理解"现在有什么噪声"，解码器决定"如何去除这些噪声"。 + +**2. 跳跃连接：信息高速公路** +原始的编码器-解码器架构存在一个致命弱点：信息瓶颈。当特征图被压缩到最小尺寸时（如原始尺寸的1/32），大量的空间信息已经无可挽回地丢失了。U-Net的跳跃连接就像在山谷两侧架起的桥梁，让高分辨率的信息可以直接"跳过"瓶颈，到达需要它的地方。 + +在扩散模型的语境下，这一点尤为关键。考虑去噪过程的两个极端情况： +- 当噪声很大时（$t$接近$T$），模型主要依赖瓶颈处的全局信息来重建大致结构。 +- 当噪声很小时（$t$接近0），模型主要依赖跳跃连接传递的局部信息来恢复细节。 + +**3. 计算效率的权衡艺术** +U-Net的金字塔结构带来了计算上的巨大优势。大部分的计算（自注意力、复杂的卷积）发生在低分辨率的特征图上，而高分辨率层只进行相对简单的操作。这种设计使得U-Net可以在有限的计算资源下处理高分辨率图像，这也是为什么Stable Diffusion能够在个人电脑上运行的关键因素之一。 + +### 2.1.4 U-Net变体的百花齐放 + +U-Net的基本思想激发了无数的变体和改进。每一个成功的变体都代表了对特定问题的深刻理解： + +- **3D U-Net (2016)**：将2D卷积替换为3D卷积，用于处理CT、MRI等体积数据。关键创新是各向异性的卷积核（如3×3×1），以处理医学图像中常见的各向异性分辨率。 + +- **Attention U-Net (2018)**：在跳跃连接中加入注意力门控（attention gates），让模型学习"哪些跳跃连接的信息是重要的"。这在医学图像中特别有用，因为病变区域往往只占整个图像的一小部分。 + +- **U-Net++ (2018)**：通过密集的跳跃连接创建了一个"嵌套"的U-Net结构，让解码器可以从多个尺度的编码特征中选择信息。这种设计虽然增加了计算量，但在某些任务上显著提升了性能。 + +- **TransUNet (2021)**：将CNN编码器的瓶颈部分替换为Transformer，结合了CNN的局部特征提取能力和Transformer的全局建模能力。这为后来的混合架构铺平了道路。 + +### 2.1.5 为什么是U-Net？扩散模型的架构选择 + +当Ho等人在2020年为DDPM选择网络架构时，他们面临着多种选择：ResNet、VGG、甚至当时新兴的Vision Transformer。为什么最终选择了U-Net？ + +**1. 归纳偏置的匹配** +扩散模型的去噪任务具有特殊的性质：输出必须与输入在空间上严格对齐。U-Net的架构天然地保证了这一点，而其他架构（如将图像展平后输入全连接网络）则会破坏这种空间结构。 + +**2. 多时间尺度的处理能力** +在扩散过程的不同阶段，去噪的重点是不同的： +- 早期（高噪声）：需要重建全局结构和语义内容 +- 中期：需要恢复中等尺度的形状和纹理 +- 后期（低噪声）：需要精修局部细节和清晰度 + +U-Net的多尺度特性完美匹配了这种需求，不同的层级自然地专注于不同尺度的特征。 + +**3. 实践中的鲁棒性** +医学图像分割领域的严苛要求（小数据集、高精度需求）锻造了U-Net的鲁棒性。这种鲁棒性在扩散模型的训练中同样重要，因为去噪网络需要处理从纯噪声到清晰图像的整个谱系。 + +
+深入研究：U-Net的理论基础与未来方向 + +**1. 信息论视角** +从信息论的角度，U-Net的跳跃连接可以被理解为创建了多个信息传输通道，每个通道具有不同的"带宽"（分辨率）。这种设计最小化了信息在网络中传输时的损失。研究方向： +- 如何定量分析不同跳跃连接的信息流量？ +- 是否存在最优的跳跃连接模式？ +- 能否设计自适应的跳跃连接，根据输入内容动态调整？ + +**2. 神经架构搜索（NAS）在U-Net的应用** +虽然U-Net的基本结构已经被证明非常有效，但其具体的配置（深度、宽度、跳跃连接的位置等）仍有优化空间。研究方向： +- 如何为特定的数据集自动搜索最优的U-Net配置？ +- 能否设计一个"元U-Net"，根据输入动态调整其结构？ +- 如何在保持U-Net核心思想的同时，探索更激进的架构创新？ + +**3. U-Net与其他范式的融合** +U-Net代表了一种特定的归纳偏置，但它并非唯一的选择。研究方向： +- 如何将U-Net与图神经网络（GNN）结合，处理非规则的空间结构？ +- 能否设计一个统一的框架，在U-Net和Transformer之间平滑过渡？ +- 如何将物理约束（如守恒定律）直接编码到U-Net的架构中？ + +
## 2.2 U-Net架构详解 @@ -57,26 +141,278 @@ U-Net最初并非为生成模型设计。2015年，Ronneberger等人在论文《 ### 2.2.2 采样方式的演进：从池化到可学习的卷积 -“如何正确地降低和恢复分辨率”是U-Net设计的核心问题之一，其演进过程反映了深度学习架构设计的范式转变。 +"如何正确地降低和恢复分辨率"是U-Net设计的核心问题之一，其演进过程反映了深度学习架构设计的范式转变。这个问题看似简单，实则深刻影响着模型的表现力和生成质量。 + +#### 下采样的哲学：信息压缩的艺术 + +下采样不仅仅是减少计算量的技术手段，更是一种信息抽象的过程。每次下采样，我们都在回答一个问题：如何用更少的数字表示更大的区域？ + +**1. 最大池化时代（2012-2015）** +最大池化（`nn.MaxPool2d`）曾是卷积神经网络的标配。其背后的假设是：在一个局部区域内，最强的激活值代表了最重要的特征。这种假设在分类任务中很合理——我们关心的是"是否存在某个特征"，而不是"特征在哪里"。 + +``` +输入: [[1, 2], MaxPool2d 输出: [4] + [3, 4]] (2x2) +``` + +然而，对于生成任务，这种"赢者通吃"的策略是灾难性的： +- **位置信息丢失**：我们不知道最大值来自哪个位置 +- **梯度稀疏**：只有最大值位置有梯度，其他位置梯度为零 +- **不可逆性**：无法从池化后的结果准确重建原始信息 + +**2. 步进卷积革命（2015-2018）** +DCGAN论文提出了一个革命性的想法：让网络自己学习如何下采样。步进卷积（`stride=2`的`nn.Conv2d`）将下采样和特征提取合二为一： + +```python +# 传统方法：先卷积，后池化 +conv = nn.Conv2d(in_channels, out_channels, kernel_size=3, padding=1) +pool = nn.MaxPool2d(2) +output = pool(conv(input)) # 两步操作 + +# 现代方法：步进卷积一步到位 +strided_conv = nn.Conv2d(in_channels, out_channels, kernel_size=3, stride=2, padding=1) +output = strided_conv(input) # 一步操作，可学习 +``` -#### 下采样：从固定到可学习 -- **最大池化 (Max Pooling)**：早期CNN（包括原始U-Net）的标配。通过`nn.MaxPool2d`实现。优点是计算简单，但缺点是它是一个固定的、不可学习的操作，会丢弃大量位置信息，对生成任务不利。 -- **步进卷积 (Strided Convolution)**：DCGAN（2015）推广了这一理念，即用一个`stride=2`的`nn.Conv2d`来代替池化，让网络自己学习如何下采样。这是现代架构的标准。 -- **现代最佳实践**：为了更稳定的训练，通常将下采样分解为两步：一个标准的`nn.Conv2d`用于特征变换，然后接一个`stride=2`的`nn.Conv2d`专门用于下采样。 +这种方法的优势在于： +- **完全可学习**：网络可以学习最适合任务的下采样方式 +- **保留更多信息**：不是简单地选择最大值，而是学习加权组合 +- **梯度流畅**：所有位置都参与计算，梯度流动更健康 -#### 上采样：避免棋盘效应 -- **转置卷积 (Transposed Convolution)**：作为步进卷积的逆操作，`nn.ConvTranspose2d`是自然的选择。然而，当其`kernel_size`不能被`stride`整除时，会因重叠不均而产生棋盘状的伪影（Checkerboard Artifacts），严重影响生成质量。 -- **现代最佳实践**：为了彻底避免棋盘效应，现代架构倾向于将上采样和卷积解耦。最常用的方法是：先使用简单的最近邻插值（`nn.Upsample(scale_factor=2, mode='nearest')`）放大特征图，然后再进行一次标准的`nn.Conv2d`。这种方法简单、有效且不会产生伪影。 +**3. 现代最佳实践：分而治之（2018至今）** +随着模型规模的增长，训练稳定性成为关键考虑。现代架构倾向于将"改变分辨率"和"提取特征"解耦： + +```python +# 第一步：在当前分辨率提取特征 +conv1 = nn.Conv2d(in_channels, out_channels, kernel_size=3, padding=1) +# 第二步：专门的下采样层 +downsample = nn.Conv2d(out_channels, out_channels, kernel_size=3, stride=2, padding=1) +``` + +这种设计的智慧在于： +- **功能解耦**：每层专注于一个任务，更容易优化 +- **灵活性**：可以在两步之间插入归一化、激活函数等 +- **数值稳定**：避免在一个操作中进行过于剧烈的变换 + +#### 上采样的挑战：从低分辨率重建细节 + +如果说下采样是"压缩"，那么上采样就是"解压缩"。但与信息压缩不同，神经网络的上采样需要"创造"原本不存在的细节。 + +**1. 转置卷积的诱惑与陷阱** +转置卷积（`nn.ConvTranspose2d`）在数学上是步进卷积的精确逆操作。它通过在输入之间插入零值，然后进行常规卷积来实现上采样： + +``` +输入: [a, b] → 插零: [a, 0, b] → 卷积: 生成更大的输出 +``` + +然而，这种方法存在一个致命问题：**棋盘效应（Checkerboard Artifacts）**。当`kernel_size`不能被`stride`整除时，输出像素接收到的"贡献"不均匀： + +``` +kernel_size=3, stride=2 的情况： +某些输出像素被1个输入像素影响 +某些输出像素被2个输入像素影响 +→ 产生棋盘状的明暗模式 +``` + +这个问题在2016年被Odena等人系统分析后，引发了社区的广泛讨论。 + +**2. 插值+卷积：简单但有效的解决方案** +为了避免棋盘效应，现代架构采用了一个看似"倒退"但实际上更稳健的方法： + +```python +# 方法1：最近邻插值 + 卷积 +upsample = nn.Upsample(scale_factor=2, mode='nearest') +conv = nn.Conv2d(in_channels, out_channels, kernel_size=3, padding=1) +output = conv(upsample(input)) + +# 方法2：双线性插值 + 卷积 +upsample = nn.Upsample(scale_factor=2, mode='bilinear', align_corners=False) +conv = nn.Conv2d(in_channels, out_channels, kernel_size=3, padding=1) +output = conv(upsample(input)) +``` + +这种方法的优势： +- **无棋盘效应**：插值保证了空间均匀性 +- **计算效率高**：插值操作很快，卷积是标准操作 +- **易于理解和调试**：两步操作各司其职 + +**3. 亚像素卷积：另一种优雅的方案** +亚像素卷积（Pixel Shuffle）提供了另一种思路：先在低分辨率空间生成多个通道，然后重新排列成高分辨率输出： + +```python +# 输入: [B, C, H, W] +# 先扩展通道: [B, C*r², H, W] +conv = nn.Conv2d(in_channels, out_channels * scale_factor**2, kernel_size=3, padding=1) +# 然后重排: [B, C, H*r, W*r] +pixel_shuffle = nn.PixelShuffle(scale_factor) +output = pixel_shuffle(conv(input)) +``` + +这种方法在超分辨率任务中特别流行，因为它允许网络在低分辨率空间进行大部分计算。 + +#### 采样策略对扩散模型的特殊意义 + +在扩散模型中，采样方式的选择有着特殊的重要性： + +**1. 信息保真度** +扩散模型需要在多个时间步之间传递信息。任何信息损失都会在迭代过程中被放大。因此，可逆或近似可逆的采样方式（如步进卷积配合适当的上采样）特别重要。 + +**2. 多尺度一致性** +去噪过程需要在不同尺度上保持一致性。粗糙的采样方式可能导致不同分辨率层之间的特征不匹配，影响最终的生成质量。 + +**3. 计算效率的关键** +U-Net的大部分计算发生在低分辨率层。高效的采样策略可以显著减少计算量，这是Stable Diffusion能够在消费级硬件上运行的关键因素之一。 ### 2.2.3 归一化技术：从BatchNorm到AdaGN的演进 -归一化是深度学习中最关键也最令人困惑的组件之一。它在扩散模型中的演进尤为重要。 +归一化技术的演进史，是深度学习社区对"如何让深层网络稳定训练"这一核心问题不断探索的历史。在扩散模型中，归一化不仅影响训练稳定性，更成为了注入条件信息的关键机制。 + +#### 归一化的本质：对抗内部协变量偏移 + +2015年，Ioffe和Szegedy提出BatchNorm时，他们的核心观察是：深层网络训练困难的一个重要原因是**内部协变量偏移（Internal Covariate Shift）**——即每层的输入分布在训练过程中不断变化，导致后续层需要不断适应新的输入分布。 + +归一化的基本思想很简单： +``` +归一化输出 = γ × (输入 - 均值) / 标准差 + β +``` +其中γ和β是可学习的缩放和偏移参数。关键在于：如何计算均值和标准差？ + +#### BatchNorm的局限：为什么它不适合扩散模型 + +BatchNorm在许多任务上取得了巨大成功，但在扩散模型中却遇到了前所未有的挑战： + +**1. 批次依赖性带来的不一致** +BatchNorm在训练时使用当前批次的统计量，在推理时使用移动平均。这导致： +```python +# 训练时：使用批次统计 +mean = x.mean(dim=[0, 2, 3]) # 跨批次维度计算 +var = x.var(dim=[0, 2, 3]) +x_norm = (x - mean) / sqrt(var + eps) + +# 推理时：使用移动平均 +x_norm = (x - running_mean) / sqrt(running_var + eps) +``` + +对于扩散模型，这种不一致是致命的： +- 生成时通常batch_size=1，统计量毫无意义 +- 训练和推理的行为差异会累积放大 + +**2. 时间步混淆问题** +扩散模型的一个批次中，不同样本可能处于不同的时间步： +``` +批次 = [x_t1, x_t2, x_t3, x_t4] # t1, t2, t3, t4可能完全不同 +``` + +BatchNorm会将这些处于不同噪声水平的样本混合计算统计量，这就像把苹果和橙子混在一起求平均——毫无意义。 + +**3. 小批量训练的灾难** +高分辨率的扩散模型因为内存限制，批次大小通常很小（如2或4）。在如此小的批次上估计统计量，方差极大，训练极不稳定。 + +#### GroupNorm：优雅的解决方案 + +2018年，何恺明等人提出的GroupNorm巧妙地解决了这些问题。其核心思想是：**不跨样本计算统计量，而是在每个样本内部，将通道分组后计算**。 + +```python +# GroupNorm的计算方式 +# 假设输入 x 的形状为 [B, C, H, W] +# 将 C 个通道分成 G 组 +x = x.view(B, G, C//G, H, W) +mean = x.mean(dim=[2, 3, 4]) # 在每组内计算 +var = x.var(dim=[2, 3, 4]) +x = (x - mean) / sqrt(var + eps) +x = x.view(B, C, H, W) +``` + +GroupNorm的优势： +- **批次无关**：每个样本独立计算，batch_size=1也能正常工作 +- **时间步隔离**：不同时间步的样本互不影响 +- **稳定性好**：不依赖批次大小，小批量训练也稳定 + +GroupNorm实际上是一个统一框架： +- 当 G = 1 时，退化为 LayerNorm（跨所有通道归一化） +- 当 G = C 时，退化为 InstanceNorm（每个通道独立归一化） +- 当 G = 32 时（常用设置），在两者之间取得平衡 + +#### 自适应归一化：从固定到动态的飞跃 + +传统的归一化使用固定的γ和β参数。但StyleGAN的成功启发了一个革命性的想法：**让这些参数根据外部条件动态变化**。 + +**AdaGN（Adaptive Group Normalization）的工作原理：** + +```python +class AdaGN(nn.Module): + def __init__(self, num_features, num_groups=32, time_emb_dim=128): + super().__init__() + self.norm = nn.GroupNorm(num_groups, num_features) + # 从时间嵌入预测 scale 和 shift + self.time_mlp = nn.Sequential( + nn.SiLU(), + nn.Linear(time_emb_dim, num_features * 2) + ) + + def forward(self, x, time_emb): + # 计算动态的 scale 和 shift + scale_shift = self.time_mlp(time_emb) + scale, shift = scale_shift.chunk(2, dim=1) + + # 应用 GroupNorm + x = self.norm(x) + + # 应用动态调制 + x = x * (1 + scale[:, :, None, None]) + shift[:, :, None, None] + return x +``` -- **为什么不用BatchNorm？** `nn.BatchNorm2d`对扩散模型有几个致命问题：1) **批次依赖**，导致训练和推理行为不一致；2) **小批量下性能退化**，而扩散模型常因内存限制使用小批量；3) **混淆时间步信息**，将不同时间步的样本统计量混合在一起。 +**为什么AdaGN对扩散模型如此有效？** -- **GroupNorm成为标准**：`nn.GroupNorm`解决了上述所有问题。它在每个样本内部、沿通道的分组上计算统计量，与批次大小无关。通过调整组数（`num_groups`），可以在`LayerNorm`（G=1）和`InstanceNorm`（G=C）之间进行权衡，通常`num_groups=32`是一个鲁棒的选择。 +1. **时间感知的去噪**：不同时间步需要不同的去噪策略。早期（高噪声）可能需要更强的归一化来稳定训练，后期（低噪声）可能需要更弱的归一化来保留细节。 -- **自适应归一化 (AdaGN) 的威力**：StyleGAN的革命性发现是，归一化可以作为注入外部信息的强大机制。扩散模型借鉴了这一思想，使用时间嵌入`t`来调制GroupNorm的增益（`scale`）和偏置（`shift`）。这比简单地将时间嵌入拼接到特征图上更有效，因为它允许模型根据时间步`t`动态地调整每一层的“去噪强度”。 +2. **高效的条件注入**：相比于将条件信息拼接到特征图（增加计算量），AdaGN通过调制现有特征实现条件控制，几乎不增加计算成本。 + +3. **分层的控制粒度**：每一层可以根据时间步独立调整其行为，这种细粒度的控制对于处理不同尺度的噪声至关重要。 + +#### 归一化位置的艺术：前置还是后置？ + +在Transformer的发展过程中，Layer Normalization的位置引发了激烈讨论。这个讨论同样适用于U-Net： + +**Post-Norm（传统方式）：** +``` +x → Conv → ReLU → Norm → + → 输出 + ↑ + x (残差连接) +``` + +**Pre-Norm（现代方式）：** +``` +x → Norm → Conv → ReLU → + → 输出 + ↑ + x (残差连接) +``` + +Pre-Norm的优势： +- **梯度流更稳定**：残差连接直接连接输入输出，梯度可以无障碍地流过 +- **训练更容易**：特别是对于非常深的网络 +- **与AdaGN配合更好**：在块的开始就进行条件调制，影响整个块的计算 + +这就是为什么现代扩散模型普遍采用Pre-Norm设计。 + +#### RMSNorm：更简单的未来？ + +最近，RMSNorm作为LayerNorm的简化版本引起了关注： + +```python +# LayerNorm: 减均值，除标准差 +x_norm = (x - mean) / std + +# RMSNorm: 只除以均方根，不减均值 +x_norm = x / sqrt(mean(x²)) +``` + +RMSNorm的优势： +- **计算更简单**：少了减均值的操作 +- **某些情况下效果相当**：特别是当激活函数本身有中心化效果时 + +虽然RMSNorm在扩散模型中的应用还不广泛，但它代表了一个重要趋势：**不断简化和优化基础组件**。
练习 2.1：U-Net架构的权衡分析 From febebd8465630a32a55fcb8a8f7c8d026d620eef Mon Sep 17 00:00:00 2001 From: William Date: Thu, 31 Jul 2025 08:05:36 +0800 Subject: [PATCH 38/62] interim --- chapter3.md | 159 ++++++++++++++++++++++++++++++++++++++++++++-------- 1 file changed, 136 insertions(+), 23 deletions(-) diff --git a/chapter3.md b/chapter3.md index e7002fb..088c17e 100644 --- a/chapter3.md +++ b/chapter3.md @@ -6,16 +6,24 @@ ## 3.1 DDPM的核心思想：简化与统一 -在DDPM之前，扩散模型虽然理论优雅，但实践起来却充满挑战。DDPM的革命性贡献在于：**将复杂的变分推断问题简化为了一个简单直观的去噪任务**。 +在DDPM之前，扩散模型虽然理论优雅，但实践起来却充满挑战。早期的扩散模型需要精心设计的推断过程、复杂的变分边界优化，以及难以调试的训练流程。研究者们被困在理论与实践之间的鸿沟中：一方面，扩散模型在理论上具有诸多优势——可解释的概率框架、精确的似然计算、稳定的训练过程；另一方面，实际训练时却面临着收敛慢、生成质量差、超参数敏感等问题。 + +DDPM的出现改变了这一切。它的革命性贡献在于：**将复杂的变分推断问题简化为了一个简单直观的去噪任务**。这种简化不是以牺牲理论严谨性为代价的——恰恰相反，DDPM展示了如何通过巧妙的数学变换和参数化选择，在保持理论完整性的同时，获得一个极其简洁的实践框架。 > **定义：DDPM的三个关键简化** -> 1. **固定前向过程**：前向加噪过程使用一个预先设定的、固定的方差调度 $\beta_t$ ，无需学习。 -> 2. **简化反向过程**：假设反向去噪过程也是高斯分布，且其方差也是固定的。因此，模型只需要学习高斯分布的均值。 -> 3. **重参数化目标**：将学习“去噪后的图像均值”这一困难任务，巧妙地转换为学习“添加到图像中的噪声”，极大地稳定了训练过程。 +> 1. **固定前向过程**：前向加噪过程使用一个预先设定的、固定的方差调度 $\beta_t$ ，无需学习。这避免了早期扩散模型中需要同时学习前向和反向过程的复杂性。 +> 2. **简化反向过程**：假设反向去噪过程也是高斯分布，且其方差也是固定的。因此，模型只需要学习高斯分布的均值，将学习目标从整个分布简化为单一参数。 +> 3. **重参数化目标**：将学习"去噪后的图像均值"这一困难任务，巧妙地转换为学习"添加到图像中的噪声"，极大地稳定了训练过程。 + +这三个简化看似独立，实际上形成了一个相互支撑的体系。固定的前向过程提供了稳定的训练目标，简化的反向过程减少了模型的负担，而噪声预测的参数化则确保了训练的稳定性。它们共同将一个原本复杂的生成建模问题转化为了一个标准的监督学习问题。 ### 3.1.1 为什么预测噪声更好？ -这个看似简单的改变是DDPM成功的关键。预测原始图像 $x_0$ 意味着网络需要输出一个具有复杂结构和特定分布的物体，而预测噪声 $\epsilon$ 意味着网络只需要输出一个来自标准正态分布的样本。 +在理解DDPM之前，我们需要先回答一个根本性的问题：为什么预测噪声比预测清晰图像更有效？这个问题的答案涉及深度学习中的一个核心洞察：**匹配简单分布比匹配复杂分布容易得多**。 + +考虑这样一个类比：假设你要训练一个神经网络来完成两个任务之一：(1) 给定一幅被墨水污染的名画，预测原始画作的样子；(2) 给定同样的污染画作，预测墨水的形状和位置。虽然这两个任务在信息论上是等价的（知道其中一个就能推出另一个），但从学习的角度来看，它们的难度截然不同。预测原画需要网络理解艺术风格、构图规则、色彩理论等复杂知识，而预测墨水只需要识别那些不符合画作整体风格的异常模式。 + +这个看似简单的改变是DDPM成功的关键。预测原始图像 $x_0$ 意味着网络需要输出一个具有复杂结构和特定分布的物体，而预测噪声 $\epsilon$ 意味着网络只需要输出一个来自标准正态分布的样本。更深层的原因在于，噪声预测任务具有某种"局部性"——网络可以通过识别局部的不一致性来判断噪声，而无需理解整体的全局结构。 > **定义：预测噪声的优势** > | 方面 | 预测均值 $\mu_\theta$ | 预测噪声 $\epsilon_\theta$ | @@ -24,12 +32,16 @@ > | **训练信号** | 随时间步 $t$ 变化剧烈 | 各时间步的训练目标相对一致 | > | **梯度流** | 在高噪声时可能梯度消失 | 梯度传播更稳定 | > | **物理意义** | 预测去噪后的图像 | 预测被添加的噪声 | +> | **优化景观** | 多模态、非凸，容易陷入局部最优 | 相对平滑，更容易优化 | +> | **泛化能力** | 需要记忆训练数据的具体模式 | 学习更通用的去噪原理 | + +让我们从数学角度更深入地理解这种差异。当网络预测 $x_0$ 时，在时间步 $t$ 较大（噪声较多）的情况下，输入 $x_t$ 几乎是纯噪声，网络需要从几乎没有信息的输入中"凭空"生成一个有意义的图像。这就像要求网络成为一个"记忆机器"，记住所有可能的图像。相反，当预测噪声 $\epsilon$ 时，网络的任务是识别和分离信号与噪声，这是一个更加well-defined的问题。 -🔬 **研究线索**：DDPM预测噪声 $\epsilon$ ，而一些后续工作（如Cold Diffusion）则探索直接预测 $x_0$ 。这两种参数化方式的优劣在不同场景下仍有争议。例如，在处理视频时，预测帧间差（类似于噪声）可能比预测完整帧更有效。 +🔬 **研究线索**：DDPM预测噪声 $\epsilon$ ，而一些后续工作（如Cold Diffusion）则探索直接预测 $x_0$ 。这两种参数化方式的优劣在不同场景下仍有争议。例如，在处理视频时，预测帧间差（类似于噪声）可能比预测完整帧更有效。另一个有趣的研究方向是"v-prediction"（预测 $v = \alpha_t \epsilon - \sigma_t x_0$），它试图在两种参数化之间找到平衡点。Progressive Distillation等工作也展示了在不同的训练阶段切换参数化方式可能带来好处。 ### 3.1.2 DDPM训练算法概览 -得益于上述简化，DDPM的训练过程变得异常简洁。 +得益于上述简化，DDPM的训练过程变得异常简洁。这种简洁性不仅体现在代码实现上，更重要的是概念上的清晰：整个训练过程可以被理解为学习一个"通用去噪器"。 **DDPM训练伪代码** 1. 从数据集中随机抽取一批原始图像 $x_0$ 。 @@ -40,35 +52,87 @@ 6. 计算损失： $loss = \text{MSE}(\epsilon, \epsilon_{pred})$ 。 7. 使用梯度下降更新模型参数 $\theta$ 。 -这种端到端的去噪训练方式，是DDPM易于实现和训练稳定的核心原因。 +这种端到端的去噪训练方式，是DDPM易于实现和训练稳定的核心原因。让我们深入理解这个算法的几个关键设计选择： + +**时间步的随机采样**：为什么要随机选择时间步 $t$，而不是按顺序训练？这个设计确保了网络在所有噪声水平上都能均匀地学习。如果按顺序训练，网络可能会"遗忘"早期学到的知识。随机采样还带来了另一个好处：每个批次中的样本具有不同的噪声水平，这种多样性有助于网络学习更鲁棒的特征表示。 + +**闭式解的重要性**：能够直接从 $x_0$ 计算 $x_t$ 是DDPM的一个关键优势。这避免了需要迭代地应用前向过程，大大提高了训练效率。在PyTorch中，这个操作可以通过简单的张量运算实现，如 `torch.randn_like()` 生成噪声，然后进行线性组合。 + +**MSE损失的简单性**：使用均方误差作为损失函数看似平凡，但它恰好对应于高斯分布下的最大似然估计。这种对应关系不是巧合，而是DDPM理论框架的自然结果。更重要的是，MSE损失在所有像素上均匀加权，这促使网络学习全局一致的去噪策略。 + +💡 **实践洞察**：在实际实现中，时间步 $t$ 的编码方式对模型性能有显著影响。DDPM使用正弦位置编码（类似于Transformer），将离散的时间步映射到连续的高维表示。这种编码方式不仅提供了时间信息，还隐含地编码了当前的信噪比，帮助网络理解需要去除多少噪声。 ## 3.2 前向过程：从数据到噪声 -前向过程定义了一个固定的马尔可夫链，它逐步将数据分布 $q(x_0)$ 转换为一个已知的先验分布（通常是标准正态分布 $\mathcal{N}(0, I)$ ）。 +前向过程是扩散模型的基础，它定义了数据如何逐渐转变为噪声的数学过程。理解前向过程不仅是掌握DDPM的前提，更是洞察扩散模型本质的关键。在这一节中，我们将深入探讨前向过程的数学结构、物理直觉，以及它如何为后续的反向学习奠定基础。 + +前向过程定义了一个固定的马尔可夫链，它逐步将数据分布 $q(x_0)$ 转换为一个已知的先验分布（通常是标准正态分布 $\mathcal{N}(0, I)$ ）。数学上，每一步的转移概率定义为： $q(\mathbf{x}_t|\mathbf{x}_{t-1}) = \mathcal{N}(\mathbf{x}_t; \sqrt{1-\beta_t}\mathbf{x}_{t-1}, \beta_t\mathbf{I})$ +这个看似简单的公式蕴含着深刻的设计智慧。让我们逐一分析其组成部分： + +**均值项 $\sqrt{1-\beta_t}\mathbf{x}_{t-1}$**：这个缩放因子确保了信号在传播过程中的能量守恒。如果没有这个缩放，随着噪声的不断添加，数据的总能量会无限增长。$\sqrt{1-\beta_t}$ 的选择保证了在添加方差为 $\beta_t$ 的噪声后，总方差保持在合理范围内。 + +**方差项 $\beta_t\mathbf{I}$**：各向同性的噪声假设简化了理论分析，但也限制了模型的表达能力。这是一个经典的"简单有效"vs"复杂精确"的权衡。后续研究探索了各向异性噪声、结构化噪声等更复杂的前向过程。 + +**马尔可夫性质**：$x_t$ 只依赖于 $x_{t-1}$，而不依赖于更早的历史。这个性质极大地简化了理论推导，使得我们可以使用动态规划的思想来分析整个过程。 + ### 3.2.1 重参数化技巧 -DDPM的一个关键数学技巧是，我们可以直接从 $x_0$ 采样任意时刻的 $x_t$ ，而无需迭代计算。 +DDPM的一个关键数学技巧是，我们可以直接从 $x_0$ 采样任意时刻的 $x_t$ ，而无需迭代计算。这个技巧不仅是计算效率的关键，更揭示了扩散过程的一个深刻性质：**整个前向过程可以被视为一个线性高斯系统**。 > **定理：闭式采样公式** > 定义 $\alpha_t = 1 - \beta_t$ 和 $\bar{\alpha}_t = \prod_{s=1}^{t} \alpha_s$ ，则： > $q(\mathbf{x}_t|\mathbf{x}_0) = \mathcal{N}(\mathbf{x}_t; \sqrt{\bar{\alpha}_t}\mathbf{x}_0, (1-\bar{\alpha}_t)\mathbf{I})$ -> 这个公式的证明基于高斯分布的可加性，是一个简单的归纳法练习。它的重要性在于，它使得我们可以在训练中随机采样任意时间步 $t$ 并直接计算出 $x_t$ ，极大地提高了训练效率。 +> +> 这个公式可以等价地写成重参数化形式： +> $\mathbf{x}_t = \sqrt{\bar{\alpha}_t}\mathbf{x}_0 + \sqrt{1-\bar{\alpha}_t}\boldsymbol{\epsilon}, \quad \boldsymbol{\epsilon} \sim \mathcal{N}(0, \mathbf{I})$ + +这个闭式公式的推导虽然基于简单的高斯分布性质，但其意义深远。让我们通过一个具体的推导来理解这个过程： + +**推导过程**：从 $x_0$ 到 $x_1$：$x_1 = \sqrt{\alpha_1}x_0 + \sqrt{\beta_1}\epsilon_1$。从 $x_1$ 到 $x_2$：$x_2 = \sqrt{\alpha_2}x_1 + \sqrt{\beta_2}\epsilon_2 = \sqrt{\alpha_2}(\sqrt{\alpha_1}x_0 + \sqrt{\beta_1}\epsilon_1) + \sqrt{\beta_2}\epsilon_2$。 + +关键洞察是，两个独立高斯噪声的线性组合仍然是高斯噪声。通过仔细计算方差，我们可以证明：$x_2 = \sqrt{\alpha_1\alpha_2}x_0 + \sqrt{1-\alpha_1\alpha_2}\tilde{\epsilon}$，其中 $\tilde{\epsilon}$ 是一个新的标准高斯噪声。 + +**物理直觉**：这个公式告诉我们，无论经过多少步扩散，$x_t$ 始终可以表示为原始信号 $x_0$ 的衰减版本加上一个适当强度的噪声。衰减因子 $\sqrt{\bar{\alpha}_t}$ 描述了信号的保留程度，而 $\sqrt{1-\bar{\alpha}_t}$ 描述了噪声的强度。当 $t \to T$ 时，$\bar{\alpha}_t \to 0$，信号完全消失，只剩下纯噪声。 + +**计算优势**：在实际训练中，这个闭式公式允许我们： +- 并行处理不同时间步的样本 +- 避免数值误差的累积 +- 实现高效的GPU向量化计算 ### 3.2.2 噪声调度 (Noise Schedule) -噪声调度 $\{\beta_t\}$ 的选择对模型性能有重要影响。 +噪声调度 $\{\beta_t\}$ 的选择对模型性能有重要影响。它决定了信息在前向过程中的衰减速度，直接影响到反向过程的学习难度。一个好的噪声调度应该在以下几个方面取得平衡： + +1. **信息保留**：早期步骤应该保留足够的原始信息，使得反向过程有据可依 +2. **充分扩散**：最终应该充分接近先验分布，确保生成的多样性 +3. **平滑过渡**：相邻时间步之间的变化应该适度，避免学习任务的突变 > **定义：调度策略对比** > | 调度类型 | 特点 | 优势 | 劣势 | > | :--- | :--- | :--- | :--- | -> | **线性 (Linear)** | $\beta_t$ 线性增长。 | 简单直观，DDPM原始选择。 | 过程早期破坏信息过快，后期变化又太慢。 | -> | **余弦 (Cosine)** | 基于信噪比(SNR)的余弦曲线设计。 | 过程早期缓慢加噪，保留更多结构，感知质量更好。 | 理论相对复杂，末期可能收敛过慢。 | -> | **二次 (Quadratic)** | $\beta_t$ 呈二次方增长。 | 在线性的基础上，进一步减缓早期加噪。 | 后期加噪可能过于激进。 | +> | **线性 (Linear)** | $\beta_t$ 从 $\beta_1 = 10^{-4}$ 线性增长到 $\beta_T = 0.02$ | 简单直观，DDPM原始选择，易于实现和调试 | 过程早期破坏信息过快，后期变化又太慢，导致生成质量次优 | +> | **余弦 (Cosine)** | 基于信噪比(SNR)的余弦曲线设计：$\bar{\alpha}_t = \frac{f(t)}{f(0)}$，其中 $f(t) = \cos\left(\frac{t/T + s}{1+s} \cdot \frac{\pi}{2}\right)^2$ | 过程早期缓慢加噪，保留更多结构信息，感知质量显著更好，特别适合高分辨率图像 | 理论相对复杂，超参数 $s$ 需要调整，末期可能收敛过慢 | +> | **二次 (Quadratic)** | $\beta_t$ 呈二次方增长：$\beta_t = \beta_{\min} + (\beta_{\max} - \beta_{\min}) \cdot (t/T)^2$ | 在线性的基础上，进一步减缓早期加噪，中期过渡更平滑 | 后期加噪可能过于激进，需要仔细选择 $\beta_{\max}$ | +> | **对数 (Logarithmic)** | $\beta_t$ 按对数规律增长 | 极其缓慢的早期加噪，适合保留细节丰富的数据 | 可能需要更多的扩散步数才能充分混合 | -💡 **开放问题**：是否存在一个“最优”的噪声调度？理论上，最优调度应与数据的内在属性（如维度、复杂度）相关。目前，设计数据自适应的噪声调度或在训练中学习调度本身，仍然是一个活跃的研究领域。 +让我们深入理解为什么余弦调度在实践中表现优异。关键在于**信噪比（SNR）**的概念： + +$\text{SNR}(t) = \frac{\bar{\alpha}_t}{1 - \bar{\alpha}_t}$ + +线性调度下，log-SNR几乎是线性下降的，这意味着在对数空间中，信息的丢失速度是恒定的。然而，人类的感知系统对信息的敏感度并非线性——我们对高SNR区域（图像清晰时）的变化更敏感。余弦调度通过在高SNR区域放慢变化速度，更好地匹配了这种感知特性。 + +**实践经验**： +- 对于64×64的低分辨率图像，线性调度通常足够 +- 对于256×256及以上的高分辨率图像，余弦调度几乎总是更好 +- 对于特殊数据（如医学图像），可能需要定制调度 + +💡 **开放问题**：是否存在一个"最优"的噪声调度？理论上，最优调度应与数据的内在属性（如维度、复杂度）相关。目前，设计数据自适应的噪声调度或在训练中学习调度本身，仍然是一个活跃的研究领域。一些有趣的方向包括： +- **学习型调度**：让网络自己学习最优的 $\beta_t$ +- **内容感知调度**：根据图像的局部特征（纹理、边缘等）使用不同的噪声强度 +- **任务特定调度**：为不同的下游任务（生成、修复、超分）设计专门的调度
练习 3.1：设计与分析噪声调度 @@ -83,25 +147,74 @@ DDPM的一个关键数学技巧是，我们可以直接从 $x_0$ 采样任意时 ## 3.3 反向过程：从噪声到数据 -反向过程是扩散模型的核心——学习如何从纯噪声 $x_T$ 逐步恢复出清晰的数据 $x_0$ 。 +如果说前向过程是将数据逐渐模糊化的过程，那么反向过程就是扩散模型的"魔法"所在——它要学习如何从纯噪声 $x_T$ 逐步恢复出清晰的数据 $x_0$ 。这个过程的优雅之处在于，虽然看似是在"逆转时间"，但实际上我们是在学习一个条件概率分布，这个分布告诉我们：给定当前的噪声图像，上一个时间步的图像应该是什么样子。 + +反向过程的核心挑战在于：我们需要学习 $p_\theta(x_{t-1}|x_t)$ ，但这个条件分布是极其复杂的——它需要理解图像的所有可能结构，并能够推断出哪些部分是噪声，哪些部分是信号。DDPM的天才之处在于，通过巧妙的数学推导，将这个看似不可能的任务转化为一个简单的噪声预测问题。 ### 3.3.1 反向条件概率的推导 -这是DDPM论文中最重要的数学推导之一。通过贝叶斯定理，可以证明在已知 $x_0$ 的条件下，反向的条件概率 $q(x_{t-1}|x_t, x_0)$ 也是一个高斯分布。 +这是DDPM论文中最重要的数学推导之一，也是理解整个框架的关键。我们将通过贝叶斯定理，证明在已知 $x_0$ 的条件下，反向的条件概率 $q(x_{t-1}|x_t, x_0)$ 也是一个高斯分布。这个结果不仅优雅，更重要的是它为我们的学习任务提供了明确的目标。 + +让我们从贝叶斯定理开始： +$q(x_{t-1}|x_t, x_0) = \frac{q(x_t|x_{t-1}, x_0) q(x_{t-1}|x_0)}{q(x_t|x_0)}$ + +由于前向过程的马尔可夫性质，$q(x_t|x_{t-1}, x_0) = q(x_t|x_{t-1})$。现在，所有三个项都是已知的高斯分布： +- $q(x_t|x_{t-1}) = \mathcal{N}(x_t; \sqrt{\alpha_t}x_{t-1}, \beta_t I)$ +- $q(x_{t-1}|x_0) = \mathcal{N}(x_{t-1}; \sqrt{\bar{\alpha}_{t-1}}x_0, (1-\bar{\alpha}_{t-1})I)$ +- $q(x_t|x_0) = \mathcal{N}(x_t; \sqrt{\bar{\alpha}_t}x_0, (1-\bar{\alpha}_t)I)$ + +高斯分布的一个美妙性质是：高斯分布的乘积和除法（在指数空间中）仍然是高斯分布。通过仔细的代数运算，我们可以得出： > **定理：反向过程的后验分布** > $q(\mathbf{x}_{t-1}|\mathbf{x}_t, \mathbf{x}_0) = \mathcal{N}(\mathbf{x}_{t-1}; \tilde{\boldsymbol{\mu}}_t(\mathbf{x}_t, \mathbf{x}_0), \tilde{\beta}_t\mathbf{I})$ -> 其中均值 $\tilde{\mu}_t$ 是 $x_t$ 和 $x_0$ 的线性组合，方差 $\tilde{\beta}_t$ 只与预设的 $\beta_t$ 相关。 +> +> 其中： +> - 后验均值：$\tilde{\boldsymbol{\mu}}_t(\mathbf{x}_t, \mathbf{x}_0) = \frac{\sqrt{\bar{\alpha}_{t-1}}\beta_t}{1-\bar{\alpha}_t}\mathbf{x}_0 + \frac{\sqrt{\alpha_t}(1-\bar{\alpha}_{t-1})}{1-\bar{\alpha}_t}\mathbf{x}_t$ +> - 后验方差：$\tilde{\beta}_t = \frac{1-\bar{\alpha}_{t-1}}{1-\bar{\alpha}_t} \cdot \beta_t$ + +这个结果的深刻之处在于几个方面： + +1. **线性组合**：后验均值是 $x_t$ 和 $x_0$ 的线性组合，权重只依赖于噪声调度 +2. **确定性方差**：后验方差 $\tilde{\beta}_t$ 完全由前向过程决定，不依赖于数据 +3. **信息融合**：这个公式可以理解为在 $x_t$（当前观察）和 $x_0$（先验知识）之间的最优贝叶斯融合 -这个定理的**关键洞察**在于：如果我们能以某种方式从 $x_t$ 中估计出 $x_0$ ，我们就能近似真实的反向过程。这正是神经网络需要做的事情。 +这个定理的**关键洞察**在于：如果我们能以某种方式从 $x_t$ 中估计出 $x_0$ ，我们就能近似真实的反向过程。这正是神经网络需要做的事情。但是，直接预测 $x_0$ 并不是最优的选择。 -利用 $x_0 = (x_t - \sqrt{1 - \bar{\alpha}_t} \epsilon) / \sqrt{\bar{\alpha}_t}$ 的关系，我们可以将后验均值 $\tilde{\mu}_t$ 完全用 $x_t$ 和噪声 $\epsilon$ 来表达： +**从 $x_0$ 到 $\epsilon$ 的重参数化** + +利用前向过程的重参数化公式 $x_t = \sqrt{\bar{\alpha}_t}x_0 + \sqrt{1-\bar{\alpha}_t}\epsilon$，我们可以解出： +$x_0 = \frac{x_t - \sqrt{1 - \bar{\alpha}_t} \epsilon}{\sqrt{\bar{\alpha}_t}}$ + +将这个表达式代入后验均值公式，经过一番代数运算，我们得到： $\tilde{\boldsymbol{\mu}}_t(\mathbf{x}_t, \boldsymbol{\epsilon}) = \frac{1}{\sqrt{\alpha_t}}\left(\mathbf{x}_t - \frac{\beta_t}{\sqrt{1-\bar{\alpha}_t}}\boldsymbol{\epsilon}\right)$ -这个表达式优雅地揭示了：**学习反向过程等价于学习预测噪声 $\epsilon$ **。 + +这个表达式优雅地揭示了：**学习反向过程等价于学习预测噪声 $\epsilon$**。这不仅是一个数学上的等价变换，更是一个概念上的突破——它将"预测去噪后的图像"这个复杂任务转化为"识别添加的噪声"这个相对简单的任务。 ### 3.3.2 方差的处理：固定 vs 可学习 -DDPM的另一个简化是固定反向过程的方差 $\sigma_t^2$ 。论文中探讨了两种选择： $\sigma_t^2 = \tilde{\beta}_t$ （理论上更优）和 $\sigma_t^2 = \beta_t$ （实现上更简单，效果也很好）。后续工作（如Improved DDPM）则探索了让网络同时预测方差，这可以提高对数似然（log-likelihood），但对生成质量的提升通常不明显。对于大多数应用，固定方差是足够的。 +在确定了均值的参数化后，还有一个重要问题：如何处理反向过程的方差？DDPM采用了一个大胆的简化：固定方差。这个决定背后有深刻的理论和实践考量。 + +**理论考量**：后验方差 $\tilde{\beta}_t$ 有一个精确的公式，它是前向过程参数的函数。然而，在实际的反向过程中，我们并不知道真实的 $x_0$，因此无法使用精确的后验方差。DDPM提出了两种近似方案： + +1. **方案一**：$\sigma_t^2 = \tilde{\beta}_t = \frac{1-\bar{\alpha}_{t-1}}{1-\bar{\alpha}_t} \cdot \beta_t$ （后验方差的精确值） +2. **方案二**：$\sigma_t^2 = \beta_t$ （更简单的选择） + +有趣的是，虽然方案一在理论上更精确，但实验表明两种方案的生成质量非常接近。这暗示着反向过程对方差的选择相对不敏感，均值的准确预测才是关键。 + +**实践考量**：固定方差大大简化了训练和实现： +- 训练时只需要优化一个目标（预测噪声） +- 避免了多任务学习的复杂性 +- 减少了模型的参数量和计算开销 + +后续工作（如Improved DDPM）探索了让网络同时预测均值和方差： +$p_\theta(x_{t-1}|x_t) = \mathcal{N}(x_{t-1}; \mu_\theta(x_t, t), \sigma_\theta^2(x_t, t))$ + +这种方法可以提高模型的对数似然，但对感知质量的提升往往有限。更重要的是，学习方差引入了新的挑战： +- 需要仔细设计方差的参数化方式（如预测对数方差） +- 需要平衡均值和方差预测的损失权重 +- 可能导致训练不稳定 + +对于大多数应用，固定方差是一个优秀的选择，它在简单性和性能之间达到了极好的平衡。
练习 3.2：参数化的等价性与差异 From 22a937f5e9585c4487b8be0435f3e770ec7237e7 Mon Sep 17 00:00:00 2001 From: William Date: Thu, 31 Jul 2025 08:10:33 +0800 Subject: [PATCH 39/62] interim --- chapter4.md | 360 ++++++++++++++++++++++++++++++++++++++++++++-------- 1 file changed, 309 insertions(+), 51 deletions(-) diff --git a/chapter4.md b/chapter4.md index 2806a71..6aecd75 100644 --- a/chapter4.md +++ b/chapter4.md @@ -12,79 +12,196 @@ $$\nabla_x \log p(x) = \frac{\nabla_x p(x)}{p(x)}$$ -这个看似简单的定义蕴含着深刻的意义。让我们通过几个例子来理解它。 +这个看似简单的定义蕴含着深刻的意义。为了真正理解分数函数的本质，让我们从多个角度来剖析它。 -**例1：一维高斯分布** +**直观理解：概率景观的"指南针"** -对于标准正态分布 $p(x) = \frac{1}{\sqrt{2\pi}} e^{-\frac{x^2}{2}}$ ： +想象概率分布 $p(x)$ 是一个山地地形，其中高度代表概率密度。分数函数就像是站在任意一点时的"最陡上升方向"——它指向概率密度增长最快的方向。这个比喻虽然简单，却揭示了分数函数的核心作用：它告诉我们如何在概率空间中"导航"。 -$$\log p(x) = -\frac{x^2}{2} - \frac{1}{2}\log(2\pi) +更具体地说，分数函数回答了一个关键问题：从当前位置出发，应该向哪个方向移动才能最快地到达高概率区域？这种局部信息看似有限，但当我们知道整个空间中每一点的分数函数时，就能完整地重构出整个概率分布。 -$$ +**数学视角：从概率到对数概率的转换** + +为什么我们要考虑对数概率的梯度，而不是概率本身的梯度？这里有几个深层原因： + +1. **数值稳定性**：概率值通常很小（尤其在高维空间），直接计算梯度容易产生数值下溢。对数变换将乘法转为加法，大大提高了数值稳定性。 + +2. **归一化的优雅处理**：对数变换将归一化常数变成了加法常数，在求梯度时自然消失。这是分数函数最优美的性质之一。 + +3. **与信息论的联系**：对数概率与信息量直接相关，分数函数因此与Fisher信息矩阵等信息论概念有着自然的联系。 + +让我们通过几个例子来深入理解这些概念。 + +**例1：一维高斯分布的深入分析** + +对于标准正态分布 $p(x) = \frac{1}{\sqrt{2\pi}} e^{-\frac{x^2}{2}}$ ： + +$$\log p(x) = -\frac{x^2}{2} - \frac{1}{2}\log(2\pi)$$ 分数函数为： $$\nabla_x \log p(x) = -x$$ -注意这个结果的直观性： -- 当 $x > 0$ 时，分数为负，指向原点（概率更高的方向） -- 当 $x < 0$ 时，分数为正，同样指向原点 -- 分数的大小与偏离原点的距离成正比 +这个简单的结果蕴含着丰富的信息： + +1. **线性性质**：分数函数是 $x$ 的线性函数，这意味着"拉力"与偏离中心的距离成正比。这就像弹簧的胡克定律——偏离越远，恢复力越大。 + +2. **方向性**： + - 当 $x > 0$ 时，分数为负，指向原点（概率更高的方向） + - 当 $x < 0$ 时，分数为正，同样指向原点 + - 在原点处，分数为零——这是概率密度的极值点 + +3. **尺度不变性**：对于一般的高斯分布 $\mathcal{N}(\mu, \sigma^2)$，分数函数为 $-\frac{x-\mu}{\sigma^2}$。注意分母是方差而非标准差，这反映了分数函数对尺度的敏感性。 + +**例2：多峰分布的复杂性** + +考虑一个双峰高斯混合分布： + +$$p(x) = \frac{1}{2}\mathcal{N}(x; -2, 0.5) + \frac{1}{2}\mathcal{N}(x; 2, 0.5)$$ + +其分数函数为： + +$$\nabla_x \log p(x) = \frac{\frac{1}{2}e^{-\frac{(x+2)^2}{1}} \cdot \frac{-(x+2)}{0.5} + \frac{1}{2}e^{-\frac{(x-2)^2}{1}} \cdot \frac{-(x-2)}{0.5}}{\frac{1}{2}e^{-\frac{(x+2)^2}{1}} + \frac{1}{2}e^{-\frac{(x-2)^2}{1}}}$$ + +这个复杂的表达式展现了多峰分布的几个关键特征： + +1. **非线性动力学**：不同于单峰高斯的线性分数函数，多峰分布的分数函数是高度非线性的。 + +2. **吸引域**：存在一个分界点（鞍点），将空间分为两个吸引域。每个域内的点都会被"拉向"相应的峰。 + +3. **临界行为**：在两峰之间的鞍点处，分数函数为零，但这是一个不稳定平衡点。微小的扰动会导致系统流向某一个峰。 **🔬 研究线索：** 分数函数的这种"指向高概率区域"的性质是否总是成立？考虑多峰分布的情况，分数函数在鞍点附近的行为如何？这涉及到动力系统理论中的稳定性分析。 ### 4.1.2 为什么分数函数重要？ -分数函数在机器学习和统计学中扮演着核心角色，其重要性体现在多个方面： +分数函数在机器学习和统计学中扮演着核心角色，其重要性远超其简单的数学定义。让我们深入探讨为什么分数函数如此关键。 -#### 1. 无需归一化常数 +#### 1. 无需归一化常数：绕过计算瓶颈 -许多复杂的概率模型（如马尔可夫随机场、能量模型）的归一化常数难以计算： +在实际应用中，我们经常遇到只知道未归一化密度的情况。许多复杂的概率模型（如马尔可夫随机场、能量模型）可以写成： $$p(x) = \frac{1}{Z} \exp(-E(x)), \quad Z = \int \exp(-E(x)) dx$$ -但分数函数可以直接计算，无需知道 $Z$ ： +这里的配分函数 $Z$ 通常是计算瓶颈——在高维空间中，这个积分往往是不可解的。但神奇的是，分数函数完全绕过了这个问题： -$$\nabla_x \log p(x) = -\nabla_x E(x) +$$\nabla_x \log p(x) = \nabla_x \log \frac{1}{Z} + \nabla_x \log \exp(-E(x)) = 0 - \nabla_x E(x) = -\nabla_x E(x)$$ -$$ +这意味着： +- **计算效率**：即使不知道 $Z$，我们仍然可以计算分数函数 +- **模型灵活性**：可以使用任意复杂的能量函数，不用担心归一化 +- **理论优雅**：分数函数自然地处理了概率模型中最困难的部分 -**实例：Ising模型** +**实例：Ising模型的深入分析** 在统计物理中的Ising模型中，系统能量为： $$E(x) = -J \sum_{\langle i,j \rangle} x_i x_j - h \sum_i x_i$$ -其中 $x_i \in \{-1, +1\}$ 。配分函数 $Z$ 的计算是 #P-hard 问题，但能量的梯度（在连续松弛下）却很容易计算。 +其中 $x_i \in \{-1, +1\}$ 表示自旋状态，$J$ 是耦合强度，$h$ 是外场。 + +配分函数 $Z = \sum_{\{x\}} \exp(-\beta E(x))$ 的计算是 #P-hard 问题——对于 $n$ 个自旋，需要求和 $2^n$ 项。但在连续松弛下，能量的梯度却很容易计算： + +$$\nabla_{x_i} E(x) = -J \sum_{j \in \mathcal{N}(i)} x_j - h$$ + +这个例子完美展示了分数函数方法的威力：即使在配分函数不可计算的情况下，我们仍然可以进行有意义的推断和采样。 **💡 开放问题：** 如何设计高效的分数函数估计器，使其在高维空间中仍然准确？当前的神经网络架构是否最优？考虑引入物理约束或对称性。 -#### 2. 采样算法的基础 +#### 2. 采样算法的基础：从静态到动态 -分数函数直接告诉我们如何在概率分布中"爬山"： +分数函数不仅描述了概率分布的静态性质，更重要的是它定义了一个动态系统。通过分数函数，我们可以构造各种采样算法。 + +**Langevin动力学：最基本的分数驱动采样** $$x_{t+1} = x_t + \epsilon \nabla_x \log p(x_t) + \sqrt{2\epsilon} \xi_t$$ -其中 $\xi_t \sim \mathcal{N}(0, I)$ 。这就是著名的Langevin动力学。 +其中 $\xi_t \sim \mathcal{N}(0, I)$ 。这个更新规则有着深刻的物理意义： + +- **第一项**（$x_t$）：当前位置 +- **第二项**（$\epsilon \nabla_x \log p(x_t)$）：确定性漂移，指向高概率方向 +- **第三项**（$\sqrt{2\epsilon} \xi_t$）：随机扰动，保证遍历性 + +这三项的平衡确保了算法最终收敛到目标分布 $p(x)$。更深入地说，这个过程满足细致平衡条件（detailed balance），这是MCMC方法正确性的关键。 + +**从离散到连续：随机微分方程视角** + +当步长 $\epsilon \to 0$ 时，我们得到连续时间的Langevin SDE： + +$$dX_t = \nabla \log p(X_t)dt + \sqrt{2}dW_t$$ + +这个方程揭示了分数函数与扩散过程的深层联系——这正是后续章节将要探讨的核心内容。 + +**⚡ 实现挑战：** Langevin采样在高维空间收敛极慢。关键挑战包括： +- **多尺度问题**：不同维度可能有截然不同的尺度 +- **局部陷阱**：多峰分布中的metastable states +- **数值稳定性**：步长选择的微妙平衡 -**⚡ 实现挑战：** Langevin采样在高维空间收敛极慢。如何设计自适应步长？如何处理多尺度问题？预条件器的选择至关重要，可以考虑使用 `torch.optim.LBFGS` 中的Hessian近似思想。 +可能的解决方案包括预条件器（借鉴 `torch.optim.LBFGS` 的思想）、自适应步长、和并行tempering等技术。 ### 4.1.3 分数函数的几何意义 -从几何角度看，分数函数定义了数据流形上的一个向量场。这个向量场有着优美的性质： +从几何角度看，分数函数定义了数据流形上的一个向量场。这个视角不仅优美，而且为理解和设计算法提供了强大的工具。 -**性质1：梯度流的不动点** +**向量场的直观理解** -$$\nabla_x \log p(x^*) = 0 \Leftrightarrow x^* \text{ 是 } p(x) \text{ 的局部极值点} +想象在概率密度定义的"地形"上，每一点都有一个箭头，指示着"上山"的方向。这些箭头的集合就是分数函数定义的向量场。这个向量场告诉我们： +- 从任意点出发，如何找到最近的高概率区域 +- 概率质量是如何在空间中分布的 +- 不同区域之间是如何连接的 -$$ +**性质1：梯度流的不动点与临界点分析** + +$$\nabla_x \log p(x^*) = 0 \Leftrightarrow x^* \text{ 是 } p(x) \text{ 的局部极值点}$$ + +但这只是故事的开始。通过分析Hessian矩阵 $\nabla^2 \log p(x^*)$，我们可以进一步分类这些临界点： + +- **局部极大值**：所有特征值为负，对应概率密度的峰 +- **局部极小值**：所有特征值为正，在概率分布中极少出现 +- **鞍点**：既有正特征值又有负特征值，连接不同的峰 + +鞍点在高维空间中尤其重要——它们形成了连接不同模式的"山脊"和"山谷"。理解这些结构对于设计高效的采样算法至关重要。 -**性质2：体积收缩** -分数函数的散度反映了概率密度的局部曲率： +**性质2：体积收缩与概率流** + +分数函数的散度具有深刻的几何意义： $$\nabla \cdot (\nabla \log p(x)) = \nabla^2 \log p(x) + \|\nabla \log p(x)\|^2$$ -**🌟 理论缺口：** 分数函数的全局几何性质还未被完全理解。特别是在流形上的分数函数理论仍在发展中。这与最优传输理论有深刻联系，但具体的联系仍需探索。 +让我们拆解这个公式： +- **第一项** $\nabla^2 \log p(x)$：Laplacian，衡量局部的"凹凸性" +- **第二项** $\|\nabla \log p(x)\|^2$：分数的模长平方，总是非负的 + +这个散度告诉我们向量场的"源"和"汇"： +- 负散度区域：概率流入，对应高概率区域 +- 正散度区域：概率流出，对应低概率区域 + +**性质3：与信息几何的联系** + +分数函数与Fisher信息矩阵有着自然的联系： + +$$I(\theta) = \mathbb{E}_{p(x|\theta)}[\nabla_\theta \log p(x|\theta) \nabla_\theta \log p(x|\theta)^T]$$ + +这建立了概率模型的参数空间与数据空间之间的桥梁。Fisher信息定义了参数空间的自然度量，而分数函数则描述了数据空间的几何结构。 + +**流形上的推广** + +当数据位于低维流形上时，欧几里德空间的分数函数需要推广。设数据位于 $d$ 维流形 $\mathcal{M} \subset \mathbb{R}^n$ 上，则需要考虑： + +1. **切空间投影**：分数函数应该位于流形的切空间内 +2. **黎曼度量**：距离和梯度的定义需要考虑流形的内在几何 +3. **测地线vs直线**：最优路径不再是直线而是测地线 + +这些考虑导致了流形分数函数的定义： + +$$\nabla_\mathcal{M} \log p(x) = \text{Proj}_{T_x\mathcal{M}}(\nabla \log p(x))$$ + +其中 $\text{Proj}_{T_x\mathcal{M}}$ 是到切空间的投影算子。 + +**🌟 理论缺口：** 分数函数的全局几何性质还未被完全理解。特别是： +1. 在流形上的分数函数理论仍在发展中 +2. 与最优传输理论的具体联系需要进一步探索 +3. 高维空间中的"浓度现象"如何影响分数函数的行为
练习 4.1：探索分数函数的性质 @@ -105,56 +222,197 @@ $$\nabla \cdot (\nabla \log p(x)) = \nabla^2 \log p(x) + \|\nabla \log p(x)\|^2$ ## 4.2 分数匹配：学习未知分布的分数 +学习分数函数是基于分数的生成模型的核心。但我们面临一个根本性挑战：如何从有限的数据样本中学习连续的分数函数？本节将探讨这个问题的优雅解决方案。 + ### 4.2.1 经典分数匹配 -给定数据分布 $p_{data}(x)$ 的样本，如何学习其分数函数？Hyvärinen (2005) 提出了分数匹配（Score Matching）方法。 +给定数据分布 $p_{data}(x)$ 的样本，如何学习其分数函数？这个问题看似循环：要学习分数函数，似乎需要知道真实的概率密度，但这正是我们想要避免的。Hyvärinen (2005) 的分数匹配（Score Matching）方法提供了一个巧妙的解决方案。 -**基本思想**：最小化模型分数与真实分数的差异 +**朴素想法与其问题** -$$\mathcal{L}_{SM} = \mathbb{E}_{p_{data}}\left[\frac{1}{2}\|\nabla_x \log p_{model}(x) - \nabla_x \log p_{data}(x)\|^2\right]$$ +最直接的想法是最小化模型分数与真实分数的差异： -但这里有个问题：我们不知道 $\nabla_x \log p_{data}(x)$ ！ +$$\mathcal{L}_{naive} = \mathbb{E}_{p_{data}}\left[\frac{1}{2}\|\nabla_x \log p_{model}(x) - \nabla_x \log p_{data}(x)\|^2\right]$$ -**Hyvärinen的天才洞察**：通过分部积分，可以得到一个等价的目标函数，不需要真实分数： +但这里有个致命问题：我们不知道 $\nabla_x \log p_{data}(x)$ ！如果知道真实分数，我们就已经解决了问题。这似乎是个死胡同。 -$$\mathcal{L}_{SM} = \mathbb{E}_{p_{data}}\left[\text{tr}(\nabla_x^2 \log p_{model}(x)) + \frac{1}{2}\|\nabla_x \log p_{model}(x)\|^2\right] + \text{const} +**Hyvärinen的天才洞察：分部积分的魔法** -$$ +Hyvärinen的关键洞察是：通过巧妙的数学变换，可以将不可计算的目标函数转换为可计算的形式。让我们详细推导这个过程。 + +首先，展开平方项： +$$\mathcal{L}_{naive} = \mathbb{E}_{p_{data}}\left[\frac{1}{2}\|\nabla_x \log p_{model}(x)\|^2 - \nabla_x \log p_{model}(x)^T \nabla_x \log p_{data}(x) + \frac{1}{2}\|\nabla_x \log p_{data}(x)\|^2\right]$$ + +最后一项与模型无关，可以忽略。关键是如何处理中间的交叉项。这里就是分部积分发挥作用的地方： + +$$\mathbb{E}_{p_{data}}[\nabla_x \log p_{model}(x)^T \nabla_x \log p_{data}(x)]$$ + +利用 $\nabla_x \log p_{data}(x) = \frac{\nabla_x p_{data}(x)}{p_{data}(x)}$，我们有： + +$$= \int p_{data}(x) \nabla_x \log p_{model}(x)^T \frac{\nabla_x p_{data}(x)}{p_{data}(x)} dx = \int \nabla_x \log p_{model}(x)^T \nabla_x p_{data}(x) dx$$ + +现在应用分部积分（假设边界条件合适）： + +$$= -\int p_{data}(x) \cdot \text{tr}(\nabla_x^2 \log p_{model}(x)) dx = -\mathbb{E}_{p_{data}}[\text{tr}(\nabla_x^2 \log p_{model}(x))]$$ + +因此，我们得到了可计算的目标函数： + +$$\mathcal{L}_{SM} = \mathbb{E}_{p_{data}}\left[\text{tr}(\nabla_x^2 \log p_{model}(x)) + \frac{1}{2}\|\nabla_x \log p_{model}(x)\|^2\right] + \text{const}$$ + +这个结果的美妙之处在于： +- **不需要真实分数**：目标函数只依赖于模型和数据样本 +- **理论优雅**：分部积分自然地消除了未知量 +- **计算可行**：虽然需要计算Hessian的迹，但这是可以做到的 + +**深入理解：几何解释** + +从几何角度看，分数匹配在做什么？它实际上在最小化两个向量场之间的"能量"： +- 模型定义的向量场（分数函数） +- 数据隐含的真实向量场 -**🔬 研究线索：** 分数匹配的这种"隐式"特性是否可以推广到其他问题？考虑在因果推断、强化学习中的应用。隐式方法避免了直接估计难以处理的量，这个思想值得深入探索。 +但巧妙的是，我们不需要显式地知道第二个向量场，而是通过数据分布的"形状"（通过Hessian的迹体现）来间接地约束模型。 + +**🔬 研究线索：** 分数匹配的这种"隐式"特性是否可以推广到其他问题？考虑： +1. 在因果推断中，能否类似地避免直接估计因果效应？ +2. 在强化学习中，能否避免显式的值函数估计？ +3. 这种隐式方法的一般理论框架是什么？ ### 4.2.2 去噪分数匹配（Denoising Score Matching） -计算Hessian矩阵的迹 `torch.autograd.functional.hessian` 在高维情况下代价高昂。Vincent (2011) 提出了一个巧妙的替代方案： +经典分数匹配虽然理论优雅，但在实践中面临严重的计算挑战。计算Hessian矩阵的迹需要 $O(d)$ 次反向传播（其中 $d$ 是数据维度），在高维情况下代价高昂。Vincent (2011) 提出的去噪分数匹配（Denoising Score Matching, DSM）提供了一个巧妙且高效的替代方案。 -**核心思想**：向数据添加噪声，然后学习去噪 +**核心思想：从去噪中学习分数** -$$\tilde{x} = x + \sigma \epsilon, \quad \epsilon \sim \mathcal{N}(0, I) +DSM的核心洞察是：如果我们知道如何去噪，就知道了分数函数。这个联系初看并不明显，让我们深入探讨其中的原理。 -$$ +考虑向干净数据添加已知噪声的过程： -去噪分数匹配目标： +$$\tilde{x} = x + \sigma \epsilon, \quad \epsilon \sim \mathcal{N}(0, I)$$ -$$\mathcal{L}_{DSM} = \mathbb{E}_{p_{data}(x)}\mathbb{E}_{\epsilon}\left[\frac{1}{2}\|s_\theta(\tilde{x}, \sigma) + \frac{\epsilon}{\sigma}\|^2\right] +加噪后的数据分布为： -$$ +$$p_\sigma(\tilde{x}) = \int p_{data}(x) \mathcal{N}(\tilde{x}; x, \sigma^2 I) dx$$ + +这是原始分布与高斯核的卷积。关键的数学结果是，加噪数据的分数函数可以表示为： + +$$\nabla_{\tilde{x}} \log p_\sigma(\tilde{x}) = \frac{\mathbb{E}_{p(x|\tilde{x})}[x] - \tilde{x}}{\sigma^2} = -\frac{\mathbb{E}_{p(\epsilon|\tilde{x})}[\epsilon]}{\sigma}$$ + +这个公式揭示了深刻的联系： +- **分数函数指向去噪方向**：从噪声数据到干净数据的期望位移 +- **噪声估计等价于分数估计**：如果能预测添加的噪声，就能计算分数 + +**去噪分数匹配目标函数** + +基于上述洞察，DSM的目标函数为： + +$$\mathcal{L}_{DSM} = \mathbb{E}_{p_{data}(x)}\mathbb{E}_{\epsilon}\left[\frac{1}{2}\|s_\theta(\tilde{x}, \sigma) + \frac{\epsilon}{\sigma}\|^2\right]$$ + +其中 $s_\theta(\tilde{x}, \sigma)$ 是我们要学习的分数函数模型。这个目标函数的优美之处在于： +- **计算高效**：不需要计算Hessian，只需要前向传播 +- **直观明确**：模型在学习预测噪声的负方向 +- **与DDPM的联系**：这正是DDPM训练目标的核心！ + +**理论保证：DSM的一致性** + +一个自然的问题是：学习加噪数据的分数函数如何帮助我们学习原始数据的分数？关键在于噪声水平 $\sigma$ 的选择。 + +当 $\sigma \to 0$ 时，有： +$$\nabla_{\tilde{x}} \log p_\sigma(\tilde{x}) \to \nabla_x \log p_{data}(x)$$ -**关键洞察**：这个目标函数在学习"如何去噪"，而去噪方向正是分数函数的方向！ +这意味着，在小噪声极限下，加噪数据的分数收敛到原始数据的分数。但这里有个权衡： +- **小噪声**：更接近真实分数，但训练不稳定（分数可能很大） +- **大噪声**：训练稳定，但偏离真实分数 + +这种权衡直接导致了多尺度方法的发展（见下一节的NCSN）。 + +**DSM的变体与扩展** + +1. **加权去噪分数匹配**：不同噪声水平使用不同权重 + $$\mathcal{L}_{weighted} = \mathbb{E}_{\sigma \sim p(\sigma)} \lambda(\sigma) \mathcal{L}_{DSM}(\sigma)$$ + +2. **条件去噪分数匹配**：学习条件分布的分数 + $$s_\theta(\tilde{x}, y, \sigma) \approx \nabla_{\tilde{x}} \log p(\tilde{x}|y)$$ + +3. **流形去噪分数匹配**：当数据位于低维流形时的适配 **💡 开放问题：** -1. 最优的噪声调度是什么？当前的线性或几何调度是否最优？ -2. 能否设计自适应的噪声调度，根据局部几何自动调整？ -3. 非高斯噪声（如Laplace噪声）会带来什么优势？ +1. **最优噪声调度**：如何选择噪声水平序列？当前的几何序列 $\sigma_i = \sigma_0 \cdot \alpha^i$ 是否最优？ +2. **自适应噪声**：能否根据数据的局部几何自动调整噪声水平？高曲率区域可能需要更小的噪声。 +3. **非高斯噪声**：使用Laplace噪声、Student-t噪声或其他重尾分布会带来什么优势？这可能提供更好的鲁棒性。 +4. **理论界限**：DSM估计的样本复杂度和逼近误差的精确界限是什么？ ### 4.2.3 基于切片的分数匹配（Sliced Score Matching） -**⚡ 实现挑战：** 计算高维Hessian的另一种方法是使用随机投影： +除了去噪方法，还有另一种巧妙的方式来避免计算完整的Hessian矩阵：使用随机投影。Song et al. (2020) 提出的切片分数匹配（Sliced Score Matching, SSM）提供了一种在计算效率和估计精度之间的优雅平衡。 -$$\mathcal{L}_{SSM} = \mathbb{E}_{p_{data}}\mathbb{E}_{v \sim \mathcal{N}(0,I)}\left[v^T\nabla_x^2 \log p_{model}(x)v + \frac{1}{2}(v^T\nabla_x \log p_{model}(x))^2\right] +**核心思想：从高维到一维** -$$ +计算 $d \times d$ Hessian矩阵的迹需要 $O(d)$ 次反向传播。SSM的关键洞察是：我们可以通过随机投影将这个高维问题转化为一系列一维问题。 + +对于随机方向 $v \sim \mathcal{N}(0, I)$，考虑分数函数在该方向上的投影： +$$s_v(x) = v^T \nabla_x \log p(x)$$ + +这个一维函数的导数是： +$$\frac{\partial s_v}{\partial v^T x} = v^T \nabla_x^2 \log p(x) v$$ + +神奇的是，Hessian矩阵的迹可以表示为这些方向导数的期望： +$$\text{tr}(\nabla_x^2 \log p(x)) = \mathbb{E}_{v \sim \mathcal{N}(0,I)}[v^T \nabla_x^2 \log p(x) v]$$ + +**切片分数匹配目标函数** + +基于这个洞察，SSM的目标函数为： + +$$\mathcal{L}_{SSM} = \mathbb{E}_{p_{data}}\mathbb{E}_{v \sim \mathcal{N}(0,I)}\left[v^T\nabla_x^2 \log p_{model}(x)v + \frac{1}{2}(v^T\nabla_x \log p_{model}(x))^2\right]$$ + +这个目标函数的计算只需要： +1. 计算分数函数 $s_\theta(x) = \nabla_x \log p_{model}(x)$（一次前向传播） +2. 计算方向导数 $v^T \nabla_x s_\theta(x)$（一次向量-Jacobian乘积） + +使用 `torch.autograd.grad` 可以高效地计算这些量，避免了构造完整的Hessian矩阵。 + +**理论分析：方差与偏差的权衡** + +SSM通过蒙特卡洛估计Hessian的迹，这引入了额外的方差。关键问题是：需要多少个随机投影才能得到准确的估计？ + +理论结果表明，估计误差的方差为： +$$\text{Var}[\hat{\mathcal{L}}_{SSM}] \propto \frac{1}{K} \|\nabla_x^2 \log p(x)\|_F^2$$ + +其中 $K$ 是使用的随机投影数量，$\|\cdot\|_F$ 是Frobenius范数。这意味着： +- **低秩结构**：如果Hessian近似低秩，少量投影就足够 +- **高维诅咒**：在高维空间中，可能需要很多投影 +- **自适应策略**：可以根据估计的方差动态调整投影数量 + +**实现技巧与优化** + +1. **高效的向量-Jacobian乘积**： + ```python + # 使用 torch.autograd.grad 计算 v^T ∇s(x) + vjp = torch.autograd.grad(s, x, v, retain_graph=True)[0] + ``` + +2. **批量投影**：同时处理多个随机方向可以提高GPU利用率 + +3. **重要性采样**：不使用标准高斯，而是根据数据的协方差结构选择投影方向 + +**SSM vs DSM：如何选择？** + +两种方法各有优劣： + +- **SSM优势**： + - 不需要添加噪声，保持数据的原始分布 + - 理论上是无偏估计 + - 适合低噪声或精确建模场景 + +- **DSM优势**： + - 计算更简单，不需要二阶导数 + - 与扩散模型有自然联系 + - 在高维空间中通常更稳定 -这只需要计算方向导数，可以用 `torch.autograd.grad` 高效实现。但投影会损失信息，如何选择最优的投影方向仍是开放问题。 +**⚡ 实现挑战与开放问题：** +1. **最优投影选择**：如何选择投影方向以最小化估计方差？当前的各向同性高斯是否最优？ +2. **自适应投影数**：能否在线估计所需的投影数量？ +3. **结构化投影**：利用数据的已知结构（如图像的空间局部性）设计更好的投影 +4. **与其他方法的结合**：能否结合SSM和DSM的优点？
练习 4.2：实现与分析不同的分数匹配方法 From 33f0547b766c279f463418fc1127bcd5b1955980 Mon Sep 17 00:00:00 2001 From: William Date: Thu, 31 Jul 2025 08:15:56 +0800 Subject: [PATCH 40/62] interim --- chapter5.md | 317 +++++++++++++++++++++++++++++++++++++++++++++++----- 1 file changed, 288 insertions(+), 29 deletions(-) diff --git a/chapter5.md b/chapter5.md index 090d1f3..702ced2 100644 --- a/chapter5.md +++ b/chapter5.md @@ -8,66 +8,325 @@ ### 5.1.1 离散过程的极限 +想象你在拍摄一个物体从清晰逐渐模糊的过程。如果你每秒拍一张照片，得到的是一个离散的序列；但如果拍摄速度越来越快，最终你会得到一个连续的视频。扩散模型从离散到连续的转变正是这样一个过程。 + 让我们回顾DDPM的离散前向过程： $x_k = \sqrt{1-\beta_k} x_{k-1} + \sqrt{\beta_k} z_{k-1}, \quad z_{k-1} \sim \mathcal{N}(0, I)$ -其中 $\beta_k$ 是一个小的正数。当 $\beta_k$ 趋近于0时，我们可以用泰勒展开近似 $\sqrt{1 - \beta_k} \approx 1 - \beta_k / 2$ 。于是，更新步骤可以写成： + +这个过程有一个美妙的物理类比：想象一滴墨水在水中扩散。每一个时间步，墨水分子都会： +1. **保持一部分原位置**：这对应 $\sqrt{1-\beta_k} x_{k-1}$ 项，表示墨水的"惯性" +2. **加入随机扰动**：这对应 $\sqrt{\beta_k} z_{k-1}$ 项，表示分子的布朗运动 + +当 $\beta_k$ 很小时，过程变化缓慢，我们可以用泰勒展开来近似： +$\sqrt{1 - \beta_k} \approx 1 - \frac{\beta_k}{2} - \frac{\beta_k^2}{8} + O(\beta_k^3)$ + +保留一阶项，更新步骤变为： $x_k - x_{k-1} \approx -\frac{\beta_k}{2} x_{k-1} + \sqrt{\beta_k} z_{k-1}$ -这看起来非常像一个微分方程的离散化形式。现在，我们将时间区间 $[0, T]$ 分成 $N$ 份，令 $\Delta t = T/N$ ，并设 $\beta_k = b(t_k)\Delta t$ ，其中 $b(t)$ 是一个连续的函数。那么上式变为： + +💡 **直觉理解**：左边是位置的变化量，右边第一项是一个"向原点的拉力"（因为系数为负），第二项是随机扰动。这就像一个被橡皮筋拴在原点的粒子，在随机力的作用下运动。 + +现在进行时间的连续化。将时间区间 $[0, T]$ 分成 $N$ 份，令 $\Delta t = T/N$，并设 $\beta_k = b(t_k)\Delta t$，其中 $b(t)$ 是噪声调度函数。代入后： $\frac{x(t_k) - x(t_{k-1})}{\Delta t} \approx -\frac{b(t_{k-1})}{2} x(t_{k-1}) + \sqrt{b(t_{k-1})} \frac{z_{k-1}}{\sqrt{\Delta t}}$ -当 $N \to \infty$ （即 $\Delta t \to 0$ ）时，左边变成了导数 $dx/dt$ 。而右边的随机项 $z_k / \sqrt{\Delta t}$ ，根据中心极限定理的推广，其累积效应收敛到一个称为“白噪声”的随机过程，其积分就是布朗运动（Wiener Process） $W_t$ 。最终，我们得到了一个随机微分方程（SDE）： + +这里的关键洞察是：当 $\Delta t \to 0$ 时， +- 左边收敛到导数 $\frac{dx}{dt}$ +- 右边第一项保持不变 +- 右边第二项 $\frac{z_{k-1}}{\sqrt{\Delta t}}$ 看起来会爆炸！ + +但奇妙的是，这个"爆炸"的项正是白噪声的正确缩放。根据中心极限定理的连续时间版本，当我们累加许多独立的小随机扰动时，结果收敛到布朗运动 $W_t$。具体地，$\sum_{i=1}^k \sqrt{\Delta t} z_i \to W_{t_k}$，因此 $z_k / \sqrt{\Delta t}$ 的"导数"形式正是 $dW_t/dt$，即白噪声。 + +最终，我们得到了随机微分方程（SDE）： $dx_t = -\frac{b(t)}{2} x_t dt + \sqrt{b(t)} dW_t$ -这就是DDPM在连续时间下的极限形式，被称为一种方差保持（Variance Preserving, VP）的SDE。 + +这就是DDPM在连续时间下的极限形式，被称为方差保持（Variance Preserving, VP）SDE。 + +🎯 **为什么叫"方差保持"？** 如果初始数据 $x_0$ 的方差为1，那么在适当选择 $b(t)$ 的情况下，任意时刻 $x_t$ 的方差都近似为1。这避免了数值不稳定，是VP-SDE的一大优势。 + +
+深入探索：从离散到连续的数学严格性 + +上述推导虽然直观，但数学上需要更严格的处理： + +1. **收敛性**：需要证明离散过程 $\{x_k\}$ 在某种意义下（如弱收敛）收敛到连续过程 $\{x_t\}$ +2. **唯一性**：需要证明极限SDE有唯一解 +3. **正则性**：需要保证系数函数 $b(t)$ 满足某些条件（如Lipschitz连续性） + +相关定理包括： +- **Donsker不变原理**：随机游走收敛到布朗运动 +- **Stroock-Varadhan定理**：离散马尔可夫链收敛到扩散过程 +- **Wong-Zakai逼近**：光滑随机过程逼近白噪声驱动的SDE + +研究方向： +- 探索非标准缩放下的极限行为（如重尾噪声） +- 研究时间非均匀离散化的极限 +- 分析数值误差的传播和累积 + +
### 5.1.2 SDE的统一框架 SDE为我们提供了一个统一的语言来描述各种扩散模型。一个通用的前向SDE可以写成： $dx_t = f(x_t, t) dt + g(t) dW_t$ -其中 $f(x, t)$ 称为漂移系数（drift coefficient），描述了数据演化的确定性趋势； $g(t)$ 称为扩散系数（diffusion coefficient），控制着随机噪声的强度。 + +这个方程包含两个关键组件： +- **漂移系数 $f(x_t, t)$**：描述了数据演化的确定性趋势，像是一个"力场"在引导数据的运动 +- **扩散系数 $g(t)$**：控制着随机噪声的强度，决定了过程的随机性程度 + +#### 三大SDE家族的深入理解 > **定义：SDE家族** -> - **VP-SDE (Variance Preserving)**：对应DDPM。 $f(x,t) = -1/2 \beta(t) x$ ， $g(t) = \sqrt{\beta(t)}$ 。其特点是在演化过程中，如果初始数据方差为1，那么在任何时刻 $t$ ，数据方差都近似为1。 -> - **VE-SDE (Variance Exploding)**：对应NCSN。 $f(x,t) = 0$ ， $g(t) = \sqrt{d[\sigma^2(t)]/dt}$ 。其特点是数据均值不变，但方差随时间爆炸式增长。 -> - **sub-VP-SDE**：是VP-SDE的一个变体，具有更好的数值稳定性和理论性质。 +> +> **1. VP-SDE (Variance Preserving) - 方差保持型** +> +> 对应DDPM，其形式为： +> $dx_t = -\frac{1}{2} \beta(t) x_t dt + \sqrt{\beta(t)} dW_t$ +> +> 其中 $\beta(t)$ 是噪声调度函数。VP-SDE的精妙之处在于： +> - **物理直觉**：像是一个弹簧振子在粘性介质中的运动，既有回复力（$-\frac{1}{2}\beta(t)x_t$），又有随机扰动 +> - **方差特性**：如果 $\mathbb{E}[x_0^Tx_0] = d$（$d$ 是数据维度），那么对于适当的 $\beta(t)$，有 $\mathbb{E}[x_t^Tx_t] \approx d$ +> - **数值稳定性**：避免了数值爆炸或消失，特别适合深度网络训练 +> +> **2. VE-SDE (Variance Exploding) - 方差爆炸型** +> +> 对应NCSN，其形式为： +> $dx_t = \sqrt{\frac{d[\sigma^2(t)]}{dt}} dW_t$ +> +> 注意没有漂移项！这意味着： +> - **物理直觉**：纯粹的扩散过程，像是热传导或分子扩散 +> - **方差演化**：$\mathbb{E}[||x_t||^2] = \mathbb{E}[||x_0||^2] + d\sigma^2(t)$，方差单调增长 +> - **多尺度特性**：通过选择 $\sigma(t) = \sigma_{\min} \left(\frac{\sigma_{\max}}{\sigma_{\min}}\right)^t$，可以覆盖多个噪声尺度 +> +> **3. sub-VP-SDE - 次方差保持型** +> +> 这是VP-SDE的改进版本： +> $dx_t = -\frac{1}{2} \beta(t) x_t dt + \sqrt{\beta(t)(1-e^{-2\int_0^t \beta(s)ds})} dW_t$ +> +> - **理论优势**：保证了精确的方差守恒，而不是近似 +> - **实践意义**：在长时间演化中更稳定 + +#### SDE选择的艺术 + +选择哪种SDE并非随意，而是要考虑数据特性和计算效率： + +1. **数据分布的考虑**： + - 如果数据天然具有单位方差（如标准化后的图像），VP-SDE是自然选择 + - 如果数据分布在多个尺度上（如自然图像的多分辨率结构），VE-SDE可能更合适 + +2. **训练稳定性**： + - VP-SDE通常更稳定，因为方差有界 + - VE-SDE需要仔细设计 $\sigma(t)$ 的增长速度 + +3. **采样效率**： + - VP-SDE的轨迹更"直"，可能需要更少的采样步数 + - VE-SDE的轨迹更"曲"，但可能探索空间更充分 + +
+高级话题：设计新的SDE + +SDE的设计空间远不止VP和VE。一些前沿研究方向包括： + +1. **数据适应型SDE**： + - 根据数据的局部几何结构调整 $f$ 和 $g$ + - 例如：$f(x,t) = -\nabla U(x,t)$，其中 $U$ 是学习到的势能函数 + +2. **流形上的SDE**： + - 当数据位于低维流形上时，标准SDE可能效率低下 + - 可以设计保持在流形上的SDE：$dx_t = P_x f(x,t)dt + P_x g(t)dW_t$ + - 其中 $P_x$ 是投影到切空间的算子 + +3. **各向异性SDE**： + - 让扩散系数依赖于方向：$g(t) \to G(x,t)$（矩阵值函数） + - 可以更好地适应数据的协方差结构 + +4. **时间反演对称性**： + - 设计满足某种对称性的SDE，使得前向和反向过程更相似 + - 可能导致更高效的采样 + +PyTorch中相关的工具： +- `torch.nn.functional.normalize` - 用于方差归一化 +- `torch.autograd` - 计算分数函数 +- `torchdiffeq` - 求解SDE/ODE -💡 **开放问题**：VP和VE只是两种最常见的选择。是否存在其他形式的SDE，能在特定类型的数据（如具有周期性的时间序列、位于特殊流形上的数据）上实现更高效的生成？设计数据依赖的SDE是一个前沿研究方向。 +
+ +💡 **开放问题**： +1. **最优SDE设计**：给定数据分布，是否存在某种意义下"最优"的SDE？优化目标可能包括采样效率、训练稳定性、生成质量等。 +2. **SDE的组合**：能否在不同时间段使用不同的SDE（如开始用VE探索，后期用VP精调）？ +3. **离散数据的SDE**：如何为文本、图等离散数据设计合适的"连续化"SDE？ ## 5.2 反向时间SDE：学习去噪 -如果前向SDE描述了数据如何被噪声破坏，那么我们如何构建一个反向的过程来从噪声中恢复数据呢？物理学家和数学家早在几十年前就解决了这个问题。 +如果前向SDE描述了数据如何被噪声破坏，那么我们如何构建一个反向的过程来从噪声中恢复数据呢？这个问题的答案揭示了扩散模型的深刻数学结构。 + +### 5.2.1 时间反演的魔法 + +想象你在看一段视频：墨水在清水中扩散，从一个集中的墨滴逐渐弥漫开来。现在，如果你倒放这段视频，会看到什么？分散的墨水神奇地聚集回原点！这正是反向SDE要实现的：时间的反演。 -> **定理：Anderson反向时间SDE** -> 对于一个前向SDE $dx = f(x, t)dt + g(t)dW_t$ ，其对应的反向时间SDE（从时间 $T$ 到 $0$ ）存在且唯一，形式如下： +但这里有一个关键问题：在物理世界中，扩散是不可逆的（热力学第二定律）。那么数学上如何实现这种"反熵"过程呢？答案是：我们需要额外的信息——分数函数。 + +> **定理：Anderson反向时间SDE (1982)** +> +> 对于前向SDE： +> $dx = f(x, t)dt + g(t)dW_t, \quad t \in [0, T]$ +> +> 其对应的反向时间SDE（从时间 $T$ 到 $0$）为： > $dx_t = [f(x_t, t) - g(t)^2 \nabla_{x_t} \log p_t(x_t)] dt + g(t) d\bar{W}_t$ -> 其中 $d\bar{W}_t$ 是反向时间的布朗运动，而 $\nabla_{x_t} \log p_t(x_t)$ 就是我们在第四章学习过的**分数函数**！ +> +> 其中： +> - $d\bar{W}_t$ 是反向时间的布朗运动（独立于前向的 $dW_t$） +> - $\nabla_{x_t} \log p_t(x_t)$ 是时刻 $t$ 的分数函数 +> - $p_t(x)$ 是前向过程在时刻 $t$ 的边缘概率密度 + +### 5.2.2 直觉理解：为什么需要分数？ + +反向SDE的漂移项可以分解为两部分： +$$\underbrace{f(x_t, t)}_{\text{原始漂移}} - \underbrace{g(t)^2 \nabla_{x_t} \log p_t(x_t)}_{\text{分数修正项}}$$ + +1. **原始漂移项**：如果只有这一项，时间反演后的过程仍会向同一方向演化（想象一个向下流的河流，倒放视频它还是向下流） + +2. **分数修正项**：这是使过程真正反向的关键！ + - 分数 $\nabla \log p_t$ 指向概率密度增加最快的方向 + - 系数 $g(t)^2$ 确保修正强度与噪声强度匹配 + - 负号使得过程向高概率区域移动 + +🎯 **物理类比**：想象粒子在一个势能场中运动： +- 前向过程：粒子从势能低处（数据）滚向高处（噪声），同时受到随机扰动 +- 反向过程：粒子需要知道"哪里是下坡"（分数函数），才能滚回原处 + +### 5.2.3 分数函数的核心地位 + +Anderson定理揭示了一个深刻的事实：**扩散模型的本质是学习分数函数**。这统一了看似不同的两种方法： + +1. **DDPM视角**：训练网络预测噪声 $\epsilon_\theta(x_t, t)$ +2. **Score Matching视角**：训练网络预测分数 $s_\theta(x_t, t) \approx \nabla \log p_t(x_t)$ + +它们之间的关系是： +$$s_\theta(x_t, t) = -\frac{\epsilon_\theta(x_t, t)}{\sqrt{1 - \bar{\alpha}_t}}$$ + +这个关系的推导基于一个关键观察：在VP-SDE下，$x_t = \sqrt{\bar{\alpha}_t} x_0 + \sqrt{1-\bar{\alpha}_t} \epsilon$，因此： +$$\nabla_{x_t} \log p_t(x_t) = \nabla_{x_t} \log \mathbb{E}_{x_0, \epsilon}[\delta(x_t - \sqrt{\bar{\alpha}_t} x_0 - \sqrt{1-\bar{\alpha}_t} \epsilon)] = -\frac{\epsilon}{\sqrt{1-\bar{\alpha}_t}}$$ -这个定理是整个生成模型理论的基石。它告诉我们： -1. **反向过程是存在的**：从噪声恢复数据的过程在数学上是良定义的。 -2. **反向过程的核心是分数**：反向的漂移项 = 前向漂移项 - 噪声强度 * 分数。为了反转过程，我们必须在每个时刻 $t$ 沿着能使概率密度 $p_t(x_t)$ 增加最快的方向（即分数函数的方向）进行修正。 -3. **生成建模的核心任务**：因此，训练一个扩散模型的核心任务，就是学习所有时刻 $t$ 的分数函数 $\nabla_{x_t} \log p_t(x_t)$ 。这完美地将DDPM的去噪目标和NCSN的分数匹配目标统一了起来。 +### 5.2.4 实现细节与挑战 -⚡ **实现挑战**：分数函数 $\nabla_{x_t} \log p_t(x_t)$ 是未知的，且依赖于整个数据集在时刻 $t$ 的分布。我们需要用一个神经网络 $s_\theta(x_t, t)$ 来近似它。这个网络被称为分数模型（score model）。 +⚡ **实现挑战**： + +1. **分数函数的参数化**： + - 直接参数化：$s_\theta(x_t, t)$ 直接输出分数 + - 噪声参数化：$\epsilon_\theta(x_t, t)$ 预测噪声，然后转换为分数 + - 实践中噪声参数化通常更稳定 + +2. **时间编码**： + - 网络需要知道当前时间 $t$ 以给出正确的分数 + - 常用方法：正弦编码、可学习的嵌入、FiLM层 + +3. **数值稳定性**： + - 在 $t \approx 0$ 时，分数可能很大（概率集中） + - 在 $t \approx T$ 时，分数接近零（接近标准正态） + - 需要合适的归一化和数值技巧 + +
+深入探索：反向SDE的推导思路 + +Anderson定理的证明涉及高深的随机分析，但核心思想可以这样理解： + +1. **Girsanov定理**：描述了如何通过改变漂移项来改变概率测度 +2. **时间反演公式**：对于马尔可夫过程，存在时间反演的一般理论 +3. **Doob's h-transform**：通过乘以一个正函数来构造新的马尔可夫过程 + +关键步骤： +- 定义反向时间过程 $\hat{x}_s = x_{T-s}$ +- 使用Bayes定理计算反向转移概率 +- 应用Girsanov定理得到反向SDE的形式 + +这个推导的美妙之处在于，它将看似不可能的任务（时间反演）转化为一个可学习的问题（估计分数函数）。 + +
练习 5.1：推导反向SDE -1. **VP-SDE的反向过程**：给定前向VP-SDE $dx = -1/2 \beta(t) x dt + \sqrt{\beta(t)} dW_t$ ，写出其对应的反向SDE表达式。 -2. **与DDPM的联系**：在DDPM中，我们训练模型 $\epsilon_\theta(x_t, t)$ 来预测噪声。而在SDE框架下，我们训练模型 $s_\theta(x_t, t)$ 来预测分数。证明这两个模型之间存在一个简单的线性关系： $s_\theta(x_t, t) = -\epsilon_\theta(x_t, t) / \sqrt{1 - \bar{\alpha}_t}$ 。 -3. **研究思路**： - * Anderson定理的原始证明涉及随机微积分和测度论。可以查阅相关文献，理解其对概率密度函数 $p_t$ 的光滑性要求。 - * 探索当 $g(t)$ 是矩阵（各向异性噪声）时，反向SDE的形式如何变化。 +1. **VP-SDE的反向过程**： + 给定前向VP-SDE：$dx = -\frac{1}{2} \beta(t) x dt + \sqrt{\beta(t)} dW_t$ + + 应用Anderson定理，写出反向SDE： + $dx_t = [-\frac{1}{2} \beta(t) x_t - \beta(t) \nabla_{x_t} \log p_t(x_t)] dt + \sqrt{\beta(t)} d\bar{W}_t$ + + 简化为：$dx_t = \frac{1}{2} \beta(t) [x_t + 2\nabla_{x_t} \log p_t(x_t)] dt + \sqrt{\beta(t)} d\bar{W}_t$ + +2. **与DDPM的联系**： + 在DDPM框架下，$x_t = \sqrt{\bar{\alpha}_t} x_0 + \sqrt{1-\bar{\alpha}_t} \epsilon$，其中 $\epsilon \sim \mathcal{N}(0, I)$。 + + 利用这个重参数化，证明： + - $\nabla_{x_t} \log p_t(x_t|x_0) = -\frac{\epsilon}{\sqrt{1-\bar{\alpha}_t}}$ + - 因此，如果 $\epsilon_\theta(x_t, t) \approx \epsilon$，则 $s_\theta(x_t, t) = -\frac{\epsilon_\theta(x_t, t)}{\sqrt{1-\bar{\alpha}_t}}$ + +3. **研究思路**： + - **光滑性要求**：Anderson定理要求 $p_t$ 足够光滑。探索什么条件保证这一点 + - **各向异性扩散**：当 $g(t) = G(x,t)$ 是矩阵时，反向SDE变为： + $dx_t = [f(x_t,t) - \nabla \cdot (G(x_t,t)G(x_t,t)^T) - G(x_t,t)G(x_t,t)^T \nabla \log p_t(x_t)]dt + G(x_t,t)d\bar{W}_t$ + - **非马尔可夫情况**：如果前向过程有记忆，反向过程会如何变化？
## 5.3 概率流ODE：确定性的生成路径 -SDE的采样过程是随机的，意味着从同一个噪声 $x_T$ 出发，每次得到的 $x_0$ 都会略有不同。是否存在一种确定性的路径，也能将噪声映射到数据呢？答案是肯定的，这就是概率流（Probability Flow）ODE。 +SDE的采样过程是随机的，意味着从同一个噪声 $x_T$ 出发，每次得到的 $x_0$ 都会略有不同。这种随机性有时是优点（增加多样性），有时是缺点（难以复现、调试困难）。是否存在一种确定性的路径，也能将噪声映射到数据呢？ -> **定义：概率流ODE** -> 每一个SDE都存在一个与之对应的常微分方程（Ordinary Differential Equation, ODE），它具有与SDE完全相同的边缘概率密度 $p_t(x)$ 。这个ODE被称为概率流ODE： -> $dx_t = [f(x_t, t) - \frac{1}{2} g(t)^2 \nabla_{x_t} \log p_t(x_t)] dt$ -> 注意，这个ODE中没有了随机的 $dW_t$ 项！ +### 5.3.1 从随机到确定：概率流的发现 + +想象一条河流中的叶子。每片叶子的轨迹都是随机的（受到涡流影响），但整体的流动模式是确定的。概率流ODE捕捉的正是这种"平均流动"。 -概率流ODE的直观理解是，它描述了概率密度 $p_t(x)$ 中“概率质量”的平均速度场。沿着这个速度场流动，样本的分布演化将和随机的SDE完全一样。 +> **定义：概率流ODE** +> +> 对于SDE：$dx_t = f(x_t, t) dt + g(t) dW_t$ +> +> 存在唯一的ODE，使得其解的分布与SDE相同： +> $dx_t = \left[f(x_t, t) - \frac{1}{2} g(t)^2 \nabla_{x_t} \log p_t(x_t)\right] dt$ +> +> 这个ODE被称为概率流（Probability Flow）ODE。注意： +> - 没有随机项 $dW_t$，完全确定性 +> - 漂移项 = 原始漂移 - (1/2) × 扩散强度 × 分数 +> - 边缘分布 $p_t(x)$ 与原SDE完全相同 + +### 5.3.2 为什么概率流ODE有效？ + +这个结果初看令人惊讶：随机过程和确定性过程怎么会有相同的分布演化？关键在于理解两种不同的视角： + +1. **粒子视角（SDE）**： + - 跟踪单个粒子的随机轨迹 + - 每个粒子受到随机力的影响 + - 多次运行得到不同结果 + +2. **流体视角（ODE）**： + - 跟踪概率密度的演化 + - 描述"概率流体"的速度场 + - 确定性的演化规律 + +数学上，这两种视角通过Fokker-Planck方程联系起来。SDE和其对应的概率流ODE都满足同一个Fokker-Planck方程，因此具有相同的密度演化。 + +🎨 **可视化理解**： +``` +SDE轨迹（多条随机路径）： 概率流ODE（确定性流线）： + 噪声 噪声 + ↓ ～～～ ↓ + ↓ ～～ ↓ + ↓ ～～～ ↓ + ↓ ～～ ↓ + 数据 数据 +``` + +### 5.3.3 概率流ODE的推导直觉 + +概率流ODE中的修正项 $-\frac{1}{2}g(t)^2\nabla\log p_t$ 从何而来？这里有一个优美的解释： + +在SDE中，随机项 $g(t)dW_t$ 造成了两种效应： +1. **扩散效应**：使分布变宽 +2. **漂移效应**：由于扩散的不均匀性产生的净流动 + +概率流ODE需要在确定性框架下复现这两种效应。扩散效应已经体现在密度演化中，而漂移效应正是由 $-\frac{1}{2}g(t)^2\nabla\log p_t$ 项捕捉的。这个项确保了： +- 在高密度区域，粒子倾向于向外流动 +- 在低密度区域，粒子流动较慢 +- 整体效果等价于随机扩散 **概率流ODE的优势**： 1. **确定性采样**：从一个 $x_T$ 出发，总能得到完全相同的 $x_0$ 。这对于需要可复现生成的任务非常有用。 From ffae9415a02101a9bafc8f4e773b2cb0503e76df Mon Sep 17 00:00:00 2001 From: William Date: Thu, 31 Jul 2025 08:22:26 +0800 Subject: [PATCH 41/62] interim --- chapter6.md | 200 ++++++++++++++++++++++++++++++++++++++++++++-------- 1 file changed, 170 insertions(+), 30 deletions(-) diff --git a/chapter6.md b/chapter6.md index 18c3987..3fbf2bc 100644 --- a/chapter6.md +++ b/chapter6.md @@ -35,91 +35,231 @@ ### 6.1.1 连续正则化流的回顾 -连续正则化流（Continuous Normalizing Flows, CNF）提供了一种优雅的方式来建模复杂概率分布之间的变换。与离散的正则化流不同，CNF通过一个连续时间的动力系统来定义变换： +连续正则化流（Continuous Normalizing Flows, CNF）提供了一种优雅的方式来建模复杂概率分布之间的变换。与离散的正则化流不同，CNF通过一个连续时间的动力系统来定义变换。想象一下，数据点像是河流中的叶子，随着时间的推移被向量场推动——这就是CNF的核心思想。 + +具体来说，CNF定义了一个时间相关的常微分方程（ODE）： $\frac{d\mathbf{x}_t}{dt} = v_t(\mathbf{x}_t), \quad t \in [0,1]$ -其中 $v_t: \mathbb{R}^d \to \mathbb{R}^d$ 是时间相关的向量场。给定初始分布 $p_0$ （通常是简单的高斯分布），通过求解这个常微分方程（ODE），我们可以得到任意时刻 $t$ 的分布 $p_t$ 。 +其中 $v_t: \mathbb{R}^d \to \mathbb{R}^d$ 是时间相关的向量场，它告诉我们在时刻 $t$ ，位于 $\mathbf{x}_t$ 的点应该以什么速度和方向移动。这个向量场就像是一个随时间变化的"风场"，推动着数据点从简单分布（如标准高斯）流向复杂的目标分布。 + +给定初始分布 $p_0$ （通常是简单的高斯分布），通过求解这个ODE，我们可以得到任意时刻 $t$ 的分布 $p_t$ 。这个过程是完全可逆的——如果我们知道向量场，就可以从任意时刻的分布推导出其他时刻的分布，这种双向性是CNF的一个重要特征。 -CNF的关键优势在于其理论的优雅性：变换是可逆的，且雅可比行列式可以通过以下公式计算： +CNF的关键优势在于其理论的优雅性。变换的雅可比行列式——它告诉我们变换如何改变体积元素——可以通过以下公式计算： $\log p_1(\mathbf{x}_1) = \log p_0(\mathbf{x}_0) - \int_0^1 \nabla \cdot v_t(\mathbf{x}_t) dt$ -这里 $\nabla \cdot v_t$ 是向量场的散度，可以使用 `torch.autograd` 高效计算。 +这里 $\nabla \cdot v_t$ 是向量场的散度，可以使用 `torch.autograd` 高效计算。这个公式的直观理解是：如果向量场在某个区域是发散的（散度为正），那么该区域的概率密度会降低；反之，如果向量场是收敛的（散度为负），概率密度会增加。 + +这种连续性带来了几个重要优势： +- **灵活性**：不需要像离散流那样精心设计每一层的可逆变换 +- **表达能力**：理论上，任何两个分布都可以通过某个CNF连接 +- **数值稳定性**：使用现代ODE求解器可以获得高精度的数值解 🔬 **研究线索：向量场的几何性质** CNF中向量场的几何性质（如旋度、散度）如何影响生成质量？是否可以通过约束向量场的几何特性（例如无旋场、保体积变换）来获得更好的生成模型？这涉及到微分几何和李群理论的深刻应用。 ### 6.1.2 传统CNF的计算瓶颈 -尽管CNF在理论上优雅，但在实践中面临严重的计算挑战： +尽管CNF在理论上优雅，但在实践中面临严重的计算挑战。让我们深入理解为什么这些挑战会成为实际应用的障碍。 -1. **似然计算的开销**：计算 $\log p_1(\mathbf{x}_1)$ 需要： - - 反向求解ODE从 $\mathbf{x}_1$ 到 $\mathbf{x}_0$ - - 沿轨迹积分散度项 - - 两者都需要多次调用神经网络和ODE求解器 +1. **似然计算的开销**：计算 $\log p_1(\mathbf{x}_1)$ 需要执行一个复杂的计算流程： + - **反向ODE求解**：给定一个数据点 $\mathbf{x}_1$ ，我们需要反向求解ODE从 $t=1$ 到 $t=0$ ，找到对应的初始点 $\mathbf{x}_0$ 。这就像是逆着河流追溯叶子的起点，计算上需要多步数值积分。 + - **轨迹积分**：沿着整个轨迹，我们需要累积散度项 $\int_0^1 \nabla \cdot v_t(\mathbf{x}_t) dt$ 。这要求在每个积分步骤都计算向量场的散度。 + - **神经网络调用**：每个ODE求解步骤都需要调用神经网络来评估向量场 $v_t(\mathbf{x}_t)$ ，在训练过程中这意味着大量的前向和反向传播。 -2. **训练的不稳定性**：直接最大化似然需要精确的ODE求解，这在高维空间中计算昂贵且数值不稳定。 + 想象一下，对于一张 $256 \times 256$ 的图像（65,536维），每个训练样本可能需要数十次神经网络评估，这使得训练变得极其缓慢。 -3. **散度计算的复杂度**：对于 $d$ 维数据，精确计算散度需要 $O(d)$ 次反向传播，这在高维情况下（如图像）变得不可行。虽然可以使用 Hutchinson 迹估计降低复杂度，但会引入额外的方差。 +2. **训练的不稳定性**：直接最大化似然需要精确的ODE求解，但这在高维空间中充满挑战： + - **数值误差累积**：ODE求解器的每一步都会引入小的数值误差，这些误差会沿着轨迹累积，特别是在高维空间中。 + - **梯度爆炸/消失**：反向传播通过整个ODE轨迹时，梯度可能会指数级地增长或衰减，导致训练不稳定。 + - **步长选择困境**：使用较大步长会降低精度，使用较小步长会大幅增加计算成本。 + +3. **散度计算的复杂度**：散度 $\nabla \cdot v_t = \sum_{i=1}^d \frac{\partial v_{t,i}}{\partial x_i}$ 的计算是一个关键瓶颈： + - **精确计算**：对于 $d$ 维数据，需要计算 $d$ 个偏导数。使用自动微分，这需要 $O(d)$ 次反向传播，每次计算一个维度的导数。 + - **Hutchinson迹估计**：虽然可以使用随机估计方法将复杂度降到 $O(1)$ ，但代价是引入方差： + $$\nabla \cdot v_t \approx \mathbb{E}_{\epsilon \sim \mathcal{N}(0, I)}[\epsilon^T \nabla_x (v_t \cdot \epsilon)]$$ + 这种方差在训练过程中会导致额外的不稳定性。 + + 对于图像等高维数据，即使是 $O(1)$ 的估计也需要仔细调节以平衡方差和计算成本。 ### 6.1.3 流匹配：回避似然计算的巧妙方案 -流匹配（Flow Matching）的核心洞察是：与其直接优化似然，不如直接学习连接两个分布的向量场。具体来说，给定源分布 $p_0$ （如标准高斯）和目标分布 $p_1$ （数据分布），流匹配的目标是学习一个向量场 $v_\theta$ ，使得： +流匹配（Flow Matching）的核心洞察是一个范式转换：与其费力地通过似然优化来间接学习向量场，不如直接学习连接两个分布的向量场本身。这个想法既简单又深刻。 + +让我们用一个类比来理解：假设你想教一个机器人从A点走到B点。传统CNF的方法就像是：让机器人尝试各种路径，然后根据到达B点的概率来调整。而流匹配的方法是：直接告诉机器人在每个位置应该朝哪个方向走，走多快。 + +具体来说，给定源分布 $p_0$ （如标准高斯）和目标分布 $p_1$ （数据分布），流匹配的目标是学习一个向量场 $v_\theta$ ，使得： $\min_\theta \mathbb{E}_{t \sim \mathcal{U}[0,1], \mathbf{x}_t \sim p_t} \|v_\theta(t, \mathbf{x}_t) - u_t(\mathbf{x}_t)\|^2$ -其中 $u_t$ 是生成概率路径 $p_t$ 的"真实"向量场。 +这个目标函数的含义是： +- 在任意时刻 $t \in [0,1]$ +- 对于该时刻分布 $p_t$ 中的任意点 $\mathbf{x}_t$ +- 我们希望模型预测的向量场 $v_\theta(t, \mathbf{x}_t)$ 尽可能接近真实的向量场 $u_t(\mathbf{x}_t)$ + +其中 $u_t$ 是生成概率路径 $p_t$ 的"真实"向量场——它定义了粒子应该如何移动才能实现从 $p_0$ 到 $p_1$ 的变换。 + +但这里有一个关键挑战：**如何获得训练样本 $(t, \mathbf{x}_t, u_t(\mathbf{x}_t))$ ？** +- 我们不知道中间分布 $p_t$ 的具体形式，如何从中采样 $\mathbf{x}_t$ ？ +- 我们不知道真实向量场 $u_t$ ，如何获得监督信号？ -关键问题是：如何获得 $(t, \mathbf{x}_t, u_t(\mathbf{x}_t))$ 的训练样本？这正是条件流匹配要解决的。 +这看起来是一个"鸡生蛋"的问题：要学习向量场，需要知道中间分布；要知道中间分布，需要知道向量场。条件流匹配正是为了打破这个循环而设计的。 ### 6.1.4 条件流匹配框架 -条件流匹配（Conditional Flow Matching, CFM）通过构造条件概率路径巧妙地解决了采样问题。核心思想是： +条件流匹配（Conditional Flow Matching, CFM）通过构造条件概率路径巧妙地解决了采样问题。这个方法的优雅之处在于，它将一个复杂的全局问题分解为许多简单的局部问题。 -1. **定义条件路径**：对每个数据点 $\mathbf{x}_1 \sim p_1$ ，定义一个从噪声 $\mathbf{x}_0 \sim p_0$ 到 $\mathbf{x}_1$ 的简单路径，例如线性插值： +核心思想可以分为三个关键步骤： + +1. **定义条件路径**：与其试图直接构造从整个分布 $p_0$ 到 $p_1$ 的复杂路径，CFM为每一对点构造简单的条件路径。对每个数据点 $\mathbf{x}_1 \sim p_1$ 和对应的噪声点 $\mathbf{x}_0 \sim p_0$ ，定义一个简单的路径连接它们。最常用的是线性插值： + $\mathbf{x}_t = (1-t)\mathbf{x}_0 + t\mathbf{x}_1$ + + 这就像是为每对起点和终点画一条直线。虽然单条直线很简单，但所有直线的集合可以形成复杂的流场。 + +2. **条件向量场**：对于线性路径，计算对应的向量场非常简单。如果粒子沿着直线从 $\mathbf{x}_0$ 移动到 $\mathbf{x}_1$ ，它的速度是恒定的： + + $u_t(\mathbf{x}_t | \mathbf{x}_0, \mathbf{x}_1) = \frac{d\mathbf{x}_t}{dt} = \mathbf{x}_1 - \mathbf{x}_0$ + + 注意这个向量场不依赖于时间 $t$ ——粒子始终以相同的速度沿直线移动。这种简单性是线性插值的一大优势。 -2. **条件向量场**：这个路径对应的向量场是： - $u_t(\mathbf{x}_t | \mathbf{x}_0, \mathbf{x}_1) = \mathbf{x}_1 - \mathbf{x}_0$ +3. **边缘化的魔法**：CFM的关键洞察是一个深刻的数学事实：如果我们对所有可能的 $(\mathbf{x}_0, \mathbf{x}_1)$ 对进行平均（边缘化），得到的边缘向量场 $u_t(\mathbf{x}_t)$ 正好生成了从 $p_0$ 到 $p_1$ 的有效流。 + + 直观地说，虽然每条单独的路径只连接一对点，但当我们考虑所有可能的路径时，它们的集体效应创造了一个将整个分布 $p_0$ 变换到 $p_1$ 的向量场。 -3. **边缘化**：关键洞察是，如果我们对所有可能的 $(\mathbf{x}_0, \mathbf{x}_1)$ 对进行边缘化，得到的边缘向量场 $u_t(\mathbf{x}_t)$ 正好生成了从 $p_0$ 到 $p_1$ 的流。 +这种方法的美妙之处在于，它将一个困难的问题（学习复杂的全局向量场）转化为一个简单的问题（匹配条件向量场）。更重要的是，这种转化使得训练变得极其高效。 💡 **实现技巧：高效采样** -CFM的训练只需要：(1) 采样时间 $t \sim \mathcal{U}[0,1]$ ；(2) 采样数据对 $(\mathbf{x}_0, \mathbf{x}_1)$ ；(3) 计算插值 $\mathbf{x}_t$ ；(4) 最小化 $\|v_\theta(t, \mathbf{x}_t) - (\mathbf{x}_1 - \mathbf{x}_0)\|^2$ 。整个过程避免了ODE求解和似然计算！ +CFM的训练算法惊人地简单： +1. 采样时间 $t \sim \mathcal{U}[0,1]$ +2. 采样噪声 $\mathbf{x}_0 \sim p_0$ 和数据 $\mathbf{x}_1 \sim p_1$ +3. 计算插值点 $\mathbf{x}_t = (1-t)\mathbf{x}_0 + t\mathbf{x}_1$ +4. 训练网络最小化 $\|v_\theta(t, \mathbf{x}_t) - (\mathbf{x}_1 - \mathbf{x}_0)\|^2$ + +整个过程完全避免了ODE求解、似然计算和复杂的采样过程！每个训练步骤的计算成本与训练一个简单的回归网络相当。 + +🔬 **研究线索：非线性路径设计** +虽然线性路径简单有效，但它们可能不是最优的。研究问题包括：如何设计更好的条件路径？例如，可以考虑测地线路径（在某种度量下的最短路径）、避开低密度区域的路径、或者学习数据依赖的路径。这是一个活跃的研究领域，涉及最优传输理论和流形学习。 ## 6.2 最优传输视角 -流匹配与最优传输（Optimal Transport, OT）理论有着深刻的联系。OT研究的是如何以“最低成本”将一个概率分布变换为另一个。 +流匹配与最优传输（Optimal Transport, OT）理论有着深刻的联系。要理解这种联系，让我们先从一个直观的例子开始：想象你是一个物流公司的经理，需要将仓库中的货物运送到各个商店。OT理论研究的正是如何以"最低成本"完成这种分配任务——只不过在我们的情况中，"货物"是概率质量，"运输"是从一个分布到另一个分布的变换。 ### 6.2.1 Monge-Kantorovich问题与Wasserstein距离 -经典的最优传输问题（Monge问题）旨在寻找一个映射 $T: \mathbb{R}^d \to \mathbb{R}^d$ ，使得如果 $\mathbf{x}_0 \sim p_0$ ，则 $T(\mathbf{x}_0) \sim p_1$ ，并且总的“运输成本”最小化： +最优传输理论有着悠久的历史，可以追溯到18世纪法国数学家Gaspard Monge的工作。Monge最初研究的问题非常实际：如何以最小的工作量将一堆沙土搬运到另一个地方来建造防御工事。这个看似简单的问题，实际上蕴含着深刻的数学结构。 + +**Monge问题**的现代表述是：寻找一个映射 $T: \mathbb{R}^d \to \mathbb{R}^d$ ，使得： +1. **质量守恒**：如果 $\mathbf{x}_0 \sim p_0$ ，则 $T(\mathbf{x}_0) \sim p_1$ 。这意味着映射 $T$ 将源分布 $p_0$ 完全变换为目标分布 $p_1$ 。 +2. **成本最小**：总的"运输成本"最小化： $\inf_T \int_{\mathbb{R}^d} c(\mathbf{x}_0, T(\mathbf{x}_0)) p_0(\mathbf{x}_0) d\mathbf{x}_0$ -其中 $c(\mathbf{x}, \mathbf{y})$ 是成本函数，通常取为欧氏距离的平方 $c(\mathbf{x}, \mathbf{y}) = \|\mathbf{x} - \mathbf{y}\|^2$ 。这个问题的解给出了两个分布之间最有效的“耦合”方式。当成本为距离时，这个最小成本定义了两个分布之间的**Wasserstein距离**，它衡量了分布之间的几何差异。 +其中 $c(\mathbf{x}, \mathbf{y})$ 是成本函数，它衡量将单位质量从 $\mathbf{x}$ 运送到 $\mathbf{y}$ 的代价。 + +**成本函数的选择**至关重要： +- **欧氏距离平方** $c(\mathbf{x}, \mathbf{y}) = \|\mathbf{x} - \mathbf{y}\|^2$ ：这是最常用的选择，它鼓励短距离运输，具有良好的数学性质。 +- **欧氏距离** $c(\mathbf{x}, \mathbf{y}) = \|\mathbf{x} - \mathbf{y}\|$ ：更直观但数学处理上稍复杂。 +- **其他度量**：可以根据具体问题设计，如考虑地形的运输成本。 + +然而，Monge问题有一个根本性的限制：它要求每个源点必须整体地映射到一个目标点。这在某些情况下可能没有解。例如，如果源分布是一个点质量，而目标分布是均匀分布，那么没有办法通过一个确定性映射来实现这种变换。 + +**Kantorovich的松弛**解决了这个问题。与其寻找确定性映射，Kantorovich允许"分割"质量——一个源点的质量可以被分配到多个目标点。数学上，这通过引入联合分布（或称"传输计划"）$\pi(\mathbf{x}, \mathbf{y})$ 来实现： + +$\inf_\pi \int_{\mathbb{R}^d \times \mathbb{R}^d} c(\mathbf{x}, \mathbf{y}) d\pi(\mathbf{x}, \mathbf{y})$ + +其中 $\pi$ 的边缘分布必须分别是 $p_0$ 和 $p_1$ 。 + +**Wasserstein距离**是当成本函数为距离的幂次时，最优传输成本的特殊情况： +- $W_p(p_0, p_1) = \left(\inf_\pi \int \|\mathbf{x} - \mathbf{y}\|^p d\pi(\mathbf{x}, \mathbf{y})\right)^{1/p}$ + +特别地，$W_2$ （使用平方欧氏距离）在理论和应用中最为重要，因为它与许多几何和物理概念自然地联系在一起。 ### 6.2.2 动态最优传输与Benamou-Brenier公式 -最优传输的动态视角（由Benamou和Brenier提出）将问题重新表述为寻找一条连接 $p_0$ 和 $p_1$ 的“最短路径”。这条路径由一个随时间变化的概率分布 $p_t$ 和一个速度场 $v_t$ 描述，它们满足连续性方程： +静态的Monge-Kantorovich问题告诉我们最优的"配对方案"，但没有告诉我们质量是如何从源移动到目标的。Benamou和Brenier在2000年提出了一个革命性的想法：与其只关注起点和终点，不如研究整个运输过程的动力学。 + +想象一下密度分布的演化就像流体的流动。在每个时刻 $t \in [0,1]$ ，我们有一个概率分布 $p_t$ ，它从 $p_0$ 开始，最终到达 $p_1$ 。这个演化由一个速度场 $v_t$ 驱动，满足**连续性方程**： $\frac{\partial p_t}{\partial t} + \nabla \cdot (p_t v_t) = 0$ -Benamou-Brenier公式表明，Wasserstein-2距离的平方等于在所有满足连续性方程的路径中，动能的最小值： +这个方程有着深刻的物理含义： +- $\frac{\partial p_t}{\partial t}$ 是密度的时间变化率 +- $\nabla \cdot (p_t v_t)$ 是概率流的散度 +- 方程表达了质量守恒：密度的增加等于流入减去流出 + +**Benamou-Brenier公式**将最优传输问题重新表述为一个变分问题： $W_2^2(p_0, p_1) = \inf_{p_t, v_t} \int_0^1 \int_{\mathbb{R}^d} \|v_t(\mathbf{x})\|^2 p_t(\mathbf{x}) d\mathbf{x} dt$ -这个公式的深刻之处在于，它将一个静态的匹配问题（寻找最优映射 $T$ ）转化为了一个动态的路径规划问题（寻找最优速度场 $v_t$ ）。 +这个公式的美妙之处在于它的物理直觉： +- 被积函数 $\|v_t(\mathbf{x})\|^2 p_t(\mathbf{x})$ 可以理解为"动能密度" +- 整个积分是路径的总"动能" +- 最优传输路径是使总动能最小的路径 + +这种动态视角带来了几个重要洞察： + +1. **最短路径原理**：在Wasserstein-2几何中，最优传输路径是连接两个分布的"测地线"（最短路径）。就像在曲面上两点之间的最短路径是测地线一样。 + +2. **位移插值**：最优传输路径提供了一种在分布之间进行插值的自然方式。对于时刻 $t$ 的分布 $p_t$ ，它是 $p_0$ 和 $p_1$ 的"位移插值"（displacement interpolation），保持了分布的几何结构。 + +3. **速度场的特性**：最优传输的速度场有一个重要性质——它是某个势函数的梯度（至少在适当的正则性条件下）： + $v_t(\mathbf{x}) = \nabla \phi_t(\mathbf{x})$ + + 这意味着最优传输的流动是"无旋的"，没有涡流或循环。 ### 6.2.3 流匹配作为最优传输的实现 -流匹配的目标函数——最小化模型向量场 $v_\theta$ 与真实向量场 $u_t$ 之间的L2距离——可以被看作是Benamou-Brenier公式的一种近似实现。 +现在我们可以理解流匹配与最优传输之间的深刻联系了。流匹配可以被视为一种实用的方法来近似求解最优传输问题，而不需要直接处理其计算复杂性。 + +**理论联系**： +流匹配的目标函数——最小化模型向量场 $v_\theta$ 与真实向量场 $u_t$ 之间的L2距离——与Benamou-Brenier公式有着密切的关系。让我们仔细分析这种联系： + +1. **当使用最优传输路径时**：如果我们在条件流匹配中使用的概率路径 $p_t$ 正好是最优传输路径（即Wasserstein测地线），那么： + - 对应的向量场 $u_t$ 就是最优传输的速度场 + - 学习到的 $v_\theta$ 将逼近最优传输映射 + - 生成的样本将沿着最优路径从噪声移动到数据 + +2. **线性插值的情况**：在实践中，我们通常使用简单的线性插值路径： + - 条件路径：$\mathbf{x}_t = (1-t)\mathbf{x}_0 + t\mathbf{x}_1$ + - 这不是最优传输路径（除非在非常特殊的情况下） + - 但它仍然定义了一个有效的传输方案 + +**为什么线性插值也有效？** + +虽然线性插值不是最优的，但它有几个实际优势： + +1. **计算简单**：目标向量场是常数 $\mathbf{x}_1 - \mathbf{x}_0$ ，极易计算 +2. **稳定性**：线性路径避免了复杂的曲线运动，减少了数值不稳定性 +3. **足够好**：对于许多应用，线性插值提供的路径质量已经足够 + +**最优传输引导的改进**： + +研究者们提出了多种方法来结合最优传输的理论优势和流匹配的实践效率： + +1. **OT-CFM（Optimal Transport Conditional Flow Matching）**： + - 使用最优传输理论来设计更好的条件路径 + - 例如，使用mini-batch最优传输来估计更好的配对 + - 在保持计算效率的同时提高生成质量 + +2. **动态最优传输正则化**： + - 在流匹配损失中加入鼓励"直线"路径的正则项 + - 这隐式地鼓励学习接近最优传输的解 + +3. **多尺度最优传输**： + - 在不同的特征尺度上应用最优传输原理 + - 特别适用于具有层次结构的数据（如图像） + +**实践意义**： -- 如果我们选择的概率路径 $p_t$ 正好是最优传输路径，那么学习到的向量场 $v_\theta$ 就是最优传输的速度场。 -- 即使我们使用简单的线性插值路径（这通常不是最优的），流匹配仍然能学习到一个有效的向量场，将 $p_0$ 变换到 $p_1$ 。 +流匹配作为最优传输的实现，为我们提供了： +- **理论基础**：最优传输理论提供了坚实的数学基础 +- **实用算法**：避免了直接求解OT问题的计算困难 +- **灵活性**：可以在效率和最优性之间进行权衡 -因此，流匹配为我们提供了一个强大的、可操作的工具，用于学习高维分布之间的传输映射，而无需直接解决复杂的OT问题。 +🔬 **研究线索：最优传输与生成质量** +一个开放的研究问题是：在什么条件下，使用更接近最优传输的路径会显著提高生成质量？这涉及到数据流形的几何性质、噪声分布的选择、以及具体应用场景的需求。特别是在高维空间中，"最优"的含义本身就需要仔细定义。 ## 6.3 流匹配的数学基础 From ee6c8aa2b5cfb25e821ee36f88d53583d1b84bbe Mon Sep 17 00:00:00 2001 From: William Date: Thu, 31 Jul 2025 08:27:07 +0800 Subject: [PATCH 42/62] interim --- chapter7.md | 623 +++++++++++++++++++++++++++++++++++++++++++++++++++- 1 file changed, 622 insertions(+), 1 deletion(-) diff --git a/chapter7.md b/chapter7.md index f408f2e..a7cb7dd 100644 --- a/chapter7.md +++ b/chapter7.md @@ -432,4 +432,625 @@ Transformer的通用近似能力已被证明。对于扩散模型的去噪任务 - 量化和混合精度推理 🌟 **开放挑战：理论缩放极限** -是否存在扩散模型的理论缩放极限？当模型大小接近数据分布的柯尔莫哥洛夫复杂度时会发生什么？这些基础问题仍待解答。 \ No newline at end of file +是否存在扩散模型的理论缩放极限？当模型大小接近数据分布的柯尔莫哥洛夫复杂度时会发生什么？这些基础问题仍待解答。 + +## 7.4 条件机制与灵活性 + +条件生成是扩散模型的核心能力之一，而DiT在条件机制的设计上展现了独特的优雅性和灵活性。本节将深入探讨DiT如何通过创新的条件注入方法，实现高效且表达力强的条件控制。 + +### 7.4.1 自适应层归一化（AdaLN） + +自适应层归一化是DiT条件机制的基础，它通过动态调整归一化参数来注入条件信息。 + +**标准层归一化回顾**： + +$$\text{LN}(x) = \gamma \cdot \frac{x - \mu}{\sigma} + \beta$$ + +其中 $\mu$ 和 $\sigma$ 是特征的均值和标准差，$\gamma$ 和 $\beta$ 是可学习的缩放和偏移参数。 + +**AdaLN的创新**： + +AdaLN使 $\gamma$ 和 $\beta$ 成为条件信息的函数： + +$$\gamma, \beta = \text{MLP}(\text{condition})$$ + +这看似简单的改动带来了深远的影响： + +1. **参数效率**：相比于在每层注入完整的条件特征，AdaLN只需要预测两个向量 +2. **训练稳定性**：通过归一化天然地控制了条件信号的强度 +3. **表达能力**：可以实现从微调到完全改变特征分布的各种效果 + +💡 **实现细节：时间步编码** +DiT使用类似于Transformer的正弦位置编码来编码时间步： +``` +t_emb = sinusoidal_embedding(t, dim=256) +t_emb = nn.Sequential( + nn.Linear(256, hidden_dim), + nn.SiLU(), + nn.Linear(hidden_dim, hidden_dim) +)(t_emb) +``` + +### 7.4.2 交叉注意力vs AdaLN-Zero + +DiT论文比较了多种条件注入方法，其中最重要的是交叉注意力和AdaLN-Zero的对比。 + +**交叉注意力方法**： + +在自注意力之后添加交叉注意力层： +$$\text{CrossAttn}(x, c) = \text{Attention}(Q=x, K=c, V=c)$$ + +优点： +- 能够建模输入和条件之间的细粒度关系 +- 对于文本-图像等跨模态任务特别有效 +- 提供了空间对齐的条件控制 + +缺点： +- 计算开销大（额外的注意力计算） +- 参数量增加显著 +- 可能过度依赖条件信息 + +**AdaLN-Zero的优势**： + +AdaLN-Zero在AdaLN基础上引入了关键的零初始化： + +``` +# 初始化最后一层为零 +nn.init.zeros_(self.adaLN_modulation[-1].weight) +nn.init.zeros_(self.adaLN_modulation[-1].bias) +``` + +这确保了： +1. **训练初期稳定**：模型开始时表现为无条件模型 +2. **渐进式学习**：条件影响逐步增强 +3. **更好的优化路径**：避免早期的条件过拟合 + +实验结果显示，AdaLN-Zero在ImageNet上达到了最佳的FID分数，同时计算效率更高。 + +🔬 **研究线索：混合条件机制** +是否可以结合两种方法的优势？例如，在浅层使用AdaLN进行全局调制，在深层使用交叉注意力进行精细控制？这种分层的条件策略值得探索。 + +### 7.4.3 多模态条件的统一处理 + +DiT的一个重要优势是能够优雅地处理多种条件信息。 + +**统一的条件编码框架**： + +```python +class ConditionEncoder: + def encode(self, conditions): + embeddings = [] + + # 时间步条件（必需） + t_emb = self.time_encoder(conditions['timestep']) + embeddings.append(t_emb) + + # 类别条件（可选） + if 'class_label' in conditions: + c_emb = self.class_encoder(conditions['class_label']) + embeddings.append(c_emb) + + # 文本条件（可选） + if 'text' in conditions: + text_emb = self.text_encoder(conditions['text']) + embeddings.append(text_emb) + + # 融合所有条件 + return self.fusion_mlp(sum(embeddings)) +``` + +**条件dropout实现无条件生成**： + +```python +# 训练时随机丢弃条件 +if self.training and random.random() < cfg_dropout_prob: + c_emb = torch.zeros_like(c_emb) +``` + +这使得同一个模型可以支持条件和无条件生成，为classifier-free guidance奠定基础。 + +
+**练习 7.4：设计新的条件机制** + +探索DiT条件机制的扩展： + +1. **层级条件控制**： + - 设计一个机制，允许不同的条件信息影响不同的层 + - 例如：风格信息影响浅层，语义信息影响深层 + - 实现并比较与统一AdaLN的性能差异 + +2. **动态条件路由**： + - 基于输入内容动态选择条件注入的位置和强度 + - 使用门控机制： $\alpha = \sigma(\text{MLP}(x, c))$ + - 研究这种自适应机制的训练稳定性 + +3. **条件插值实验**： + - 实现条件向量的线性插值： $c_{interp} = \alpha c_1 + (1-\alpha) c_2$ + - 观察生成结果的渐变效果 + - 探索球面插值（SLERP）是否产生更好的过渡 + +4. **扩展研究**： + - 设计支持组合条件的机制（如"红色的猫"+"奔跑的姿势"） + - 研究条件向量的解耦表示学习 + - 探索使用超网络（HyperNetwork）生成AdaLN参数 + +
+ +### 7.4.4 条件机制的表达能力分析 + +**理论视角：条件调制的函数空间** + +AdaLN可以表示的函数族为： +$$f_{AdaLN}(x; c) = \gamma(c) \odot \text{Normalize}(x) + \beta(c)$$ + +这定义了一个特殊的函数空间，其特点是： +1. 保持特征的相对关系（通过归一化） +2. 允许全局缩放和偏移 +3. 计算效率高 + +**实证分析：不同条件机制的表现** + +| 条件方法 | FID↓ | IS↑ | 参数量 | FLOPs | +|---------|------|-----|--------|-------| +| In-context | 10.52 | 105.3 | +0% | +25% | +| Cross-attention | 9.89 | 119.7 | +15% | +30% | +| AdaLN | 9.77 | 118.6 | +1% | +2% | +| AdaLN-Zero | **9.62** | **121.5** | +1% | +2% | + +### 7.4.5 条件嵌入的学习动态 + +**条件嵌入的演化过程**： + +通过分析训练过程中条件嵌入的变化，我们观察到： + +1. **早期阶段**（0-10k steps）： + - 条件嵌入主要学习时间步信息 + - 类别条件的影响逐渐显现 + - $\gamma$ 接近1，$\beta$ 接近0 + +2. **中期阶段**（10k-100k steps）： + - 条件特异性增强 + - 不同类别的嵌入开始分离 + - 出现语义聚类现象 + +3. **后期阶段**（100k+ steps）： + - 精细的条件控制能力 + - 嵌入空间展现出丰富的结构 + - 支持条件插值和组合 + +💡 **实践技巧：条件嵌入的正则化** +添加轻微的L2正则化到条件嵌入可以防止过拟合： +```python +cond_reg_loss = 0.01 * torch.norm(condition_embedding, p=2) +``` + +### 7.4.6 高级条件技术 + +**1. 多尺度条件注入** + +虽然DiT使用统一的条件信号，但可以扩展为多尺度版本： + +```python +# 为不同深度的块生成不同的调制参数 +shallow_params = self.shallow_modulation(condition) +middle_params = self.middle_modulation(condition) +deep_params = self.deep_modulation(condition) +``` + +**2. 条件的层次分解** + +将复杂条件分解为层次结构： +- 全局属性（如风格、色调） +- 对象级属性（如类别、姿态） +- 细节属性（如纹理、材质） + +**3. 自适应条件强度** + +根据去噪进程动态调整条件强度： +$$\gamma_t = \gamma \cdot \exp(-\lambda t/T)$$ + +这在早期步骤强调结构，后期步骤关注细节。 + +🌟 **未来方向：神经条件场** +类似于NeRF的思想，是否可以将条件表示为连续的神经场？这将允许在条件空间中进行连续的查询和插值，实现更灵活的控制。 + +## 7.5 实践考虑与未来方向 + +将DiT从理论转化为实践需要深入理解训练细节、优化策略和部署考量。本节将分享实际训练DiT的经验教训，并探讨这一架构的未来发展方向。 + +### 7.5.1 训练策略与超参数选择 + +**学习率调度的关键性** + +DiT对学习率调度特别敏感。推荐的配置： + +1. **Warmup阶段**： + ``` + lr = base_lr * (current_step / warmup_steps) + warmup_steps = 10000 # 对于ImageNet规模 + ``` + +2. **余弦退火**： + ``` + lr = min_lr + 0.5 * (base_lr - min_lr) * (1 + cos(π * step / total_steps)) + ``` + +3. **关键超参数**： + - base_lr: 1e-4 (AdamW) + - min_lr: 1e-6 + - weight_decay: 0.0 (仅对非bias/norm参数) + - beta1: 0.9, beta2: 0.95 (比标准0.999更激进) + +💡 **实践经验：学习率与模型规模** +更大的模型往往需要更小的学习率。经验公式： +$$\text{lr}_{\text{optimal}} \propto \frac{1}{\sqrt{\text{model\_size}}}$$ + +**批量大小的扩展策略** + +DiT训练受益于大批量： + +| 模型规模 | 推荐批量大小 | 梯度累积步数 | +|---------|-------------|--------------| +| DiT-S | 256 | 1 | +| DiT-B | 512 | 2 | +| DiT-L | 1024 | 4 | +| DiT-XL | 2048 | 8 | + +使用梯度累积实现大批量： +```python +for step in range(accumulation_steps): + loss = model(batch[step]) / accumulation_steps + loss.backward() +if (step + 1) % accumulation_steps == 0: + optimizer.step() + optimizer.zero_grad() +``` + +**EMA（指数移动平均）的重要性** + +EMA对生成质量至关重要： +```python +ema_decay = 0.9999 +for param, ema_param in zip(model.parameters(), ema_model.parameters()): + ema_param.data.mul_(ema_decay).add_(param.data, alpha=1-ema_decay) +``` + +注意：EMA模型用于推理，训练模型用于优化。 + +### 7.5.2 混合精度训练与分布式训练 + +**自动混合精度（AMP）配置** + +DiT特别适合混合精度训练： + +```python +# PyTorch AMP设置 +scaler = torch.cuda.amp.GradScaler() +autocast = torch.cuda.amp.autocast + +with autocast(): + noise_pred = model(noisy_images, timesteps, conditions) + loss = F.mse_loss(noise_pred, noise) + +scaler.scale(loss).backward() +scaler.step(optimizer) +scaler.update() +``` + +**关键考虑**： +1. 保持损失计算在FP32精度 +2. 注意力计算可能需要FP32以避免数值不稳定 +3. 使用动态损失缩放防止梯度下溢 + +**分布式训练策略** + +对于大规模DiT训练： + +1. **数据并行（DDP）**： + ```python + model = torch.nn.parallel.DistributedDataParallel( + model, device_ids=[local_rank], + find_unused_parameters=False # DiT不需要 + ) + ``` + +2. **梯度检查点**： + 节省内存，允许更大批量： + ```python + # 对深层模型启用 + if model_depth > 24: + model.enable_gradient_checkpointing() + ``` + +3. **张量并行**（对于超大模型）： + - 将注意力头分布到多个GPU + - 使用专门的库如Megatron-LM或FairScale + +🔬 **研究线索：通信优化** +在多节点训练中，通信成为瓶颈。探索梯度压缩、异步更新等技术在DiT训练中的应用。 + +### 7.5.3 推理优化技术 + +**量化策略** + +DiT对量化相对友好： + +1. **INT8量化**： + - 对注意力权重使用动态量化 + - 保持Layer Norm在FP16/FP32 + - 典型加速：2-3x，质量损失<1% FID + +2. **混合精度推理**： + ```python + with torch.cuda.amp.autocast(): + # 大部分计算在FP16 + output = model(x, t, c) + ``` + +**缓存优化** + +虽然DiT不像自回归模型那样受益于KV缓存，但仍有优化空间： + +1. **特征图缓存**： + 对于视频生成，缓存帧间共享的特征 + +2. **条件编码缓存**： + 预计算并缓存常用条件的编码 + +**模型蒸馏** + +将大型DiT蒸馏到小型模型： +```python +# 知识蒸馏损失 +kd_loss = F.kl_div( + F.log_softmax(student_output / temperature, dim=-1), + F.softmax(teacher_output / temperature, dim=-1), + reduction='batchmean' +) * temperature**2 +``` + +### 7.5.4 架构创新的研究方向 + +**1. 高效注意力机制** + +探索降低注意力复杂度的方法： + +- **局部窗口注意力**： + ``` + 将图像分成窗口，仅在窗口内计算注意力 + 复杂度：O(n²) → O(n·w²), w是窗口大小 + ``` + +- **线性注意力**： + 使用核技巧近似softmax注意力 + +- **稀疏注意力模式**： + 学习或预定义的稀疏连接模式 + +
+**练习 7.5：设计高效DiT变体** + +实现并比较不同的效率优化策略： + +1. **窗口注意力DiT**： + - 实现Swin Transformer风格的窗口注意力 + - 添加窗口之间的信息交换机制 + - 在不同分辨率测试速度vs质量权衡 + +2. **深度可分离DiT**： + - 将空间注意力和通道注意力分离 + - 类似MobileNet的思想应用到Transformer + - 分析参数效率和性能 + +3. **动态稀疏DiT**： + - 基于输入内容动态选择要计算的注意力连接 + - 使用可学习的路由机制 + - 研究稀疏度与生成质量的关系 + +4. **扩展研究**： + - 结合多种优化技术的混合架构 + - 自动搜索最优的效率-性能权衡 + - 探索硬件感知的架构设计 + +
+ +**2. 动态计算分配** + +不同的去噪步骤可能需要不同的计算量： + +- **早期步骤**：需要更多全局理解，使用完整模型 +- **后期步骤**：主要是局部细化，可以使用轻量级模型 + +实现思路： +```python +if t > 0.7 * total_steps: + output = full_model(x, t, c) +elif t > 0.3 * total_steps: + output = medium_model(x, t, c) +else: + output = light_model(x, t, c) +``` + +**3. 多模态融合架构** + +扩展DiT处理多模态输入： + +- 统一的token空间表示不同模态 +- 模态特定的编码器 + 共享的Transformer主干 +- 探索跨模态注意力模式 + +🌟 **未来愿景：通用生成Transformer** +是否可以设计一个统一的架构，同时处理图像、视频、音频、文本的生成？DiT的设计原则为这一方向提供了基础。 + +### 7.5.5 实际部署考虑 + +**内存管理策略** + +1. **激活检查点**： + ```python + # 仅保存必要的激活值 + torch.utils.checkpoint.checkpoint(block, x, use_reentrant=False) + ``` + +2. **动态批处理**： + 根据输入分辨率动态调整批量大小 + +3. **流式推理**： + 对于超高分辨率，使用滑动窗口生成 + +**延迟优化** + +实时应用的关键考虑： + +1. **模型剪枝**： + - 识别并移除冗余的注意力头 + - 通道剪枝减少隐藏维度 + +2. **编译优化**： + ```python + # PyTorch 2.0+ + compiled_model = torch.compile(model, mode="reduce-overhead") + ``` + +3. **硬件特定优化**： + - 使用TensorRT或ONNX Runtime + - 针对特定GPU架构优化 + +**鲁棒性增强** + +生产环境需要的额外考虑： + +1. **输入验证**： + 处理异常分辨率、损坏的条件输入 + +2. **优雅降级**： + 在资源受限时自动切换到低质量模式 + +3. **监控和日志**： + 跟踪推理时间、内存使用、生成质量指标 + +### 7.5.6 社区发展与生态系统 + +**开源实现现状** + +主要的DiT实现和变体： + +1. **官方实现**： + - Facebook Research的原始DiT + - 清晰的代码结构，适合学习 + +2. **优化版本**： + - HuggingFace Diffusers集成 + - 各种效率优化和易用性改进 + +3. **扩展工作**： + - DiT-3D：3D生成 + - VideoDiT：视频生成 + - MultiDiT：多模态生成 + +**标准化努力** + +社区正在推动的标准化： + +1. **统一的接口**： + ```python + class StandardDiT: + def forward(self, x, timestep, condition=None, **kwargs): + # 统一的前向传播接口 + ``` + +2. **预训练模型zoo**： + 不同规模、不同数据集的checkpoint + +3. **基准测试套件**： + 标准化的评估流程和指标 + +💡 **参与建议** +贡献的最佳方式： +- 实现新的效率优化技术 +- 在新领域/数据集上训练和分享模型 +- 改进文档和教程 +- 构建应用层工具 + +### 7.5.7 未来研究方向总结 + +**短期机会**（6-12个月）： + +1. **效率提升**： + - 更快的注意力实现 + - 更好的量化方法 + - 轻量级架构变体 + +2. **应用扩展**： + - 3D内容生成 + - 长视频生成 + - 实时交互应用 + +3. **训练改进**： + - 更稳定的训练方法 + - 少样本/零样本能力 + - 自监督预训练 + +**长期愿景**（1-3年）： + +1. **架构革新**： + - 超越Transformer的新架构 + - 神经架构搜索自动设计 + - 生物启发的生成模型 + +2. **理论突破**： + - 生成模型的统一理论 + - 缩放定律的数学基础 + - 与物理系统的深层联系 + +3. **范式转变**： + - 端到端的多模态生成 + - 与强化学习的深度结合 + - 可解释和可控的生成 + +🚀 **行动呼吁** +DiT开启了扩散模型的新纪元，但这仅仅是开始。无论你是研究者、工程师还是爱好者，都有机会为这个快速发展的领域做出贡献。选择一个方向，深入探索，推动边界！ + +## 本章小结 + +在本章中，我们深入探讨了扩散Transformer（DiT）这一革命性架构，它标志着扩散模型从卷积时代向注意力时代的转变。 + +**核心要点回顾**： + +1. **架构创新**：DiT成功地将Vision Transformer的设计理念引入扩散模型，通过patchify、位置编码和时间条件机制，实现了优雅而高效的去噪网络设计。 + +2. **条件机制**：AdaLN-Zero展现了简洁而强大的条件注入方法，在保持计算效率的同时提供了出色的条件控制能力。相比交叉注意力，它在ImageNet生成任务上取得了更好的性能。 + +3. **缩放优势**：DiT证明了扩散模型也遵循类似大语言模型的缩放定律。随着模型规模增大，生成质量呈现可预测的改善，这为构建更强大的生成模型指明了方向。 + +4. **实践智慧**：从学习率调度到混合精度训练，从分布式策略到推理优化，我们分享了大量实践经验，这些将帮助你成功训练和部署DiT模型。 + +5. **未来展望**：DiT不仅是一个具体的架构，更代表了一种新的设计范式。它为多模态生成、动态计算分配、高效架构搜索等未来研究方向奠定了基础。 + +**关键洞察**： + +- **最小归纳偏置带来最大灵活性**：DiT的成功再次证明，在大规模数据和计算的支持下，减少架构假设能够获得更好的性能。 +- **统一带来力量**：将所有patches在同一分辨率处理的设计，虽然看似低效，但实际上简化了优化过程并提升了最终性能。 +- **简单即优雅**：AdaLN-Zero的成功提醒我们，最好的解决方案往往是最简单的。 + +**与其他章节的联系**： + +- DiT建立在第2章介绍的Transformer基础之上，展示了架构选择对扩散模型性能的深远影响 +- 第8章的采样算法可以直接应用于DiT，而DiT的统一架构使得某些加速技术更容易实现 +- 第10章的潜在扩散模型可以使用DiT作为去噪网络，结合两者优势 +- 第11章的视频扩散模型正在探索基于DiT的时序建模方案 + +**实践建议**： + +1. 如果你是初学者，建议从小规模DiT（DiT-S）开始，在CIFAR-10等小数据集上验证想法 +2. 如果你有充足的计算资源，直接使用DiT-L或DiT-XL，它们的性能显著优于小模型 +3. 始终使用AdaLN-Zero作为默认的条件机制，除非你的任务特别需要空间对齐的条件控制 +4. 重视训练细节：学习率调度、EMA、混合精度等看似细微的选择会显著影响最终结果 + +DiT的出现不仅提升了扩散模型的性能上限，更重要的是为整个领域带来了新的思考方式。当我们不再被特定的架构范式束缚，而是根据任务本质和数据特性选择合适的设计时，创新的大门才真正打开。 + +下一章，我们将探讨如何加速扩散模型的采样过程。DiT的统一架构为许多采样优化技术提供了理想的测试平台，让我们继续这段激动人心的旅程！ + +--- + +[← 第6章：流匹配](chapter6.md) | [返回目录](index.md) | [第8章：采样算法与加速技术 →](chapter8.md) \ No newline at end of file From 81bd8d12c852f6c2040f4ab0a6592ce200556520 Mon Sep 17 00:00:00 2001 From: William Date: Thu, 31 Jul 2025 08:32:10 +0800 Subject: [PATCH 43/62] interim --- chapter8.md | 299 ++++++++++++++++++++++++++++++++++++++++++---------- 1 file changed, 242 insertions(+), 57 deletions(-) diff --git a/chapter8.md b/chapter8.md index 620848d..db857fe 100644 --- a/chapter8.md +++ b/chapter8.md @@ -38,48 +38,87 @@ ## 8.1 DDIM：去噪扩散隐式模型 +在深入DDIM之前，让我们回顾一个关键问题：为什么需要改进DDPM的采样过程？DDPM虽然能生成高质量的样本，但其采样速度是一个严重瓶颈。生成一张图像需要反复执行1000次去噪步骤，即使在现代GPU上也需要数十秒。DDIM的出现彻底改变了这一局面，它不仅大幅加速了采样过程，还带来了意想不到的新能力。 + ### 8.1.1 DDPM采样的局限性 -回顾DDPM的反向过程： +让我们从数学和直觉两个角度理解DDPM采样的局限性。回顾DDPM的反向过程： $$p_\theta(\mathbf{x}_{t-1}|\mathbf{x}_t) = \mathcal{N}(\mathbf{x}_{t-1}; \boldsymbol{\mu}_\theta(\mathbf{x}_t, t), \sigma_t^2\mathbf{I})$$ -每一步都需要添加随机噪声 $\sigma_t \boldsymbol{\epsilon}$ ，这导致： -1. **采样的随机性**：相同的 $\mathbf{x}_T$ 会生成不同的 $\mathbf{x}_0$ -2. **步数依赖**：减少步数会显著降低质量 -3. **不可逆性**：无法从生成的图像精确重构初始噪声 +这个公式告诉我们，从时刻 $t$ 到 $t-1$ 的去噪过程是一个高斯分布，其均值由神经网络预测，方差 $\sigma_t^2$ 是预定义的。每一步都需要添加随机噪声 $\sigma_t \boldsymbol{\epsilon}$ ，这种随机性带来了几个根本性问题： + +1. **采样的随机性**：即使从完全相同的初始噪声 $\mathbf{x}_T$ 开始，由于每步都注入新的随机性，最终会生成不同的图像 $\mathbf{x}_0$。这种随机性虽然增加了多样性，但也意味着我们无法精确控制生成过程。 + +2. **步数依赖**：DDPM的理论推导假设了无穷小的时间步长。当我们尝试减少步数（增大时间步长）时，马尔可夫链的假设开始崩塌，生成质量急剧下降。这就像试图用大步子走钢丝——步子越大，越容易失去平衡。 -DDIM通过重新参数化前向过程，巧妙地解决了这些问题。 +3. **不可逆性**：给定一张生成的图像，我们无法精确重构出生成它的初始噪声。这限制了许多应用，比如图像编辑和插值。想象一下，如果我们能够将图像"编码"回噪声空间，在那里进行编辑，然后再"解码"回图像空间，将会开启多少可能性！ + +这些局限性看似是扩散模型的固有缺陷，但DDIM的作者们发现了一个惊人的事实：这些"缺陷"并非必然，而是我们选择的特定前向过程的结果。通过巧妙地重新设计前向过程，DDIM打开了通向确定性采样的大门。 ### 8.1.2 DDIM的核心创新 -DDIM的关键洞察是：存在一族非马尔可夫前向过程，它们具有相同的边缘分布 $q(\mathbf{x}_t|\mathbf{x}_0)$ ，但对应的反向过程可以是确定性的。 +DDIM的突破性贡献在于一个看似简单却深刻的观察：DDPM的马尔可夫性质并非扩散模型的必要条件。这个洞察彻底改变了我们对扩散过程的理解。 -具体地，DDIM定义了一个新的前向过程： +想象一下这样的场景：你站在山顶（数据分布），想要到达山谷（噪声分布）。DDPM告诉你必须沿着一条特定的蜿蜒小路走下去，每一步都要随机摇摆。而DDIM发现，实际上存在无数条路径可以到达同一个山谷，其中一些路径是完全笔直的！ -$$q_\sigma(\mathbf{x}_{t-1}|\mathbf{x}_t, \mathbf{x}_0) = \mathcal{N}(\mathbf{x}_{t-1}; \tilde{\boldsymbol{\mu}}_t(\mathbf{x}_t, \mathbf{x}_0), \sigma_t^2\mathbf{I}) +DDIM的关键洞察是：存在一族非马尔可夫前向过程，它们具有相同的边缘分布 $q(\mathbf{x}_t|\mathbf{x}_0)$ ，但对应的反向过程可以是确定性的。这意味着什么？让我们深入理解： -$$ +1. **边缘分布相同**：无论选择哪条路径，在任意时刻 $t$，数据的"污染"程度都是一样的。这保证了我们可以使用相同的去噪网络。 + +2. **非马尔可夫性**：新的前向过程不再只依赖于前一时刻，而是同时依赖于初始数据 $\mathbf{x}_0$。这种"记忆"使得过程可以选择更直接的路径。 + +3. **可控的随机性**：通过一个参数 $\sigma_t$，我们可以在完全随机（DDPM）和完全确定性之间自由调节。 + +具体地，DDIM定义了一个新的前向过程： + +$$q_\sigma(\mathbf{x}_{t-1}|\mathbf{x}_t, \mathbf{x}_0) = \mathcal{N}(\mathbf{x}_{t-1}; \tilde{\boldsymbol{\mu}}_t(\mathbf{x}_t, \mathbf{x}_0), \sigma_t^2\mathbf{I})$$ -其中： +这个公式的关键在于条件依赖于 $\mathbf{x}_0$，打破了马尔可夫性。均值的具体形式为： $$\tilde{\boldsymbol{\mu}}_t(\mathbf{x}_t, \mathbf{x}_0) = \sqrt{\bar{\alpha}_{t-1}}\mathbf{x}_0 + \sqrt{1 - \bar{\alpha}_{t-1} - \sigma_t^2} \cdot \frac{\mathbf{x}_t - \sqrt{\bar{\alpha}_t}\mathbf{x}_0}{\sqrt{1 - \bar{\alpha}_t}}$$ -当 $\sigma_t = 0$ 时，过程变为完全确定性。 +这个表达式看起来复杂，但其几何意义非常清晰： +- 第一项 $\sqrt{\bar{\alpha}_{t-1}}\mathbf{x}_0$ 是目标时刻 $\mathbf{x}_0$ 的贡献 +- 第二项是从当前状态 $\mathbf{x}_t$ 指向 $\mathbf{x}_0$ 的"方向"的贡献 + +当 $\sigma_t = 0$ 时，过程变为完全确定性，实现了我们梦寐以求的"直线"路径！ + +这种设计的巧妙之处在于，它保持了与DDPM相同的训练目标——我们不需要重新训练模型，只需要改变采样策略。这就像发现同一辆车既可以在蜿蜒的山路上行驶，也可以在高速公路上疾驰。 ### 8.1.3 DDIM采样算法 +理解了DDIM的理论基础后，让我们看看如何将其转化为实际的采样算法。DDIM的美妙之处在于其采样公式的优雅和直观性。 + DDIM的采样公式为： $$\mathbf{x}_{t-1} = \sqrt{\bar{\alpha}_{t-1}}\underbrace{\left(\frac{\mathbf{x}_t - \sqrt{1 - \bar{\alpha}_t}\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t)}{\sqrt{\bar{\alpha}_t}}\right)}_{\text{预测的 } \mathbf{x}_0} + \underbrace{\sqrt{1 - \bar{\alpha}_{t-1} - \sigma_t^2} \cdot \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t)}_{\text{方向指向 } \mathbf{x}_t} + \underbrace{\sigma_t \boldsymbol{\epsilon}}_{\text{随机噪声}}$$ -关键参数 $\eta$ 控制随机性： -- $\eta = 0$ ：完全确定性（DDIM） -- $\eta = 1$ ：等价于DDPM -- $0 < \eta < 1$ ：介于两者之间 +让我们解析这个公式的每个组成部分，理解其背后的几何和物理意义： + +**1. 预测的 $\mathbf{x}_0$ 项**：这部分使用当前的噪声图像 $\mathbf{x}_t$ 和网络预测的噪声 $\boldsymbol{\epsilon}_\theta$ 来估计原始干净图像。这就像透过迷雾看清真实的景象——虽然当前图像被噪声污染，但神经网络能够"看穿"噪声，预测出原始图像的样子。 + +**2. 方向项**：这项决定了从当前状态向下一状态移动的方向。它使用了预测的噪声 $\boldsymbol{\epsilon}_\theta$ 作为"指南针"，指引去噪的方向。系数 $\sqrt{1 - \bar{\alpha}_{t-1} - \sigma_t^2}$ 控制着这个方向的强度。 + +**3. 随机噪声项**：这是DDIM相对于DDPM的创新之处。通过控制 $\sigma_t$，我们可以调节采样过程的随机性。当 $\sigma_t = 0$ 时，这一项消失，采样变为完全确定性。 + +DDIM引入了一个关键参数 $\eta$ 来简化控制，其中 $\sigma_t = \eta \cdot \tilde{\sigma}_t$，$\tilde{\sigma}_t$ 是DDPM中使用的标准差。这给我们提供了一个直观的控制旋钮： +- $\eta = 0$ ：完全确定性采样（纯DDIM），生成过程像精确的机器 +- $\eta = 1$ ：完全随机采样（等价于DDPM），保持原始的随机性 +- $0 < \eta < 1$ ：介于两者之间，平衡确定性和多样性 + +这种灵活性带来了许多实际应用。例如，当我们需要精确的图像编辑时，使用 $\eta = 0$；当我们需要多样化的生成结果时，增大 $\eta$。这就像调节相机的光圈——不同的设置适用于不同的场景。 + +💡 **实现技巧：加速采样的魔法** +DDIM最激动人心的特性是其加速能力。由于确定性采样的稳定性，我们可以大胆地跳过中间步骤。例如，从原始的1000步中均匀选择50步： + +```python +timesteps = np.linspace(0, 999, 50).astype(int) +``` -💡 **实现技巧：加速采样** -DDIM允许使用子序列采样。例如，从1000步中均匀选择50步：`timesteps = np.linspace(0, 999, 50).astype(int)`。这可以实现20倍加速！ +这种简单的操作可以实现20倍的加速！更令人惊讶的是，由于DDIM选择了更优的去噪路径，即使步数大幅减少，生成质量的下降也是有限的。这就像找到了一条高速公路，让我们能够快速到达目的地。 + +在实践中，研究者发现使用20-50步的DDIM通常能够产生与1000步DDPM相当的结果。这种加速使得扩散模型从研究工具变成了实用技术。
**练习 8.1：理解DDIM的几何意义** @@ -111,82 +150,202 @@ DDIM允许使用子序列采样。例如，从1000步中均匀选择50步：`tim ### 8.1.4 DDIM的数学解释 -DDIM可以从多个角度理解： +DDIM的优雅不仅体现在其实用性上，更体现在其深刻的数学内涵中。让我们从三个不同的视角来理解DDIM，每个视角都揭示了其设计的不同智慧。 -**1. 变分推断视角** +**1. 变分推断视角：重新思考优化目标** -DDIM最小化了一个修改后的变分下界，其中KL散度项被重新加权。 +从变分推断的角度看，DDIM实际上是在最小化一个修改后的变分下界。回忆DDPM的变分下界： -**2. 数值ODE求解器视角** +$$\mathcal{L} = \mathbb{E}_q\left[\sum_{t=2}^T D_{KL}(q(\mathbf{x}_{t-1}|\mathbf{x}_t, \mathbf{x}_0) || p_\theta(\mathbf{x}_{t-1}|\mathbf{x}_t)) + ...\right]$$ -当 $\eta = 0$ 时，DDIM等价于求解概率流ODE： +DDIM的创新在于重新定义了 $q(\mathbf{x}_{t-1}|\mathbf{x}_t, \mathbf{x}_0)$，使其包含一个自由参数 $\sigma_t$。这相当于在优化空间中增加了新的维度。当我们选择 $\sigma_t = 0$ 时，KL散度项的结构发生了根本变化，导致了确定性的反向过程。 -$$\frac{d\mathbf{x}_t}{dt} = -\frac{1}{2}\beta_t\left[\mathbf{x}_t + \nabla_{\mathbf{x}_t} \log p_t(\mathbf{x}_t)\right] +这种修改的深层含义是：我们不再强制要求反向过程精确匹配前向过程的每一步，而是只要求它们在边缘分布上匹配。这给了我们更大的自由度来设计高效的采样路径。 -$$ +**2. 数值ODE求解器视角：从离散到连续的桥梁** + +当 $\eta = 0$ 时，DDIM的确定性版本可以被理解为求解一个特殊的常微分方程（ODE）。这个ODE被称为概率流ODE： + +$$\frac{d\mathbf{x}_t}{dt} = -\frac{1}{2}\beta_t\left[\mathbf{x}_t + \nabla_{\mathbf{x}_t} \log p_t(\mathbf{x}_t)\right]$$ + +这个方程描述了概率密度的确定性流动。其中： +- $\beta_t\mathbf{x}_t$ 项代表向原点的收缩 +- $\beta_t\nabla_{\mathbf{x}_t} \log p_t(\mathbf{x}_t)$ 项代表沿着概率密度梯度的流动 + +DDIM本质上是这个ODE的一阶Euler离散化。这个发现开启了使用高阶ODE求解器来改进采样的大门，直接导致了后续DPM-Solver等算法的发展。 + +这种连续化的视角还带来了另一个洞察：扩散过程实际上定义了数据流形上的一个动力系统。理解这个动力系统的性质（如稳定性、收敛速度）对于设计更好的采样算法至关重要。 + +**3. 最优传输视角：寻找最短路径** + +从最优传输的角度看，DDIM试图找到从噪声分布到数据分布的"最直接"路径。在传统的DDPM中，由于每步都添加随机噪声，路径是曲折的。而DDIM的确定性版本寻找的是测地线——两点之间的最短路径。 + +这种视角的价值在于，它将扩散模型与最优传输理论联系起来。最优传输提供了丰富的工具来分析和优化概率分布之间的映射。例如，Wasserstein距离可以用来量化不同采样路径的"成本"。 + +更进一步，这种视角启发我们思考：是否可以直接从最优传输的角度设计采样算法？这正是流匹配（Flow Matching）等新方法的出发点。 -**3. 最优传输视角** +🔬 **研究线索：广义DDIM与未来方向** -DDIM寻找从噪声到数据的"直线"路径，最小化传输成本。 +DDIM的成功启发我们思考更一般的问题： -🔬 **研究线索：广义DDIM** -能否设计更一般的确定性采样器？例如，使用高阶信息（二阶导数）或历史轨迹信息来改进预测？这涉及到数值分析和最优控制理论。 +1. **高阶信息的利用**：当前的DDIM只使用了一阶信息（梯度）。能否利用二阶信息（Hessian）来设计更精确的采样器？这可能需要开发高效的二阶导数计算方法。 + +2. **自适应路径规划**：不同的图像区域可能需要不同的去噪策略。能否设计一个自适应的采样器，根据局部特征动态调整采样路径？ + +3. **多尺度采样**：自然图像具有多尺度结构。能否设计一个多尺度的DDIM变体，在不同尺度上使用不同的采样策略？ + +4. **理论最优性**：DDIM是否是某种意义下的最优采样器？如果不是，理论最优的采样器应该是什么样的？ + +这些问题连接了数值分析、最优控制理论、信息几何等多个数学分支，为未来的研究提供了丰富的方向。 ## 8.2 基于ODE/SDE的统一视角 +DDIM的成功揭示了一个深刻的事实：离散的扩散步骤可以被视为连续过程的离散化。这个洞察催生了基于随机微分方程（SDE）的统一框架，它不仅统一了现有的方法，还为设计新的采样算法提供了强大的理论工具。本节将带您从离散世界步入连续世界，揭示扩散模型背后的连续动力学。 + ### 8.2.1 从离散到连续：扩散SDE -Song等人(2021)提出了基于随机微分方程(SDE)的统一框架。前向扩散过程可以表示为： +想象一下，如果我们将扩散过程的时间步长无限细分，会发生什么？这就像将一部定格动画变成流畅的视频——离散的帧变成了连续的运动。Song等人(2021)正是基于这个想法，提出了基于随机微分方程(SDE)的统一框架。 + +在连续时间框架下，前向扩散过程可以优雅地表示为一个SDE： $$d\mathbf{x} = \mathbf{f}(\mathbf{x}, t)dt + g(t)d\mathbf{w}$$ -其中： -- $\mathbf{f}(\cdot, t)$ ：漂移系数 -- $g(t)$ ：扩散系数 -- $\mathbf{w}$ ：标准维纳过程 +这个方程看似简单，却蕴含着丰富的内容。让我们仔细解读每个组成部分： -对于DDPM/DDIM，相应的SDE是： +- **漂移项** $\mathbf{f}(\mathbf{x}, t)dt$：这描述了系统的确定性演化趋势。就像河流中的水流，它推动着状态朝特定方向移动。漂移可以依赖于当前状态 $\mathbf{x}$ 和时间 $t$。 -$$d\mathbf{x} = -\frac{1}{2}\beta(t)\mathbf{x}dt + \sqrt{\beta(t)}d\mathbf{w} +- **扩散项** $g(t)d\mathbf{w}$：这引入了随机性。$\mathbf{w}$ 是标准维纳过程（布朗运动），$g(t)$ 控制随机扰动的强度。这就像分子的热运动，使得确定性的轨迹变得模糊。 -$$ +- **时间演化**：$dt$ 表示无穷小的时间增量，使得整个过程在时间上连续演化。 + +对于我们熟悉的DDPM/DDIM，其对应的SDE具有特别简洁的形式： + +$$d\mathbf{x} = -\frac{1}{2}\beta(t)\mathbf{x}dt + \sqrt{\beta(t)}d\mathbf{w}$$ + +这个方程揭示了DDPM的本质： +- 漂移项 $-\frac{1}{2}\beta(t)\mathbf{x}$ 将数据向原点拉拽，逐渐"褪色" +- 扩散项 $\sqrt{\beta(t)}d\mathbf{w}$ 添加噪声，使图像变得模糊 +- 两者的平衡决定了扩散过程的特性 + +这种连续化带来了多个优势： + +1. **理论分析**：SDE理论提供了丰富的数学工具，如Fokker-Planck方程、Girsanov定理等，帮助我们深入理解扩散过程的性质。 + +2. **算法设计**：将采样问题转化为SDE求解问题，可以借鉴数值分析中成熟的ODE/SDE求解器。 + +3. **统一视角**：不同的扩散模型（DDPM、SMLD、sub-VP等）都可以用不同的漂移和扩散系数来表示，揭示了它们的内在联系。 + +更重要的是，这种连续视角改变了我们对扩散模型的理解。扩散不再是一系列离散的去噪步骤，而是一个连续的动力系统。这个系统在概率空间中定义了一条从数据分布到噪声分布的"河流"，而我们的任务是学会逆流而上。 ### 8.2.2 反向时间SDE -Anderson(1982)证明了反向时间SDE的存在性： +如果前向扩散是一条从数据流向噪声的河流，那么生成过程就是逆流而上的旅程。但时间真的可以倒流吗？在随机过程的世界里，答案是肯定的，但需要付出代价——我们必须知道当前位置的概率景观。 + +Anderson(1982)的经典结果告诉我们，对于任何前向SDE，都存在一个对应的反向时间SDE： $$d\mathbf{x} = [\mathbf{f}(\mathbf{x}, t) - g(t)^2\nabla_\mathbf{x} \log p_t(\mathbf{x})]dt + g(t)d\bar{\mathbf{w}}$$ -其中 $\bar{\mathbf{w}}$ 是反向时间的维纳过程， $\nabla_\mathbf{x} \log p_t(\mathbf{x})$ 是分数函数（score function）。 +这个方程蕴含着深刻的物理直觉。让我们逐项分析： + +1. **原始漂移项** $\mathbf{f}(\mathbf{x}, t)$：这是前向过程的"记忆"，但方向相反。如果前向过程将数据推向原点，反向过程就将其拉回。 + +2. **分数校正项** $-g(t)^2\nabla_\mathbf{x} \log p_t(\mathbf{x})$：这是反向过程的核心创新。$\nabla_\mathbf{x} \log p_t(\mathbf{x})$ 被称为分数函数（score function），它指向概率密度增加最快的方向。这一项确保反向过程能够"爬坡"，从低概率区域（噪声）回到高概率区域（数据）。 + +3. **反向布朗运动** $g(t)d\bar{\mathbf{w}}$：虽然符号相同，但这是反向时间的布朗运动。它保持了过程的随机性，但方向是"倒退"的。 + +这个公式的美妙之处在于它的普适性——无论前向过程多么复杂，只要我们知道分数函数，就能构造出精确的反向过程。这就是为什么训练扩散模型的核心是学习分数函数（或等价的噪声预测）。 + +但这里有一个关键挑战：分数函数 $\nabla_\mathbf{x} \log p_t(\mathbf{x})$ 通常是未知的。这正是神经网络发挥作用的地方——我们训练网络来近似这个函数，从而实现可控的反向过程。 -### 8.2.3 概率流ODE +### 8.2.3 概率流ODE：确定性的优雅 -去除随机项，得到确定性的ODE： +反向SDE虽然理论优美，但其随机性sometimes是一个负担。能否去除随机性，得到一个确定性的反向过程？答案是肯定的，这就是概率流ODE的由来。 + +通过巧妙的数学变换，我们可以构造一个确定性的ODE，它与原始SDE具有相同的边缘分布： $$\frac{d\mathbf{x}}{dt} = \mathbf{f}(\mathbf{x}, t) - \frac{1}{2}g(t)^2\nabla_\mathbf{x} \log p_t(\mathbf{x})$$ -这个ODE与原始SDE具有相同的边缘分布 $p_t(\mathbf{x})$ 。 +相比于反向SDE，这个ODE有两个关键变化： +1. 移除了随机项 $g(t)d\bar{\mathbf{w}}$ +2. 分数项的系数从 $g(t)^2$ 变为 $\frac{1}{2}g(t)^2$ + +这个看似微小的改变带来了革命性的影响。概率流ODE具有以下关键性质： + +**1. 可逆性：双向编码的能力** +由于ODE的确定性，我们可以在数据和噪声之间进行精确的双向转换。给定一张图像，我们可以将其"编码"为对应的噪声；给定噪声，我们可以"解码"出对应的图像。这种可逆性为图像编辑、插值等应用开启了新的可能。 + +**2. 确定性：可重复的生成** +给定相同的初始条件，ODE总是产生相同的轨迹。这意味着生成过程是完全可重复的，便于调试和分析。在需要精确控制的应用场景中，这一特性尤为重要。 + +**3. 保持分布：概率的守恒** +尽管轨迹是确定性的，ODE仍然保持了概率分布的正确演化。在任意时刻 $t$，如果我们从 $p_t(\mathbf{x})$ 采样并沿着ODE演化，得到的分布仍然是正确的。这保证了生成样本的质量。 -**关键性质**： -1. **可逆性**：可以在数据和噪声之间双向转换 -2. **确定性**：给定初值，轨迹唯一确定 -3. **保持分布**：ODE轨迹保持概率分布的演化 +这三个性质共同构成了概率流ODE的理论基础。更重要的是，DDIM可以被视为这个ODE的一阶离散化——这解释了为什么DDIM能够实现确定性采样！ + +概率流ODE还揭示了一个深刻的联系：扩散模型与神经常微分方程（Neural ODE）、正规化流（Normalizing Flow）等方法在本质上是相通的。它们都在学习数据空间中的向量场，只是参数化和训练方式不同。 ### 8.2.4 数值求解器的选择 -不同的ODE求解器对应不同的采样算法： +将扩散过程视为ODE后，采样问题就转化为数值求解问题。这打开了一个工具箱，里面装满了数值分析领域积累了几十年的智慧。选择合适的求解器就像选择合适的交通工具——不同的工具适用于不同的旅程。 + +理解ODE求解器的关键是认识到它们在精度和效率之间的权衡。让我们深入了解主要的求解器类型及其在扩散模型中的应用： + +**1. Euler方法：简单但有效的第一步** +Euler方法是最简单的ODE求解器，它使用当前点的导数来估计下一个点： +$$\mathbf{x}_{t+\Delta t} = \mathbf{x}_t + \Delta t \cdot f(\mathbf{x}_t, t)$$ + +在扩散模型的语境下，DDIM正是Euler方法的体现。虽然是一阶方法，但它的简单性带来了计算效率，在步数充足时表现良好。 + +**2. Heun方法（改进的Euler）：预测与校正** +Heun方法通过预测-校正策略提高精度： +- 先用Euler方法预测一个中间值 +- 在中间值处计算导数 +- 使用两个导数的平均值进行更新 -| 求解器 | 阶数 | 对应算法 | 特点 | -|--------|------|----------|------| -| Euler | 1 | DDIM | 简单快速 | -| Heun | 2 | DPM-Solver-2 | 精度提升 | -| RK4 | 4 | - | 高精度但计算量大 | -| 线性多步 | 可变 | DPM-Solver-3 | 利用历史信息 | +这种二阶方法对应于DPM-Solver-2，通过额外的网络评估换取更高的精度。 -💡 **实践建议：求解器选择** -- 步数充足(>50)：使用Euler方法(DDIM) -- 步数有限(10-50)：使用2阶或3阶求解器 -- 极少步数(<10)：需要专门优化的求解器 +**3. Runge-Kutta方法：高阶精度的追求** +RK4是最著名的高阶方法，通过在区间内多点评估导数来达到四阶精度。虽然理论上更准确，但在扩散模型中，每次导数评估都需要调用神经网络，计算成本高昂。 + +**4. 线性多步方法：利用历史的智慧** +这类方法利用之前多个时间点的信息来预测未来： +$$\mathbf{x}_{t+1} = \sum_{i=0}^{k-1} \alpha_i \mathbf{x}_{t-i} + \Delta t \sum_{i=0}^{k-1} \beta_i f(\mathbf{x}_{t-i}, t-i)$$ + +DPM-Solver-3就是这种思想的体现，通过"记忆"过去的轨迹来改进预测。 + +不同求解器的特性总结： + +| 求解器 | 阶数 | 对应算法 | 网络调用次数 | 适用场景 | +|--------|------|----------|--------------|----------| +| Euler | 1 | DDIM | 1/步 | 步数充足时的首选 | +| Heun | 2 | DPM-Solver-2 | 2/步 | 中等步数的平衡选择 | +| RK4 | 4 | - | 4/步 | 理论研究，实践少用 | +| 线性多步 | 可变 | DPM-Solver-3 | 1/步* | 极少步数时的优选 | + +*注：线性多步方法在稳定后每步只需一次新的网络评估 + +💡 **实践建议：智慧的选择** + +选择求解器时，考虑以下因素： + +1. **步数预算**： + - 步数充足(>50)：Euler方法(DDIM)通常足够，简单高效 + - 步数有限(10-50)：2阶或3阶求解器能显著提升质量 + - 极少步数(<10)：需要专门优化的高阶求解器 + +2. **计算预算**： + - 如果网络评估成本高（大模型），优先选择单步方法 + - 如果可以批处理，高阶方法的额外评估成本可以摊薄 + +3. **质量要求**： + - 对于预览或实时应用，低阶快速方法可能足够 + - 对于最终输出，值得投资更高阶的方法 + +4. **稳定性考虑**： + - 某些高阶方法在大步长时可能不稳定 + - 自适应步长方法可以自动平衡精度和稳定性 + +这种基于ODE求解器的视角不仅提供了现成的算法，更重要的是建立了一个原则性的框架来设计和分析新的采样方法。
**练习 8.2：实现和比较ODE求解器** @@ -218,6 +377,32 @@ $$\frac{d\mathbf{x}}{dt} = \mathbf{f}(\mathbf{x}, t) - \frac{1}{2}g(t)^2\nabla_\ 🌟 **开放问题：最优ODE公式** 当前的概率流ODE是否是最优的？是否存在收敛更快的等价ODE？这涉及到动力系统理论和最优控制。 +### 8.2.5 预测-校正框架：提升采样质量 + +在数值分析中，预测-校正方法是提高精度的经典技术。这个思想在扩散模型采样中也大放异彩。基本思路是：先用一个快速方法（如ODE）进行预测，然后用另一个方法（如SDE）进行校正。 + +**预测-校正采样的工作流程：** + +1. **预测步（Predictor）**：使用概率流ODE快速移动到下一个时间点 + $$\mathbf{x}_{t-\Delta t}^{pred} = \text{ODESolver}(\mathbf{x}_t, t, t-\Delta t)$$ + +2. **校正步（Corrector）**：在新位置使用Langevin动力学进行局部精炼 + $$\mathbf{x}_{t-\Delta t}^{corr} = \mathbf{x}_{t-\Delta t}^{pred} + \epsilon \nabla_\mathbf{x} \log p_{t-\Delta t}(\mathbf{x}_{t-\Delta t}^{pred}) + \sqrt{2\epsilon}\mathbf{z}$$ + +这种方法的优势在于结合了两个世界的优点： +- ODE提供快速的全局移动 +- Langevin动力学提供局部的分布校正 + +**校正步数的选择：** +- 0步：纯ODE采样（如DDIM） +- 1步：轻度校正，平衡速度和质量 +- 多步：接近真实分布，但计算成本增加 + +研究表明，即使是1步校正也能显著提升生成质量，特别是在步数较少的情况下。这就像在快速行驶后进行微调，确保准确到达目的地。 + +🔬 **研究前沿：自适应预测-校正** +能否根据当前状态的"困难程度"自适应地选择校正步数？例如，在平滑区域使用纯ODE，在细节丰富的区域增加校正步。这需要设计有效的困难度度量和自适应策略。 + ## 8.3 DPM-Solver系列算法 ### 8.3.1 动机：利用半线性结构 From e8557613aaa3aa00c0a242467c3c971b0c43593a Mon Sep 17 00:00:00 2001 From: William Date: Thu, 31 Jul 2025 08:37:16 +0800 Subject: [PATCH 44/62] interim --- chapter1.md | 254 +++++++++++++++++++++++++++++++++++++++++++++++----- 1 file changed, 234 insertions(+), 20 deletions(-) diff --git a/chapter1.md b/chapter1.md index 49816ef..4afc818 100644 --- a/chapter1.md +++ b/chapter1.md @@ -8,41 +8,89 @@ 扩散模型（Diffusion Models）是一类强大的生成模型，它通过学习数据的逐步去噪过程来生成高质量的样本。这个过程可以类比为物理学中的扩散现象：就像墨水在水中逐渐扩散直至均匀分布，扩散模型将数据逐步添加噪声直至变成纯噪声，然后学习如何反转这个过程。 +让我们从一个直观的例子开始。想象你有一张清晰的照片，现在你要对它进行一系列操作：第一步，添加一点点噪声，图像变得略微模糊；第二步，再添加一些噪声，细节开始消失；如此反复，经过足够多的步骤后，原始图像完全被噪声淹没，变成了纯粹的随机像素。这就是扩散模型的前向过程——一个逐渐破坏信息的过程。 + +神奇的是，如果我们能学会如何在每一步精确地去除添加的噪声，那么就可以从纯噪声开始，一步步恢复出原始图像。更重要的是，一旦学会了这种去噪能力，我们就可以从任意的随机噪声开始，生成全新的、从未见过但却逼真的图像。这就是扩散模型的核心思想：通过学习破坏的逆过程来实现创造。 + ### 从布朗运动到扩散模型：一段跨越百年的科学之旅 -扩散模型的数学根源可以追溯到1827年罗伯特·布朗（Robert Brown）对花粉微粒在水中无规则运动的观察。1905年，爱因斯坦（Einstein）在其奇迹之年中不仅发表了相对论，还给出了布朗运动的严格数学描述，通过扩散方程 $\frac{\partial p}{\partial t} = D\nabla^2 p$ 刻画了粒子密度的演化。值得注意的是，这里的扩散过程遵循菲克定律（Fick's law），描述的是浓度梯度驱动的纯扩散现象，而非Navier-Stokes方程中的对流-扩散耦合过程。在机器学习的扩散模型中，我们关注的正是这种纯粹的随机扩散：没有外力驱动的定向流动，只有随机热运动导致的均匀化过程。 +扩散模型的数学根源可以追溯到1827年罗伯特·布朗（Robert Brown）对花粉微粒在水中无规则运动的观察。当时，布朗用显微镜观察悬浮在水中的花粉颗粒，发现它们在不停地做着看似毫无规律的运动。这种现象困扰了科学界近80年，直到1905年，爱因斯坦（Einstein）在其奇迹之年中不仅发表了相对论，还给出了布朗运动的严格数学描述。 + +爱因斯坦的洞察是革命性的：他意识到这种无规则运动源于水分子对花粉的不断碰撞。由于分子运动的随机性，花粉在各个方向受到的撞击力不平衡，导致了观察到的随机运动。他通过扩散方程 $\frac{\partial p}{\partial t} = D\nabla^2 p$ 刻画了粒子密度的演化，其中 $p$ 是粒子的概率密度， $D$ 是扩散系数。这个方程告诉我们，粒子会从高浓度区域向低浓度区域扩散，最终达到均匀分布。 + +值得注意的是，这里的扩散过程遵循菲克定律（Fick's law），描述的是浓度梯度驱动的纯扩散现象，而非Navier-Stokes方程中的对流-扩散耦合过程。在机器学习的扩散模型中，我们关注的正是这种纯粹的随机扩散：没有外力驱动的定向流动，只有随机热运动导致的均匀化过程。这种纯扩散的特性使得数学处理更加优雅，也保证了前向过程的可逆性。 + +三年后的1908年，保罗·朗之万（Paul Langevin）提出了另一种描述布朗运动的方法——不再关注粒子群体的密度演化，而是追踪单个粒子的轨迹。他提出的随机微分方程： $d\mathbf{x}\_t = -\nabla U(\mathbf{x}\_t)dt + \sqrt{2D}d\mathbf{W}\_t$ ，其中第一项 $-\nabla U(\mathbf{x}\_t)dt$ 是确定性的漂移项，表示粒子在势能场 $U$ 中受到的力；第二项 $\sqrt{2D}d\mathbf{W}\_t$ 是随机的扩散项，表示分子碰撞带来的随机扰动， $\mathbf{W}\_t$ 是维纳过程（Wiener process）。 + +这个方程奠定了随机过程理论的基础，也成为了现代扩散模型的理论支柱。从朗之万动力学到今天的去噪扩散概率模型（DDPM），核心思想一脉相承：通过在数据上添加精心设计的噪声（对应朗之万方程中的随机项），并学习反向的去噪过程（对应漂移项），我们可以从简单的噪声分布生成复杂的数据分布。这种优雅的对称性不仅在数学上令人着迷，更在实践中展现出了惊人的生成能力。 -三年后，朗之万（Langevin）提出了描述单个粒子轨迹的随机微分方程： $d\mathbf{x}\_t = -\nabla U(\mathbf{x}\_t)dt + \sqrt{2D}d\mathbf{W}\_t$ ，其中第一项是确定性的漂移项，第二项是随机的扩散项。这个方程奠定了随机过程理论的基础，也成为了现代扩散模型的理论支柱。从朗之万动力学到今天的去噪扩散概率模型（DDPM），核心思想一脉相承：通过在数据上添加精心设计的噪声（对应朗之万方程中的随机项），并学习反向的去噪过程（对应漂移项），我们可以从简单的噪声分布生成复杂的数据分布。这种优雅的对称性不仅在数学上令人着迷，更在实践中展现出了惊人的生成能力。 +### 扩散模型的本质：时间的可逆性 + +扩散模型最深刻的洞察在于对时间可逆性的利用。在物理学中，许多微观过程都是时间可逆的——如果你能精确地知道系统的状态，理论上可以逆转时间的流向。扩散模型将这一物理直觉转化为算法：如果我们知道噪声是如何一步步添加的，那么就能学会如何一步步去除它。 + +这种可逆性并非显而易见。在宏观世界中，我们看到的大多是不可逆过程：墨水滴入水中会扩散，但扩散的墨水不会自发聚集；玻璃杯摔碎了不会自动复原。这是因为宏观过程涉及的粒子数量巨大，精确逆转每个粒子的运动在实践中是不可能的。但在扩散模型的数学框架中，我们处理的是概率分布的演化，而非单个粒子的轨迹。通过学习分布之间的映射关系，我们可以实现宏观上的"时间逆转"。 🔬 **研究线索：物理扩散与概率扩散的深层联系** -扩散模型与物理扩散方程的联系不仅仅是类比。实际上，Fokker-Planck方程和Schrödinger桥问题揭示了两者的数学等价性。这种联系在最优传输理论中有深刻体现，但目前仍缺乏统一的几何理论框架。PyTorch中的`torchdiffeq.odeint`可用于探索连续时间扩散。 +扩散模型与物理扩散方程的联系不仅仅是类比。实际上，Fokker-Planck方程和Schrödinger桥问题揭示了两者的数学等价性。Fokker-Planck方程描述了概率密度在朗之万动力学下的演化，而Schrödinger桥问题寻找连接两个概率分布的最优随机过程。这种联系在最优传输理论中有深刻体现，但目前仍缺乏统一的几何理论框架。特别是，如何从信息几何的角度理解扩散过程在概率流形上的测地线性质？PyTorch中的`torchdiffeq.odeint`可用于探索连续时间扩散的数值实现。 > **定义 1.1（扩散模型）** -> 扩散模型是一类概率生成模型，它定义了两个过程： -> - **前向过程（Forward Process）**：将数据逐步添加噪声，最终变成纯高斯噪声。 -> - **反向过程（Reverse Process）**：从纯噪声开始，逐步去噪恢复出数据。 +> 扩散模型是一类概率生成模型，它定义了两个马尔可夫过程： +> - **前向过程（Forward Process）**：一个固定的马尔可夫链，将数据分布 $q(\mathbf{x}_0)$ 通过逐步添加高斯噪声转换为已知的先验分布（通常是标准高斯分布）。 +> - **反向过程（Reverse Process）**：一个参数化的马尔可夫链，学习前向过程的逆过程，从先验分布开始逐步去噪，最终生成数据分布的样本。 +> +> 模型的训练目标是最大化数据的对数似然下界，这等价于学习在每个时间步精确预测和去除噪声的能力。 ## 1.2 扩散模型的数学基础 +在理解了扩散模型的直观概念后，让我们深入其数学原理。扩散模型的数学框架优雅而深刻，它将看似复杂的生成过程分解为一系列简单的概率变换。我们将从前向扩散过程开始，逐步揭示这个框架的精妙之处。 + ### 1.2.1 前向扩散过程 +前向过程是扩散模型的第一个关键组成部分。它定义了如何将数据逐步转化为噪声，这个过程必须满足两个关键要求：首先，它必须是可控的，让我们能够精确知道每一步发生了什么；其次，它必须最终将任何数据都转化为相同的简单分布（通常是标准高斯分布）。 + +#### 马尔可夫链：一步一步走向混沌 + 给定数据点 $\mathbf{x}\_0 \sim q(\mathbf{x}\_0)$ ，前向过程通过 $T$ 步逐渐添加高斯噪声，定义为一个马尔可夫链： $$q(\mathbf{x}\_t | \mathbf{x}\_{t-1}) = \mathcal{N}(\mathbf{x}\_t; \sqrt{1-\beta\_t}\mathbf{x}\_{t-1}, \beta\_t\mathbf{I})$$ -其中 $\{\beta\_t\}\_{t=1}^T$ 是预先设定的噪声调度（noise schedule），控制每一步添加噪声的量。 +让我们仔细解析这个公式的含义。这个条件分布告诉我们，给定第 $t-1$ 步的状态 $\mathbf{x}\_{t-1}$ ，第 $t$ 步的状态 $\mathbf{x}\_t$ 是如何生成的： -通过重参数化技巧（reparameterization trick），我们可以直接从 $\mathbf{x}\_0$ 采样任意时刻 $t$ 的 $\mathbf{x}\_t$ ，而无需迭代计算： +- **均值部分** $\sqrt{1-\beta\_t}\mathbf{x}\_{t-1}$ ：我们保留了前一步状态的一部分信息，保留的比例是 $\sqrt{1-\beta\_t}$ 。注意这里使用平方根是为了保持方差的正确缩放。 +- **方差部分** $\beta\_t\mathbf{I}$ ：我们添加了方差为 $\beta\_t$ 的各向同性高斯噪声。 -$$ \mathbf{x}\_t = \sqrt{\bar{\alpha}\_t}\mathbf{x}\_0 + \sqrt{1-\bar{\alpha}\_t}\boldsymbol{\epsilon}, \quad \boldsymbol{\epsilon} \sim \mathcal{N}(0, \mathbf{I}) +其中 $\{\beta\_t\}\_{t=1}^T$ 是预先设定的噪声调度（noise schedule），控制每一步添加噪声的量。通常 $\beta\_t$ 的值很小（如0.0001到0.02之间），这保证了相邻时间步之间的变化是渐进的。 -$$ +这种设计的巧妙之处在于，它在每一步都在做两件事：削弱原始信号（通过乘以小于1的系数）和添加随机噪声。经过足够多的步骤后，原始信号的影响会指数级衰减，而累积的噪声会主导整个分布。 -这等价于条件概率： +#### 重参数化技巧：时间旅行的捷径 + +在实际训练中，如果要采样 $\mathbf{x}\_t$ ，按照马尔可夫链的定义需要从 $\mathbf{x}\_0$ 开始逐步计算到 $\mathbf{x}\_t$ ，这会非常低效。幸运的是，高斯分布的良好性质允许我们使用重参数化技巧，直接从 $\mathbf{x}\_0$ "跳跃"到任意时刻 $t$ ： + +$$ \mathbf{x}\_t = \sqrt{\bar{\alpha}\_t}\mathbf{x}\_0 + \sqrt{1-\bar{\alpha}\_t}\boldsymbol{\epsilon}, \quad \boldsymbol{\epsilon} \sim \mathcal{N}(0, \mathbf{I})$$ + +这个公式的推导基于高斯分布的可加性。让我们通过一个简单的例子来理解：如果 $X \sim \mathcal{N}(\mu\_1, \sigma\_1^2)$ 和 $Y \sim \mathcal{N}(\mu\_2, \sigma\_2^2)$ 是独立的高斯随机变量，那么 $aX + bY \sim \mathcal{N}(a\mu\_1 + b\mu\_2, a^2\sigma\_1^2 + b^2\sigma\_2^2)$ 。 + +应用这个性质，我们可以证明上述重参数化公式等价于条件概率： $$q(\mathbf{x}\_t | \mathbf{x}\_0) = \mathcal{N}(\mathbf{x}\_t; \sqrt{\bar{\alpha}\_t}\mathbf{x}\_0, (1-\bar{\alpha}\_t)\mathbf{I})$$ -其中 $\alpha\_t = 1 - \beta\_t$ ， $\bar{\alpha}\_t = \prod\_{s=1}^{t}\alpha\_s$ 。当 $t \to T$ 时，若 $\bar{\alpha}\_T \to 0$ ，则 $\mathbf{x}\_T$ 的分布将趋向于各向同性的标准高斯分布，与原始数据 $\mathbf{x}\_0$ 无关。 +其中 $\alpha\_t = 1 - \beta\_t$ 表示每一步保留的信息比例， $\bar{\alpha}\_t = \prod\_{s=1}^{t}\alpha\_s$ 表示从初始状态到时刻 $t$ 累积保留的信息比例。 + +#### 信噪比的演化：从清晰到模糊的定量描述 + +理解前向过程的一个关键视角是信噪比（Signal-to-Noise Ratio, SNR）。在时刻 $t$ ，数据的信噪比可以定义为： + +$$\text{SNR}(t) = \frac{\text{Signal Power}}{\text{Noise Power}} = \frac{\bar{\alpha}\_t}{1-\bar{\alpha}\_t}$$ + +这个比值直观地刻画了原始信号和噪声的相对强度。当 $t=0$ 时， $\text{SNR}(0) = \infty$ （纯信号，无噪声）；当 $t \to T$ 且 $\bar{\alpha}\_T \to 0$ 时， $\text{SNR}(T) \to 0$ （纯噪声，无信号）。 + +在对数尺度下观察SNR特别有意义： $\log \text{SNR}(t) = \log \bar{\alpha}\_t - \log(1-\bar{\alpha}\_t)$ 。好的噪声调度应该使得 $\log \text{SNR}(t)$ 近似线性下降，这样可以保证： +1. 模型在各个时间步面临相似难度的去噪任务 +2. 训练过程中各个时间步的梯度贡献较为均衡 +3. 避免某些时间步的信息损失过快或过慢 + +当 $t \to T$ 时，若设计得当使 $\bar{\alpha}\_T \to 0$ ，则 $\mathbf{x}\_T$ 的分布将趋向于各向同性的标准高斯分布 $\mathcal{N}(0, \mathbf{I})$ ，完全独立于原始数据 $\mathbf{x}\_0$ 。这正是我们想要的：无论起点是什么样的复杂数据，终点都是相同的简单分布。 💡 **开放问题：最优噪声调度的理论基础** 虽然实践中余弦调度效果良好，但缺乏理论指导原则。信息论视角下，噪声调度应该如何与数据的固有维度相适应？是否存在数据相关的自适应调度算法？ @@ -66,16 +114,77 @@ $$q(\mathbf{x}\_t | \mathbf{x}\_0) = \mathcal{N}(\mathbf{x}\_t; \sqrt{\bar{\alph ### 1.2.2 反向去噪过程 -反向过程的目标是学习条件分布 $p\_\theta(\mathbf{x}\_{t-1} | \mathbf{x}\_t)$ ，从纯噪声 $\mathbf{x}\_T \sim \mathcal{N}(0, \mathbf{I})$ 开始，逐步去除噪声，最终生成数据样本 $\mathbf{x}\_0$ 。 +如果前向过程是将数据逐步转化为噪声的"破坏"过程，那么反向过程就是扩散模型的"创造"过程——它学习如何从纯噪声中逐步恢复出有意义的数据。这个过程的数学描述既优雅又富有挑战性。 + +#### 时间的逆转：从噪声到数据的旅程 + +反向过程的目标是学习条件分布 $p\_\theta(\mathbf{x}\_{t-1} | \mathbf{x}\_t)$ ，即给定时刻 $t$ 的状态，如何推断时刻 $t-1$ 的状态。整个反向过程从纯噪声 $\mathbf{x}\_T \sim \mathcal{N}(0, \mathbf{I})$ 开始，逐步去除噪声，最终生成数据样本 $\mathbf{x}\_0$ 。 + +数学上，反向过程的联合分布可以写作： $$p\_\theta(\mathbf{x}\_{0:T}) = p(\mathbf{x}\_T) \prod\_{t=1}^T p\_\theta(\mathbf{x}\_{t-1} | \mathbf{x}\_t)$$ -其中，每一步的去噪由一个参数化的神经网络 $\boldsymbol{\mu}\_\theta(\mathbf{x}\_t, t)$ 建模： +这里的关键洞察是：虽然真实的反向条件分布 $q(\mathbf{x}\_{t-1} | \mathbf{x}\_t)$ 很难直接计算（它依赖于整个数据分布），但我们可以用神经网络来学习近似它。 + +#### 高斯假设：简化但不简单 + +为了使问题可解，我们假设每一步的反向过程仍然是高斯分布： $$p\_\theta(\mathbf{x}\_{t-1} | \mathbf{x}\_t) = \mathcal{N}(\mathbf{x}\_{t-1}; \boldsymbol{\mu}\_\theta(\mathbf{x}\_t, t), \sigma\_t^2\mathbf{I})$$ +这个假设看似限制性很强，但实际上有深刻的理论基础： +1. 当 $\beta\_t$ 足够小时，真实的反向过程确实近似高斯分布 +2. 高斯分布的参数化简单，只需要学习均值和方差 +3. 高斯分布的采样高效，这对生成过程至关重要 + +其中，均值 $\boldsymbol{\mu}\_\theta(\mathbf{x}\_t, t)$ 由一个参数化的神经网络（通常是U-Net或Transformer）预测。这个网络接收当前的噪声图像 $\mathbf{x}\_t$ 和时间步 $t$ 作为输入，输出去噪后的均值。 + +#### 均值参数化的艺术 + +有趣的是，预测均值 $\boldsymbol{\mu}\_\theta(\mathbf{x}\_t, t)$ 有多种等价的参数化方式，每种方式都有其独特的视角： + +1. **直接预测均值**：网络直接输出 $\boldsymbol{\mu}\_\theta(\mathbf{x}\_t, t)$ +2. **预测原始数据**：网络预测 $\mathbf{x}\_0$ ，然后通过贝叶斯公式计算均值 +3. **预测噪声**：网络预测添加的噪声 $\boldsymbol{\epsilon}$ ，这是DDPM采用的方式 + +第三种方式特别优雅。回忆重参数化公式 $\mathbf{x}\_t = \sqrt{\bar{\alpha}\_t}\mathbf{x}\_0 + \sqrt{1-\bar{\alpha}\_t}\boldsymbol{\epsilon}$ ，如果我们能预测出噪声 $\boldsymbol{\epsilon}$ ，就可以恢复出 $\mathbf{x}\_0$ ： + +$$\hat{\mathbf{x}}\_0 = \frac{\mathbf{x}\_t - \sqrt{1-\bar{\alpha}\_t}\boldsymbol{\epsilon}\_\theta(\mathbf{x}\_t, t)}{\sqrt{\bar{\alpha}\_t}}$$ + +这种参数化的优势在于： +- 噪声预测在不同时间步的尺度较为一致 +- 与基于分数的生成模型有深刻联系（将在第4章详述） +- 实践中训练更稳定，收敛更快 + +#### 方差的选择：固定还是学习？ + +方差 $\sigma\_t^2$ 的选择是一个微妙的设计决策： + +**固定方差策略**（DDPM采用）： +- 设置 $\sigma\_t^2 = \beta\_t$ 或 $\sigma\_t^2 = \frac{1-\bar{\alpha}\_{t-1}}{1-\bar{\alpha}\_t}\beta\_t$ +- 这些选择基于在已知 $\mathbf{x}\_0$ 时的真实后验方差 +- 简单且计算高效，不需要额外的网络输出 + +**学习方差策略**（Improved DDPM等）： +- 网络同时预测均值和方差（或对数方差） +- 可以更好地建模数据的不确定性 +- 在某些任务上可以提升生成质量，但增加了优化难度 + ⚡ **实现挑战：方差参数化的选择** -固定方差vs学习方差是一个未解决的权衡问题。DDPM使用固定的、与 $\beta\_t$ 相关的方差，而后续工作（如Improved DDPM）则学习方差 $\sigma\_t^2$ 。理论上最优的参数化形式是什么？这涉及到`torch.nn.Parameter`的灵活使用和梯度流的稳定性分析。 +固定方差vs学习方差是一个未解决的权衡问题。理论上，最优的方差应该反映模型在每个位置和时间步的不确定性。但实践中，学习方差可能导致训练不稳定。一个折中方案是学习方差的插值系数：$\sigma\_t^2 = \exp(v\_\theta \log \beta\_t + (1-v\_\theta) \log \tilde{\beta}\_t)$，其中 $v\_\theta \in [0,1]$ 由网络预测。这涉及到`torch.nn.Parameter`的灵活使用和梯度流的稳定性分析。 + +#### 贝叶斯视角：后验推断的优雅 + +从贝叶斯推断的角度看，反向过程实际上是在做后验推断。如果我们知道 $\mathbf{x}\_0$ ，那么真实的后验分布 $q(\mathbf{x}\_{t-1} | \mathbf{x}\_t, \mathbf{x}\_0)$ 有闭式解： + +$$q(\mathbf{x}\_{t-1} | \mathbf{x}\_t, \mathbf{x}\_0) = \mathcal{N}(\mathbf{x}\_{t-1}; \tilde{\boldsymbol{\mu}}\_t(\mathbf{x}\_t, \mathbf{x}\_0), \tilde{\beta}\_t \mathbf{I})$$ + +其中后验均值和方差为： +$$\tilde{\boldsymbol{\mu}}\_t(\mathbf{x}\_t, \mathbf{x}\_0) = \frac{\sqrt{\bar{\alpha}\_{t-1}}\beta\_t}{1-\bar{\alpha}\_t}\mathbf{x}\_0 + \frac{\sqrt{\alpha\_t}(1-\bar{\alpha}\_{t-1})}{1-\bar{\alpha}\_t}\mathbf{x}\_t$$ + +$$\tilde{\beta}\_t = \frac{1-\bar{\alpha}\_{t-1}}{1-\bar{\alpha}\_t} \beta\_t$$ + +这个公式揭示了一个重要事实：如果我们能准确预测 $\mathbf{x}\_0$ （或等价地，预测噪声 $\boldsymbol{\epsilon}$ ），就能计算出最优的去噪方向。这正是神经网络需要学习的核心能力。
**练习 1.2：探索扩散过程的数学本质** @@ -86,18 +195,123 @@ $$p\_\theta(\mathbf{x}\_{t-1} | \mathbf{x}\_t) = \mathcal{N}(\mathbf{x}\_{t-1}; 2. **信息论视角**：推导并分析互信息 $I(x\_t; x\_0)$ 如何随时间 $t$ 衰减。这对于理解扩散过程中的信息损失有何启示？ 3. **最优反向过程**：证明当 $\beta\_t \to 0$ 时，真实的反向过程条件分布 $q(\mathbf{x}\_{t-1} | \mathbf{x}\_t, \mathbf{x}\_0)$ 的均值，可以仅由 $\mathbf{x}\_t$ 和 $\nabla\_{\mathbf{x}\_t} \log q\_t(\mathbf{x}\_t)$ （即分数函数）来近似表达。这揭示了扩散模型与分数模型的深刻联系（将在第4章详细讨论）。 4. **研究思路**： - * 将1D高斯情况下的解析解作为理解高维、复杂数据分布上扩散过程的“玩具模型”。 + * 将1D高斯情况下的解析解作为理解高维、复杂数据分布上扩散过程的"玩具模型"。 * 探索非高斯噪声（如Laplace或Student's-t分布）对前向和反向过程的影响。 * 研究该过程与Ornstein-Uhlenbeck过程的联系。
+### 1.2.3 训练目标：变分下界的优雅 + +扩散模型的训练目标源于最大似然估计。给定观测数据 $\mathbf{x}_0$ ，我们希望最大化其在模型下的对数似然 $\log p_\theta(\mathbf{x}_0)$ 。由于直接计算这个似然涉及对所有可能的扩散路径进行积分，在计算上是不可行的。因此，我们转而优化其变分下界（Evidence Lower Bound, ELBO）。 + +通过巧妙的数学推导，ELBO可以分解为一系列更简单的项。最终，DDPM将复杂的优化问题简化为一个优雅的去噪目标： + +$$L_{\text{simple}} = \mathbb{E}_{t, \mathbf{x}_0, \boldsymbol{\epsilon}} \left[ \|\boldsymbol{\epsilon} - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t)\|^2 \right]$$ + +其中 $t$ 从 $\{1, ..., T\}$ 均匀采样， $\boldsymbol{\epsilon} \sim \mathcal{N}(0, \mathbf{I})$ 是添加的噪声， $\mathbf{x}_t$ 是通过重参数化得到的噪声数据。 + +这个损失函数的美妙之处在于其简单性： +- **直观解释**：网络学习预测在每个时间步添加的噪声 +- **计算高效**：每次只需要采样一个时间步，而不是整个轨迹 +- **梯度稳定**：L2损失提供了平滑的梯度信号 + +🌟 **理论空白：扩散速度的几何含义** +前向扩散过程在数据流形上的速度场有何几何意义？与Ricci流的联系如何？这个联系源于两者都描述了几何结构的演化：Ricci流通过 $\frac{\partial g\_{ij}}{\partial t} = -2R\_{ij}$ 使流形曲率均匀化，最终趋向常曲率空间；而扩散过程使数据分布从复杂流形逐渐"展平"到各向同性高斯分布。两者都涉及从复杂几何到简单几何的演化，且都可用PDE描述。理解这种深层联系可能启发新的采样算法，例如利用流形的曲率信息来设计自适应的噪声调度。 + +### 1.2.4 采样过程：从理论到实践 + +训练完成后，我们可以通过反向过程生成新的样本。采样算法从标准高斯噪声开始，迭代应用学习到的去噪网络： + +1. 采样初始噪声： $\mathbf{x}_T \sim \mathcal{N}(0, \mathbf{I})$ +2. 对于 $t = T, T-1, ..., 1$ ： + - 如果 $t > 1$ ，添加噪声： $\mathbf{z} \sim \mathcal{N}(0, \mathbf{I})$ + - 否则： $\mathbf{z} = \mathbf{0}$ + - 应用去噪步骤： $\mathbf{x}_{t-1} = \frac{1}{\sqrt{\alpha_t}}(\mathbf{x}_t - \frac{1-\alpha_t}{\sqrt{1-\bar{\alpha}_t}}\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t)) + \sigma_t \mathbf{z}$ + +这个采样过程展现了扩散模型的核心魅力：通过学习去噪，我们实现了生成。每一步去噪都在逐渐揭示数据的结构，就像雕塑家从大理石中雕刻出雕像一样。 + ## 1.3 扩散模型的优势 -- **生成质量高**：能够生成极其逼真的图像和音频，在许多基准测试上超越生成对抗网络（GAN）。 -- **训练稳定**：与GAN不同，扩散模型没有对抗训练中常见的模式崩塌（mode collapse）问题，训练过程通常更加稳定和可复现。 -- **理论基础扎实**：模型基于严格的概率论框架，其目标函数（变分下界）有明确的统计意义。 -- **灵活性强**：易于扩展到各种条件生成任务（如文本到图像、图像修复），并支持精确的似然估计。 +扩散模型在生成模型领域的崛起并非偶然。它解决了许多困扰早期生成模型的核心问题，同时带来了新的可能性。让我们深入分析扩散模型的独特优势，理解为什么它能够在短时间内成为生成AI的主流选择。 + +### 生成质量：细节的胜利 + +扩散模型最引人注目的优势是其卓越的生成质量。在FID（Fréchet Inception Distance）、IS（Inception Score）等标准评测指标上，扩散模型consistently超越了GAN。但更重要的是，扩散模型在生成细节方面的表现尤为出色： + +- **纹理保真度**：扩散模型能够生成极其精细的纹理，如皮肤的毛孔、织物的纹理、水面的涟漪等 +- **全局一致性**：生成的图像在全局结构上保持良好的一致性，避免了GAN常见的局部伪影 +- **多样性保持**：能够捕获数据分布的全部模态，而不是像某些GAN那样只关注高概率区域 + +这种质量优势源于扩散模型的渐进式生成过程。不同于GAN的一步到位，扩散模型通过数百甚至上千步的迭代细化，每一步都在改善生成质量。这种"慢工出细活"的方式虽然计算成本较高，但换来了无与伦比的生成质量。 + +### 训练稳定性：告别模式崩塌 + +如果你曾经训练过GAN，一定对其训练的不稳定性深有体会。生成器和判别器之间的对抗博弈常常导致： + +- **模式崩塌（Mode Collapse）**：生成器只学会生成少数几种样本 +- **梯度消失/爆炸**：判别器过强或过弱都会导致训练失败 +- **超参数敏感性**：微小的超参数变化可能导致完全不同的结果 + +扩散模型彻底改变了这一局面。其训练目标是一个简单的去噪任务，没有对抗网络的不稳定性： + +$$L = \mathbb{E}_{t, \mathbf{x}_0, \boldsymbol{\epsilon}} \left[ \|\boldsymbol{\epsilon} - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t)\|^2 \right]$$ + +这个L2损失函数： +- **梯度平滑**：提供稳定的梯度信号，不会出现梯度消失或爆炸 +- **无需平衡**：不需要精心平衡两个网络的训练速度 +- **收敛可预测**：损失曲线平滑下降，训练进度清晰可见 + +### 理论基础：概率论的优雅 + +扩散模型建立在坚实的概率论基础之上。每个设计选择都有明确的理论依据： + +1. **变分推断框架**：模型优化的是数据似然的变分下界（ELBO），这是一个有明确统计意义的目标 +2. **与物理过程的联系**：前向过程对应于物理中的扩散现象，反向过程对应于时间反演 +3. **与最优传输的联系**：扩散路径可以视为连接数据分布和噪声分布的传输路径 + +这种理论基础带来的好处是： +- **可解释性强**：模型的每个组件都有清晰的概率解释 +- **改进有方向**：理论分析可以指导模型的改进方向 +- **与其他方法的桥梁**：容易与分数匹配、流模型等其他方法建立联系 + +### 灵活性：一个框架，多种应用 + +扩散模型的框架极其灵活，可以轻松适应各种生成任务： + +**条件生成**：通过在去噪网络中注入条件信息，可以实现： +- 文本到图像生成（如DALL-E 2、Stable Diffusion） +- 图像到图像翻译 +- 类别条件生成 +- 多模态生成 + +**图像编辑**：利用扩散模型的迭代特性，可以实现： +- 图像修复（inpainting） +- 超分辨率 +- 风格迁移 +- 语义编辑 + +**精确似然估计**：不同于GAN，扩散模型可以： +- 计算数据的精确似然下界 +- 进行异常检测 +- 模型比较和选择 + +### 可控性：精确控制生成过程 + +扩散模型提供了前所未有的生成控制能力： + +1. **引导强度控制**：通过调整classifier-free guidance的强度，可以在多样性和质量之间权衡 +2. **中间状态访问**：可以在任意时间步查看和修改生成过程 +3. **噪声控制**：通过控制初始噪声和采样随机性，可以精确控制生成结果 + +这种可控性在实际应用中极为重要，使得扩散模型不仅是研究工具，更是实用的生产力工具。 + +🔬 **研究前沿：效率与质量的平衡** +尽管扩散模型有诸多优势，但其主要劣势是采样速度慢。当前的研究热点包括： +- **蒸馏方法**：将多步扩散模型蒸馏为少步模型 +- **并行采样**：设计可以并行执行的采样算法 +- **自适应步数**：根据生成难度动态调整采样步数 +这些方向都试图在保持生成质量的同时提高效率，是未来发展的关键。 ## 1.4 历史发展与里程碑 From a4b8fa3461ecc0fa852e50ff21a9fcdc2279afbb Mon Sep 17 00:00:00 2001 From: William Date: Thu, 31 Jul 2025 09:22:56 +0800 Subject: [PATCH 45/62] interim --- chapter11.md | 382 ++++++++++++++++++++++++++++++++++++++++++++------- 1 file changed, 332 insertions(+), 50 deletions(-) diff --git a/chapter11.md b/chapter11.md index abb61f5..78b2c38 100644 --- a/chapter11.md +++ b/chapter11.md @@ -38,71 +38,349 @@ ## 11.1 视频生成的挑战与机遇 +视频生成代表着生成模型的前沿挑战。不同于静态图像，视频需要在空间和时间两个维度上同时建模复杂的模式。当我们观看一段自然流畅的视频时，大脑会无意识地处理大量的视觉信息：物体的运动轨迹、光影的变化、场景的转换，以及这些元素之间错综复杂的相互作用。对于机器学习模型而言，重现这种自然性是一项艰巨的任务。 + ### 11.1.1 时序一致性要求 -视频生成的核心挑战是保持时间上的连贯性： +视频生成的核心挑战是保持时间上的连贯性。这种连贯性体现在多个层面，每个层面都有其独特的技术难点。 -**1. 对象持续性**： -- 物体身份在帧间保持一致 -- 外观特征（颜色、纹理）稳定 -- 形状变化符合物理规律 +**1. 对象持续性** -**2. 运动连续性**： -- 轨迹平滑自然 -- 速度和加速度合理 -- 遮挡关系正确 +在真实世界中，物体具有持续的身份标识。一个红色的球从画面左边滚到右边，它始终是同一个球。这看似简单的事实，对生成模型来说却充满挑战： -**3. 光照一致性**： -- 阴影随物体移动 -- 反射和高光稳定 -- 环境光照渐变 +- **物体身份在帧间保持一致**：模型需要理解什么是"同一个物体"。这不仅仅是外观的相似性，更涉及到语义层面的理解。例如，一个人转身后，虽然看到的是背影，但仍然是同一个人。扩散模型需要在潜在空间中编码这种身份信息，并确保在去噪过程中保持稳定。 -[代码块已移除] +- **外观特征（颜色、纹理）稳定**：真实物体的颜色和纹理不会随机变化。然而，独立生成每一帧时，模型可能会产生微小的颜色偏差或纹理变化，累积起来就会造成明显的闪烁。这需要在训练时引入专门的损失函数，惩罚帧间的不必要变化。 + +- **形状变化符合物理规律**：物体的形变应该是连续和合理的。例如，一个弹跳的球在压缩和恢复时应该遵循弹性形变的规律。这要求模型隐式地学习物理世界的约束，或者显式地引入物理先验。 + +**2. 运动连续性** + +运动是视频的灵魂。流畅自然的运动需要满足多重约束： + +- **轨迹平滑自然**：物体的运动路径应该是连续可微的。突然的方向改变或位置跳跃会立即被人眼察觉。在扩散模型中，这通常通过在时间维度上应用平滑性约束来实现。例如，可以使用光流估计来计算相邻帧之间的运动场，并鼓励运动场的平滑性。 + +- **速度和加速度合理**：不同类型的物体有不同的运动特性。一片羽毛的飘落和一块石头的下落遵循完全不同的动力学规律。模型需要学习这些隐含的物理规律，这可以通过大规模的视频数据训练获得，也可以通过引入物理仿真作为先验知识。 + +- **遮挡关系正确**：当多个物体相互遮挡时，需要正确处理深度关系和可见性。被遮挡的部分应该在适当的时候消失和重现，且重现时的外观应该与消失前保持一致。这需要模型具有某种形式的3D理解能力。 + +**3. 光照一致性** + +光照的变化为视频增添了真实感，但也带来了额外的复杂性： + +- **阴影随物体移动**：阴影是物体存在的重要视觉线索。当物体移动时，其投射的阴影也应该相应地改变位置和形状。这需要模型理解光源的位置和物体的3D结构。 + +- **反射和高光稳定**：镜面反射和高光点应该随着视角和物体位置的改变而合理地移动。例如，金属球表面的高光点应该始终指向光源方向。 + +- **环境光照渐变**：场景中的整体光照可能会缓慢变化（如日落时分），这种变化应该是渐进和全局一致的。所有物体都应该受到相同的光照变化影响。 + +为了量化这些一致性要求，研究者们设计了各种度量指标。例如，时序稳定性可以通过计算相邻帧之间的感知距离来衡量： + +$$\mathcal{L}_{\text{temporal}} = \sum_{t=1}^{T-1} \|\phi(x_t) - \phi(x_{t+1})\|^2$$ + +其中$\phi$是预训练的特征提取器（如VGG网络）。这个损失函数鼓励相邻帧在感知特征空间中保持接近。 💡 **关键洞察：时序正则化的重要性** -单纯的帧级损失会导致闪烁。必须显式地鼓励时序平滑性，但过度平滑会失去运动细节。平衡是关键。 +单纯的帧级损失会导致闪烁。必须显式地鼓励时序平滑性，但过度平滑会失去运动细节。平衡是关键。研究表明，结合多尺度的时序损失（像素级、特征级、语义级）能够获得最佳效果。 ### 11.1.2 计算和内存瓶颈 -视频数据的高维特性带来巨大挑战： +视频数据的高维特性带来的计算挑战远超静态图像。这不仅仅是简单的线性增长，而是涉及到存储、计算和优化等多个方面的复合难题。 -**维度爆炸**： -- 图像：`[B, C, H, W]` → 4D张量 -- 视频：`[B, T, C, H, W]` → 5D张量 -- 内存需求：T倍增长 +**维度爆炸** -**计算复杂度分析**： +当我们从图像扩展到视频时，数据维度的增长是惊人的： -[代码实现已转换为数学公式和文字描述] +- 图像：`[B, C, H, W]` → 4D张量（批次、通道、高度、宽度） +- 视频：`[B, T, C, H, W]` → 5D张量（增加了时间维度T） +- 内存需求：理论上是T倍增长，但实际情况更复杂 + +让我们通过具体数字来理解这种爆炸性增长。一个256×256的RGB图像需要约200KB存储空间。而一个相同分辨率、持续1秒（24帧）的视频片段则需要约4.8MB。如果我们要生成一个10秒的高清视频（1920×1080），仅原始数据就需要约1.5GB的内存。这还没有考虑模型的中间激活值，后者通常是原始数据的数十倍。 + +**计算复杂度分析** + +视频扩散模型的计算复杂度在多个层面上超越图像模型： + +1. **注意力机制的复杂度**： + - 空间注意力：$O(B \cdot T \cdot (H \cdot W)^2 \cdot C)$ + - 时空注意力：$O(B \cdot (T \cdot H \cdot W)^2 \cdot C)$ + + 当T=16（半秒视频）时，时空注意力的计算量是空间注意力的256倍！这使得直接应用全局注意力变得不可行。 + +2. **卷积操作的复杂度**： + - 2D卷积：$O(B \cdot T \cdot C_{in} \cdot C_{out} \cdot H \cdot W \cdot k^2)$ + - 3D卷积：$O(B \cdot C_{in} \cdot C_{out} \cdot T \cdot H \cdot W \cdot k^3)$ + + 3D卷积在时间维度上增加了额外的计算，使得每层的计算量增加k倍（k为时间核大小）。 + +3. **梯度累积问题**： + 视频的长序列特性导致反向传播时需要存储大量的中间梯度。对于T帧的视频，梯度存储需求也近似线性增长。这在实践中常常导致GPU内存溢出。 + +**内存管理策略** + +面对这些挑战，研究者们开发了多种内存优化技术： + +1. **梯度检查点（Gradient Checkpointing）**： + 通过选择性地存储激活值，在前向传播时丢弃部分中间结果，反向传播时重新计算。这可以将内存需求从$O(T)$降低到$O(\sqrt{T})$，代价是增加约30%的计算时间。 + +2. **混合精度训练**： + 使用FP16进行大部分计算，仅在必要时使用FP32。这不仅减少50%的内存使用，还能利用现代GPU的Tensor Core加速计算。关键是要正确处理数值稳定性问题。 + +3. **时间分片处理**： + 将长视频分割成重叠的短片段，分别处理后融合。例如，将32帧的视频分成4个11帧的片段（3帧重叠），可以显著降低峰值内存使用。 + +4. **激活值重计算**： + 对于某些计算密集但内存友好的操作（如LayerNorm），可以选择不存储激活值，而是在反向传播时重新计算。 + +**计算效率优化** + +除了内存管理，计算效率的优化同样重要： + +1. **稀疏注意力模式**： + - 局部时间窗口：每帧只关注前后k帧 + - 分层注意力：不同层使用不同的时间感受野 + - 学习式稀疏：通过元学习确定哪些帧对需要关注 + +2. **因子化架构**： + 将时空建模分解为"空间建模→时间建模→空间建模"的序列。虽然表达能力有所降低，但计算效率提升显著。 + +3. **知识蒸馏**： + 训练一个大型教师模型，然后蒸馏到更小的学生模型。学生模型可以使用更激进的架构简化。 🔬 **研究线索：高效时空表示** -如何设计更高效的时空表示？分解方法（空间+时间）、稀疏表示、或是全新的架构？这是活跃的研究领域。 +如何设计更高效的时空表示？当前的研究方向包括： +- **神经场表示**：使用隐式神经表示编码视频，可以实现极高的压缩率 +- **层次化表示**：在不同时间尺度上使用不同的表示粒度 +- **运动补偿预测**：只存储关键帧和运动信息，大幅减少冗余 +- **可学习的视频编码器**：端到端学习最适合扩散模型的视频表示 + +这些方向都在积极探索中，有望在未来实现数量级的效率提升。 ### 11.1.3 运动表示与建模 -**运动的多尺度特性**： -1. **像素级运动**：光流、形变场 -2. **对象级运动**：轨迹、旋转、缩放 -3. **场景级运动**：相机运动、视角变化 +运动是区分视频和图像序列的关键要素。有效地表示和建模运动不仅是技术挑战，更触及视觉感知的本质。人类视觉系统对运动极其敏感——我们能够轻易察觉不自然的运动，这使得运动建模成为视频生成的核心难题。 -**运动表示方法**： +**运动的多尺度特性** -[代码实现已转换为数学公式和文字描述] +运动在视频中以多种尺度和形式存在，每种都需要不同的建模策略： + +1. **像素级运动**：光流与形变场 + + 在最细粒度上，运动表现为像素的位移。光流（Optical Flow）是描述这种运动的经典方法，它为每个像素分配一个2D运动向量$(u, v)$，表示该像素在连续帧之间的位移。 + + 光流的基本假设是亮度恒定性： + $$I(x, y, t) = I(x + u, y + v, t + 1)$$ + + 然而，真实世界的运动远比简单的平移复杂。物体可能发生旋转、缩放、剪切等形变。这时需要更一般的形变场表示： + $$\mathbf{p}' = \mathbf{A}\mathbf{p} + \mathbf{t}$$ + + 其中$\mathbf{A}$是仿射变换矩阵，$\mathbf{t}$是平移向量。对于非刚性形变，则需要使用更复杂的变换模型，如薄板样条（Thin Plate Spline）或自由形变（Free Form Deformation）。 + +2. **对象级运动**：轨迹与变换 + + 真实世界中，我们更多地感知对象而非像素的运动。对象级运动建模需要首先进行实例分割，然后跟踪每个对象的运动轨迹。 + + 对象运动可以分解为几个组成部分： + - **平移轨迹**：对象中心在空间中的路径 + - **旋转运动**：围绕自身轴的旋转（如车轮转动） + - **缩放变化**：由于透视效应或真实大小改变 + - **形变运动**：非刚性物体的形状变化（如行人的肢体运动） + + 这种分解允许我们使用参数化模型来紧凑地表示复杂运动。例如，一个弹跳球的运动可以用抛物线轨迹加上周期性的压缩-恢复形变来描述。 + +3. **场景级运动**：相机运动与全局变换 + + 当相机移动时，整个场景会发生协调一致的运动。这种全局运动模式包括： + - **平移（Pan）**：相机水平或垂直移动 + - **缩放（Zoom）**：相机接近或远离场景 + - **旋转（Rotation）**：相机围绕光轴旋转 + - **透视变换**：更复杂的3D相机运动 + + 理解和分离相机运动与对象运动是视频理解的关键挑战。这通常通过估计基础矩阵（Fundamental Matrix）或单应性矩阵（Homography Matrix）来实现。 + +**运动表示方法** + +不同的应用场景需要不同的运动表示方法： + +1. **显式运动表示** + + 直接编码运动信息，如光流场或轨迹： + + $$\mathbf{M} = \{\mathbf{v}_{x,y,t} | \mathbf{v} = (u, v) \text{ 是位置 } (x,y) \text{ 在时刻 } t \text{ 的运动向量}\}$$ + + 优点： + - 可解释性强 + - 可以直接施加物理约束 + - 易于编辑和控制 + + 缺点： + - 需要额外的运动估计步骤 + - 对遮挡和大位移处理困难 + - 离散表示可能丢失细节 + +2. **隐式运动表示** + + 通过神经网络学习运动的潜在表示： + + $$\mathbf{z}_{\text{motion}} = f_{\text{encode}}(\mathbf{x}_{t-k:t+k})$$ + + 其中$f_{\text{encode}}$是一个神经网络，从时间窗口中提取运动特征。 + + 优点： + - 端到端学习，无需手工特征 + - 可以捕获复杂的运动模式 + - 自然处理遮挡和复杂场景 + + 缺点： + - 缺乏可解释性 + - 难以施加明确的约束 + - 需要大量数据学习 + +3. **混合表示** + + 结合显式和隐式方法的优点： + + $$\mathbf{M}_{\text{hybrid}} = \mathbf{M}_{\text{explicit}} + g(\mathbf{z}_{\text{residual}})$$ + + 其中$\mathbf{M}_{\text{explicit}}$是估计的光流或轨迹，$g(\mathbf{z}_{\text{residual}})$是神经网络预测的残差运动。 + +**运动先验与约束** + +有效的运动建模需要合适的先验知识： + +1. **平滑性先验**：自然运动通常是平滑的 + $$\mathcal{L}_{\text{smooth}} = \sum_{x,y} \|\nabla u\|^2 + \|\nabla v\|^2$$ + +2. **刚性约束**：刚体的运动保持形状不变 + $$\mathcal{L}_{\text{rigid}} = \sum_{i,j} (d_{ij}^{t+1} - d_{ij}^t)^2$$ + 其中$d_{ij}$是点$i$和$j$之间的距离。 + +3. **物理约束**：运动应遵循物理定律 + - 重力影响：$a_y = -g$ + - 动量守恒：$m_1v_1 + m_2v_2 = \text{const}$ + - 能量守恒：$E_{\text{kinetic}} + E_{\text{potential}} = \text{const}$ + +4. **因果约束**：未来不应影响过去 + 这在扩散模型中通过掩码注意力机制实现，确保时刻$t$的生成只依赖于$t' \leq t$的信息。 ### 11.1.4 数据集与评估指标 -**主要数据集**： +高质量的数据集和合理的评估指标是推动视频生成技术发展的基石。与图像生成相比，视频数据集的构建面临着独特的挑战：数据量巨大、标注困难、质量参差不齐。同时，如何全面评估生成视频的质量也是一个开放的研究问题。 -| 数据集 | 规模 | 分辨率 | 特点 | -|--------|------|---------|------| -| UCF-101 | 13K videos | 240p | 人类动作 | -| Kinetics | 650K videos | 变化 | 多样动作 | -| WebVid-10M | 10M videos | 360p | 文本配对 | -| HD-VILA-100M | 100M videos | 720p | 高质量 | +**主要数据集概览** + +视频生成领域的数据集经历了从小规模、特定领域到大规模、通用领域的演进： -**评估指标**： +| 数据集 | 规模 | 分辨率 | 特点 | 应用场景 | +|--------|------|---------|------|----------| +| UCF-101 | 13K videos | 240p | 人类动作识别 | 动作条件生成 | +| Kinetics | 650K videos | 变化 | 多样化人类动作 | 通用视频生成 | +| WebVid-10M | 10M videos | 360p | 文本-视频对 | 文本到视频生成 | +| HD-VILA-100M | 100M videos | 720p+ | 高质量、长视频 | 高清视频生成 | +| Moments in Time | 1M videos | 变化 | 3秒事件片段 | 短视频生成 | +| HowTo100M | 136M clips | 变化 | 教学视频 | 程序性视频生成 | -[代码实现已转换为数学公式和文字描述] +**数据集的深度剖析** + +1. **UCF-101：视频生成的MNIST** + + 尽管规模较小，UCF-101仍然是评估新方法的重要基准。它包含101类人类动作，每类约100个视频。其价值在于： + - 类别平衡，便于控制实验 + - 动作语义清晰，易于评估 + - 计算需求适中，适合快速迭代 + +2. **Kinetics系列：规模与多样性的平衡** + + Kinetics-400/600/700提供了更大规模和更高多样性： + - 覆盖日常生活的各种动作 + - 包含复杂的人-物交互 + - 视频来源多样（YouTube） + + 挑战：视频质量不一，需要仔细的预处理。 + +3. **WebVid-10M：文本监督的突破** + + 第一个大规模文本-视频数据集，开启了文本到视频生成的新纪元： + - 自动收集的alt-text描述 + - 涵盖广泛的主题和风格 + - 弱监督但规模巨大 + + 局限：文本描述质量参差，常常过于简短或不准确。 + +4. **HD-VILA-100M：质量的新标准** + + 专门为高质量视频生成设计： + - 严格的质量筛选（运动平滑性、分辨率、美学） + - 更长的视频片段（10-60秒） + - 多模态标注（文本、音频、动作） + +**数据预处理的艺术** + +原始视频数据需要经过精心的预处理才能用于训练： + +1. **时间采样策略**： + - 固定帧率采样：保持时间一致性 + - 自适应采样：根据运动强度调整 + - 关键帧采样：捕获重要时刻 + +2. **空间处理**： + - 中心裁剪 vs. 随机裁剪 + - 保持宽高比 vs. 强制正方形 + - 多尺度训练策略 + +3. **质量控制**： + - 场景切换检测和过滤 + - 运动模糊和压缩伪影检测 + - 美学质量评分 + +**评估指标的多维度视角** + +评估生成视频的质量需要从多个角度考虑： + +**1. 视觉质量指标** + +- **FVD (Fréchet Video Distance)**： + $$\text{FVD} = \|\mu_r - \mu_g\|^2 + \text{Tr}(\Sigma_r + \Sigma_g - 2(\Sigma_r\Sigma_g)^{1/2})$$ + + 其中$\mu_r, \Sigma_r$和$\mu_g, \Sigma_g$分别是真实和生成视频在I3D特征空间中的均值和协方差。FVD是目前最广泛使用的指标，但它主要关注分布层面的相似性。 + +- **LPIPS-T (Temporal LPIPS)**： + $$\text{LPIPS-T} = \frac{1}{T-1}\sum_{t=1}^{T-1} \text{LPIPS}(x_t, x_{t+1})$$ + + 衡量时间一致性，值越小表示帧间变化越平滑。 + +- **PSNR/SSIM的时序扩展**： + 传统图像质量指标的帧平均版本，提供像素级的质量评估。 + +**2. 运动质量指标** + +- **Motion Consistency Score**： + 通过光流估计评估运动的连贯性： + $$\text{MCS} = \exp(-\frac{1}{T-2}\sum_{t=1}^{T-2}\|F_{t \to t+1} \circ F_{t+1 \to t+2} - F_{t \to t+2}\|)$$ + + 其中$F_{i \to j}$表示从帧$i$到帧$j$的光流，$\circ$表示光流的复合。 + +- **Action Recognition Accuracy**： + 使用预训练的动作识别模型评估生成视频的动作可识别性。 + +**3. 语义一致性指标** + +- **CLIP-SIM (时序版本)**： + $$\text{CLIP-SIM} = \frac{1}{T}\sum_{t=1}^{T} \cos(\text{CLIP}_\text{img}(x_t), \text{CLIP}_\text{text}(c))$$ + + 评估生成视频与文本条件的语义对齐。 + +- **VQA Score**： + 使用视频问答模型评估生成内容的语义正确性。 + +**4. 人类评估** + +尽管自动指标很有用，人类评估仍然是金标准： + +- **MOS (Mean Opinion Score)**：整体质量评分 +- **时序一致性评分**：专门评估时间连贯性 +- **真实度评分**：与真实视频的可区分性 +- **条件一致性评分**：与输入条件的匹配程度
**练习 11.1：分析视频生成的挑战** @@ -110,24 +388,28 @@ 深入理解视频生成的独特挑战。 1. **时序建模实验**： - - 实现简单的帧插值基线 - - 测试不同的时序一致性损失 - - 分析失败案例（闪烁、漂移等） + - 实现简单的帧插值基线（如线性插值、光流warp） + - 测试不同的时序一致性损失（L2、感知损失、对抗损失） + - 分析失败案例（闪烁、漂移、物体消失等） + - 提示：使用`torch.nn.functional.grid_sample`实现光流warp 2. **内存优化探索**： - - 比较不同的视频表示（RGB vs 光流） - - 实现梯度检查点减少内存 - - 测试混合精度训练效果 + - 比较不同的视频表示（RGB vs 光流 vs 潜在编码） + - 实现梯度检查点（`torch.utils.checkpoint`）减少内存 + - 测试混合精度训练效果（`torch.cuda.amp`） + - 量化不同策略的内存使用和训练速度 3. **运动分析**： - - 可视化不同类型的运动模式 - - 实现运动分解（全局vs局部） - - 研究运动先验的作用 + - 可视化不同类型的运动模式（使用光流可视化） + - 实现运动分解（全局运动估计 + 局部运动残差） + - 研究运动先验的作用（平滑性、刚性约束等） + - 尝试：使用RAFT或FlowNet2估计光流 4. **数据集构建**： - - 设计视频质量筛选pipeline - - 实现高效的视频预处理 - - 创建专门的评测基准 + - 设计视频质量筛选pipeline（场景切换检测、质量评分） + - 实现高效的视频预处理（并行化、缓存策略） + - 创建专门的评测基准（定义任务、收集数据、设计指标） + - 工具推荐：`ffmpeg-python`、`cv2`、`decord`
From 3e34d4f4be5feae8d74f3480b1d050a53b51aab7 Mon Sep 17 00:00:00 2001 From: William Date: Thu, 31 Jul 2025 09:29:40 +0800 Subject: [PATCH 46/62] interim --- chapter5.md | 485 +++++++++++++++++++++++++++++++++++++++++++++++++--- 1 file changed, 460 insertions(+), 25 deletions(-) diff --git a/chapter5.md b/chapter5.md index 702ced2..5174577 100644 --- a/chapter5.md +++ b/chapter5.md @@ -17,6 +17,22 @@ $x_k = \sqrt{1-\beta_k} x_{k-1} + \sqrt{\beta_k} z_{k-1}, \quad z_{k-1} \sim \ma 1. **保持一部分原位置**：这对应 $\sqrt{1-\beta_k} x_{k-1}$ 项，表示墨水的"惯性" 2. **加入随机扰动**：这对应 $\sqrt{\beta_k} z_{k-1}$ 项，表示分子的布朗运动 +#### 系数的深层含义 + +为什么选择 $\sqrt{1-\beta_k}$ 和 $\sqrt{\beta_k}$ 这样的系数？这不是随意的，而是基于深刻的数学考虑： + +**方差守恒原理**：假设 $x_{k-1}$ 的方差为 $\sigma^2$，而 $z_{k-1}$ 是标准正态分布（方差为1）。那么 $x_k$ 的方差为： +$$\text{Var}(x_k) = (1-\beta_k)\text{Var}(x_{k-1}) + \beta_k \cdot 1 = (1-\beta_k)\sigma^2 + \beta_k$$ + +当 $\sigma^2 = 1$ 时，我们得到 $\text{Var}(x_k) = 1$，方差保持不变！这种设计避免了数值不稳定：如果方差不断增长，最终会导致数值溢出；如果方差不断衰减，信号会消失在数值精度中。 + +**信噪比的渐进衰减**：定义信噪比（Signal-to-Noise Ratio, SNR）为： +$$\text{SNR}_k = \frac{\text{信号强度}}{\text{噪声强度}} = \frac{\bar{\alpha}_k}{1-\bar{\alpha}_k}$$ + +其中 $\bar{\alpha}_k = \prod_{i=1}^k (1-\beta_i)$。随着 $k$ 增加，SNR单调递减，最终趋近于0，这意味着数据信号逐渐被噪声淹没。 + +#### 泰勒展开与连续化 + 当 $\beta_k$ 很小时，过程变化缓慢，我们可以用泰勒展开来近似： $\sqrt{1 - \beta_k} \approx 1 - \frac{\beta_k}{2} - \frac{\beta_k^2}{8} + O(\beta_k^3)$ @@ -25,22 +41,55 @@ $x_k - x_{k-1} \approx -\frac{\beta_k}{2} x_{k-1} + \sqrt{\beta_k} z_{k-1}$ 💡 **直觉理解**：左边是位置的变化量，右边第一项是一个"向原点的拉力"（因为系数为负），第二项是随机扰动。这就像一个被橡皮筋拴在原点的粒子，在随机力的作用下运动。 +这个近似的精度如何？让我们分析误差项： +- **二阶误差**：$O(\beta_k^2)$ 项在实际应用中通常很小。例如，如果 $\beta_k = 0.0001$（典型值），则二阶误差约为 $10^{-8}$ +- **累积误差**：虽然单步误差很小，但经过 $N$ 步后，累积误差可能达到 $O(N\beta_k^2)$。这解释了为什么需要足够小的 $\beta_k$ + 现在进行时间的连续化。将时间区间 $[0, T]$ 分成 $N$ 份，令 $\Delta t = T/N$，并设 $\beta_k = b(t_k)\Delta t$，其中 $b(t)$ 是噪声调度函数。代入后： $\frac{x(t_k) - x(t_{k-1})}{\Delta t} \approx -\frac{b(t_{k-1})}{2} x(t_{k-1}) + \sqrt{b(t_{k-1})} \frac{z_{k-1}}{\sqrt{\Delta t}}$ +#### 白噪声的涌现 + 这里的关键洞察是：当 $\Delta t \to 0$ 时， - 左边收敛到导数 $\frac{dx}{dt}$ - 右边第一项保持不变 - 右边第二项 $\frac{z_{k-1}}{\sqrt{\Delta t}}$ 看起来会爆炸！ -但奇妙的是，这个"爆炸"的项正是白噪声的正确缩放。根据中心极限定理的连续时间版本，当我们累加许多独立的小随机扰动时，结果收敛到布朗运动 $W_t$。具体地，$\sum_{i=1}^k \sqrt{\Delta t} z_i \to W_{t_k}$，因此 $z_k / \sqrt{\Delta t}$ 的"导数"形式正是 $dW_t/dt$，即白噪声。 +但奇妙的是，这个"爆炸"的项正是白噪声的正确缩放。让我们深入理解这一点： + +**布朗运动的构造**：考虑随机游走 $S_n = \sum_{i=1}^n X_i$，其中 $X_i$ 是独立同分布的随机变量，满足 $\mathbb{E}[X_i] = 0$，$\text{Var}(X_i) = 1$。根据中心极限定理： +$$\frac{S_n}{\sqrt{n}} \xrightarrow{d} \mathcal{N}(0, 1)$$ + +在我们的设定中，$z_i \sim \mathcal{N}(0, 1)$ 是独立的，时间步长为 $\Delta t = T/N$。定义： +$$W(t) = \sum_{i=1}^{\lfloor t/\Delta t \rfloor} \sqrt{\Delta t} \cdot z_i$$ + +当 $\Delta t \to 0$ 时，这个过程收敛到标准布朗运动！ + +**白噪声的数学含义**：形式上，白噪声 $\xi(t) = dW_t/dt$ 是布朗运动的"导数"。虽然布朗运动几乎处处不可导，但我们可以在分布意义下理解这个导数： +- $\mathbb{E}[\xi(t)] = 0$（零均值） +- $\mathbb{E}[\xi(t)\xi(s)] = \delta(t-s)$（瞬时相关） +- 在任意有限时间区间上的积分是高斯分布 + +因此，$z_k / \sqrt{\Delta t}$ 的极限正是白噪声 $\xi(t)$！ + +#### SDE的诞生 最终，我们得到了随机微分方程（SDE）： $dx_t = -\frac{b(t)}{2} x_t dt + \sqrt{b(t)} dW_t$ 这就是DDPM在连续时间下的极限形式，被称为方差保持（Variance Preserving, VP）SDE。 -🎯 **为什么叫"方差保持"？** 如果初始数据 $x_0$ 的方差为1，那么在适当选择 $b(t)$ 的情况下，任意时刻 $x_t$ 的方差都近似为1。这避免了数值不稳定，是VP-SDE的一大优势。 +🎯 **为什么叫"方差保持"？** 让我们计算方差的演化。使用Itô公式，对于 $V(t) = \mathbb{E}[||x_t||^2]$： +$$\frac{dV}{dt} = -b(t)V(t) + d \cdot b(t)$$ + +其中 $d$ 是数据维度。当 $V(0) = d$（标准化数据）时，稳态解为 $V(\infty) = d$，即方差保持不变！这避免了数值不稳定，是VP-SDE的一大优势。 + +**噪声调度函数 $b(t)$ 的选择**： +- **线性调度**：$b(t) = \beta_{\min} + t(\beta_{\max} - \beta_{\min})/T$ +- **余弦调度**：$b(t) = \pi \sin(\pi t/T) / T$（更平滑的过渡） +- **对数调度**：针对高分辨率图像设计，在早期阶段噪声增长更慢 + +每种调度都对应着不同的扩散速度和生成质量权衡。
深入探索：从离散到连续的数学严格性 @@ -120,6 +169,25 @@ $dx_t = f(x_t, t) dt + g(t) dW_t$ - VP-SDE的轨迹更"直"，可能需要更少的采样步数 - VE-SDE的轨迹更"曲"，但可能探索空间更充分 +**实践经验分享**： + +在实际应用中，选择SDE类型往往需要实验验证。以下是一些经验法则： + +- **图像生成**：VP-SDE在大多数情况下表现良好，特别是配合余弦噪声调度 +- **音频生成**：由于音频信号的动态范围大，VE-SDE可能更合适 +- **3D点云**：数据分布不均匀，可以考虑自适应的SDE设计 +- **分子生成**：需要保持物理约束，可能需要特殊设计的SDE + +**SDE的数值求解**： + +在实践中，我们需要离散化SDE来进行数值求解。最简单的是Euler-Maruyama方法： +$$x_{t+\Delta t} = x_t + f(x_t, t)\Delta t + g(t)\sqrt{\Delta t} \cdot z_t$$ + +其中 $z_t \sim \mathcal{N}(0, I)$。PyTorch中的实现通常使用： +- `torch.randn_like()` 生成噪声 +- `torch.sqrt()` 计算平方根 +- 自适应步长控制提高精度 +
高级话题：设计新的SDE @@ -154,6 +222,35 @@ PyTorch中相关的工具： 2. **SDE的组合**：能否在不同时间段使用不同的SDE（如开始用VE探索，后期用VP精调）？ 3. **离散数据的SDE**：如何为文本、图等离散数据设计合适的"连续化"SDE？ +
+练习 5.1：理解SDE的极限过程 + +1. **验证方差保持性质**： + 对于VP-SDE $dx_t = -\frac{1}{2}b(t)x_t dt + \sqrt{b(t)}dW_t$，证明当 $x_0$ 满足 $\mathbb{E}[||x_0||^2] = d$ 时，存在合适的 $b(t)$ 使得 $\mathbb{E}[||x_t||^2] \approx d$ 对所有 $t$ 成立。 + + 提示：使用Itô公式计算 $d\mathbb{E}[||x_t||^2]$。 + +2. **比较不同的噪声调度**： + 实现并比较三种噪声调度函数： + - 线性：$b(t) = \beta_{\min} + t(\beta_{\max} - \beta_{\min})/T$ + - 余弦：$b(t) = \pi \sin(\pi t/T) / T$ + - 指数：$b(t) = \beta_{\min} e^{t \log(\beta_{\max}/\beta_{\min})/T}$ + + 分析它们对应的信噪比 $\text{SNR}(t)$ 的衰减曲线。 + +3. **探索极限行为**： + 考虑离散过程 $x_{k+1} = \sqrt{1-\beta}x_k + \sqrt{\beta}z_k$，其中 $\beta = b\Delta t$。 + - 当 $\Delta t \to 0$ 时，证明这个过程收敛到VP-SDE + - 数值实验：对于不同的 $\Delta t$，比较离散过程和连续SDE的轨迹 + - 分析收敛速度：误差如何随 $\Delta t$ 变化？ + +4. **研究扩展**： + - 如果噪声不是高斯的（如Lévy噪声），极限过程会是什么？ + - 对于非马尔可夫过程（有记忆），如何推导连续时间极限？ + - 探索分数布朗运动（fractional Brownian motion）在扩散模型中的应用 + +
+ ## 5.2 反向时间SDE：学习去噪 如果前向SDE描述了数据如何被噪声破坏，那么我们如何构建一个反向的过程来从噪声中恢复数据呢？这个问题的答案揭示了扩散模型的深刻数学结构。 @@ -203,8 +300,56 @@ Anderson定理揭示了一个深刻的事实：**扩散模型的本质是学习 它们之间的关系是： $$s_\theta(x_t, t) = -\frac{\epsilon_\theta(x_t, t)}{\sqrt{1 - \bar{\alpha}_t}}$$ +#### 推导这个关键关系 + 这个关系的推导基于一个关键观察：在VP-SDE下，$x_t = \sqrt{\bar{\alpha}_t} x_0 + \sqrt{1-\bar{\alpha}_t} \epsilon$，因此： -$$\nabla_{x_t} \log p_t(x_t) = \nabla_{x_t} \log \mathbb{E}_{x_0, \epsilon}[\delta(x_t - \sqrt{\bar{\alpha}_t} x_0 - \sqrt{1-\bar{\alpha}_t} \epsilon)] = -\frac{\epsilon}{\sqrt{1-\bar{\alpha}_t}}$$ + +**步骤1：条件分布的分数** +给定 $x_0$，$x_t$ 的条件分布是高斯分布： +$$p(x_t|x_0) = \mathcal{N}(x_t; \sqrt{\bar{\alpha}_t} x_0, (1-\bar{\alpha}_t)I)$$ + +其对数和分数为： +$$\log p(x_t|x_0) = -\frac{||x_t - \sqrt{\bar{\alpha}_t} x_0||^2}{2(1-\bar{\alpha}_t)} + \text{const}$$ +$$\nabla_{x_t} \log p(x_t|x_0) = -\frac{x_t - \sqrt{\bar{\alpha}_t} x_0}{1-\bar{\alpha}_t} = -\frac{\epsilon}{\sqrt{1-\bar{\alpha}_t}}$$ + +**步骤2：边缘分数与条件分数的关系** +利用贝叶斯定理和分数的性质： +$$\nabla_{x_t} \log p(x_t) = \nabla_{x_t} \log \int p(x_t|x_0) p(x_0) dx_0$$ + +使用重参数化技巧和 denoising score matching 的结果，可以证明： +$$\nabla_{x_t} \log p(x_t) = \mathbb{E}_{x_0 \sim p(x_0|x_t)}[\nabla_{x_t} \log p(x_t|x_0)]$$ + +当神经网络 $\epsilon_\theta$ 能够准确预测噪声时，上述期望可以近似为单点估计，从而得到了DDPM和Score Matching的等价性。 + +#### 分数函数的几何意义 + +分数函数 $\nabla \log p(x)$ 有着深刻的几何含义： + +1. **梯度场视角**：分数定义了一个向量场，每一点的向量指向概率密度增加最快的方向 +2. **能量视角**：如果定义能量 $E(x) = -\log p(x)$，则分数 $\nabla \log p(x) = -\nabla E(x)$ 是负能量梯度 +3. **最优传输视角**：分数场定义了将任意分布传输到数据分布的最优路径 + +**可视化理解**： +``` +低概率区域 ←←←← 分数场 →→→→ 高概率区域 + 噪声 数据 +``` + +#### 分数函数的性质与挑战 + +**理论性质**： +1. **Stein恒等式**：对于光滑函数 $\phi$ 满足一定衰减条件，有 + $$\mathbb{E}_{x \sim p}[\nabla \cdot \phi(x) + \phi(x) \cdot \nabla \log p(x)] = 0$$ + 这是score matching的理论基础。 + +2. **分数的奇异性**：在数据分布的支撑集边界，分数可能不连续甚至无穷大。这解释了为什么需要添加噪声来"平滑"分布。 + +3. **维度诅咒**：在高维空间中，分数函数的估计变得极其困难。扩散模型通过多尺度噪声巧妙地缓解了这个问题。 + +**实践挑战**： +1. **数值稳定性**：当 $t \to 0$ 时，$1-\bar{\alpha}_t \to 0$，分数可能爆炸 +2. **边界效应**：真实数据往往位于低维流形上，在流形外分数定义不明确 +3. **多模态分布**：分数在模态之间的低密度区域可能指向错误方向 ### 5.2.4 实现细节与挑战 @@ -243,7 +388,7 @@ Anderson定理的证明涉及高深的随机分析，但核心思想可以这样
-练习 5.1：推导反向SDE +练习 5.2：推导反向SDE 1. **VP-SDE的反向过程**： 给定前向VP-SDE：$dx = -\frac{1}{2} \beta(t) x dt + \sqrt{\beta(t)} dW_t$ @@ -268,6 +413,36 @@ Anderson定理的证明涉及高深的随机分析，但核心思想可以这样
+
+练习 5.3：分数函数的性质探索 + +1. **验证Stein恒等式**： + 对于标准正态分布 $p(x) = \mathcal{N}(0, I)$，验证Stein恒等式： + $$\mathbb{E}_{x \sim p}[x \cdot \phi(x) - \nabla \cdot \phi(x)] = 0$$ + + 其中 $\phi$ 是任意光滑且增长不太快的向量场。 + +2. **分数函数的估计误差**： + 假设我们有分数的近似 $s_\theta(x) \approx \nabla \log p(x)$，定义Fisher散度： + $$D_F(p_\theta || p) = \mathbb{E}_{x \sim p}[||s_\theta(x) - \nabla \log p(x)||^2]$$ + + 证明：当使用这个近似分数进行Langevin采样时，稳态分布与真实分布的KL散度受Fisher散度控制。 + +3. **多尺度分数匹配**： + 考虑不同噪声水平 $\{\sigma_i\}_{i=1}^L$ 下的加噪数据分布 $p_{\sigma_i}(x) = \int p(y) \mathcal{N}(x; y, \sigma_i^2 I) dy$。 + + - 推导 $\nabla \log p_{\sigma_i}(x)$ 与原始分布的关系 + - 解释为什么需要多个噪声尺度 + - 设计一个加权方案来组合不同尺度的分数 + +4. **流形上的分数**： + 如果数据位于 $d$ 维空间中的 $k$ 维流形 $\mathcal{M}$ 上（$k < d$），分析： + - 分数函数在流形上和流形外的行为 + - 如何修改分数匹配目标以适应流形结构 + - 探索"投影分数"：$P_{T_x\mathcal{M}} \nabla \log p(x)$ 的性质 + +
+ ## 5.3 概率流ODE：确定性的生成路径 SDE的采样过程是随机的，意味着从同一个噪声 $x_T$ 出发，每次得到的 $x_0$ 都会略有不同。这种随机性有时是优点（增加多样性），有时是缺点（难以复现、调试困难）。是否存在一种确定性的路径，也能将噪声映射到数据呢？ @@ -319,45 +494,305 @@ SDE轨迹（多条随机路径）： 概率流ODE（确定性流线）： 概率流ODE中的修正项 $-\frac{1}{2}g(t)^2\nabla\log p_t$ 从何而来？这里有一个优美的解释： +#### 从Fokker-Planck方程出发 + +考虑前向SDE：$dx_t = f(x_t, t)dt + g(t)dW_t$ + +其对应的Fokker-Planck方程描述了概率密度的演化： +$$\frac{\partial p_t}{\partial t} = -\nabla \cdot (f p_t) + \frac{1}{2}g(t)^2 \Delta p_t$$ + +现在，我们寻找一个ODE $dx_t = v(x_t, t)dt$，使得其密度演化也满足同样的Fokker-Planck方程。对于ODE，密度演化由连续性方程描述： +$$\frac{\partial p_t}{\partial t} + \nabla \cdot (v p_t) = 0$$ + +比较两个方程，我们需要： +$$-\nabla \cdot (v p_t) = -\nabla \cdot (f p_t) + \frac{1}{2}g(t)^2 \Delta p_t$$ + +使用恒等式 $\Delta p_t = \nabla \cdot (\nabla p_t) = \nabla \cdot (p_t \nabla \log p_t)$，得到： +$$v p_t = f p_t - \frac{1}{2}g(t)^2 p_t \nabla \log p_t$$ + +因此： +$$v(x_t, t) = f(x_t, t) - \frac{1}{2}g(t)^2 \nabla \log p_t(x_t)$$ + +这就是概率流ODE的速度场！ + +#### 物理直觉：扩散引起的漂移 + 在SDE中，随机项 $g(t)dW_t$ 造成了两种效应： + 1. **扩散效应**：使分布变宽 2. **漂移效应**：由于扩散的不均匀性产生的净流动 -概率流ODE需要在确定性框架下复现这两种效应。扩散效应已经体现在密度演化中，而漂移效应正是由 $-\frac{1}{2}g(t)^2\nabla\log p_t$ 项捕捉的。这个项确保了： -- 在高密度区域，粒子倾向于向外流动 -- 在低密度区域，粒子流动较慢 -- 整体效果等价于随机扩散 +让我们通过一个具体例子理解漂移效应： + +**例子：一维高斯分布** +考虑密度 $p(x) = \frac{1}{\sqrt{2\pi\sigma^2}} e^{-x^2/(2\sigma^2)}$，其分数为： +$$\nabla \log p(x) = -\frac{x}{\sigma^2}$$ + +在 $x > 0$ 区域： +- 左边（靠近原点）的密度更高 +- 扩散使粒子向两边随机移动 +- 但由于左边密度高，更多粒子从左边扩散过来 +- 净效果：粒子向右漂移 + +这个净漂移正是由 $-\frac{1}{2}g^2 \nabla \log p$ 项描述的！当 $x > 0$ 时，$\nabla \log p < 0$，所以漂移方向为正，与直觉一致。 + +#### 概率流ODE的深层含义 + +概率流ODE揭示了一个深刻的事实：**随机性可以被确定性的向量场完全捕捉**。这个向量场不仅包含了原始的漂移，还包含了由于随机扩散的不均匀性产生的"有效漂移"。 + +**数学视角**：概率流ODE定义了一个保测度的流（measure-preserving flow），将初始分布 $p_0$ 传输到最终分布 $p_T$。这与最优传输理论有深刻联系。 + +**计算视角**：概率流ODE提供了一种确定性的采样方法，这带来了许多优势： + +1. **确定性采样**：从一个 $x_T$ 出发，总能得到完全相同的 $x_0$。这对于需要可复现生成的任务非常有用。 -**概率流ODE的优势**： -1. **确定性采样**：从一个 $x_T$ 出发，总能得到完全相同的 $x_0$ 。这对于需要可复现生成的任务非常有用。 -2. **更快的采样**：作为ODE，我们可以使用各种现成的高阶数值求解器（如Runge-Kutta法），可以用比SDE求解器少得多的步数（例如50-100步 vs 1000步）得到高质量的样本。这是DDIM等快速采样算法的理论基础。 -3. **精确的似然计算**：通过ODE的瞬时变量变换公式，可以精确计算出数据点 $x_0$ 的对数似然，而SDE只能计算一个下界。 +2. **更快的采样**：作为ODE，我们可以使用各种现成的高阶数值求解器： + - **Euler法**：一阶精度，最简单 + - **Heun法**：二阶精度，需要两次函数评估 + - **RK4**：四阶精度，经典选择 + - **自适应求解器**：如Dormand-Prince，自动调整步长 + + 使用高阶求解器，可以用比SDE求解器少得多的步数（例如20-50步 vs 1000步）得到高质量的样本。 + +3. **精确的似然计算**：通过瞬时变量变换公式（instantaneous change of variables），可以精确计算对数似然： + $$\log p_0(x_0) = \log p_T(x_T) - \int_0^T \nabla \cdot v(x_t, t) dt$$ + + 其中轨迹 $\{x_t\}$ 由概率流ODE生成。 + +#### 概率流ODE与神经ODE的联系 + +概率流ODE可以看作是一种特殊的神经ODE（Neural ODE），其中： +- 速度场 $v(x,t)$ 由神经网络参数化 +- 网络通过预测分数函数来隐式定义速度场 +- 整个系统可以端到端训练 + +这建立了扩散模型与连续归一化流（Continuous Normalizing Flows）的桥梁，开启了许多研究方向。 🌟 **理论空白**：SDE和ODE提供了两种不同的采样路径。SDE路径是随机的、高维的，而ODE路径是确定性的、低维的。这两种路径的几何性质有何不同？它们在数据流形上是如何移动的？理解这一点可能有助于设计出更优的采样算法。 +
+练习 5.4：概率流ODE的性质与应用 + +1. **验证概率流ODE保持边缘分布**： + 对于VP-SDE和其对应的概率流ODE，验证它们在任意时刻 $t$ 的边缘分布 $p_t(x)$ 相同。 + + 提示：证明两者满足相同的Fokker-Planck方程。 + +2. **似然计算的实现**： + 使用概率流ODE的瞬时变量变换公式： + $$\log p_0(x_0) = \log p_T(x_T) - \int_0^T \nabla \cdot v(x_t, t) dt$$ + + 其中 $v(x,t) = f(x,t) - \frac{1}{2}g(t)^2 \nabla \log p_t(x)$。 + + - 推导 $\nabla \cdot v(x,t)$ 的表达式 + - 说明如何使用神经网络计算这个散度 + - 讨论计算复杂度和数值稳定性 + +3. **比较不同的ODE求解器**： + 实现并比较以下求解器在概率流ODE上的表现： + - Euler法（一阶） + - Heun法（二阶） + - RK4（四阶） + + 分析： + - 不同步数下的生成质量 + - 计算时间 vs 质量的权衡 + - 数值误差的累积 + +4. **SDE与ODE路径的几何分析**： + 对于简单的2D数据分布（如双模态高斯混合），可视化并分析： + - SDE的多条随机轨迹 + - ODE的确定性流线 + - 两者在穿越低密度区域时的行为差异 + - 轨迹的曲率和长度统计 + +5. **研究扩展：最优传输视角**： + 概率流ODE定义了一个传输映射 $T: x_T \mapsto x_0$。探索： + - 这个映射是否是某种意义下的"最优"？ + - 与Monge-Kantorovich最优传输问题的联系 + - 如何设计具有最优传输性质的新型ODE？ + +
+ ## 5.4 Fokker-Planck方程：从粒子到密度的演化 SDE和ODE描述了单个数据点（粒子）的轨迹。如果我们想从宏观上描述整个概率密度 $p_t(x)$ 的演化，就需要偏微分方程（Partial Differential Equation, PDE）的语言，这就是Fokker-Planck方程。 +### 5.4.1 Fokker-Planck方程的物理直觉 + +想象一大群粒子在流体中运动。每个粒子既受到确定性的流动（漂移），又受到随机的分子碰撞（扩散）。Fokker-Planck方程描述的正是这群粒子的密度如何随时间演化。 + > **定义：Fokker-Planck方程** -> 对于一个SDE $dx = f(x,t)dt + g(t)dW_t$ ，其概率密度 $p_t(x)$ 的演化遵循Fokker-Planck方程： -> $\frac{\partial p_t(x)}{\partial t} = -\nabla \cdot (f(x,t)p_t(x)) + \frac{1}{2} g(t)^2 \Delta p_t(x)$ -> 其中 $\nabla \cdot$ 是散度算子， $\Delta$ 是拉普拉斯算子。 +> 对于一个SDE $dx = f(x,t)dt + g(t)dW_t$，其概率密度 $p_t(x)$ 的演化遵循Fokker-Planck方程： +> $$\frac{\partial p_t(x)}{\partial t} = -\nabla \cdot (f(x,t)p_t(x)) + \frac{1}{2} g(t)^2 \Delta p_t(x)$$ +> 其中 $\nabla \cdot$ 是散度算子，$\Delta$ 是拉普拉斯算子。 + +让我们深入理解这个方程的每一项： + +#### 第一项：漂移输运 $-\nabla \cdot (f(x,t)p_t(x))$ + +这项描述了由确定性漂移 $f(x,t)$ 引起的概率流动： +- $f(x,t)p_t(x)$ 是概率流密度（probability flux） +- $\nabla \cdot$ 计算流的散度，即净流出量 +- 负号表示：流出导致密度减少 + +**物理类比**：想象河流中的染料。水流（$f$）携带染料（$p$）移动，某处的染料浓度变化取决于流入和流出的差额。 + +#### 第二项：扩散平滑 $\frac{1}{2}g(t)^2 \Delta p_t(x)$ + +这项描述了随机扩散对密度的影响： +- $\Delta p_t = \sum_i \frac{\partial^2 p_t}{\partial x_i^2}$ 衡量密度的"曲率" +- 在密度峰值处，$\Delta p < 0$，密度减少 +- 在密度谷底处，$\Delta p > 0$，密度增加 +- 总效果：密度被"抹平" + +**物理类比**：墨水在静水中扩散，从高浓度区域向低浓度区域自发流动，最终趋于均匀。 + +### 5.4.2 Fokker-Planck方程的推导 -这个方程的直观含义是：概率密度的变化率 = 由漂移项引起的输运（advection）+ 由扩散项引起的平滑（diffusion）。它将微观的粒子随机运动与宏观的概率密度演化联系在了一起。虽然在实践中我们通常不直接求解这个PDE，但它为理解扩散模型提供了强大的理论工具，并与物理学中的热力学、流体力学等领域建立了深刻的联系。 +从SDE到Fokker-Planck方程的推导基于一个关键思想：**粒子守恒**。 + +考虑任意测试函数 $\phi(x)$（光滑且紧支撑），其期望值的演化： +$$\frac{d}{dt}\mathbb{E}[\phi(x_t)] = \mathbb{E}\left[\frac{d\phi(x_t)}{dt}\right]$$ + +使用Itô公式： +$$d\phi(x_t) = \nabla\phi \cdot dx_t + \frac{1}{2}\text{tr}(gg^T \nabla^2\phi) dt$$ +$$= \nabla\phi \cdot f dt + \nabla\phi \cdot g dW_t + \frac{1}{2}g^2 \Delta\phi dt$$ + +取期望（注意 $\mathbb{E}[dW_t] = 0$）： +$$\frac{d}{dt}\mathbb{E}[\phi(x_t)] = \mathbb{E}[f \cdot \nabla\phi + \frac{1}{2}g^2 \Delta\phi]$$ + +另一方面，用密度表示期望： +$$\frac{d}{dt}\int \phi(x) p_t(x) dx = \int \phi(x) \frac{\partial p_t}{\partial t} dx$$ + +因此： +$$\int \phi(x) \frac{\partial p_t}{\partial t} dx = \int [f \cdot \nabla\phi + \frac{1}{2}g^2 \Delta\phi] p_t dx$$ + +使用分部积分（将导数从 $\phi$ 转移到 $p_t$）： +$$\int \phi \frac{\partial p_t}{\partial t} dx = \int \phi [-\nabla \cdot (fp_t) + \frac{1}{2}g^2 \Delta p_t] dx$$ + +由于 $\phi$ 是任意的，我们得到Fokker-Planck方程！ + +### 5.4.3 特殊情况与解析解 + +#### 例1：纯扩散（Ornstein-Uhlenbeck过程） +考虑VP-SDE：$dx = -\frac{1}{2}\beta x dt + \sqrt{\beta} dW$ + +Fokker-Planck方程变为： +$$\frac{\partial p}{\partial t} = \frac{\beta}{2}\nabla \cdot (xp) + \frac{\beta}{2}\Delta p$$ + +对于初始条件 $p_0(x) = \delta(x-x_0)$，解为： +$$p_t(x) = \mathcal{N}(x; x_0 e^{-\beta t/2}, \frac{1-e^{-\beta t}}{1}I)$$ + +这正是DDPM中的前向过程！ + +#### 例2：稳态分布 +当 $\frac{\partial p}{\partial t} = 0$ 时，得到稳态Fokker-Planck方程： +$$\nabla \cdot (fp_{\infty}) = \frac{1}{2}g^2 \Delta p_{\infty}$$ + +对于VP-SDE，稳态分布是标准正态分布 $p_{\infty}(x) = \mathcal{N}(0, I)$。 + +### 5.4.4 Fokker-Planck方程的数值方法 + +虽然我们通常不直接求解Fokker-Planck方程来训练扩散模型，但理解其数值方法有助于深入理解模型行为： + +1. **有限差分法**：将空间离散化为网格，用差分近似导数 +2. **有限元法**：使用基函数展开密度，转化为ODE系统 +3. **粒子方法**：用大量粒子的经验分布近似连续密度 +4. **谱方法**：在频域求解，利用快速傅里叶变换 + +每种方法都有其优缺点，选择取决于问题的维度、边界条件和精度要求。 + +### 5.4.5 PDE视角的深刻洞察 + +Fokker-Planck方程揭示了扩散模型的几个深刻性质： + +1. **最大熵原理**：扩散过程增加系统的熵，最终达到最大熵分布（高斯分布） + +2. **可逆性**：知道分数函数 $\nabla \log p_t$ 后，可以反向求解Fokker-Planck方程，实现时间反演 + +3. **变分原理**：Fokker-Planck方程可以看作某个自由能泛函的梯度流： + $$\frac{\partial p}{\partial t} = \nabla \cdot \left(p \nabla \frac{\delta \mathcal{F}[p]}{\delta p}\right)$$ + + 其中 $\mathcal{F}[p]$ 是自由能，包含熵和势能项。 + +4. **与量子力学的联系**：通过Wick旋转，Fokker-Planck方程与薛定谔方程相关联，开启了量子-经典对应的研究 🔬 **研究线索**：Fokker-Planck方程与最优传输理论中的Wasserstein梯度流有深刻联系。扩散模型可以被看作是在概率分布空间中，沿着某种能量泛函的梯度方向进行演化。探索这种几何观点是当前理论研究的一大热点。
-练习 5.2：SDE, ODE, PDE的联系与区别 - -1. **写出ODE**：给定前向VP-SDE，写出其对应的概率流ODE的表达式。 -2. **写出PDE**：给定前向VP-SDE，写出其对应的Fokker-Planck方程。 -3. **比较与分析**：总结SDE、ODE、PDE这三种数学工具在描述扩散模型时的角色和优缺点。 - * SDE的优点是什么？（提示：与分数匹配的联系） - * ODE的优点是什么？（提示：采样速度和似然计算） - * PDE的优点是什么？（提示：宏观理论分析） -4. **开放探索**：概率流ODE提供了一条确定性的从噪声到数据的路径。这本质上定义了一个可逆的函数 $g: x_T \to x_0$ 。这与连续归一化流（Continuous Normalizing Flows, CNF）有何联系？分析两种模型的异同。 +练习 5.5：Fokker-Planck方程的理解与应用 + +1. **验证解析解**： + 对于Ornstein-Uhlenbeck过程 $dx = -\gamma x dt + \sigma dW$： + - 写出对应的Fokker-Planck方程 + - 验证 $p_t(x) = \mathcal{N}(x; x_0 e^{-\gamma t}, \frac{\sigma^2}{2\gamma}(1-e^{-2\gamma t}))$ 是其解 + - 讨论 $t \to \infty$ 时的稳态分布 + +2. **数值求解Fokker-Planck方程**： + 实现一维Fokker-Planck方程的有限差分求解器： + - 使用中心差分近似空间导数 + - 使用显式或隐式时间步进 + - 与粒子模拟（求解对应SDE）的结果比较 + + 考虑的测试案例： + - 双井势能：$f(x) = -\nabla U(x)$，其中 $U(x) = (x^2-1)^2$ + - 验证稳态分布 $p_\infty(x) \propto e^{-2U(x)/g^2}$ + +3. **熵的演化**： + 定义Shannon熵 $H[p] = -\int p \log p dx$。 + - 证明：对于Fokker-Planck方程，$\frac{dH}{dt} \geq 0$（熵增原理） + - 什么时候等号成立？ + - 计算VP-SDE过程中熵的演化曲线 + +4. **反向Fokker-Planck方程**： + 推导反向时间SDE对应的Fokker-Planck方程： + - 从反向SDE出发，应用标准推导 + - 验证它与前向Fokker-Planck方程的关系 + - 解释为什么需要知道分数函数 + +5. **研究扩展：Wasserstein梯度流**： + Fokker-Planck方程可以写成Wasserstein梯度流的形式： + $$\frac{\partial p}{\partial t} = \nabla \cdot \left(p \nabla \frac{\delta \mathcal{F}[p]}{\delta p}\right)$$ + + 探索： + - 对于不同的自由能 $\mathcal{F}[p]$，得到什么样的演化方程？ + - 扩散模型对应的自由能是什么？ + - 如何设计新的自由能来得到更好的生成模型？ + +
+ +
+练习 5.6：SDE, ODE, PDE的统一视角 + +综合本章所学，分析三种数学框架的联系： + +1. **统一框架**： + 给定前向VP-SDE：$dx = -\frac{1}{2}\beta(t)x dt + \sqrt{\beta(t)}dW$ + - 写出对应的概率流ODE + - 写出对应的Fokker-Planck方程 + - 验证三者描述同一个概率演化过程 + +2. **计算复杂度分析**： + 比较三种方法在以下任务上的计算复杂度： + - 生成单个样本 + - 计算似然 $p(x)$ + - 训练模型参数 + + 考虑维度 $d$、时间步数 $N$、样本数 $M$ 的影响。 + +3. **选择指南**： + 为以下应用场景选择最合适的框架（SDE/ODE/PDE）： + - 需要快速生成大量样本 + - 需要精确计算似然进行模型选择 + - 需要理论分析收敛性 + - 需要可解释的生成过程 + - 需要编辑已有样本 + +4. **创新思考**： + - 能否设计一个在不同阶段使用不同框架的混合算法？ + - 如何利用PDE的理论洞察改进SDE/ODE的数值算法？ + - 是否存在其他数学框架可以描述扩散过程？
From c72254972d48bb77e0521381f2dede33fe79a68f Mon Sep 17 00:00:00 2001 From: William Date: Thu, 31 Jul 2025 09:34:04 +0800 Subject: [PATCH 47/62] interim --- chapter3.md | 62 +++++++++++++++++++++++++++++++++++++++++++++++++++++ 1 file changed, 62 insertions(+) diff --git a/chapter3.md b/chapter3.md index 088c17e..9df8f7e 100644 --- a/chapter3.md +++ b/chapter3.md @@ -10,6 +10,10 @@ DDPM的出现改变了这一切。它的革命性贡献在于：**将复杂的变分推断问题简化为了一个简单直观的去噪任务**。这种简化不是以牺牲理论严谨性为代价的——恰恰相反，DDPM展示了如何通过巧妙的数学变换和参数化选择，在保持理论完整性的同时，获得一个极其简洁的实践框架。 +要理解DDPM的突破性，我们需要回顾一下早期扩散模型面临的具体困难。在Sohl-Dickstein等人2015年的开创性工作中，训练一个扩散模型需要同时优化多个相互耦合的组件：前向过程的扩散率、反向过程的参数化、以及连接两者的变分边界。这种复杂性不仅使得模型难以训练，更重要的是，它掩盖了扩散模型的核心洞察——**生成的本质是去噪**。 + +DDPM的作者们意识到，如果我们愿意做一些合理的假设和简化，整个框架可以变得异常优雅。这些简化并非随意为之，而是基于对问题本质的深刻理解。让我们详细看看这些关键的设计决策： + > **定义：DDPM的三个关键简化** > 1. **固定前向过程**：前向加噪过程使用一个预先设定的、固定的方差调度 $\beta_t$ ，无需学习。这避免了早期扩散模型中需要同时学习前向和反向过程的复杂性。 > 2. **简化反向过程**：假设反向去噪过程也是高斯分布，且其方差也是固定的。因此，模型只需要学习高斯分布的均值，将学习目标从整个分布简化为单一参数。 @@ -17,6 +21,10 @@ DDPM的出现改变了这一切。它的革命性贡献在于：**将复杂的 这三个简化看似独立，实际上形成了一个相互支撑的体系。固定的前向过程提供了稳定的训练目标，简化的反向过程减少了模型的负担，而噪声预测的参数化则确保了训练的稳定性。它们共同将一个原本复杂的生成建模问题转化为了一个标准的监督学习问题。 +让我们通过一个直观的比喻来理解这种转化的威力。想象你是一位艺术品修复师，面对一幅被时间侵蚀的古画。传统的方法是试图直接画出缺失的部分——这需要你理解画家的风格、时代背景、绘画技法等复杂知识。而DDPM的方法则是先理解"侵蚀"本身的模式——哪些地方容易褪色、裂纹如何形成、灰尘如何堆积。一旦你理解了破坏的过程，修复就变成了简单地"逆转"这个过程。 + +这种思路的转变带来了实际的好处。在DDPM之前，训练一个高质量的扩散模型可能需要数周的时间和大量的超参数调整。而使用DDPM框架，研究者们发现他们可以用相对简单的设置获得令人惊叹的结果。更重要的是，这种简化并没有限制模型的表达能力——相反，通过让模型专注于学习去噪这一核心任务，DDPM实际上提高了生成质量。 + ### 3.1.1 为什么预测噪声更好？ 在理解DDPM之前，我们需要先回答一个根本性的问题：为什么预测噪声比预测清晰图像更有效？这个问题的答案涉及深度学习中的一个核心洞察：**匹配简单分布比匹配复杂分布容易得多**。 @@ -25,6 +33,12 @@ DDPM的出现改变了这一切。它的革命性贡献在于：**将复杂的 这个看似简单的改变是DDPM成功的关键。预测原始图像 $x_0$ 意味着网络需要输出一个具有复杂结构和特定分布的物体，而预测噪声 $\epsilon$ 意味着网络只需要输出一个来自标准正态分布的样本。更深层的原因在于，噪声预测任务具有某种"局部性"——网络可以通过识别局部的不一致性来判断噪声，而无需理解整体的全局结构。 +让我们从多个角度深入理解这个设计选择的智慧。首先，从**统计学角度**看，标准正态分布是所有分布中最"无信息"的——它的熵最大，没有任何特殊的结构或模式。这意味着预测噪声时，网络不需要记忆或重建任何特定的模式，只需要识别哪些部分偏离了原始数据的统计规律。这种任务的普适性使得网络能够学习到更加通用的去噪原理，而不是过拟合到特定的数据模式。 + +其次，从**优化角度**看，预测噪声提供了更加稳定的梯度信号。当我们训练网络预测 $x_0$ 时，特别是在高噪声水平（大的 $t$ 值）下，网络需要从几乎纯粹的噪声中重建出完整的图像。这就像要求一个人仅凭一片模糊的色块就画出蒙娜丽莎——即使对于强大的神经网络，这也是一个极其困难的任务。网络可能会产生多种合理的预测，导致训练信号混乱，梯度方向不稳定。相反，预测噪声时，网络的任务始终是明确的：识别并提取那些不属于原始数据的成分。 + +第三，从**信息论角度**看，这种参数化方式更好地利用了不同时间步的信息。在前向过程的早期（小的 $t$ ），图像中保留了大量原始信息，噪声相对较少，此时预测噪声相对容易。在前向过程的后期（大的 $t$ ），虽然图像已经高度退化，但噪声占主导地位，预测"大部分都是噪声"仍然是一个合理的策略。这种自然的难度曲线使得网络在所有时间步上都能获得有意义的学习信号。 + > **定义：预测噪声的优势** > | 方面 | 预测均值 $\mu_\theta$ | 预测噪声 $\epsilon_\theta$ | > | :--- | :--- | :--- | @@ -37,6 +51,10 @@ DDPM的出现改变了这一切。它的革命性贡献在于：**将复杂的 让我们从数学角度更深入地理解这种差异。当网络预测 $x_0$ 时，在时间步 $t$ 较大（噪声较多）的情况下，输入 $x_t$ 几乎是纯噪声，网络需要从几乎没有信息的输入中"凭空"生成一个有意义的图像。这就像要求网络成为一个"记忆机器"，记住所有可能的图像。相反，当预测噪声 $\epsilon$ 时，网络的任务是识别和分离信号与噪声，这是一个更加well-defined的问题。 +为了更具体地理解这一点，让我们考虑一个极端情况：当 $t = T$（最后一个时间步）时，$x_T$ 几乎完全是噪声。如果网络需要预测 $x_0$，它面临的是一个一对多的映射问题——同一个噪声输入可能对应无数个可能的原始图像。这种歧义性使得训练信号非常嘈杂，网络很难收敛到一个稳定的解。而如果预测噪声，网络只需要输出"这基本上都是噪声"，这是一个明确且合理的答案。 + +更有趣的是，这种参数化选择还影响了网络的**归纳偏置**（inductive bias）。当网络学习预测噪声时，它实际上在学习数据的"负空间"——那些不应该出现在真实数据中的模式。这促使网络发展出对数据结构的隐式理解：平滑的区域不应该有高频噪声，边缘应该是锐利的而不是模糊的，纹理应该具有某种规律性等等。这种通过"排除法"学习的方式，恰好与人类视觉系统处理噪声的方式相似。 + 🔬 **研究线索**：DDPM预测噪声 $\epsilon$ ，而一些后续工作（如Cold Diffusion）则探索直接预测 $x_0$ 。这两种参数化方式的优劣在不同场景下仍有争议。例如，在处理视频时，预测帧间差（类似于噪声）可能比预测完整帧更有效。另一个有趣的研究方向是"v-prediction"（预测 $v = \alpha_t \epsilon - \sigma_t x_0$），它试图在两种参数化之间找到平衡点。Progressive Distillation等工作也展示了在不同的训练阶段切换参数化方式可能带来好处。 ### 3.1.2 DDPM训练算法概览 @@ -52,20 +70,37 @@ DDPM的出现改变了这一切。它的革命性贡献在于：**将复杂的 6. 计算损失： $loss = \text{MSE}(\epsilon, \epsilon_{pred})$ 。 7. 使用梯度下降更新模型参数 $\theta$ 。 +这个算法的优雅之处在于它的**自监督性质**。与需要配对数据的监督学习不同，DDPM只需要原始数据本身。噪声是我们人为添加的，因此我们知道"正确答案"。这使得DDPM可以充分利用大规模无标注数据集，这是其能够扩展到数十亿参数规模的关键因素之一。 + 这种端到端的去噪训练方式，是DDPM易于实现和训练稳定的核心原因。让我们深入理解这个算法的几个关键设计选择： **时间步的随机采样**：为什么要随机选择时间步 $t$，而不是按顺序训练？这个设计确保了网络在所有噪声水平上都能均匀地学习。如果按顺序训练，网络可能会"遗忘"早期学到的知识。随机采样还带来了另一个好处：每个批次中的样本具有不同的噪声水平，这种多样性有助于网络学习更鲁棒的特征表示。 +更深层的原因涉及到**课程学习**（curriculum learning）的概念。直觉上，我们可能认为应该先让网络学习简单的任务（去除少量噪声），然后逐渐增加难度。然而，实践表明，这种策略在扩散模型中往往适得其反。原因是不同噪声水平的去噪任务需要不同的策略：低噪声时需要精细的局部调整，高噪声时需要全局的结构重建。随机采样迫使网络同时学习所有这些策略，反而产生了更好的泛化能力。 + **闭式解的重要性**：能够直接从 $x_0$ 计算 $x_t$ 是DDPM的一个关键优势。这避免了需要迭代地应用前向过程，大大提高了训练效率。在PyTorch中，这个操作可以通过简单的张量运算实现，如 `torch.randn_like()` 生成噪声，然后进行线性组合。 +从计算的角度看，这个闭式解将原本的 $O(T)$ 复杂度降低到了 $O(1)$。但更重要的是，它避免了数值误差的累积。如果我们通过迭代应用前向过程来计算 $x_t$，每一步的浮点运算误差都会累积，最终可能导致 $x_t$ 偏离理论分布。闭式解保证了我们始终在正确的分布上进行训练。 + **MSE损失的简单性**：使用均方误差作为损失函数看似平凡，但它恰好对应于高斯分布下的最大似然估计。这种对应关系不是巧合，而是DDPM理论框架的自然结果。更重要的是，MSE损失在所有像素上均匀加权，这促使网络学习全局一致的去噪策略。 +然而，MSE损失的选择也引发了一些有趣的讨论。在计算机视觉中，我们知道MSE往往不是感知质量的最佳度量——它倾向于产生模糊的结果。但在DDPM的框架下，这个"缺点"反而成了优点。因为网络预测的是噪声而不是图像，模糊性实际上反映了噪声的不确定性。当存在多个合理的去噪方案时，预测它们的平均值（这正是MSE损失所鼓励的）是一个合理的策略。 + 💡 **实践洞察**：在实际实现中，时间步 $t$ 的编码方式对模型性能有显著影响。DDPM使用正弦位置编码（类似于Transformer），将离散的时间步映射到连续的高维表示。这种编码方式不仅提供了时间信息，还隐含地编码了当前的信噪比，帮助网络理解需要去除多少噪声。 +具体来说，时间编码通常采用如下形式： +- 首先将时间步 $t$ 归一化到 $[0, 1]$ 区间 +- 然后应用一组不同频率的正弦和余弦函数 +- 最后通过一个小型MLP将编码映射到与特征维度匹配的表示 + +这种编码的好处是它能够表示时间的绝对位置和相对关系，使得网络能够学习到"在时间步200时应该去除中等强度的噪声"这样的模式，同时也能泛化到训练时未见过的时间步（例如在使用DDIM等快速采样方法时）。 + ## 3.2 前向过程：从数据到噪声 前向过程是扩散模型的基础，它定义了数据如何逐渐转变为噪声的数学过程。理解前向过程不仅是掌握DDPM的前提，更是洞察扩散模型本质的关键。在这一节中，我们将深入探讨前向过程的数学结构、物理直觉，以及它如何为后续的反向学习奠定基础。 +从概念上讲，前向过程模拟了一个自然界中普遍存在的现象：**信息的逐渐丢失**。想象一滴墨水落入清水中，起初我们能清晰地看到墨滴的形状和位置，但随着时间推移，墨水逐渐扩散，最终与水完全混合，原始的结构信息完全消失。扩散模型的前向过程正是这个物理过程的数学抽象。 + 前向过程定义了一个固定的马尔可夫链，它逐步将数据分布 $q(x_0)$ 转换为一个已知的先验分布（通常是标准正态分布 $\mathcal{N}(0, I)$ ）。数学上，每一步的转移概率定义为： $q(\mathbf{x}_t|\mathbf{x}_{t-1}) = \mathcal{N}(\mathbf{x}_t; \sqrt{1-\beta_t}\mathbf{x}_{t-1}, \beta_t\mathbf{I})$ @@ -74,10 +109,21 @@ $q(\mathbf{x}_t|\mathbf{x}_{t-1}) = \mathcal{N}(\mathbf{x}_t; \sqrt{1-\beta_t}\m **均值项 $\sqrt{1-\beta_t}\mathbf{x}_{t-1}$**：这个缩放因子确保了信号在传播过程中的能量守恒。如果没有这个缩放，随着噪声的不断添加，数据的总能量会无限增长。$\sqrt{1-\beta_t}$ 的选择保证了在添加方差为 $\beta_t$ 的噪声后，总方差保持在合理范围内。 +为了更深入地理解这一点，让我们考虑方差的传播。假设 $x_{t-1}$ 的方差是 $\sigma^2$，那么经过一步前向过程后： +- 缩放后的信号方差：$(1-\beta_t) \cdot \sigma^2$ +- 添加的噪声方差：$\beta_t$ +- 总方差：$(1-\beta_t) \cdot \sigma^2 + \beta_t$ + +当 $\sigma^2 = 1$（标准化的数据）时，输出的方差仍然是1。这种**方差保持**（variance preserving）的性质不仅使得数学推导更加优雅，也避免了数值计算中的溢出或下溢问题。 + **方差项 $\beta_t\mathbf{I}$**：各向同性的噪声假设简化了理论分析，但也限制了模型的表达能力。这是一个经典的"简单有效"vs"复杂精确"的权衡。后续研究探索了各向异性噪声、结构化噪声等更复杂的前向过程。 +各向同性噪声的假设意味着我们对图像的每个像素、每个通道添加相同强度的独立噪声。这在某种程度上是不符合真实世界的——例如，图像的边缘区域可能比平滑区域对噪声更敏感，不同颜色通道的噪声特性也可能不同。然而，这种简化带来的好处远大于其局限性：它使得我们可以用单一参数 $\beta_t$ 控制整个加噪过程，极大地简化了超参数调优。 + **马尔可夫性质**：$x_t$ 只依赖于 $x_{t-1}$，而不依赖于更早的历史。这个性质极大地简化了理论推导，使得我们可以使用动态规划的思想来分析整个过程。 +马尔可夫假设的一个重要含义是：**信息的丢失是单调的**。一旦某些细节在时间步 $t$ 被噪声掩盖，它们就永远无法在后续步骤中恢复（在前向过程中）。这种不可逆性正是我们需要学习反向过程的根本原因——如果前向过程是可逆的，我们就不需要神经网络了。 + ### 3.2.1 重参数化技巧 DDPM的一个关键数学技巧是，我们可以直接从 $x_0$ 采样任意时刻的 $x_t$ ，而无需迭代计算。这个技巧不仅是计算效率的关键，更揭示了扩散过程的一个深刻性质：**整个前向过程可以被视为一个线性高斯系统**。 @@ -95,13 +141,29 @@ DDPM的一个关键数学技巧是，我们可以直接从 $x_0$ 采样任意时 关键洞察是，两个独立高斯噪声的线性组合仍然是高斯噪声。通过仔细计算方差，我们可以证明：$x_2 = \sqrt{\alpha_1\alpha_2}x_0 + \sqrt{1-\alpha_1\alpha_2}\tilde{\epsilon}$，其中 $\tilde{\epsilon}$ 是一个新的标准高斯噪声。 +这个推导过程揭示了一个更深层的数学结构。让我们详细展开 $x_2$ 的表达式： +$x_2 = \sqrt{\alpha_2}\sqrt{\alpha_1}x_0 + \sqrt{\alpha_2}\sqrt{\beta_1}\epsilon_1 + \sqrt{\beta_2}\epsilon_2$ + +由于 $\epsilon_1$ 和 $\epsilon_2$ 是独立的标准正态随机变量，我们需要找到一个等价的表示。关键是认识到： +- 系数 $\sqrt{\alpha_2}\sqrt{\beta_1}$ 和 $\sqrt{\beta_2}$ 定义了两个正交方向上的噪声强度 +- 这两个独立噪声的组合等价于一个具有适当方差的单一噪声 + +通过计算总方差： +$\text{Var}(x_2|x_0) = \alpha_2\beta_1 + \beta_2 = \alpha_2(1-\alpha_1) + (1-\alpha_2) = 1 - \alpha_1\alpha_2$ + +这正好等于 $1 - \bar{\alpha}_2$，验证了我们的闭式公式。 + **物理直觉**：这个公式告诉我们，无论经过多少步扩散，$x_t$ 始终可以表示为原始信号 $x_0$ 的衰减版本加上一个适当强度的噪声。衰减因子 $\sqrt{\bar{\alpha}_t}$ 描述了信号的保留程度，而 $\sqrt{1-\bar{\alpha}_t}$ 描述了噪声的强度。当 $t \to T$ 时，$\bar{\alpha}_t \to 0$，信号完全消失，只剩下纯噪声。 +从信号处理的角度看，这个过程可以理解为一个**低通滤波器**加上**白噪声**。随着时间推移，高频细节（如纹理、边缘）首先被破坏，而低频信息（如整体形状、颜色分布）保留得更久。这解释了为什么在中等噪声水平下，我们仍然能够隐约看出图像的大致轮廓。 + **计算优势**：在实际训练中，这个闭式公式允许我们： - 并行处理不同时间步的样本 - 避免数值误差的累积 - 实现高效的GPU向量化计算 +更重要的是，这个公式使得训练过程具有极好的**可扩展性**。无论我们选择 $T=1000$ 还是 $T=4000$，计算任意 $x_t$ 的成本都是恒定的。这与许多其他生成模型形成鲜明对比，后者的计算成本往往随着模型复杂度呈超线性增长。 + ### 3.2.2 噪声调度 (Noise Schedule) 噪声调度 $\{\beta_t\}$ 的选择对模型性能有重要影响。它决定了信息在前向过程中的衰减速度，直接影响到反向过程的学习难度。一个好的噪声调度应该在以下几个方面取得平衡： From 46886a37f75caec77d1aca94a7b5688bd530c79c Mon Sep 17 00:00:00 2001 From: William Date: Thu, 31 Jul 2025 09:39:04 +0800 Subject: [PATCH 48/62] interim --- chapter6.md | 172 +++++++++++++++++++++++++++++++++++++++++++++++++--- 1 file changed, 163 insertions(+), 9 deletions(-) diff --git a/chapter6.md b/chapter6.md index 3fbf2bc..e7182a7 100644 --- a/chapter6.md +++ b/chapter6.md @@ -37,57 +37,166 @@ 连续正则化流（Continuous Normalizing Flows, CNF）提供了一种优雅的方式来建模复杂概率分布之间的变换。与离散的正则化流不同，CNF通过一个连续时间的动力系统来定义变换。想象一下，数据点像是河流中的叶子，随着时间的推移被向量场推动——这就是CNF的核心思想。 +在离散正则化流中，我们通过一系列精心设计的可逆变换层（如耦合层、自回归流等）来构建从简单分布到复杂分布的映射。每一层都必须满足严格的可逆性约束，这极大地限制了模型的设计空间。而CNF则采用了一种截然不同的方法：它将这种离散的层叠结构替换为一个连续的动力系统，让数据点在向量场的引导下平滑地流动。 + 具体来说，CNF定义了一个时间相关的常微分方程（ODE）： $\frac{d\mathbf{x}_t}{dt} = v_t(\mathbf{x}_t), \quad t \in [0,1]$ 其中 $v_t: \mathbb{R}^d \to \mathbb{R}^d$ 是时间相关的向量场，它告诉我们在时刻 $t$ ，位于 $\mathbf{x}_t$ 的点应该以什么速度和方向移动。这个向量场就像是一个随时间变化的"风场"，推动着数据点从简单分布（如标准高斯）流向复杂的目标分布。 +要真正理解CNF的力量，让我们深入探讨向量场的含义。在物理学中，向量场描述了空间中每一点的某种矢量量——比如流体的速度场、电磁场等。在CNF中，向量场 $v_t(\mathbf{x}_t)$ 描述了概率质量的"流速"。如果我们将概率分布想象成一种"概率流体"，那么向量场就告诉我们这种流体在每个位置、每个时刻应该如何流动。 + 给定初始分布 $p_0$ （通常是简单的高斯分布），通过求解这个ODE，我们可以得到任意时刻 $t$ 的分布 $p_t$ 。这个过程是完全可逆的——如果我们知道向量场，就可以从任意时刻的分布推导出其他时刻的分布，这种双向性是CNF的一个重要特征。 +数学上，这种可逆性通过ODE的存在唯一性定理来保证。只要向量场 $v_t$ 满足适当的光滑性条件（如Lipschitz连续），ODE的解就是唯一的，并且可以反向求解。这意味着： +- **前向过程**：从 $\mathbf{x}_0$ 出发，沿着向量场积分到时刻 $t$ ，得到 $\mathbf{x}_t$ +- **反向过程**：从 $\mathbf{x}_t$ 出发，沿着 $-v_t$ 积分回到时刻 $0$ ，恢复 $\mathbf{x}_0$ + +这种双向性使得CNF既可以用于生成（从噪声到数据），也可以用于推断（从数据到潜在表示）。 + CNF的关键优势在于其理论的优雅性。变换的雅可比行列式——它告诉我们变换如何改变体积元素——可以通过以下公式计算： $\log p_1(\mathbf{x}_1) = \log p_0(\mathbf{x}_0) - \int_0^1 \nabla \cdot v_t(\mathbf{x}_t) dt$ 这里 $\nabla \cdot v_t$ 是向量场的散度，可以使用 `torch.autograd` 高效计算。这个公式的直观理解是：如果向量场在某个区域是发散的（散度为正），那么该区域的概率密度会降低；反之，如果向量场是收敛的（散度为负），概率密度会增加。 +让我们通过一个具体的例子来理解这个公式。考虑一个二维的情况，其中向量场在某个圆形区域内是向外发散的（像一个源），而在区域外是向内收敛的（像一个汇）。随着时间的推移： +- 圆内的概率质量会被"推出"，导致该区域的密度降低 +- 圆外的概率质量会被"吸入"特定区域，导致那里的密度增加 +- 散度正好量化了这种局部的"膨胀"或"收缩"效应 + +这个密度变化公式实际上是流体力学中连续性方程的一个特例。在流体力学中，连续性方程描述了质量守恒；在概率论中，它描述了概率守恒。这种跨学科的联系使得我们可以借用流体力学的直觉和工具来理解和设计生成模型。 + 这种连续性带来了几个重要优势： -- **灵活性**：不需要像离散流那样精心设计每一层的可逆变换 -- **表达能力**：理论上，任何两个分布都可以通过某个CNF连接 -- **数值稳定性**：使用现代ODE求解器可以获得高精度的数值解 +- **灵活性**：不需要像离散流那样精心设计每一层的可逆变换。我们只需要参数化一个向量场，而神经网络可以轻松地表示任意复杂的向量场。 +- **表达能力**：理论上，任何两个分布都可以通过某个CNF连接。这是因为对于任意两个概率分布，总存在一个向量场可以将一个变换为另一个（尽管找到这个向量场可能很困难）。 +- **数值稳定性**：使用现代ODE求解器可以获得高精度的数值解。与离散流中可能出现的数值不稳定性（如雅可比行列式的爆炸）相比，CNF的连续性质使得数值计算更加稳定。 +- **内存效率**：在反向传播时，我们可以使用伴随敏感度方法（adjoint sensitivity method），避免存储整个前向轨迹，大大减少内存使用。 + +CNF还与许多其他数学概念有着深刻的联系。例如： +- **动力系统理论**：CNF本质上是一个时变动力系统，我们可以借用动力系统的工具来分析其行为，如稳定性、吸引子、分岔等。 +- **最优控制理论**：学习最优的向量场可以被视为一个最优控制问题，其中向量场是控制输入，目标是最小化某种成本函数。 +- **黎曼几何**：在概率分布的流形上，CNF定义了一种几何流，类似于黎曼几何中的测地流或Ricci流。 🔬 **研究线索：向量场的几何性质** -CNF中向量场的几何性质（如旋度、散度）如何影响生成质量？是否可以通过约束向量场的几何特性（例如无旋场、保体积变换）来获得更好的生成模型？这涉及到微分几何和李群理论的深刻应用。 +CNF中向量场的几何性质（如旋度、散度）如何影响生成质量？是否可以通过约束向量场的几何特性（例如无旋场、保体积变换）来获得更好的生成模型？这涉及到微分几何和李群理论的深刻应用。例如： +- **无旋场（梯度场）**：如果向量场是某个势函数的梯度，那么流动路径是否会更加"直接"？ +- **保体积变换**：如果约束散度为零（不可压缩流），是否可以获得更稳定的训练？ +- **辛结构保持**：在某些应用中（如哈密顿系统），保持辛结构可能很重要。 ### 6.1.2 传统CNF的计算瓶颈 尽管CNF在理论上优雅，但在实践中面临严重的计算挑战。让我们深入理解为什么这些挑战会成为实际应用的障碍。 +要理解这些挑战的严重性，让我们首先回顾CNF的训练目标。在最大似然估计框架下，我们希望最大化观测数据的对数似然： + +$\mathcal{L}(\theta) = \mathbb{E}_{\mathbf{x}_1 \sim p_{data}}[\log p_\theta(\mathbf{x}_1)]$ + +其中 $p_\theta$ 是由参数化向量场 $v_\theta$ 定义的模型分布。看起来简单，但计算这个目标函数却异常复杂。 + 1. **似然计算的开销**：计算 $\log p_1(\mathbf{x}_1)$ 需要执行一个复杂的计算流程： + - **反向ODE求解**：给定一个数据点 $\mathbf{x}_1$ ，我们需要反向求解ODE从 $t=1$ 到 $t=0$ ，找到对应的初始点 $\mathbf{x}_0$ 。这就像是逆着河流追溯叶子的起点，计算上需要多步数值积分。 + + 具体来说，我们需要求解： + $\frac{d\mathbf{x}_t}{dt} = -v_{1-t}(\mathbf{x}_t), \quad \mathbf{x}_{t=0} = \mathbf{x}_1$ + + 这个反向积分过程通常需要使用数值ODE求解器，如Runge-Kutta方法。每一步都需要评估向量场，而在深度学习中，这意味着一次神经网络的前向传播。 + - **轨迹积分**：沿着整个轨迹，我们需要累积散度项 $\int_0^1 \nabla \cdot v_t(\mathbf{x}_t) dt$ 。这要求在每个积分步骤都计算向量场的散度。 + + 这个积分必须与ODE求解同步进行，因为我们需要知道每个时刻的位置 $\mathbf{x}_t$ 才能计算该点的散度。这创造了一个耦合的计算过程： + ``` + 对于每个ODE求解步骤： + 1. 计算当前位置的向量场 v_t(x_t) + 2. 计算向量场的散度 ∇·v_t(x_t) + 3. 更新位置 x_t + 4. 累积散度贡献到总积分 + ``` + - **神经网络调用**：每个ODE求解步骤都需要调用神经网络来评估向量场 $v_t(\mathbf{x}_t)$ ，在训练过程中这意味着大量的前向和反向传播。 + + 让我们量化这个开销：假设我们使用一个相对简单的ODE求解器，需要20步来获得足够的精度。那么： + - 每个数据点需要20次神经网络前向传播 + - 在反向传播时，梯度需要通过这20步传回，导致计算图极深 + - 内存需求随着步数线性增长 - 想象一下，对于一张 $256 \times 256$ 的图像（65,536维），每个训练样本可能需要数十次神经网络评估，这使得训练变得极其缓慢。 + 想象一下，对于一张 $256 \times 256$ 的RGB图像（196,608维），每个训练样本可能需要数十次神经网络评估，这使得训练变得极其缓慢。在实践中，训练一个高质量的CNF模型可能需要数周时间，即使在强大的GPU集群上。 2. **训练的不稳定性**：直接最大化似然需要精确的ODE求解，但这在高维空间中充满挑战： + - **数值误差累积**：ODE求解器的每一步都会引入小的数值误差，这些误差会沿着轨迹累积，特别是在高维空间中。 + + 考虑一个简单的例子：假设每步的相对误差是 $\epsilon = 10^{-6}$ （这已经是相当高的精度）。经过 $n$ 步后，最坏情况下的误差可能达到 $n\epsilon$ 。对于需要100步的复杂流，累积误差可能达到 $10^{-4}$ ，这在高维空间中可能导致完全错误的结果。 + + 更糟糕的是，这些误差在反向传播时会被放大。如果前向过程有误差，那么计算的梯度也会有误差，导致参数更新不准确。 + - **梯度爆炸/消失**：反向传播通过整个ODE轨迹时，梯度可能会指数级地增长或衰减，导致训练不稳定。 + + 这个问题的根源在于链式法则。考虑简化的情况，梯度的传播大致遵循： + $\frac{\partial \mathcal{L}}{\partial \theta} \approx \prod_{i=1}^n \frac{\partial \mathbf{x}_{t_i}}{\partial \mathbf{x}_{t_{i-1}}} \cdot \frac{\partial \mathcal{L}}{\partial \mathbf{x}_T}$ + + 如果每个雅可比矩阵 $\frac{\partial \mathbf{x}_{t_i}}{\partial \mathbf{x}_{t_{i-1}}}$ 的谱范数大于1，梯度会指数增长；如果小于1，梯度会指数衰减。在深度ODE中控制这些谱范数是一个未解决的难题。 + - **步长选择困境**：使用较大步长会降低精度，使用较小步长会大幅增加计算成本。 + + 这是一个典型的精度-效率权衡： + - 大步长（如 $\Delta t = 0.1$ ）：快速但不准确，可能导致训练不收敛 + - 小步长（如 $\Delta t = 0.001$ ）：准确但极其缓慢，一个epoch可能需要数天 + - 自适应步长：理论上最优，但实现复杂，且在反向传播时带来额外挑战 3. **散度计算的复杂度**：散度 $\nabla \cdot v_t = \sum_{i=1}^d \frac{\partial v_{t,i}}{\partial x_i}$ 的计算是一个关键瓶颈： + - **精确计算**：对于 $d$ 维数据，需要计算 $d$ 个偏导数。使用自动微分，这需要 $O(d)$ 次反向传播，每次计算一个维度的导数。 + + 让我们详细分析这个计算过程。假设向量场网络的前向传播成本是 $C$ ，那么： + - 计算一个偏导数 $\frac{\partial v_{t,i}}{\partial x_i}$ 需要一次反向传播，成本约为 $C$ + - 计算完整散度需要 $d$ 次这样的计算，总成本为 $dC$ + - 对于图像（$d \sim 10^5$），这意味着计算散度比计算向量场本身慢10万倍！ + - **Hutchinson迹估计**：虽然可以使用随机估计方法将复杂度降到 $O(1)$ ，但代价是引入方差： $$\nabla \cdot v_t \approx \mathbb{E}_{\epsilon \sim \mathcal{N}(0, I)}[\epsilon^T \nabla_x (v_t \cdot \epsilon)]$$ - 这种方差在训练过程中会导致额外的不稳定性。 + + 这种方法的原理是利用了迹的随机估计。具体来说： + - 采样一个随机向量 $\epsilon \sim \mathcal{N}(0, I)$ + - 计算 $v_t \cdot \epsilon$ （向量场与随机向量的内积） + - 对这个标量函数关于 $x$ 求梯度 + - 计算结果与 $\epsilon$ 的内积 + + 虽然计算复杂度降低了，但这种估计是有偏的，需要多个样本来降低方差。在实践中，可能需要5-10个样本才能获得可靠的估计，这部分抵消了计算节省。 + - **方差-偏差权衡**：使用更多的Hutchinson样本可以降低方差，但会增加计算成本。这创造了另一个困难的超参数选择问题。研究表明，不当的方差会严重影响模型的最终性能。 + 对于图像等高维数据，即使是 $O(1)$ 的估计也需要仔细调节以平衡方差和计算成本。 +**实际影响**：这些计算瓶颈的综合效应是灾难性的。一个在CIFAR-10这样的小数据集上训练的CNF模型，可能需要： +- 数百个GPU小时的训练时间 +- 精心调节的数值求解器设置 +- 大量的工程努力来稳定训练 +- 仍然可能无法达到其他生成模型的性能 + +这解释了为什么尽管CNF在理论上优雅，在实践中却很少被采用——直到流匹配的出现改变了这一局面。 + ### 6.1.3 流匹配：回避似然计算的巧妙方案 -流匹配（Flow Matching）的核心洞察是一个范式转换：与其费力地通过似然优化来间接学习向量场，不如直接学习连接两个分布的向量场本身。这个想法既简单又深刻。 +流匹配（Flow Matching）的核心洞察是一个范式转换：与其费力地通过似然优化来间接学习向量场，不如直接学习连接两个分布的向量场本身。这个想法既简单又深刻，它彻底改变了我们训练连续流模型的方式。 -让我们用一个类比来理解：假设你想教一个机器人从A点走到B点。传统CNF的方法就像是：让机器人尝试各种路径，然后根据到达B点的概率来调整。而流匹配的方法是：直接告诉机器人在每个位置应该朝哪个方向走，走多快。 +要理解这个范式转换的重要性，让我们回顾一下传统CNF和流匹配的根本区别： + +**传统CNF的间接学习**： +- 目标：最大化数据的似然 $p_\theta(\mathbf{x})$ +- 方法：通过复杂的ODE求解和散度计算来评估似然 +- 问题：计算成本高昂，训练不稳定 + +**流匹配的直接学习**： +- 目标：学习正确的向量场 $v_\theta \approx u_t$ +- 方法：直接监督向量场的预测 +- 优势：避免了ODE求解和散度计算 + +让我们用一个类比来理解：假设你想教一个机器人从A点走到B点。传统CNF的方法就像是：让机器人尝试各种路径，然后根据到达B点的概率来调整。这需要机器人完整地走完路径，记录轨迹，计算到达的可能性——整个过程繁琐且容易出错。 + +而流匹配的方法是：直接告诉机器人在每个位置应该朝哪个方向走，走多快。我们不需要让机器人真的走完全程才能评估它的表现，只需要检查它在每个位置的"速度向量"是否正确。这种方法更直接、更高效。 具体来说，给定源分布 $p_0$ （如标准高斯）和目标分布 $p_1$ （数据分布），流匹配的目标是学习一个向量场 $v_\theta$ ，使得： @@ -100,11 +209,56 @@ $\min_\theta \mathbb{E}_{t \sim \mathcal{U}[0,1], \mathbf{x}_t \sim p_t} \|v_\th 其中 $u_t$ 是生成概率路径 $p_t$ 的"真实"向量场——它定义了粒子应该如何移动才能实现从 $p_0$ 到 $p_1$ 的变换。 +**流匹配的理论基础** + +流匹配的有效性基于一个重要的理论结果：如果我们能够准确地学习向量场 $v_\theta \approx u_t$ ，那么通过求解ODE： + +$\frac{d\mathbf{x}_t}{dt} = v_\theta(t, \mathbf{x}_t), \quad \mathbf{x}_0 \sim p_0$ + +得到的分布 $\mathbf{x}_1$ 将近似于目标分布 $p_1$ 。这个结果的直观理解是：如果我们知道了正确的"流速"，那么跟随这个流动就能到达正确的目的地。 + +数学上，这可以通过以下方式理解。设 $p_t^\theta$ 是由学习到的向量场 $v_\theta$ 生成的概率路径，$p_t$ 是真实的概率路径。如果 $v_\theta \approx u_t$ ，那么： + +$\frac{\partial p_t^\theta}{\partial t} + \nabla \cdot (p_t^\theta v_\theta) \approx \frac{\partial p_t}{\partial t} + \nabla \cdot (p_t u_t) = 0$ + +这意味着 $p_t^\theta \approx p_t$ ，特别是 $p_1^\theta \approx p_1$ 。 + +**流匹配的优势** + +1. **计算效率**： + - 不需要在训练时求解ODE + - 不需要计算散度或雅可比行列式 + - 每个训练步骤只需要一次神经网络前向传播 + +2. **训练稳定性**： + - 避免了通过长ODE轨迹的梯度传播 + - 没有数值误差的累积 + - 梯度计算简单明了 + +3. **实现简单**： + - 训练循环与标准的监督学习相同 + - 不需要复杂的ODE求解器或伴随方法 + - 易于调试和优化 + 但这里有一个关键挑战：**如何获得训练样本 $(t, \mathbf{x}_t, u_t(\mathbf{x}_t))$ ？** + +这个挑战的本质是一个"循环依赖"问题： - 我们不知道中间分布 $p_t$ 的具体形式，如何从中采样 $\mathbf{x}_t$ ？ - 我们不知道真实向量场 $u_t$ ，如何获得监督信号？ -这看起来是一个"鸡生蛋"的问题：要学习向量场，需要知道中间分布；要知道中间分布，需要知道向量场。条件流匹配正是为了打破这个循环而设计的。 +更具体地说，考虑以下困难： + +1. **中间分布的未知性**：给定 $p_0$ 和 $p_1$ ，存在无穷多种可能的概率路径 $\{p_t\}_{t \in [0,1]}$ 连接它们。每种路径对应不同的向量场。我们应该选择哪一种？ + +2. **向量场的隐式定义**：即使我们选定了一种概率路径，对应的向量场 $u_t$ 通常也没有解析形式。它是通过连续性方程隐式定义的： + $\frac{\partial p_t}{\partial t} + \nabla \cdot (p_t u_t) = 0$ + 从这个方程解出 $u_t$ 是非平凡的。 + +3. **采样的困难**：即使我们知道了 $u_t$ ，从中间分布 $p_t$ 采样通常也需要求解从 $p_0$ 出发的ODE——这正是我们想要避免的！ + +这看起来是一个"鸡生蛋"的问题：要学习向量场，需要知道中间分布；要知道中间分布，需要知道向量场。传统的解决方案可能会陷入迭代优化的复杂过程中。 + +条件流匹配正是为了打破这个循环而设计的。它的关键洞察是：与其试图直接处理复杂的边缘分布和向量场，不如构造简单的条件分布，然后利用边缘化的性质来恢复我们需要的目标。这种方法既优雅又实用，让流匹配从一个理论上有趣但实践上困难的想法，变成了一个强大的实用工具。 ### 6.1.4 条件流匹配框架 From 5f2f2ae5e4869a9fb85e002821d07aea02b7a2d9 Mon Sep 17 00:00:00 2001 From: William Date: Thu, 31 Jul 2025 09:55:24 +0800 Subject: [PATCH 49/62] lint --- chapter11.md | 39 +++++++++++++++++++++++++-------------- 1 file changed, 25 insertions(+), 14 deletions(-) diff --git a/chapter11.md b/chapter11.md index 78b2c38..f8908d7 100644 --- a/chapter11.md +++ b/chapter11.md @@ -7,30 +7,35 @@ ## 章节大纲 ### 11.1 视频生成的挑战与机遇 + - 时序一致性要求 - 计算和内存瓶颈 - 运动表示与建模 - 数据集与评估指标 ### 11.2 时序扩散模型架构 + - 3D U-Net与因子化卷积 - 时空注意力机制 - 帧间信息传播 - 分层时序建模 ### 11.3 条件控制与运动引导 + - 文本到视频生成 - 图像动画化 - 运动轨迹控制 - 风格与内容解耦 ### 11.4 高效训练与推理策略 + - 视频压缩与潜在空间 - 级联生成框架 - 帧插值与超分辨率 - 分布式训练技术 ### 11.5 应用案例与未来方向 + - 视频编辑与修复 - 虚拟现实内容生成 - 实时视频合成 @@ -104,13 +109,13 @@ $$\mathcal{L}_{\text{temporal}} = \sum_{t=1}^{T-1} \|\phi(x_t) - \phi(x_{t+1})\| 1. **注意力机制的复杂度**： - 空间注意力：$O(B \cdot T \cdot (H \cdot W)^2 \cdot C)$ - 时空注意力：$O(B \cdot (T \cdot H \cdot W)^2 \cdot C)$ - + 当T=16（半秒视频）时，时空注意力的计算量是空间注意力的256倍！这使得直接应用全局注意力变得不可行。 2. **卷积操作的复杂度**： - 2D卷积：$O(B \cdot T \cdot C_{in} \cdot C_{out} \cdot H \cdot W \cdot k^2)$ - 3D卷积：$O(B \cdot C_{in} \cdot C_{out} \cdot T \cdot H \cdot W \cdot k^3)$ - + 3D卷积在时间维度上增加了额外的计算，使得每层的计算量增加k倍（k为时间核大小）。 3. **梯度累积问题**： @@ -149,6 +154,7 @@ $$\mathcal{L}_{\text{temporal}} = \sum_{t=1}^{T-1} \|\phi(x_t) - \phi(x_{t+1})\| 🔬 **研究线索：高效时空表示** 如何设计更高效的时空表示？当前的研究方向包括： + - **神经场表示**：使用隐式神经表示编码视频，可以实现极高的压缩率 - **层次化表示**：在不同时间尺度上使用不同的表示粒度 - **运动补偿预测**：只存储关键帧和运动信息，大幅减少冗余 @@ -173,13 +179,13 @@ $$\mathcal{L}_{\text{temporal}} = \sum_{t=1}^{T-1} \|\phi(x_t) - \phi(x_{t+1})\| 然而，真实世界的运动远比简单的平移复杂。物体可能发生旋转、缩放、剪切等形变。这时需要更一般的形变场表示： $$\mathbf{p}' = \mathbf{A}\mathbf{p} + \mathbf{t}$$ - + 其中$\mathbf{A}$是仿射变换矩阵，$\mathbf{t}$是平移向量。对于非刚性形变，则需要使用更复杂的变换模型，如薄板样条（Thin Plate Spline）或自由形变（Free Form Deformation）。 2. **对象级运动**：轨迹与变换 真实世界中，我们更多地感知对象而非像素的运动。对象级运动建模需要首先进行实例分割，然后跟踪每个对象的运动轨迹。 - + 对象运动可以分解为几个组成部分： - **平移轨迹**：对象中心在空间中的路径 - **旋转运动**：围绕自身轴的旋转（如车轮转动） @@ -205,7 +211,7 @@ $$\mathcal{L}_{\text{temporal}} = \sum_{t=1}^{T-1} \|\phi(x_t) - \phi(x_{t+1})\| 1. **显式运动表示** 直接编码运动信息，如光流场或轨迹： - + $$\mathbf{M} = \{\mathbf{v}_{x,y,t} | \mathbf{v} = (u, v) \text{ 是位置 } (x,y) \text{ 在时刻 } t \text{ 的运动向量}\}$$ 优点： @@ -221,7 +227,7 @@ $$\mathcal{L}_{\text{temporal}} = \sum_{t=1}^{T-1} \|\phi(x_t) - \phi(x_{t+1})\| 2. **隐式运动表示** 通过神经网络学习运动的潜在表示： - + $$\mathbf{z}_{\text{motion}} = f_{\text{encode}}(\mathbf{x}_{t-k:t+k})$$ 其中$f_{\text{encode}}$是一个神经网络，从时间窗口中提取运动特征。 @@ -239,7 +245,7 @@ $$\mathcal{L}_{\text{temporal}} = \sum_{t=1}^{T-1} \|\phi(x_t) - \phi(x_{t+1})\| 3. **混合表示** 结合显式和隐式方法的优点： - + $$\mathbf{M}_{\text{hybrid}} = \mathbf{M}_{\text{explicit}} + g(\mathbf{z}_{\text{residual}})$$ 其中$\mathbf{M}_{\text{explicit}}$是估计的光流或轨迹，$g(\mathbf{z}_{\text{residual}})$是神经网络预测的残差运动。 @@ -283,32 +289,32 @@ $$\mathcal{L}_{\text{temporal}} = \sum_{t=1}^{T-1} \|\phi(x_t) - \phi(x_{t+1})\| **数据集的深度剖析** 1. **UCF-101：视频生成的MNIST** - + 尽管规模较小，UCF-101仍然是评估新方法的重要基准。它包含101类人类动作，每类约100个视频。其价值在于： - 类别平衡，便于控制实验 - 动作语义清晰，易于评估 - 计算需求适中，适合快速迭代 2. **Kinetics系列：规模与多样性的平衡** - + Kinetics-400/600/700提供了更大规模和更高多样性： - 覆盖日常生活的各种动作 - 包含复杂的人-物交互 - 视频来源多样（YouTube） - + 挑战：视频质量不一，需要仔细的预处理。 3. **WebVid-10M：文本监督的突破** - + 第一个大规模文本-视频数据集，开启了文本到视频生成的新纪元： - 自动收集的alt-text描述 - 涵盖广泛的主题和风格 - 弱监督但规模巨大 - + 局限：文本描述质量参差，常常过于简短或不准确。 4. **HD-VILA-100M：质量的新标准** - + 专门为高质量视频生成设计： - 严格的质量筛选（运动平滑性、分辨率、美学） - 更长的视频片段（10-60秒） @@ -416,11 +422,13 @@ $$\mathcal{L}_{\text{temporal}} = \sum_{t=1}^{T-1} \|\phi(x_t) - \phi(x_{t+1})\| ### 11.1.5 视频扩散的独特机遇 **1. 强大的时序先验**： + - 物理规律（重力、惯性） - 因果关系 - 周期性模式 **2. 多模态信息**： + - 视觉+音频同步 - 文本描述的时序结构 - 动作标签序列 @@ -472,6 +480,7 @@ $$\mathcal{L}_{\text{temporal}} = \sum_{t=1}^{T-1} \|\phi(x_t) - \phi(x_{t+1})\| [代码实现已转换为数学公式和文字描述] 💡 **设计权衡：计算效率 vs 表达能力** + - 完整3D：最强表达力，计算量 O(k³) - 因子化：平衡选择，计算量 O(k² + k) - 伪3D：最高效，但时空交互受限 @@ -556,6 +565,7 @@ DiT证明了图像生成的扩展定律。视频生成是否有类似规律？ [代码块已移除] 💡 **实践建议：架构选择指南** + - 高质量离线生成：使用完整3D架构 - 实时应用：使用因子化或伪3D - 移动设备：使用共享backbone + 轻量时间模块 @@ -577,6 +587,7 @@ DiT证明了图像生成的扩展定律。视频生成是否有类似规律？ 💡 **关键技巧：时序提示工程** 有效的视频生成提示需要包含： + - 明确的时序词汇（"首先"、"然后"、"最后"） - 动作的持续时间（"缓慢地"、"快速地"） - 运动方向（"从左到右"、"向上"） @@ -660,4 +671,4 @@ DiT证明了图像生成的扩展定律。视频生成是否有类似规律？ [代码块已移除] -通过这些条件控制机制，视频扩散模型可以生成高度可控和真实的动态内容。下一节将探讨如何高效地训练和部署这些模型。 \ No newline at end of file +通过这些条件控制机制，视频扩散模型可以生成高度可控和真实的动态内容。下一节将探讨如何高效地训练和部署这些模型。 From 909181a48a562fa0fa20558c3d66f82def9c3e14 Mon Sep 17 00:00:00 2001 From: William Date: Thu, 31 Jul 2025 09:59:58 +0800 Subject: [PATCH 50/62] interim --- chapter8.md | 125 +++++++++++++++++++++++++++++++++++++++++++++++++--- 1 file changed, 118 insertions(+), 7 deletions(-) diff --git a/chapter8.md b/chapter8.md index db857fe..62ae787 100644 --- a/chapter8.md +++ b/chapter8.md @@ -110,11 +110,14 @@ DDIM引入了一个关键参数 $\eta$ 来简化控制，其中 $\sigma_t = \eta 这种灵活性带来了许多实际应用。例如，当我们需要精确的图像编辑时，使用 $\eta = 0$；当我们需要多样化的生成结果时，增大 $\eta$。这就像调节相机的光圈——不同的设置适用于不同的场景。 💡 **实现技巧：加速采样的魔法** -DDIM最激动人心的特性是其加速能力。由于确定性采样的稳定性，我们可以大胆地跳过中间步骤。例如，从原始的1000步中均匀选择50步： +DDIM最激动人心的特性是其加速能力。由于确定性采样的稳定性，我们可以大胆地跳过中间步骤。实现加速的核心策略是从原始的时间步序列中进行子采样。 -```python -timesteps = np.linspace(0, 999, 50).astype(int) -``` +**时间步选择策略**： +1. **均匀采样**：最简单的方法是在时间轴上均匀选择步骤。如果原始过程使用1000步（从0到999），而我们想要使用50步，可以使用 `np.linspace` 在0到999之间均匀选择50个时间点，然后将其转换为整数索引。 + +2. **非均匀采样**：研究表明，在不同的去噪阶段，所需的精度是不同的。早期阶段（高噪声）可以使用较大步长，而后期阶段（接近数据）需要更精细的步长。这种策略可以通过幂函数或指数函数来实现时间步的非线性映射。 + +3. **自适应采样**：更高级的方法是根据当前去噪的"困难程度"动态调整步长。这需要设计度量指标来评估每步的重要性。 这种简单的操作可以实现20倍的加速！更令人惊讶的是，由于DDIM选择了更优的去噪路径，即使步数大幅减少，生成质量的下降也是有限的。这就像找到了一条高速公路，让我们能够快速到达目的地。 @@ -450,9 +453,44 @@ $$\mathbf{x}_0 = \text{clip}(\mathbf{x}_0, -1, 1) $$ -**算法伪代码**： +**算法实现细节**： + +DPM-Solver++的核心实现包含以下关键步骤： + +1. **初始化阶段**： + - 设置时间步序列，通常从高噪声状态（t=T）开始，逐步降低到无噪声状态（t=0） + - 准备存储历史预测值的缓冲区，用于高阶方法 + - 初始化噪声样本 x_T，通常从标准正态分布采样 + +2. **迭代去噪过程**： + 对于每个时间步，执行以下操作： + + a) **噪声预测**：使用神经网络 ε_θ(x_t, t) 预测当前状态的噪声成分 + + b) **数据预测**：通过噪声预测反推原始数据 + - 计算信噪比相关系数：α_t 和 σ_t + - 应用数据预测公式：x_0 = (x_t - σ_t * ε_θ) / α_t + + c) **数值稳定性处理**： + - 对预测的 x_0 进行阈值裁剪，防止数值爆炸 + - 常见策略是将值限制在 [-1, 1] 或根据数据集的实际范围调整 + + d) **高阶更新**： + - 对于 k 阶方法，维护最近 k 个时间步的预测历史 + - 使用多项式插值或Taylor展开计算高阶导数近似 + - 应用指数积分器公式计算下一时间步的状态 + +3. **自适应改进**： + - 监控每步的预测变化，动态调整步长 + - 在平滑区域使用大步长，在细节区域使用小步长 + - 可选的误差估计和步长控制机制 + +4. **多尺度处理**（可选）： + - 对于高分辨率生成，可以先在低分辨率快速去噪 + - 然后在高分辨率进行精细调整 + - 使用金字塔式的多尺度调度策略 -[代码实现已转换为数学公式和文字描述] +DPM-Solver++通过这些改进，在保持计算效率的同时显著提升了生成质量，特别是在少步数（10-25步）的场景下表现优异。 🔬 **研究方向：高阶求解器的稳定性** 高阶方法理论上更准确，但在实践中可能不稳定。如何设计既高阶又稳定的求解器？可以借鉴刚性ODE求解器的思想。 @@ -558,7 +596,80 @@ $$\mathcal{L} = \mathcal{L}_{\text{distill}} + \lambda \mathcal{L}_{\text{adv}}$ ### 8.5.4 实现优化 -[代码块已移除] +在实际部署扩散模型时，除了算法层面的改进，实现层面的优化同样重要。这些优化技巧可以在不改变算法本质的情况下，显著提升推理效率和资源利用率。 + +**1. 批处理优化** + +批处理是提升GPU利用率的关键技术。扩散模型的采样过程中，有多个机会进行批处理： + +- **并行去噪**：对多个样本同时进行去噪，共享计算资源。需要注意的是，批次中的所有样本应该处于相同的时间步，以便共享网络权重。 + +- **多尺度批处理**：在处理不同分辨率的图像时，可以将相同分辨率的图像组成批次，避免填充带来的计算浪费。 + +- **动态批处理**：根据GPU内存使用情况动态调整批次大小，在内存允许的范围内最大化吞吐量。 + +**2. 内存优化策略** + +扩散模型通常需要大量内存，特别是在高分辨率生成时。以下是常用的内存优化技术： + +- **梯度检查点**（Gradient Checkpointing）：虽然主要用于训练，但在某些需要梯度的采样技术（如引导采样）中也很有用。通过重计算而非存储中间激活值来节省内存。 + +- **混合精度推理**：使用FP16或BF16代替FP32进行计算，可以将内存使用量减半，同时在现代GPU上还能加速计算。需要注意数值稳定性，特别是在累积小数值时。 + +- **激活值复用**：在多步采样中，某些中间计算结果可以在步骤间复用，避免重复计算。 + +- **流式处理**：对于超大分辨率图像，可以采用分块处理的方式，每次只在GPU上处理一部分，完成后再处理下一部分。 + +**3. 计算优化技巧** + +- **算子融合**：将多个小算子融合成一个大算子，减少内存访问次数。例如，将归一化、激活函数和线性变换融合在一起。 + +- **张量并行**：对于大模型，可以将模型参数分割到多个GPU上，通过高效的通信实现并行计算。 + +- **自定义CUDA核**：对于性能关键的操作，如注意力机制，可以编写自定义的CUDA核函数。PyTorch的`torch.compile`或TensorRT等工具可以自动进行这类优化。 + +- **预计算优化**：某些与时间步相关的系数（如α_t、β_t）可以预先计算并存储，避免重复计算。 + +**4. 采样流程优化** + +- **时间步调度缓存**：预先计算并存储所有可能的时间步调度方案，避免运行时计算。 + +- **网络剪枝**：识别并移除对最终结果影响较小的网络组件，如某些注意力头或通道。 + +- **知识蒸馏部署**：使用蒸馏后的小模型进行部署，在保持质量的同时大幅减少计算量。 + +**5. 硬件相关优化** + +- **GPU亲和性**：确保数据传输和计算在同一GPU上进行，避免跨设备传输。 + +- **异步执行**：利用CUDA流实现计算和数据传输的重叠，隐藏传输延迟。 + +- **多GPU负载均衡**：在多GPU系统中，合理分配任务以充分利用所有计算资源。 + +**6. 框架级优化** + +现代深度学习框架提供了许多自动优化工具： + +- **PyTorch优化**： + - 使用`torch.jit.script`或`torch.jit.trace`进行模型编译 + - 启用`torch.backends.cudnn.benchmark`自动选择最优算法 + - 使用`torch.cuda.amp`进行自动混合精度训练 + +- **ONNX导出**：将模型导出为ONNX格式，利用TensorRT等推理引擎进行优化。 + +- **量化技术**：使用INT8量化进一步减少内存使用和加速计算，但需要仔细处理量化误差。 + +💡 **最佳实践建议** + +1. **性能分析先行**：使用PyTorch Profiler等工具识别性能瓶颈，有针对性地优化。 + +2. **渐进式优化**：从简单的优化开始（如批处理、混合精度），逐步尝试更复杂的技术。 + +3. **质量监控**：每项优化后都要验证生成质量，确保优化不会显著影响结果。 + +4. **平台适配**：针对部署平台（云端GPU、边缘设备、移动端）选择合适的优化策略。 + +这些实现优化技术相互配合，可以将扩散模型的推理速度提升数倍甚至数十倍，使其在实际应用中更加实用。选择哪些优化技术取决于具体的应用场景、硬件条件和质量要求。
**综合练习：设计自适应采样器** From 316f926d00c16c1ac7d1ae0425fe5522f570aae5 Mon Sep 17 00:00:00 2001 From: William Date: Thu, 31 Jul 2025 10:02:29 +0800 Subject: [PATCH 51/62] interim --- chapter9.md | 62 ++++++++++++++++++++++++++++++++++++++++++++++------- 1 file changed, 54 insertions(+), 8 deletions(-) diff --git a/chapter9.md b/chapter9.md index 0b32f19..49a798e 100644 --- a/chapter9.md +++ b/chapter9.md @@ -778,12 +778,14 @@ $$ **2. 注意力引导的引导** 使用模型内部的注意力图来调制引导强度。在注意力集中的区域使用更强的引导，在其他区域保持较弱的引导，以保护细节和多样性。 - noise_u = model(x_t, t, null_token) - - # 空间变化的引导权重 - w_spatial = compute_spatial_weights(attention_maps) - - return noise_u + w_spatial * (noise_c - noise_u) + +实现步骤： +1. 首先计算无条件噪声预测，使用空条件token +2. 提取模型的交叉注意力图，这些图显示了模型对条件的关注程度 +3. 基于注意力图计算空间变化的引导权重，高注意力区域获得更高权重 +4. 将条件和无条件预测按空间权重进行加权组合 + +这种方法的优势在于能够自适应地调整不同区域的引导强度，既保证了条件相关区域的准确生成，又保护了背景区域的自然多样性。 **3. 元引导** @@ -793,6 +795,14 @@ $$ - **上下文意识**：根据不同的生成上下文调整引导策略 - **动态适应**：在生成过程中实时调整引导参数 +元引导器的训练需要大量的（状态，最优引导参数）对。可以通过网格搜索或贝叶斯优化在验证集上找到最优参数，然后训练一个回归模型来预测这些参数。输入特征包括： +- 当前时间步 $t$ +- 条件嵌入的统计量（均值、方差） +- 当前噪声预测的不确定性 +- 历史引导效果的反馈 + +这种方法的优势是能够自动适应不同的生成场景，无需手动调参。 + 🔬 **研究前沿：可学习的引导** 能否训练一个网络来学习最优的引导策略？这可能需要元学习或强化学习方法。 @@ -898,7 +908,23 @@ $$w^* = \arg\min_w |Q(w) - Q_{target}| + |D(w) - D_{target}|$$ **3. 语义漂移检测** -[代码块已移除] +语义漂移是指生成过程中逐渐偏离原始条件语义的现象。检测方法包括： + +**轨迹分析**： +- 在每个时间步 $t$ 提取中间状态 $\mathbf{x}_t$ 的语义特征 +- 使用预训练的CLIP或其他语义编码器计算特征 $\mathbf{f}_t = \text{Encoder}(\mathbf{x}_t)$ +- 计算与目标条件的语义距离： $d_t = ||\mathbf{f}_t - \mathbf{f}_{target}||_2$ +- 如果 $d_t$ 随时间增加而不是减少，则检测到语义漂移 + +**一致性评分**： +- 定义语义一致性分数： $S_t = \cos(\mathbf{f}_t, \mathbf{f}_{target})$ +- 计算一致性分数的变化率： $\Delta S = S_t - S_{t-1}$ +- 如果连续多个步骤 $\Delta S < 0$ ，表明存在语义漂移 + +**早期干预策略**： +- 当检测到漂移时，可以增强引导强度： $w_{corrected} = w \cdot (1 + \alpha \cdot (1 - S_t))$ +- 或者回退到之前的状态并使用不同的采样策略 +- 在严重漂移时，可以重新初始化部分区域 💡 **调试技巧：可视化中间结果** 保存并可视化不同时间步的中间结果，可以帮助识别引导在哪个阶段失效。 @@ -907,7 +933,27 @@ $$w^* = \arg\min_w |Q(w) - Q_{target}| + |D(w) - D_{target}|$$ **1. 文本到图像生成** -[代码实现已转换为数学公式和文字描述] +完整的文本到图像生成管道包含以下关键步骤： + +**文本编码阶段**： +- 使用预训练的文本编码器（如CLIP文本编码器或T5）将输入文本转换为嵌入向量 +- 对于长文本，可能需要分词、截断或使用滑动窗口策略 +- 文本嵌入通常经过额外的投影层以匹配扩散模型的维度 + +**条件注入策略**： +- 在U-Net的多个层级通过交叉注意力机制注入文本条件 +- 时间嵌入与文本嵌入可以联合处理： $\mathbf{e}_{combined} = \text{MLP}([\mathbf{e}_{time}, \mathbf{e}_{text}])$ +- 使用层归一化和dropout防止过拟合 + +**采样过程优化**： +- 典型使用CFG权重 $w=7.5$ 作为默认值 +- 可以使用动态CFG调度，早期阶段使用较高权重确保语义一致 +- DDIM采样器通常用于加速，50步即可获得高质量结果 + +**质量增强技术**： +- 负向提示用于避免常见的质量问题（如"模糊"、"低质量"） +- 可以使用多阶段生成：先生成低分辨率，再使用超分辨率模型 +- 后处理步骤如色彩校正、锐化可以进一步提升视觉质量 **2. 图像编辑** From ae18363360729b7164d7189a9d8f8feff155a339 Mon Sep 17 00:00:00 2001 From: William Date: Thu, 31 Jul 2025 10:05:15 +0800 Subject: [PATCH 52/62] interim --- chapter10.md | 118 +++++++++++++++++++++++++++------------------------ 1 file changed, 62 insertions(+), 56 deletions(-) diff --git a/chapter10.md b/chapter10.md index b677df2..74f1217 100644 --- a/chapter10.md +++ b/chapter10.md @@ -234,26 +234,20 @@ LDM采用两阶段训练，分离压缩和生成： **分析潜在空间**： 可以通过以下方法分析潜在空间的特性： - labels = [] - - with torch.no_grad(): - for x, y in dataloader: - z = autoencoder.encode(x) - latents.append(z.cpu()) - labels.append(y.cpu()) - - latents = torch.cat(latents) - labels = torch.cat(labels) - - # 统计特性 - print(f"Mean: {latents.mean():.3f}") - print(f"Std: {latents.std():.3f}") - print(f"Kurtosis: {stats.kurtosis(latents.numpy().flatten()):.3f}") - - # 可视化（使用t-SNE或UMAP） - embedded = TSNE(n_components=2).fit_transform(latents.numpy()) - plt.scatter(embedded[:, 0], embedded[:, 1], c=labels) -``` + +实现潜在空间分析需要： +- 使用 `torch.no_grad()` 上下文管理器避免梯度计算 +- 遍历数据加载器，对每批图像进行编码 +- 使用自编码器的 `encode` 方法获取潜在表示 +- 收集所有潜在表示和对应的标签 +- 计算统计特性： + - 均值（理想接近0） + - 标准差（理想接近1） + - 峰度（使用 `scipy.stats.kurtosis` 测量分布形状） +- 使用降维技术可视化： + - t-SNE（`sklearn.manifold.TSNE`）将高维潜在空间映射到2D + - 根据标签着色散点图，观察类别聚类情况 + - 也可使用UMAP作为替代的降维方法 🌟 **开放问题：最优潜在空间设计** 如何设计具有特定属性的潜在空间？能否学习解耦的表示？这涉及到表示学习和因果推断的前沿研究。 @@ -440,22 +434,13 @@ $$\mathbf{x}_{out} = \mathbf{x} \odot (1 + \gamma(\mathbf{c})) + \beta(\mathbf{c 3. **噪声预测准确性**： - 添加已知噪声并预测 - 计算预测误差并分析在不同时间步的表现 - noise_error = F.mse_loss(pred_noise, noise) - print(f"Noise prediction error: {noise_error:.4f}") - - # 4. 检查生成样本 - z_sample = torch.randn_like(z) - for t in reversed(range(0, 1000, 100)): - z_sample = denoise_step(model, z_sample, t) - x_sample = autoencoder.decode(z_sample) - - return { - 'latent_stats': (z.mean().item(), z.std().item()), - 'recon_error': recon_error.item(), - 'noise_error': noise_error.item(), - 'sample': x_sample - } -``` + +实现诊断工具需要： +- 编码测试图像并计算潜在表示的统计量（均值、标准差） +- 对比原始图像和重建图像，使用MSE和感知损失评估质量 +- 在不同时间步计算噪声预测误差，使用 `F.mse_loss` 比较预测噪声和真实噪声 +- 从随机噪声生成样本，通过反向扩散过程逐步去噪 +- 返回包含潜在统计、重建误差、噪声误差和生成样本的诊断结果字典 🌟 **最佳实践：多阶段调试** 先确保自编码器工作正常，再训练扩散模型。使用小数据集快速迭代，验证流程正确后再扩展到大规模训练。 @@ -540,9 +525,11 @@ LDM使用组合损失函数来训练自编码器： - 使用PatchGAN判别器 对抗训练的引入是为了进一步提高重建的真实性。判别器学习区分真实图像和重建图像，迫使生成器（解码器）产生更逼真的结果。延迟启动策略很重要：先让自编码器通过重建和感知损失学习基本的编码-解码能力，然后引入对抗损失来精细化细节。 - # 组合 - loss = rec_loss + self.perceptual_weight * p_loss + \ - self.kl_weight * kl_loss + self.disc_weight * g_loss +组合损失的实现需要权衡各个损失项： +- 重建损失（`rec_loss`）：基础损失项，权重通常为1.0 +- 感知损失（`p_loss`）：乘以感知权重（`perceptual_weight`），通常为0.1-1.0 +- KL损失（`kl_loss`）：乘以极小的KL权重（`kl_weight`），通常为1e-6 +- 对抗损失（`g_loss`）：乘以判别器权重（`disc_weight`），通常为0.1-0.5 **总损失**： $\mathcal{L}_{total} = \mathcal{L}_{rec} + \lambda_1\mathcal{L}_{percep} + \lambda_2\mathcal{L}_{KL} + \lambda_3\mathcal{L}_{adv}$ @@ -606,11 +593,13 @@ $$\mathcal{L}_{KL} = -\frac{1}{2}\sum_{i=1}^{d}(1 + \log\sigma_i^2 - \mu_i^2 - \ - **优点**：更稳定的训练，避免模式崩塌 梯度惩罚基于Wasserstein距离的对偶形式。理论上，最优的Wasserstein判别器应该是1-Lipschitz函数。梯度惩罚通过软约束实现这一点，在数据流形附近强制梯度范数接近1。这比谱归一化更灵活，因为它只在数据分布附近施加约束，而不是全局限制网络容量。 - gradient_norm = gradients.norm(2, dim=1) - penalty = ((gradient_norm - 1) ** 2).mean() - - return penalty -``` +梯度惩罚的实现步骤： +- 在真实和生成样本之间进行随机插值 +- 计算判别器对插值样本的输出 +- 使用自动微分计算输出相对于输入的梯度 +- 计算梯度的L2范数（使用 `norm(2, dim=1)`） +- 惩罚项为梯度范数与1的差的平方的均值 +- 这鼓励判别器在数据流形附近保持1-Lipschitz性质 🔬 **研究线索：最优正则化策略** 如何平衡重建质量和潜在空间的规整性？是否可以设计自适应的正则化方案？ @@ -640,14 +629,11 @@ ResNet块的关键组件： - **两层3×3卷积**：保持空间分辨率 - **快捷连接**：当输入输出通道不匹配时使用1×1卷积 - **Dropout**：可选的正则化 - - h = self.norm2(h) - h = F.silu(h) - h = self.dropout(h) - h = self.conv2(h) - - return h + self.shortcut(x) -``` +ResNet块的处理流程： +- 第一层：归一化（`norm1`） → SiLU激活 → 3×3卷积（`conv1`） +- 第二层：归一化（`norm2`） → SiLU激活 → Dropout（可选） → 3×3卷积（`conv2`） +- 快捷连接：如果输入输出通道不同，使用1×1卷积（`shortcut`）进行匹配 +- 最终输出：残差路径与快捷连接相加
**练习 10.2：自编码器架构实验** @@ -680,15 +666,27 @@ ResNet块的关键组件： **1. 学习率调度**： -[代码实现已转换为数学公式和文字描述] +常用的学习率调度策略： +- **线性预热**：在前N步线性增加学习率，避免训练初期的不稳定 +- **余弦退火**：学习率按余弦函数衰减，公式为 $lr = lr_{min} + \frac{1}{2}(lr_{max} - lr_{min})(1 + \cos(\frac{\pi \cdot step}{total\_steps}))$ +- **步进衰减**：在特定步数将学习率乘以衰减因子 +- **自适应调整**：根据验证损失平台期自动降低学习率 **2. EMA（指数移动平均）**： -[代码实现已转换为数学公式和文字描述] +EMA通过维护模型参数的移动平均来提高生成质量： +- 更新公式： $\theta_{ema} = \beta \cdot \theta_{ema} + (1-\beta) \cdot \theta$ +- 典型的 $\beta$ 值为0.999或0.9999 +- EMA模型通常比原始模型产生更稳定、更高质量的结果 +- 在推理时使用EMA参数而非训练参数 **3. 梯度累积**： -[代码实现已转换为数学公式和文字描述] +在显存受限时通过梯度累积模拟大批量训练： +- 将梯度累积多个小批次 +- 等效批量大小 = 物理批量 × 累积步数 +- 只在累积完成后更新参数 +- 需要正确归一化损失（除以累积步数） 💡 **调试技巧：监控潜在空间** 定期可视化潜在编码的分布，确保没有模式崩溃或异常值。 @@ -697,7 +695,15 @@ ResNet块的关键组件： 使用预训练的自编码器可以大大加速开发： -[代码块已移除] +加载预训练模型的关键步骤： +- 从检查点文件加载状态字典 +- 实例化自编码器架构（需要匹配预训练时的配置） +- 加载权重并设置为评估模式（`eval()`） +- 如果使用不同的数据域，可能需要微调编码器或解码器 +- 常见的预训练模型来源： + - CompVis/stable-diffusion 的 VAE + - 各种开源模型仓库 + - 自行在大规模数据集上预训练 🌟 **最佳实践：迁移学习** 即使目标领域不同，从预训练模型开始通常比从头训练更好。自然图像的编码器可以很好地迁移到其他视觉任务。 From 39a7da90ae7461b22c9916e8f4a60b054a189469 Mon Sep 17 00:00:00 2001 From: William Date: Thu, 31 Jul 2025 10:08:04 +0800 Subject: [PATCH 53/62] interim --- chapter11.md | 172 ++++++++++++++++++++++++++++++++++++++++++++++++--- 1 file changed, 162 insertions(+), 10 deletions(-) diff --git a/chapter11.md b/chapter11.md index f8908d7..4127787 100644 --- a/chapter11.md +++ b/chapter11.md @@ -435,7 +435,24 @@ $$\mathcal{L}_{\text{temporal}} = \sum_{t=1}^{T-1} \|\phi(x_t) - \phi(x_{t+1})\| **3. 分层表示**： -[代码实现已转换为数学公式和文字描述] +视频的分层结构允许我们在不同粒度上建模： + +- **像素级**：原始RGB值，最细粒度的表示 + $$\mathbf{V}_{\text{pixel}} \in \mathbb{R}^{T \times H \times W \times 3}$$ + +- **特征级**：通过卷积或Transformer提取的中层特征 + $$\mathbf{F} = f_{\text{encoder}}(\mathbf{V}_{\text{pixel}})$$ + 其中$f_{\text{encoder}}$可以是预训练的视觉编码器（如CLIP、DINO） + +- **语义级**：场景、对象、动作的高层概念 + $$\mathbf{S} = \{\text{objects}, \text{actions}, \text{scenes}\}$$ + 通过检测器和分类器获得 + +- **结构级**：视频的叙事结构、事件序列 + $$\mathbf{E} = \{e_1 \to e_2 \to ... \to e_n\}$$ + 表示视频中的事件流 + +这种分层表示允许我们在适当的抽象层次上施加约束和进行控制。例如，可以在语义级确保动作的合理性，在特征级保持视觉一致性，在像素级优化细节质量。 🌟 **前沿思考：视频理解与生成的统一** 视频理解模型（如VideoMAE）的表示能否直接用于生成？如何设计既能理解又能生成的统一架构？ @@ -457,7 +474,19 @@ $$\mathcal{L}_{\text{temporal}} = \sum_{t=1}^{T-1} \|\phi(x_t) - \phi(x_{t+1})\| - 缺点：需要好的视频编码器 4. **混合方法**： - [代码块已移除] + 结合多种方法的优势，根据不同阶段使用不同策略： + + - **关键帧生成 + 插值**：先生成稀疏的关键帧，然后通过插值或条件生成填充中间帧。这种方法可以确保长程一致性，同时降低计算负担。 + + - **低分辨率时序 + 高分辨率空间**：在低分辨率下建模完整的时序动态，然后通过超分辨率网络提升每帧的质量。这利用了运动信息主要存在于低频的特性。 + + - **潜在动态 + 像素细化**：在压缩的潜在空间中建模视频的主要动态，然后通过解码器恢复像素级细节。这种方法特别适合长视频生成。 + + 选择合适的技术路线需要考虑： + - **应用场景**：实时 vs 离线，短视频 vs 长视频 + - **质量要求**：分辨率、帧率、视觉保真度 + - **计算资源**：GPU内存、推理时间限制 + - **控制需求**：所需的条件类型和控制粒度 接下来，我们将深入探讨具体的模型架构设计... @@ -469,15 +498,52 @@ $$\mathcal{L}_{\text{temporal}} = \sum_{t=1}^{T-1} \|\phi(x_t) - \phi(x_{t+1})\| **完整3D卷积**： -[代码实现已转换为数学公式和文字描述] +完整的3D卷积同时在空间和时间维度上操作，使用三维卷积核： + +$$y_{t,h,w} = \sum_{t'=-k_t}^{k_t} \sum_{h'=-k_h}^{k_h} \sum_{w'=-k_w}^{k_w} w_{t',h',w'} \cdot x_{t+t',h+h',w+w'}$$ + +其中$(k_t, k_h, k_w)$分别是时间、高度和宽度方向的卷积核大小。典型配置使用$(3, 3, 3)$的卷积核。 + +3D卷积的特点： +- **参数量**：$C_{in} \times C_{out} \times k_t \times k_h \times k_w$ +- **计算复杂度**：$O(T \times H \times W \times C_{in} \times C_{out} \times k_t \times k_h \times k_w)$ +- **感受野**：时空同时扩展，能够捕获复杂的时空模式 + +在实现时，通常使用`torch.nn.Conv3d`，并配合适当的padding策略保持时空维度。 **因子化卷积（更高效）**： -[代码实现已转换为数学公式和文字描述] +为了减少参数量和计算成本，可以将3D卷积分解为空间卷积和时间卷积的组合： + +$$\text{Factorized3D} = \text{Conv2D}_{\text{spatial}} \circ \text{Conv1D}_{\text{temporal}}$$ + +具体来说： +1. 首先应用2D空间卷积：对每个时间步独立处理 + $$h_t = \text{Conv2D}(x_t), \quad \forall t \in [1, T]$$ + +2. 然后应用1D时间卷积：沿时间轴聚合信息 + $$y_{t,h,w} = \sum_{t'=-k_t}^{k_t} w_{t'} \cdot h_{t+t',h,w}$$ + +这种分解的优势： +- **参数量减少**：从$O(k_t k_h k_w)$降到$O(k_h k_w + k_t)$ +- **计算效率提升**：可以并行处理空间维度 +- **灵活性**：可以独立调整空间和时间的建模能力 **伪3D卷积（Pseudo-3D）**： -[代码实现已转换为数学公式和文字描述] +伪3D（P3D）进一步优化了因子化策略，通过残差连接保持信息流： + +$$\text{P3D}(x) = \text{Conv1D}_t(\text{Conv2D}_s(x)) + \text{Conv2D}_s(x)$$ + +这种设计的核心思想是： +- 空间路径：保持高分辨率的空间信息 +- 时间路径：建模时序动态 +- 残差连接：允许模型自适应地选择需要的时序建模程度 + +变体包括： +- **P3D-A**：串行结构，先空间后时间 +- **P3D-B**：并行结构，空间和时间分支独立处理后融合 +- **P3D-C**：瓶颈结构，使用1×1卷积降维 💡 **设计权衡：计算效率 vs 表达能力** @@ -491,15 +557,62 @@ $$\mathcal{L}_{\text{temporal}} = \sum_{t=1}^{T-1} \|\phi(x_t) - \phi(x_{t+1})\| **全时空注意力（计算密集）**： -[代码实现已转换为数学公式和文字描述] +全时空注意力将所有时空位置视为一个序列，计算每个位置与所有其他位置的注意力： + +$$\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$$ + +其中序列长度为$L = T \times H \times W$。具体步骤： + +1. **展平时空维度**：将输入从$[B, T, C, H, W]$重塑为$[B, T \times H \times W, C]$ + +2. **计算注意力**： + - Query: $Q = xW_Q$，维度$[B, L, d_k]$ + - Key: $K = xW_K$，维度$[B, L, d_k]$ + - Value: $V = xW_V$，维度$[B, L, d_v]$ + +3. **注意力权重**：$A_{ij} = \frac{\exp(q_i \cdot k_j / \sqrt{d_k})}{\sum_k \exp(q_i \cdot k_k / \sqrt{d_k})}$ + +计算复杂度为$O(L^2 \cdot d) = O((THW)^2 \cdot d)$，对于典型的视频尺寸（如16×256×256）是不可行的。 **分解的时空注意力（高效）**： -[代码实现已转换为数学公式和文字描述] +将时空注意力分解为独立的空间注意力和时间注意力，大幅降低计算复杂度： + +1. **空间注意力**（在每个时间步内）： + $$\text{SpatialAttn}(x_t) = \text{Attention}(x_t, x_t, x_t)$$ + 其中$x_t \in \mathbb{R}^{H \times W \times C}$是第$t$帧 + +2. **时间注意力**（跨时间步）： + $$\text{TemporalAttn}(x_{:,h,w}) = \text{Attention}(x_{:,h,w}, x_{:,h,w}, x_{:,h,w})$$ + 其中$x_{:,h,w} \in \mathbb{R}^{T \times C}$是位置$(h,w)$的时间序列 + +3. **组合策略**： + - 串行：$\text{Output} = \text{TemporalAttn}(\text{SpatialAttn}(x))$ + - 并行：$\text{Output} = \text{SpatialAttn}(x) + \text{TemporalAttn}(x)$ + - 交错：在不同层交替使用空间和时间注意力 + +计算复杂度降低到$O(T \cdot (HW)^2 + HW \cdot T^2)$，当$T \ll HW$时效率显著提升。 **分块时空注意力（内存友好）**： -[代码实现已转换为数学公式和文字描述] +将视频分成不重叠或部分重叠的时空块，在块内计算注意力： + +1. **时空分块**： + - 将视频分成大小为$(T_b, H_b, W_b)$的块 + - 块的数量：$N_b = \lceil T/T_b \rceil \times \lceil H/H_b \rceil \times \lceil W/W_b \rceil$ + +2. **块内注意力**： + $$\text{BlockAttn}(x_{\text{block}}) = \text{Attention}(x_{\text{block}}, x_{\text{block}}, x_{\text{block}})$$ + +3. **块间信息传递**： + - **重叠块**：相邻块有$(T_o, H_o, W_o)$的重叠区域 + - **全局token**：每个块额外包含少量全局token用于长程依赖 + - **层次化**：在不同分辨率上使用不同大小的块 + +优势： +- 内存使用从$O(L^2)$降到$O(B_s^2 \times N_b)$，其中$B_s = T_b \times H_b \times W_b$ +- 可以并行处理不同的块 +- 通过调整块大小平衡效率和表达能力 🔬 **研究方向：自适应注意力模式** 能否学习数据相关的注意力模式？例如，快速运动区域使用密集时间注意力，静态区域使用稀疏注意力。 @@ -510,11 +623,50 @@ $$\mathcal{L}_{\text{temporal}} = \sum_{t=1}^{T-1} \|\phi(x_t) - \phi(x_{t+1})\| **循环连接**： -[代码实现已转换为数学公式和文字描述] +循环神经网络（RNN）风格的连接可以有效地传播时序信息： + +1. **前向循环**： + $$h_t = f(x_t, h_{t-1})$$ + 其中$h_t$是时刻$t$的隐藏状态，$f$是循环单元（如LSTM、GRU或简单的线性层） + +2. **ConvLSTM/ConvGRU**： + 将循环单元中的全连接操作替换为卷积，保持空间结构： + + 对于ConvLSTM： + $$\begin{align} + i_t &= \sigma(W_{xi} * x_t + W_{hi} * h_{t-1} + b_i) \\ + f_t &= \sigma(W_{xf} * x_t + W_{hf} * h_{t-1} + b_f) \\ + o_t &= \sigma(W_{xo} * x_t + W_{ho} * h_{t-1} + b_o) \\ + g_t &= \tanh(W_{xg} * x_t + W_{hg} * h_{t-1} + b_g) \\ + c_t &= f_t \odot c_{t-1} + i_t \odot g_t \\ + h_t &= o_t \odot \tanh(c_t) + \end{align}$$ + + 其中$*$表示卷积操作，$\odot$表示逐元素乘法 + +3. **时序残差连接**： + $$h_t = x_t + \alpha \cdot g(h_{t-1})$$ + 其中$\alpha$是可学习的门控参数，$g$是变换函数 **双向传播**： -[代码实现已转换为数学公式和文字描述] +双向处理可以利用未来帧的信息，提高生成质量： + +1. **双向RNN结构**： + - 前向：$\overrightarrow{h}_t = f_{\rightarrow}(x_t, \overrightarrow{h}_{t-1})$ + - 后向：$\overleftarrow{h}_t = f_{\leftarrow}(x_t, \overleftarrow{h}_{t+1})$ + - 融合：$h_t = g([\overrightarrow{h}_t; \overleftarrow{h}_t])$ + +2. **时序自注意力（无方向性）**： + 使用掩码控制信息流向： + - 因果掩码：只允许访问过去信息 + - 双向掩码：可以访问所有时间步 + - 局部窗口：限制在时间窗口内 + +3. **层次化双向传播**： + - 低层：使用因果连接，保证生成的自回归性 + - 高层：使用双向连接，提高全局一致性 + - 通过这种设计平衡生成质量和推理效率
**练习 11.2：设计高效的视频架构** From f8a74bc61086bf94de838504ecf784fdd260f909 Mon Sep 17 00:00:00 2001 From: William Date: Thu, 31 Jul 2025 10:22:28 +0800 Subject: [PATCH 54/62] interim --- chapter10.md | 196 +++++++++++++++++++++++++++++++++++++++++++++++++-- 1 file changed, 189 insertions(+), 7 deletions(-) diff --git a/chapter10.md b/chapter10.md index 74f1217..67fe1a2 100644 --- a/chapter10.md +++ b/chapter10.md @@ -750,7 +750,34 @@ Stable Diffusion是LDM最成功的实现，其架构精心平衡了效率和质 Stable Diffusion使用KL-正则化的VAE，具有以下特点： -[代码块已移除] +**编码器架构**： +- **输入处理**：接收RGB图像（3通道），通过初始卷积映射到128通道特征 +- **下采样路径**： + - 4个下采样块，每块包含2个ResNet层 + - 通道数递增：128 → 256 → 512 → 512 + - 每个块后进行2倍下采样（除了最后一个块） + - 总下采样因子：8倍（512×512 → 64×64） +- **中间处理**： + - 两个ResNet块 + 一个注意力块 + - 在最低分辨率捕捉全局依赖 +- **输出**：8通道（均值4通道 + 对数方差4通道） + +**解码器架构**： +- **输入**：4通道潜在表示 +- **上采样路径**： + - 镜像编码器结构 + - 通道数递减：512 → 512 → 256 → 128 + - 使用最近邻插值 + 卷积进行上采样 +- **输出处理**： + - GroupNorm + SiLU激活 + - 最终3×3卷积输出RGB图像 + +**关键参数**： +- **潜在维度**：4通道（极度压缩的表示） +- **缩放因子**：0.18215 + - 编码时：`z = encoder(x) * 0.18215` + - 解码时：`x = decoder(z / 0.18215)` +- **KL权重**：约1e-6（接近确定性编码器） 💡 **关键细节：缩放因子的作用** 0.18215这个魔法数字将潜在表示归一化到单位方差附近，这对扩散模型的稳定训练至关重要。它是在大规模数据集上经验确定的。 @@ -759,7 +786,34 @@ Stable Diffusion使用KL-正则化的VAE，具有以下特点： Stable Diffusion使用OpenAI的CLIP ViT-L/14模型编码文本： -[代码块已移除] +**CLIP编码器架构**： +- **分词器**：使用CLIP tokenizer，词汇表大小约49,000 + - 支持小写和大写字母、数字、常见符号 + - 使用字节对编码（BPE）处理未知词 + - 特殊标记：`[PAD]`（0）、`[START]`（49406）、`[END]`（49407） +- **文本处理流程**： + 1. 分词：将输入文本转换为token ID序列 + 2. 填充/截断：固定长度77 tokens + 3. 添加特殊标记：开始和结束标记 + 4. 位置编码：添加可学习的位置嵌入 + +**Transformer编码器**： +- **架构**：12层Transformer，每层包含： + - 多头自注意力（12个注意力头） + - 前馈网络（隐藏维度3072） + - 层归一化和残差连接 +- **嵌入维度**：768 +- **输出**：77×768的特征矩阵（保留完整序列） + +**关键实现细节**： +- **条件处理**： + - 正常提示：通过完整CLIP编码 + - 空提示（用于CFG）：编码空字符串"" + - 批处理：同时处理多个提示以提高效率 +- **数值稳定性**： + - 使用float16可能导致数值问题 + - 建议文本编码器使用float32 + - 输出特征已预归一化 **文本编码特性**： - 最大长度：77 tokens @@ -774,13 +828,86 @@ CLIP是为图像-文本对齐训练的，不一定最适合生成任务。专门 Stable Diffusion的U-Net是整个系统的核心： -[代码块已移除] +**整体架构设计**： +- **输入**：噪声潜在表示 `z_t` （4×64×64）+ 时间步嵌入 + 文本嵌入 +- **输出**：预测的噪声 `ε_θ` （相同尺寸） + +**下采样路径（编码器）**： +1. **初始卷积**：4通道 → 320通道 +2. **下采样块序列**： + - Block 1-2：320通道，包含2个ResNet块 + - Block 3-4：320→640通道，添加交叉注意力 + - Block 5-6：640→1280通道，继续交叉注意力 + - Block 7-9：保持1280通道，更深的处理 + - 每3个块后进行2×下采样（除了最后） + +**中间块**： +- 分辨率：8×8（最低点） +- 结构：ResNet块 → 交叉注意力 → ResNet块 +- 通道数：1280 +- 捕捉全局语义信息 + +**上采样路径（解码器）**： +- 镜像下采样路径 +- 跳跃连接：拼接对应层的编码器特征 +- 通道数逐渐减少：1280 → 640 → 320 +- 交叉注意力位置与下采样路径对应 + +**时间嵌入**： +- 正弦位置编码（类似Transformer） +- 通过MLP映射到各层所需维度 +- 使用FiLM机制注入到ResNet块 + +**注意力配置**： +- **自注意力**：仅在16×16及以下分辨率 +- **交叉注意力**：在指定层与文本特征交互 +- **注意力头数**：根据通道数自适应（通道数/64） + +**关键设计选择**： +- **渐进式通道数**：更好地捕捉多尺度特征 +- **条件注入位置**：在中低分辨率注入文本信息 +- **跳跃连接**：保留细节信息，避免信息损失 ### 10.4.5 交叉注意力机制 交叉注意力是文本控制的关键： -[代码块已移除] +**交叉注意力机制原理**： +- **Query**：来自U-Net的图像特征（空间展平后） +- **Key/Value**：来自CLIP的文本编码（77×768） +- **计算流程**： + 1. 线性变换：`Q = W_q × image_features` + 2. 线性变换：`K = W_k × text_features`，`V = W_v × text_features` + 3. 注意力分数：`scores = Q × K^T / sqrt(d_k)` + 4. 注意力权重：`weights = softmax(scores)` + 5. 输出：`output = weights × V` + +**实现细节**： +- **多头注意力**： + - 8个注意力头（典型配置） + - 每个头独立计算注意力 + - 输出拼接后通过线性层 +- **维度配置**： + - 输入图像特征：`B × HW × C`（批次×空间×通道） + - 文本特征：`B × 77 × 768` + - 注意力维度：通常与图像特征通道数匹配 + +**空间对齐机制**： +- 每个空间位置独立计算与文本的相关性 +- 允许不同区域关注不同的文本token +- 实现细粒度的文本-图像对齐 + +**优化技巧**： +- **Flash Attention**：融合kernel减少内存访问 +- **切片注意力**：分批处理减少峰值内存 +- **xFormers**：使用优化的注意力实现 + - 内存效率：O(N)而非O(N²) + - 速度提升：通常2-3倍加速 + +**注意力图分析**： +- 早期层：关注全局布局和大致位置 +- 中间层：物体级别的对齐 +- 后期层：细节和纹理的控制
**练习 10.4：理解Stable Diffusion的设计选择** @@ -815,15 +942,70 @@ Stable Diffusion支持多种条件输入： **1. 无分类器引导（CFG）**： -[代码实现已转换为数学公式和文字描述] +CFG通过组合条件和无条件预测来增强生成质量： + +**数学公式**： +$$\boldsymbol{\epsilon}_{\text{guided}} = \boldsymbol{\epsilon}_{\text{uncond}} + w \cdot (\boldsymbol{\epsilon}_{\text{cond}} - \boldsymbol{\epsilon}_{\text{uncond}})$$ + +其中： +- $\boldsymbol{\epsilon}_{\text{cond}}$：使用文本条件的噪声预测 +- $\boldsymbol{\epsilon}_{\text{uncond}}$：使用空提示的噪声预测 +- $w$：引导权重（典型值7.5） + +**实现流程**： +1. 编码文本提示获得条件嵌入 +2. 编码空字符串获得无条件嵌入 +3. 将两个嵌入拼接，批量推理 +4. 分离预测结果并应用CFG公式 +5. 使用引导后的噪声进行去噪步骤 + +**参数影响**： +- $w < 1$：更随机，多样性高 +- $w = 1$：标准条件生成 +- $w > 1$：更严格遵循提示 +- $w > 20$：可能过度饱和 **2. 负面提示**： -[代码实现已转换为数学公式和文字描述] +负面提示通过修改无条件项来排除不想要的内容： + +**工作原理**： +- 标准CFG使用空提示作为无条件 +- 负面提示替换空提示，引导远离特定概念 +- 公式不变，但 $\boldsymbol{\epsilon}_{\text{uncond}}$ 现在基于负面提示 + +**常用负面提示**： +- 质量相关：`low quality, blurry, distorted` +- 风格相关：`cartoon, anime, 3d render` +- 内容相关：`text, watermark, logo` + +**组合策略**： +- 可以组合多个负面概念 +- 权重语法：`(concept:0.8)` 调整强度 +- 过长的负面提示可能降低效果 **3. 图像条件（img2img）**： -[代码实现已转换为数学公式和文字描述] +img2img通过从部分去噪的图像开始实现图像编辑： + +**实现步骤**： +1. **编码源图像**：`z_0 = VAE.encode(source_image)` +2. **添加噪声**： + - 选择起始时间步 $t_{\text{start}} = T \times (1 - \text{strength})$ + - 添加对应噪声：$z_t = \sqrt{\bar{\alpha}_t}z_0 + \sqrt{1-\bar{\alpha}_t}\boldsymbol{\epsilon}$ +3. **部分去噪**：从 $t_{\text{start}}$ 开始去噪到 $t=0$ +4. **解码结果**：`result = VAE.decode(z_0)` + +**强度参数的影响**： +- strength = 0：返回原图 +- strength = 0.3：轻微修改 +- strength = 0.7：显著变化 +- strength = 1.0：完全重新生成 + +**应用场景**： +- 风格转换：保持结构，改变风格 +- 图像修复：配合掩码进行局部编辑 +- 细节增强：低强度改善图像质量 ### 10.4.7 推理优化技术 From ee08c06904f6082b14c7c9343e9a6e64e353014f Mon Sep 17 00:00:00 2001 From: William Date: Thu, 31 Jul 2025 10:25:42 +0800 Subject: [PATCH 55/62] interim --- chapter11.md | 391 ++++++++++++++++++++++++++++++++++++++++++++++++++- 1 file changed, 385 insertions(+), 6 deletions(-) diff --git a/chapter11.md b/chapter11.md index 4127787..77cff59 100644 --- a/chapter11.md +++ b/chapter11.md @@ -697,24 +697,403 @@ $$\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right) ### 11.2.4 分层时序建模 -不同时间尺度需要不同的处理策略： +不同时间尺度需要不同的处理策略。视频中的运动存在天然的层次结构：快速的局部运动（如树叶摆动）、中等速度的对象运动（如人行走）、缓慢的全局变化（如光照变化）。有效建模这种多尺度时序结构是视频生成的关键。 -[代码块已移除] +**多尺度时间分解** + +视频的时序信息可以在多个尺度上分解和建模： + +1. **金字塔时序结构**： + 在不同的网络深度使用不同的时间分辨率。底层处理高时间分辨率捕获细节运动，高层处理低时间分辨率建模长程依赖。 + + 典型的金字塔结构： + - 第1-2层：全时间分辨率（所有帧） + - 第3-4层：1/2时间分辨率（隔帧采样） + - 第5-6层：1/4时间分辨率（每4帧采样） + - 第7-8层：1/8时间分辨率（每8帧采样） + + 这种设计的优势： + - **计算效率**：高层的计算量随时间分辨率降低而减少 + - **感受野扩展**：在不增加层数的情况下扩大时间感受野 + - **多尺度特征**：自然地捕获不同速度的运动模式 + +2. **时间频率分解**： + 使用时间域的傅里叶变换或小波变换，将视频分解为不同频率成分： + + $$x(t) = \sum_{k} a_k \cos(2\pi f_k t) + b_k \sin(2\pi f_k t)$$ + + - **低频成分**：对应缓慢的全局变化（场景光照、相机运动） + - **中频成分**：对应主要的对象运动 + - **高频成分**：对应快速的局部变化（纹理振动、噪声） + + 不同频率成分可以用不同的网络容量建模，实现计算资源的优化分配。 + +3. **层次化时间注意力**： + 设计多个注意力头，每个关注不同的时间尺度： + + - **局部头**：注意力窗口为3-5帧，捕获短程运动连续性 + - **中程头**：注意力窗口为8-16帧，建模动作序列 + - **全局头**：覆盖整个视频，维持长程一致性 + + 通过学习的门控机制自适应地组合不同尺度的信息： + $$h = \sum_{s \in \{local, medium, global\}} g_s \cdot h_s$$ + 其中$g_s$是可学习的门控权重。 + +**时序递归与跳跃连接** + +为了有效传播不同时间尺度的信息，需要设计合适的连接模式： + +1. **多尺度跳跃连接**： + 不仅在相邻时间步之间传递信息，还建立跨越多个时间步的直接连接： + + $$h_t = f(x_t, h_{t-1}, h_{t-2}, h_{t-4}, h_{t-8})$$ + + 这种设计允许： + - 快速传播长程信息 + - 减少梯度消失问题 + - 灵活建模不同速度的运动 + +2. **时序残差网络**： + 在时间维度上应用残差连接，类似于ResNet在空间维度的设计： + + $$h_t = x_t + F(x_t, \{h_{t-k}\}_{k=1}^K)$$ + + 其中$F$是时序变换函数，$K$是时间窗口大小。 + +3. **门控时序传播**： + 使用门控机制控制信息在时间维度的流动： + + $$\begin{align} + r_t &= \sigma(W_r [x_t, h_{t-1}]) \quad \text{(重置门)} \\ + z_t &= \sigma(W_z [x_t, h_{t-1}]) \quad \text{(更新门)} \\ + \tilde{h}_t &= \tanh(W_h [x_t, r_t \odot h_{t-1}]) \\ + h_t &= z_t \odot h_{t-1} + (1-z_t) \odot \tilde{h}_t + \end{align}$$ + + 门控机制允许模型自适应地决定保留多少历史信息。 + +**自适应时间采样** + +不是所有视频片段都需要相同的时间分辨率。自适应采样可以提高效率： + +1. **基于运动强度的采样**： + 计算相邻帧之间的运动强度（如光流幅度），在运动剧烈的区域使用更密集的采样： + + $$p(t) = \frac{\exp(\alpha \cdot m_t)}{\sum_{t'} \exp(\alpha \cdot m_{t'})}$$ + + 其中$m_t$是时刻$t$的运动强度，$p(t)$是采样概率。 + +2. **学习式采样**： + 训练一个轻量级网络预测每个时间位置的重要性分数，基于分数进行采样。这可以通过强化学习或可微分采样实现。 + +3. **内容感知的时间聚合**： + 对于静态或缓慢变化的区域，可以在时间维度上共享计算： + + $$h_{t:t+k} = f_{shared}(x_{t:t+k}) \quad \text{if } \text{motion}(t:t+k) < \theta$$ + +**时间一致性保证** + +分层建模需要特别注意保持时间一致性： + +1. **多尺度时序损失**： + 在不同时间尺度上计算一致性损失： + + $$\mathcal{L}_{temporal} = \sum_{s \in scales} \lambda_s \sum_{t} \|f_s(x_t) - f_s(x_{t+s})\|^2$$ + + 其中$f_s$是在尺度$s$上的特征提取器。 + +2. **层次化正则化**： + 对不同层施加不同强度的时序正则化，底层强调局部平滑，高层强调全局一致。 + +3. **跨尺度特征对齐**： + 确保不同时间尺度提取的特征在语义上一致，通过特征对齐损失实现： + + $$\mathcal{L}_{align} = \sum_{s_1, s_2} \|\mathbb{E}[f_{s_1}(x)] - \mathbb{E}[f_{s_2}(x)]\|^2$$ ### 11.2.5 Video DiT架构 -将DiT扩展到视频领域： +将DiT扩展到视频领域代表了视频生成的最新发展方向。Video DiT继承了DiT在图像生成中展现的优异扩展性，同时需要解决视频特有的时序建模挑战。 -[代码块已移除] +**从DiT到Video DiT的演进** + +DiT（Diffusion Transformer）在图像生成中的成功启发了视频领域的探索。关键的适配包括： + +1. **时空patch化**： + 将视频分解为时空patches是Video DiT的基础。不同于图像的2D patches，视频需要3D patches： + + $$\text{Video} \in \mathbb{R}^{T \times H \times W \times C} \rightarrow \text{Patches} \in \mathbb{R}^{N \times D}$$ + + 其中$N = \frac{T}{p_t} \times \frac{H}{p_h} \times \frac{W}{p_w}$，$(p_t, p_h, p_w)$是patch大小。 + + 常见的patch策略： + - **立方体patches**：$(p_t, p_h, p_w) = (4, 16, 16)$，每个patch包含4帧 + - **时间分解patches**：$(p_t, p_h, p_w) = (1, 16, 16)$，保持时间分辨率 + - **自适应patches**：根据运动强度动态调整patch大小 + +2. **位置编码的扩展**： + Video DiT需要同时编码空间和时间位置： + + $$PE(t, h, w) = PE_{temporal}(t) + PE_{spatial}(h, w)$$ + + 时间位置编码通常使用： + - **绝对位置编码**：为每个时间步分配固定的编码 + - **相对位置编码**：编码时间步之间的相对距离 + - **周期性编码**：适合处理循环或周期性运动 + +3. **注意力机制的适配**： + 全时空注意力的计算复杂度是$O((T \cdot H \cdot W)^2)$，实际中需要优化： + + - **因子化注意力**：交替进行空间和时间注意力 + - **窗口注意力**：在局部时空窗口内计算注意力 + - **轴向注意力**：沿着特定轴（时间、高度、宽度）计算 + +**Video DiT的核心组件** + +1. **时空Transformer块**： + 每个块包含多个子层，处理不同方面的信息： + + $$\begin{align} + h^{(1)} &= h^{(0)} + \text{SpatialAttn}(\text{LN}(h^{(0)})) \\ + h^{(2)} &= h^{(1)} + \text{TemporalAttn}(\text{LN}(h^{(1)})) \\ + h^{(3)} &= h^{(2)} + \text{FFN}(\text{LN}(h^{(2)})) + \end{align}$$ + + 这种设计允许模型分别处理空间和时间关系，同时保持计算效率。 + +2. **条件机制**： + Video DiT通过多种方式注入条件信息： + + - **自适应层归一化（AdaLN）**：根据时间步和条件调制归一化参数 + $$\text{AdaLN}(h, c, t) = \gamma(c, t) \odot \text{Normalize}(h) + \beta(c, t)$$ + + - **交叉注意力**：与文本或其他条件信息进行交叉注意力 + $$h = h + \text{CrossAttn}(h, c_{text})$$ + + - **条件偏置**：直接将条件信息作为偏置项加入 + $$h = h + f_{bias}(c)$$ + +3. **时间感知的前馈网络**： + 标准的FFN可以扩展为时间感知版本： + + $$\text{T-FFN}(x) = W_2 \cdot \text{GELU}(W_1 \cdot x + b_1) + b_2$$ + + 其中权重$W_1, W_2$可以是时间相关的，允许不同时间步使用不同的变换。 + +**架构变体与优化** + +1. **分层Video DiT**： + 使用不同分辨率的特征图，类似U-Net的设计： + + - **编码器路径**：逐步降低空间分辨率，增加通道数 + - **瓶颈层**：在低分辨率下进行主要的时空建模 + - **解码器路径**：恢复空间分辨率，保持时间一致性 + +2. **混合架构**： + 结合CNN和Transformer的优势： + + - **底层**：使用3D卷积处理局部时空模式 + - **中层**：使用Transformer建模长程依赖 + - **顶层**：使用轻量级卷积恢复细节 + +3. **稀疏Video DiT**： + 通过稀疏化减少计算量： + + - **Token剪枝**：动态移除不重要的时空tokens + - **注意力稀疏化**：只计算最相关的注意力连接 + - **混合精度**：对不同组件使用不同精度 + +**扩展性分析** + +Video DiT的一个关键优势是其优异的扩展性： + +1. **模型规模扩展**： + 研究表明，Video DiT遵循类似图像DiT的扩展定律： + + $$\text{Loss} \propto C^{-\alpha} \cdot N^{-\beta} \cdot D^{-\gamma}$$ + + 其中$C$是计算量，$N$是参数量，$D$是数据量，$\alpha, \beta, \gamma$是扩展指数。 + +2. **数据扩展**： + Video DiT可以有效利用大规模视频数据： + - 从数百万到数十亿视频片段 + - 多样化的视频源（电影、监控、用户生成内容） + - 多模态数据（视频+文本+音频） + +3. **计算扩展**： + 通过分布式训练技术扩展到数千个GPU： + - **数据并行**：不同GPU处理不同批次 + - **模型并行**：将模型分割到多个GPU + - **流水线并行**：将不同层分配到不同GPU + +**性能优化技术** + +1. **Flash Attention适配**： + 将Flash Attention扩展到3D注意力，显著减少内存使用： + + $$\text{Memory} = O(\sqrt{N}) \text{ instead of } O(N)$$ + +2. **梯度累积与检查点**： + - 时间维度的梯度累积，减少批次大小需求 + - 选择性激活检查点，平衡内存和计算 + +3. **混合训练策略**： + - 先在低分辨率训练，逐步增加分辨率 + - 使用知识蒸馏从大模型训练小模型 + - 课程学习：从简单到复杂的视频 🌟 **前沿探索：视频生成的扩展定律** DiT证明了图像生成的扩展定律。视频生成是否有类似规律？时间维度如何影响扩展？这是开放的研究问题。 ### 11.2.6 轻量级视频架构 -对于实时或移动应用，需要更轻量的设计： +对于实时或移动应用，需要更轻量的设计。轻量级视频架构的目标是在保持生成质量的同时，大幅降低计算和内存需求，使视频生成能够在资源受限的环境中运行。 -[代码块已移除] +**设计原则与权衡** + +轻量级架构设计需要在多个维度上进行权衡： + +1. **质量vs速度**： + - 降低模型容量会影响生成质量 + - 需要找到最优的质量-效率平衡点 + - 通过架构创新而非简单缩放来提升效率 + +2. **通用性vs专用性**： + - 专用模型（如只生成人脸视频）可以更高效 + - 通用模型需要更多容量处理多样化内容 + - 可以通过模块化设计实现灵活性 + +3. **延迟vs吞吐量**： + - 实时应用关注单帧延迟 + - 批处理应用关注整体吞吐量 + - 不同优化策略适用于不同场景 + +**核心轻量化技术** + +1. **深度可分离时空卷积**： + 将标准3D卷积分解为深度卷积和逐点卷积： + + $$\begin{align} + \text{Standard 3D Conv}: & \quad O(k_t \cdot k_h \cdot k_w \cdot C_{in} \cdot C_{out}) \\ + \text{Depthwise + Pointwise}: & \quad O(k_t \cdot k_h \cdot k_w \cdot C_{in} + C_{in} \cdot C_{out}) + \end{align}$$ + + 参数量减少比例：$\frac{1}{C_{out}} + \frac{1}{k_t \cdot k_h \cdot k_w}$ + +2. **时间池化与上采样**： + 在时间维度进行下采样处理，然后恢复： + + - **编码阶段**：时间池化降低帧率 + $$x_{pooled} = \text{MaxPool1D}(x, \text{kernel}=2, \text{stride}=2)$$ + + - **处理阶段**：在低帧率下进行主要计算 + + - **解码阶段**：时间上采样恢复帧率 + $$x_{upsampled} = \text{Interpolate}(x, \text{scale}=2, \text{mode}='linear')$$ + +3. **动态稀疏计算**： + 根据内容自适应地分配计算资源： + + - **运动检测**：识别静态和动态区域 + $$M_{t,h,w} = \|x_{t,h,w} - x_{t-1,h,w}\| > \theta$$ + + - **稀疏处理**：只在动态区域进行完整计算 + $$y_{t,h,w} = \begin{cases} + f_{full}(x_{t,h,w}) & \text{if } M_{t,h,w} = 1 \\ + f_{light}(x_{t,h,w}) & \text{otherwise} + \end{cases}$$ + + - **自适应精度**：动态区域使用高精度，静态区域使用低精度 + +**高效架构设计** + +1. **共享Backbone + 轻量时间模块**： + + 架构组成： + - **共享2D Backbone**：处理每帧的空间特征，参数在帧间共享 + - **轻量时间模块**：只处理时间维度的交互 + - **特征重用**：缓存和重用静态区域的特征 + + 优势： + - 大部分参数（2D backbone）可以重用 + - 时间模块可以很轻量（如1D卷积） + - 易于从预训练的图像模型初始化 + +2. **渐进式生成**： + + 分阶段生成策略： + - **关键帧生成**：先生成稀疏的关键帧（如每8帧） + - **粗粒度插值**：快速生成中间帧的低频信息 + - **细节增强**：选择性地增强重要区域的细节 + + 计算分配： + - 关键帧：60%计算资源 + - 插值：30%计算资源 + - 增强：10%计算资源 + +3. **模型压缩技术**： + + - **量化**：将权重和激活从FP32降到INT8或更低 + $$w_{quantized} = \text{round}(w \cdot s) / s$$ + 其中$s$是量化尺度 + + - **剪枝**：移除不重要的连接或通道 + - 结构化剪枝：移除整个通道或层 + - 非结构化剪枝：移除单个权重 + + - **知识蒸馏**：从大模型学习 + $$\mathcal{L}_{distill} = \alpha \mathcal{L}_{task} + (1-\alpha) \mathcal{L}_{KD}$$ + 其中$\mathcal{L}_{KD}$是与教师模型输出的匹配损失 + +**移动端优化** + +1. **神经架构搜索（NAS）**： + 自动搜索适合特定硬件的架构： + + - **搜索空间**：定义可能的操作和连接 + - **硬件感知**：考虑实际延迟而非理论FLOPs + - **多目标优化**：同时优化质量、速度和能耗 + +2. **算子融合**： + 将多个操作融合为单个kernel： + + - **Conv-BN-ReLU融合**：减少内存访问 + - **注意力融合**：将Q、K、V计算融合 + - **自定义CUDA kernel**：针对特定模式优化 + +3. **边缘-云协同**： + + 混合计算架构： + - **边缘设备**：低延迟的轻量处理 + - 运动估计 + - 简单的帧插值 + - 实时预览 + + - **云端**：高质量的完整生成 + - 复杂的扩散采样 + - 高分辨率细节 + - 多模态融合 + + - **自适应切换**：根据网络条件和需求动态分配 + +**基准测试与评估** + +轻量级模型需要全面的评估： + +1. **效率指标**： + - **实际延迟**：在目标硬件上的推理时间 + - **内存占用**：峰值GPU/内存使用 + - **能耗**：移动设备上的电池消耗 + - **模型大小**：存储需求 + +2. **质量指标**： + - **FVD degradation**：相对于完整模型的质量下降 + - **时序一致性**：是否保持流畅性 + - **用户研究**：实际用户的接受度 + +3. **应用特定指标**： + - **首帧延迟**：用户等待时间 + - **流畅度**：帧率稳定性 + - **交互响应**：用户输入的响应速度 💡 **实践建议：架构选择指南** From a52080a95340c79ca1e51e180b43eb78a379f18b Mon Sep 17 00:00:00 2001 From: William Date: Thu, 31 Jul 2025 10:46:46 +0800 Subject: [PATCH 56/62] interim --- chapter11.md | 511 +++++++++++++++++++++++++++++++++++++++++++++++++-- 1 file changed, 500 insertions(+), 11 deletions(-) diff --git a/chapter11.md b/chapter11.md index 77cff59..8b51bb2 100644 --- a/chapter11.md +++ b/chapter11.md @@ -1110,11 +1110,61 @@ DiT证明了图像生成的扩展定律。视频生成是否有类似规律？ **时序感知的文本编码**： -[代码实现已转换为数学公式和文字描述] +传统的文本编码器（如CLIP）主要为静态图像设计，缺乏对时序信息的理解。为了有效地指导视频生成，需要增强文本编码器的时序感知能力： + +1. **时序标记增强**： + 在文本序列中引入特殊的时序标记，帮助模型理解时间关系： + + $$\text{Input: "A cat [FIRST] sits, [THEN] stands up, [FINALLY] walks away"}$$ + + 这些标记通过专门的embedding层编码，提供明确的时序锚点。 + +2. **动作感知的注意力机制**： + 设计专门的注意力头关注动词和时序修饰词： + + $$\alpha_{verb} = \text{softmax}(\frac{Q_{verb} \cdot K^T}{\sqrt{d}})$$ + + 其中$Q_{verb}$是专门提取动词特征的查询向量。 + +3. **时间锚定编码**： + 将文本中的时间信息映射到视频的具体时间段： + + $$t_{anchor} = f_{time}(\text{"in the beginning"}) \rightarrow [0, 0.3T]$$ + $$t_{anchor} = f_{time}(\text{"halfway through"}) \rightarrow [0.4T, 0.6T]$$ + + 这种映射通过学习的时间解析网络实现。 **动作词提取与对齐**： -[代码实现已转换为数学公式和文字描述] +动作词是视频生成的核心，需要精确提取并与视频时序对齐： + +1. **动作词识别**： + 使用预训练的语言模型或词性标注器识别动作词： + + - 主要动词："run", "jump", "dance" + - 动作短语："pick up", "sit down", "turn around" + - 持续性标记："continuously", "repeatedly", "gradually" + +2. **动作时序建模**： + 每个动作词关联一个时间分布： + + $$p(t|\text{action}) = \mathcal{N}(\mu_{action}, \sigma_{action}^2)$$ + + 其中$\mu_{action}$表示动作的中心时刻，$\sigma_{action}$表示持续时间。 + +3. **动作转换序列**： + 多个动作之间的转换通过转移概率建模： + + $$P(a_2|a_1) = \text{TransitionNet}(\text{embed}(a_1), \text{embed}(a_2))$$ + + 这帮助生成流畅的动作序列。 + +4. **动作强度调制**： + 修饰词调整动作的执行方式： + + - "slowly" → 降低运动速度，增加持续时间 + - "violently" → 增加运动幅度，添加抖动 + - "gracefully" → 平滑运动轨迹，减少突变 💡 **关键技巧：时序提示工程** 有效的视频生成提示需要包含： @@ -1129,11 +1179,78 @@ DiT证明了图像生成的扩展定律。视频生成是否有类似规律？ **图像编码与运动预测**： -[代码实现已转换为数学公式和文字描述] +从单张图像生成视频需要推断可能的运动模式。这涉及理解图像内容并预测合理的动态： + +1. **深度感知编码**： + 提取图像的多层次特征，包括： + + - **对象级特征**：使用预训练的检测器（如DETR）识别可动对象 + $$\mathbf{f}_{obj} = \text{ObjectEncoder}(\text{image})$$ + + - **场景级特征**：理解整体场景类型（室内/室外、静态/动态） + $$\mathbf{f}_{scene} = \text{SceneEncoder}(\text{image})$$ + + - **纹理级特征**：捕获可能暗示运动的视觉线索（如模糊、方向性纹理） + $$\mathbf{f}_{texture} = \text{TextureEncoder}(\text{image})$$ + +2. **运动可能性预测**： + 基于图像内容预测可能的运动类型： + + $$P(\text{motion}|\text{image}) = \text{softmax}(\text{MLP}([\mathbf{f}_{obj}; \mathbf{f}_{scene}; \mathbf{f}_{texture}]))$$ + + 运动类型包括： + - 刚体运动（平移、旋转） + - 形变运动（弹性、流体） + - 关节运动（人体、动物） + - 环境运动（风、水、光照变化） + +3. **初始运动场估计**： + 生成第一帧到第二帧的运动场： + + $$\mathbf{v}_{init} = \text{FlowDecoder}(\mathbf{f}_{image}, \mathbf{z}_{motion})$$ + + 其中$\mathbf{z}_{motion}$是采样的运动潜变量，引入随机性。 **运动类型分解**： -[代码实现已转换为数学公式和文字描述] +将复杂运动分解为基本组件，便于控制和生成： + +1. **全局运动（相机运动）**： + 相机运动影响整个场景： + + $$\mathbf{v}_{global} = \begin{cases} + \text{pan}: & (u, v) = (\alpha, 0) \\ + \text{tilt}: & (u, v) = (0, \beta) \\ + \text{zoom}: & (u, v) = \gamma(x - c_x, y - c_y) \\ + \text{rotate}: & (u, v) = \omega(-y + c_y, x - c_x) + \end{cases}$$ + + 其中$(c_x, c_y)$是图像中心，$\alpha, \beta, \gamma, \omega$是运动参数。 + +2. **局部对象运动**： + 每个对象的独立运动： + + $$\mathbf{v}_{local}^{(i)} = \mathbf{v}_{translate}^{(i)} + \mathbf{v}_{rotate}^{(i)} + \mathbf{v}_{deform}^{(i)}$$ + + - 平移：对象整体移动 + - 旋转：围绕对象中心旋转 + - 形变：非刚性变化（如布料飘动） + +3. **精细纹理运动**： + 小尺度的动态细节： + + - 水面涟漪：周期性波动模式 + - 树叶摆动：随机但受约束的运动 + - 火焰闪烁：湍流运动模式 + + 这些通过程序化生成或学习的纹理动画网络实现。 + +4. **运动合成**： + 将不同层次的运动组合： + + $$\mathbf{v}_{final} = \mathbf{v}_{global} + \sum_i M^{(i)} \odot \mathbf{v}_{local}^{(i)} + \lambda \cdot \mathbf{v}_{texture}$$ + + 其中$M^{(i)}$是第$i$个对象的掩码，$\lambda$控制纹理运动的强度。 🔬 **研究挑战：运动的歧义性** 同一张图像可能对应多种合理的运动。如何处理这种多模态性？可以使用变分方法或条件流匹配来建模运动分布。 @@ -1144,11 +1261,85 @@ DiT证明了图像生成的扩展定律。视频生成是否有类似规律？ **轨迹表示与编码**： -[代码实现已转换为数学公式和文字描述] +运动轨迹提供了直观而精确的视频控制方式。有效的轨迹表示需要平衡灵活性和计算效率： + +1. **参数化轨迹表示**： + 使用数学曲线描述运动路径： + + - **贝塞尔曲线**：灵活的曲线表示 + $$\mathbf{B}(t) = \sum_{i=0}^n \binom{n}{i} (1-t)^{n-i} t^i \mathbf{P}_i$$ + 其中$\mathbf{P}_i$是控制点，$t \in [0,1]$是曲线参数 + + - **B样条曲线**：局部控制的平滑曲线 + $$\mathbf{S}(t) = \sum_{i} N_{i,k}(t) \mathbf{P}_i$$ + 其中$N_{i,k}$是B样条基函数 + + - **傅里叶级数**：周期性运动 + $$\mathbf{F}(t) = \mathbf{a}_0 + \sum_{k=1}^N [\mathbf{a}_k \cos(k\omega t) + \mathbf{b}_k \sin(k\omega t)]$$ + +2. **离散点序列表示**： + 直接指定关键时刻的位置： + + $$\mathcal{T} = \{(t_i, \mathbf{p}_i) | i = 1, ..., K\}$$ + + 其中$t_i$是时间戳，$\mathbf{p}_i = (x_i, y_i)$是位置。 + + 优势： + - 直观的用户交互（拖拽式编辑） + - 灵活处理不规则运动 + - 易于施加约束（如避障） + +3. **轨迹编码网络**： + 将轨迹信息融入扩散模型： + + $$\mathbf{h}_{traj} = \text{TrajectoryEncoder}(\mathcal{T})$$ + + 编码器设计： + - **时间卷积**：捕获轨迹的局部模式 + - **注意力机制**：建模轨迹点之间的关系 + - **位置编码**：保留时序信息 **稀疏控制点插值**： -[代码实现已转换为数学公式和文字描述] +用户通常只提供少量关键点，需要智能插值生成完整轨迹： + +1. **物理感知插值**： + 考虑物理约束的插值方法： + + - **最小加速度路径**：最小化加速度变化 + $$\min \int_0^T \|\ddot{\mathbf{p}}(t)\|^2 dt$$ + + - **能量最小化**：模拟自然运动 + $$\min \int_0^T [\frac{1}{2}m\|\dot{\mathbf{p}}(t)\|^2 + V(\mathbf{p}(t))] dt$$ + 其中$V$是势能函数 + +2. **学习式插值**： + 使用神经网络预测中间点： + + $$\mathbf{p}_{interp} = \text{InterpolationNet}(\mathbf{p}_{before}, \mathbf{p}_{after}, t_{relative}, \mathbf{c}_{context})$$ + + 其中： + - $\mathbf{p}_{before}, \mathbf{p}_{after}$：前后控制点 + - $t_{relative}$：相对时间位置 + - $\mathbf{c}_{context}$：上下文信息（对象类型、场景等） + +3. **多对象轨迹协调**： + 处理多个对象的轨迹交互： + + - **碰撞避免**： + $$\mathcal{L}_{collision} = \sum_{i \neq j} \max(0, r_i + r_j - \|\mathbf{p}_i(t) - \mathbf{p}_j(t)\|)$$ + 其中$r_i, r_j$是对象半径 + + - **群体行为**： + $$\mathbf{v}_i = \mathbf{v}_{desired} + \alpha \mathbf{v}_{separation} + \beta \mathbf{v}_{alignment} + \gamma \mathbf{v}_{cohesion}$$ + 模拟鸟群、鱼群等集体运动 + +4. **轨迹引导的扩散**： + 在扩散过程中施加轨迹约束： + + $$\mathbf{x}_t = \text{Denoise}(\mathbf{x}_{t+1}, t, \mathbf{c}_{text}) + \lambda_t \nabla_{\mathbf{x}} \log p(\mathcal{T}|\mathbf{x})$$ + + 其中第二项是轨迹一致性的梯度引导。
**练习 11.3：实现交互式视频控制** @@ -1181,17 +1372,186 @@ DiT证明了图像生成的扩展定律。视频生成是否有类似规律？ 分离视频的内容（什么）和风格（如何）： -[代码块已移除] +**内容-风格分离的动机**： + +视频中的内容和风格解耦允许更灵活的创作和编辑。内容指“发生了什么”（对象、动作、场景），风格指“看起来怎么样”（视觉美学、色彩、纹理）。 + +**双分支编码器架构**： + +1. **内容编码器**： + 提取与风格无关的结构信息： + + $$\mathbf{z}_{content} = E_{content}(\mathbf{x})$$ + + 内容编码器关注： + - 对象身份和位置 + - 运动模式和轨迹 + - 场景布局和深度 + - 时序关系和因果 + +2. **风格编码器**： + 提取视觉风格特征： + + $$\mathbf{z}_{style} = E_{style}(\mathbf{x})$$ + + 风格编码器关注： + - 颜色分布和调色板 + - 纹理模式和笔触 + - 光照氛围和对比度 + - 艺术风格（写实、卡通、油画等） + +**解耦训练策略**： + +1. **对抗性解耦**： + 使用领域判别器确保内容编码不包含风格信息： + + $$\mathcal{L}_{adv} = -\log D_{style}(\mathbf{z}_{content})$$ + + 其中$D_{style}$试图从内容编码中预测风格标签。 + +2. **交叉重建**： + 交换不同视频的内容和风格： + + $$\mathbf{x}_{AB} = G(\mathbf{z}_{content}^A, \mathbf{z}_{style}^B)$$ + + 重建损失： + $$\mathcal{L}_{cross} = \|\mathbf{x}_{AB} - \mathbf{x}_B\|_{content} + \|\mathbf{x}_{AB} - \mathbf{x}_A\|_{style}$$ + +3. **循环一致性**： + 确保解耦-重组的可逆性： + + $$\mathcal{L}_{cycle} = \|G(E_{content}(\mathbf{x}), E_{style}(\mathbf{x})) - \mathbf{x}\|$$ **时序一致的风格迁移**： -[代码实现已转换为数学公式和文字描述] +视频风格迁移面临的最大挑战是保持时间一致性： + +1. **帧间一致性约束**： + 防止风格在帧间闪烁： + + $$\mathcal{L}_{temporal} = \sum_t \|\mathcal{W}(\mathbf{y}_t, \mathbf{y}_{t+1}) - \mathcal{W}(\mathbf{x}_t, \mathbf{x}_{t+1})\|$$ + + 其中$\mathcal{W}$是光流弯曲函数，$\mathbf{y}$是风格化后的视频。 + +2. **长程风格一致性**： + 使用全局风格编码确保整体一致： + + $$\mathbf{z}_{style}^{global} = \text{Aggregate}(\{\mathbf{z}_{style}^t\}_{t=1}^T)$$ + + 聚合方式包括： + - 平均池化：简单但有效 + - 注意力池化：自适应加权 + - 时序卷积：捕获风格变化 + +3. **运动保持风格化**： + 保持原始运动同时改变视觉风格： + + $$\mathbf{y}_t = \mathcal{S}(\mathbf{x}_t, \mathbf{z}_{style}) + \lambda \cdot (\mathbf{x}_t - \mathbf{x}_{t-1})$$ + + 其中$\mathcal{S}$是风格化函数，第二项保持运动信息。 + +4. **多尺度风格融合**： + 在不同空间尺度应用风格： + + - **全局风格**：整体色调、氛围 + - **局部风格**：纹理、笔触细节 + - **对象级风格**：特定对象的风格化 + +**应用场景**： + +1. **视频艺术化**：将普通视频转换为艺术风格 +2. **风格迁移**：在保持动作的情况下改变视觉风格 +3. **域适应**：将合成数据转换为真实风格 +4. **创意编辑**：混合不同视频的内容和风格 ### 11.3.5 细粒度属性控制 控制视频的特定属性： -[代码块已移除] +**属性控制的层次结构**： + +视频生成中的细粒度控制需要在多个层次上操作，从全局属性到局部细节： + +1. **全局属性控制**： + 影响整个视频的属性： + + - **速度控制**：调整整体播放速度 + $$\mathbf{x}'_t = \mathbf{x}_{\lfloor \alpha \cdot t \rfloor}$$ + 其中$\alpha > 1$加速，$\alpha < 1$减速 + + - **亮度/对比度**：全局色彩调整 + $$\mathbf{x}'_{rgb} = \gamma \cdot (\mathbf{x}_{rgb} - 0.5) + 0.5 + \beta$$ + 其中$\gamma$控制对比度，$\beta$控制亮度 + + - **运动强度**：全局运动幅度缩放 + $$\mathbf{v}'(t) = \lambda_{motion} \cdot \mathbf{v}(t)$$ + +2. **对象级属性**： + 针对特定对象的控制： + + - **对象速度**：独立调整每个对象的运动速度 + - **对象大小**：动态缩放特定对象 + - **对象可见性**：控制对象的出现和消失时机 + + 通过对象掩码$M^{(i)}$实现精确控制： + $$\mathbf{x}'_t = \sum_i M^{(i)}_t \odot f_i(\mathbf{x}_t, \theta^{(i)}) + (1 - \cup_i M^{(i)}_t) \odot \mathbf{x}_t$$ + +3. **局部属性编辑**： + 细粒度的空间-时间区域控制： + + - **局部运动模糊**：在高速运动区域添加模糊 + - **局部色彩变化**：特定区域的颜色调整 + - **纹理动画**：如水面波纹、火焰闪烁 + +**属性解耦表示**： + +为了实现独立的属性控制，需要学习解耦的表示： + +1. **变分属性编码**： + 使用VAE框架学习解耦表示： + + $$q(\mathbf{z}|\mathbf{x}) = \prod_k q(\mathbf{z}_k|\mathbf{x})$$ + + 其中每个$\mathbf{z}_k$对应一个可控属性（速度、颜色、形状等）。 + +2. **信息瓶颈**： + 通过信息论约束促进解耦： + + $$\mathcal{L}_{IB} = \beta \cdot I(\mathbf{z}_k; \mathbf{x}) - I(\mathbf{z}_k; \mathbf{y}_k)$$ + + 最小化与输入的互信息，最大化与目标属性的互信息。 + +3. **属性特定的损失函数**： + 为每个属性设计专门的损失： + + - **运动一致性损失**：确保运动属性的改变是平滑的 + - **颜色恒定性损失**：保持对象颜色在时间上的稳定 + - **形状保持损失**：防止不期望的形变 + +**交互式属性调整**： + +提供直观的用户界面进行实时调整： + +1. **滑块控制**： + 连续属性的实时调整（速度、大小、亮度） + + $$\mathbf{x}'_t = G(\mathbf{z}_{content}, \{\alpha_k \cdot \mathbf{z}_k\}_{k=1}^K)$$ + + 其中$\alpha_k \in [0, 2]$是用户控制的缩放因子。 + +2. **时间曲线编辑**： + 属性随时间的变化曲线： + + - 关键帧插值：在特定时刻设置属性值 + - 贝塞尔曲线：平滑的属性过渡 + - 周期函数：循环变化的属性 + +3. **语义属性映射**： + 将高级语义映射到低级控制： + + - "更快" → 增加速度因子 + - "更亮" → 调整亮度参数 + - "更流畅" → 增强运动平滑性 🌟 **前沿方向：可组合的视频控制** 如何设计一个统一框架，支持任意组合的控制信号（文本+轨迹+风格+属性）？这需要解决控制信号的对齐、融合和冲突解决。 @@ -1200,6 +1560,135 @@ DiT证明了图像生成的扩展定律。视频生成是否有类似规律？ 确保生成的运动符合物理规律： -[代码块已移除] +**物理约束的重要性**： + +真实感的视频生成需要遵循物理规律。违反物理直觉的运动会立即被观察者察觉，破坏沉浸感。将物理约束集成到扩散模型中是提高生成质量的关键。 + +**基础物理定律的建模**： + +1. **牛顿运动定律**： + 物体的运动应遵循基本力学原理： + + - **惯性定律**：物体保持匀速直线运动或静止 + $$\mathbf{v}_{t+1} = \mathbf{v}_t \quad \text{(无外力时)}$$ + + - **力与加速度**：$F = ma$ + $$\mathbf{a}_t = \frac{\mathbf{F}_t}{m}$$ + $$\mathbf{v}_{t+1} = \mathbf{v}_t + \mathbf{a}_t \cdot \Delta t$$ + + - **作用与反作用**：碰撞时的动量守恒 + $$m_1\mathbf{v}_1 + m_2\mathbf{v}_2 = m_1\mathbf{v}'_1 + m_2\mathbf{v}'_2$$ + +2. **重力影响**： + 所有物体都受重力影响： + + $$\mathbf{p}_{t+1} = \mathbf{p}_t + \mathbf{v}_t \cdot \Delta t + \frac{1}{2}\mathbf{g} \cdot \Delta t^2$$ + + 其中$\mathbf{g} = (0, -9.8)$ m/s²是重力加速度。 + + 不同物体的下落特性： + - 重物：快速下落，轨迹接近抛物线 + - 轻物（羽毛、纸片）：受空气阻力影响，飘落 + - 气球：可能上升（浮力大于重力） + +3. **碰撞与反弹**： + 物体碰撞时的行为： + + - **弹性碰撞**：能量守恒 + $$e = \frac{v'_{separation}}{v_{approach}}$$ + 其中$e$是恢复系数（0=完全非弹性，1=完全弹性） + + - **摩擦力**：影响滑动和滚动 + $$\mathbf{F}_{friction} = -\mu \cdot N \cdot \frac{\mathbf{v}}{|\mathbf{v}|}$$ + +**软体与流体动力学**： + +1. **弹性形变**： + 软体物体的形变遵循胡克定律： + + $$\mathbf{F} = -k \cdot \Delta \mathbf{x}$$ + + 应用场景： + - 布料模拟：悬垂、飘动、褶皱 + - 弹性物体：橡胶球的压缩和恢复 + - 肌肉运动：人体和动物的自然运动 + +2. **流体运动**： + 液体和气体的运动遵循纳维-斯托克斯方程（简化版）： + + $$\frac{\partial \mathbf{v}}{\partial t} + (\mathbf{v} \cdot \nabla)\mathbf{v} = -\frac{1}{\rho}\nabla p + \nu \nabla^2 \mathbf{v} + \mathbf{f}$$ + + 在实践中，使用简化的涡流模型： + - 烟雾：上升并扩散 + - 水流：遵循容器形状 + - 火焰：湍流和闪烁 + +**物理感知的损失函数**： + +1. **运动平滑性损失**： + 惩罚不自然的加速度变化： + + $$\mathcal{L}_{smooth} = \sum_t \|\mathbf{a}_{t+1} - \mathbf{a}_t\|^2$$ + +2. **能量守恒损失**： + 确保系统总能量合理： + + $$\mathcal{L}_{energy} = \left| E_{t+1} - E_t - W_{external} \right|$$ + + 其中$E = E_{kinetic} + E_{potential}$，$W_{external}$是外力做功。 + +3. **接触约束损失**： + 防止物体穿透： + + $$\mathcal{L}_{contact} = \sum_{i,j} \max(0, d_{min} - \|\mathbf{p}_i - \mathbf{p}_j\|)$$ + + 其中$d_{min}$是最小允许距离。 + +**物理引导的采样**： + +在扩散过程中施加物理约束： + +1. **梯度引导**： + 在每个去噪步骤添加物理梯度： + + $$\mathbf{x}_{t-1} = \mu_\theta(\mathbf{x}_t, t) + \lambda \nabla_{\mathbf{x}} \log p_{physics}(\mathbf{x}_t)$$ + + 其中$p_{physics}$是物理合理性的概率模型。 + +2. **投影方法**： + 将生成的运动投影到物理可行空间： + + $$\mathbf{x}'_t = \text{Project}_{physics}(\mathbf{x}_t)$$ + + 投影操作包括： + - 速度限制：限制最大速度 + - 位置修正：解决穿透问题 + - 动量调整：保持守恒 + +3. **多步预测-修正**： + 交替进行扩散步骤和物理修正： + + - 预测步：使用扩散模型生成 + - 修正步：应用物理约束 + - 迭代直到收敛 + +**学习隐式物理**： + +除了显式约束，模型可以从数据中学习隐式物理： + +1. **物理增强训练**： + - 使用物理仿真生成训练数据 + - 在真实数据上微调 + - 混合真实和仿真数据 + +2. **物理感知架构**： + - 在网络中嵌入物理先验 + - 使用图神经网络建模物体交互 + - 分离运动学和动力学建模 + +3. **自监督物理学习**： + - 预测未来帧作为物理理解的代理任务 + - 从视频中学习物体属性（质量、弹性） + - 发现潜在的物理规律 -通过这些条件控制机制，视频扩散模型可以生成高度可控和真实的动态内容。下一节将探讨如何高效地训练和部署这些模型。 +通过这些条件控制机制和物理约束，视频扩散模型可以生成高度可控和真实的动态内容。下一节将探讨如何高效地训练和部署这些模型。 From 11e0abd3843a47af7b97f2136fb889fd88c55e1c Mon Sep 17 00:00:00 2001 From: William Date: Thu, 31 Jul 2025 10:52:22 +0800 Subject: [PATCH 57/62] interim --- chapter7.md | 10 +++++++++- 1 file changed, 9 insertions(+), 1 deletion(-) diff --git a/chapter7.md b/chapter7.md index a7cb7dd..f63d039 100644 --- a/chapter7.md +++ b/chapter7.md @@ -148,7 +148,15 @@ DiT提供了多种模型规模： **混合精度训练**： -[代码实现已转换为数学公式和文字描述] +混合精度训练对DiT尤其重要，因为注意力计算的内存占用很大。基本策略包括： + +1. **前向传播使用FP16**：大部分矩阵乘法和注意力计算可以安全地使用半精度，显著减少内存占用和加速计算。使用 `torch.cuda.amp.autocast()` 上下文管理器自动处理精度转换。 + +2. **损失计算保持FP32**：均方误差损失对数值精度敏感，应确保在全精度下计算。这避免了数值不稳定和梯度消失问题。 + +3. **梯度缩放防止下溢**：FP16的数值范围较小，梯度可能下溢为零。使用 `GradScaler` 动态缩放损失值，确保梯度在FP16的表示范围内。典型的初始缩放因子为2^16，并根据梯度溢出情况自动调整。 + +4. **主权重保持FP32**：优化器状态和主模型权重保持在FP32精度，只在前向和反向传播时转换为FP16。这确保了参数更新的精度。 **推理加速技巧**： - KV-cache在自回归生成中很有用，但在扩散模型中作用有限 From 66a50bb4b44e543e5d9bdfa851acfbf7094afdac Mon Sep 17 00:00:00 2001 From: William Date: Thu, 31 Jul 2025 13:18:06 +0800 Subject: [PATCH 58/62] interim --- chapter10.md | 256 +++++++++++++++++++++++++++++++++++++++++++++++++-- 1 file changed, 248 insertions(+), 8 deletions(-) diff --git a/chapter10.md b/chapter10.md index 67fe1a2..75a4a0d 100644 --- a/chapter10.md +++ b/chapter10.md @@ -1011,15 +1011,82 @@ img2img通过从部分去噪的图像开始实现图像编辑： **1. 半精度推理**： -[代码实现已转换为数学公式和文字描述] +半精度（FP16）推理可以显著减少内存使用并加速计算： + +**实现方法**： +- **模型转换**：将模型权重从FP32转换为FP16，使用PyTorch的 `model.half()` 或 `model.to(torch.float16)` +- **自动混合精度**：使用 `torch.cuda.amp.autocast()` 上下文管理器自动处理精度转换 +- **数值稳定性考虑**： + - VAE解码器可能需要保持FP32以避免颜色偏移 + - 文本编码器建议使用FP32保持精度 + - U-Net通常可以安全使用FP16 + +**性能提升**： +- 内存使用减少约50% +- 在支持Tensor Core的GPU上速度提升2-3倍 +- 批处理大小可以增加一倍 + +**潜在问题与解决**： +- **数值溢出**：使用梯度缩放（gradient scaling）防止小梯度下溢 +- **精度损失**：关键层（如最终输出层）保持FP32 +- **颜色偏移**：VAE使用FP32或调整缩放因子 **2. 注意力优化**： -[代码实现已转换为数学公式和文字描述] +优化注意力计算是提高推理速度的关键： + +**Flash Attention**： +- **原理**：通过融合CUDA kernel减少HBM（高带宽内存）访问 +- **优势**： + - 内存复杂度从O(N²)降至O(N) + - 速度提升2-4倍，特别是长序列 + - 支持因果掩码和dropout +- **使用条件**：需要特定GPU架构（Ampere及以上） + +**切片注意力（Sliced Attention）**： +- **原理**：将注意力矩阵分块计算，避免完整矩阵实例化 +- **实现步骤**： + 1. 将Query分成多个切片 + 2. 对每个切片独立计算注意力 + 3. 累积结果 +- **内存节省**：峰值内存使用降低80%以上 +- **速度权衡**：略微降低速度（10-20%）但大幅节省内存 + +**xFormers优化**： +- **memory_efficient_attention**：自动选择最优的注意力实现 +- **支持多种后端**：Flash Attention、CutLass、Triton +- **自适应选择**：根据序列长度和硬件自动选择算法 +- **易于集成**：只需替换标准注意力调用 **3. 批处理优化**： -[代码实现已转换为数学公式和文字描述] +有效的批处理可以最大化GPU利用率： + +**动态批处理**： +- **原理**：根据可用内存动态调整批次大小 +- **实现策略**： + 1. 监测当前GPU内存使用 + 2. 估算单个样本的内存需求 + 3. 计算最大可能的批次大小 + 4. 留出安全边际（通常10-20%） + +**多分辨率批处理**： +- **挑战**：不同分辨率的图像无法直接批处理 +- **解决方案**： + 1. **分组策略**：将相同分辨率的请求分组 + 2. **填充方法**：填充到批次内最大尺寸 + 3. **分桶处理**：预定义几个标准分辨率桶 + 4. **动态形状**：使用动态图优化不同形状 + +**流水线并行**： +- **VAE和U-Net分离**：在U-Net处理当前批次时，VAE可以解码上一批次 +- **文本编码预处理**：批量编码文本，缓存结果 +- **异步处理**：使用CUDA流实现真正的并行 + +**内存池化**： +- **预分配缓冲区**：避免频繁的内存分配/释放 +- **张量复用**：在不同步骤间复用中间张量 +- **梯度检查点**：推理时不需要，但训练时可以权衡计算换内存 💡 **性能提示：VAE解码瓶颈** 在批量生成时，VAE解码往往成为瓶颈。可以先生成所有潜在表示，然后批量解码，或使用更轻量的解码器。 @@ -1038,7 +1105,32 @@ img2img通过从部分去噪的图像开始实现图像编辑： **SDXL的创新**： -[代码实现已转换为数学公式和文字描述] +SDXL（Stable Diffusion XL）引入了多项架构改进： + +**1. 级联U-Net架构**： +- **基础模型**：生成1024×1024潜在表示（128×128×4） +- **精炼模型**：提升细节质量，专注于高频信息 +- **两阶段生成**：先生成基础图像，再精炼细节 + +**2. 条件增强**： +- **尺寸条件**：原始图像尺寸作为额外条件，改善裁剪问题 +- **裁剪条件**：top/left坐标信息，帮助模型理解物体位置 +- **美学分数**：训练时的质量评分，推理时可控制生成质量 + +**3. 架构改进**： +- **更深的网络**：70层 vs SD1.5的35层 +- **更多注意力层**：在更多分辨率添加注意力机制 +- **改进的VAE**：更好的重建质量，减少伪影 + +**4. 训练策略优化**： +- **渐进式训练**：从512×512开始，逐步提升到1024×1024 +- **多尺度损失**：在不同分辨率计算损失，提高多尺度一致性 +- **噪声偏移（Noise Offset）**：改善极暗和极亮区域的生成 + +**5. 推理改进**： +- **分离的文本编码器**：使用两个CLIP模型（OpenCLIP ViT-G和CLIP ViT-L） +- **池化文本嵌入**：除了序列嵌入，还使用池化的全局嵌入 +- **可选的精炼阶段**：根据需求选择是否使用精炼模型 🌟 **未来方向：模块化设计** 未来的架构可能采用更模块化的设计，允许用户根据需求组合不同的编码器、去噪器和解码器。这需要标准化的接口和训练协议。 @@ -1047,13 +1139,57 @@ img2img通过从部分去噪的图像开始实现图像编辑： **训练配置**： -[代码实现已转换为数学公式和文字描述] +Stable Diffusion的训练需要精心设计的配置： + +**基础超参数**： +- **学习率**：1e-4 到 5e-5，使用常数或余弦调度 +- **批次大小**：2048-4096（使用梯度累积实现） +- **训练步数**：通常500k-1M步 +- **优化器**：AdamW，β1=0.9, β2=0.999, 权重衰减0.01 +- **EMA衰减**：0.9999，用于稳定生成质量 + +**硬件需求**： +- **最小配置**：8×A100 80GB用于基础训练 +- **推荐配置**：32×A100或更多用于大规模训练 +- **混合精度**：必须使用以节省内存 +- **梯度检查点**：在U-Net中启用以减少内存使用 + +**数据预处理**： +1. **图像处理**： + - 中心裁剪或随机裁剪到目标尺寸 + - 归一化到[-1, 1]范围 + - 可选的数据增强（水平翻转等） + +2. **文本处理**： + - 清理和标准化标题 + - 处理特殊字符和编码问题 + - 长度限制和截断策略 + +3. **过滤策略**： + - 移除低质量图像（模糊、低分辨率） + - NSFW内容过滤（可选） + - 去重处理（基于感知哈希） **训练策略**： 1. **多尺度训练**：随机裁剪不同尺寸 + - 基础分辨率的0.75x到1.25x + - 保持宽高比的智能裁剪 + - 提高模型对不同尺寸的泛化能力 + 2. **条件dropout**：10%概率丢弃文本条件 + - 训练无条件生成能力 + - 支持classifier-free guidance + - 可以调整dropout率影响CFG效果 + 3. **噪声偏移**：微调噪声调度改善暗部细节 + - 在标准高斯噪声基础上添加小偏移（0.1×均值） + - 改善极暗和极亮区域的生成 + - 需要在训练和推理时保持一致 + 4. **渐进式训练**：先训练低分辨率，再微调高分辨率 + - 阶段1：256×256分辨率，快速收敛 + - 阶段2：512×512分辨率，主要训练 + - 阶段3：可选的高分辨率微调 ### 10.4.10 常见问题与解决方案 @@ -1069,7 +1205,43 @@ img2img通过从部分去噪的图像开始实现图像编辑： **3. 内存优化**： -[代码实现已转换为数学公式和文字描述] +内存管理是部署LDM的关键挑战： + +**减少内存使用的策略**： +1. **CPU卸载（CPU Offloading）**： + - 将不活跃的模型组件移到CPU内存 + - VAE可以在U-Net运行时卸载 + - 文本编码器编码后可以卸载 + - 使用 `model.to('cpu')` 和 `model.to('cuda')` 动态管理 + +2. **顺序处理（Sequential Processing）**： + - 分解生成流程为独立步骤 + - 每次只加载必要的组件 + - 例如：先编码所有文本，保存结果，释放编码器 + +3. **注意力切片（Attention Slicing）**： + - 将注意力计算分成小块 + - 循环处理每个切片 + - 内存使用从O(N²)降到O(N) + - 轻微的速度损失换取大幅内存节省 + +4. **VAE平铺（VAE Tiling）**： + - 将大图像分成重叠的块 + - 独立编码/解码每个块 + - 混合重叠区域确保连续性 + - 支持任意大小的图像生成 + +**内存估算公式**： +- U-Net前向传播：约 `batch_size × 4 × height/8 × width/8 × 1280 × 4字节` +- 注意力峰值：约 `batch_size × (height/8 × width/8)² × num_heads × 4字节` +- VAE解码：约 `batch_size × 3 × height × width × 512 × 4字节` + +**实际内存需求示例**： +| 分辨率 | 批次=1 | 批次=4 | 优化后 | +|--------|--------|--------|---------| +| 512×512 | 8GB | 16GB | 4GB | +| 768×768 | 12GB | 24GB | 6GB | +| 1024×1024 | 16GB | 32GB | 8GB | 🔧 **调试技巧：逐步验证** 遇到问题时，逐个组件验证：(1)VAE重建质量 (2)无条件生成 (3)文本条件响应 (4)CFG效果。这有助于定位问题根源。 @@ -1082,11 +1254,79 @@ LDM需要灵活处理各种分辨率的图像： **1. 多分辨率训练**： -[代码实现已转换为数学公式和文字描述] +多分辨率训练提高模型的泛化能力： + +**训练策略**： +- **分桶策略（Aspect Ratio Bucketing）**： + - 预定义一组常见宽高比：1:1, 4:3, 3:4, 16:9, 9:16等 + - 每个宽高比创建多个分辨率桶 + - 将训练图像分配到最近的桶中 + - 批次内保持相同分辨率，批次间切换 + +- **动态分辨率范围**： + - 基础分辨率：512×512 + - 训练范围：384×640 到 768×512 + - 保持像素总数相近（±20%） + - 避免极端宽高比（限制在1:2到2:1之间） + +- **分辨率条件化**： + - 将原始图像尺寸作为额外条件输入 + - 编码为连续值或离散桶 + - 帮助模型理解不同分辨率的特性 + +**实现细节**： +1. **数据加载器定制**： + - 根据原始尺寸智能裁剪 + - 中心裁剪用于推理，随机裁剪用于训练 + - 保留宽高比信息用于条件输入 + +2. **内存管理**： + - 大分辨率使用较小批次 + - 梯度累积补偿批次差异 + - 动态调整以避免OOM + +3. **损失归一化**： + - 按像素数归一化损失 + - 确保不同分辨率的损失可比 + - 避免大分辨率主导训练 **2. 分辨率自适应推理**： -[代码实现已转换为数学公式和文字描述] +推理时处理任意分辨率的方法： + +**策略一：填充法**： +- **方法**：填充到最近的64倍数（U-Net要求） +- **填充类型**： + - 反射填充：适合自然图像 + - 复制填充：适合有边框的图像 + - 常数填充：简单但可能产生伪影 +- **后处理**：生成后裁剪掉填充区域 + +**策略二：调整大小法**： +- **保持宽高比调整**： + 1. 计算目标分辨率保持宽高比 + 2. 调整到最近的64倍数 + 3. 使用双线性或Lanczos插值 +- **智能缩放**： + - 小图像：先生成再上采样 + - 大图像：分块生成再拼接 + +**策略三：滑动窗口法**： +- **适用场景**：超大分辨率图像（如2K、4K） +- **实现步骤**： + 1. 将图像分成重叠的窗口（如512×512，重叠64像素） + 2. 对每个窗口独立生成 + 3. 使用泊松融合或加权平均混合重叠区域 +- **优势**：支持任意大小，保持局部一致性 +- **挑战**：全局一致性需要额外处理 + +**最佳实践组合**： +``` +输入分辨率 → 策略选择： +< 768×768：直接处理或轻微调整 +768×768 - 1536×1536：智能缩放 +> 1536×1536：滑动窗口 +``` 💡 **实践技巧：宽高比保持** 训练时记录图像的原始宽高比，推理时可以生成相同比例的图像，避免变形。 From 2bcce7a4335040a04ad05f4538c29e2be882c10c Mon Sep 17 00:00:00 2001 From: William Date: Thu, 31 Jul 2025 17:31:17 +0800 Subject: [PATCH 59/62] interim --- chapter10.md | 124 +++++++++++++++++++++++++++++++++++++++++++++++---- 1 file changed, 115 insertions(+), 9 deletions(-) diff --git a/chapter10.md b/chapter10.md index 75a4a0d..738cddc 100644 --- a/chapter10.md +++ b/chapter10.md @@ -1335,15 +1335,50 @@ LDM需要灵活处理各种分辨率的图像： **1. LoRA（Low-Rank Adaptation）微调**： -[代码实现已转换为数学公式和文字描述] +LoRA通过注入低秩分解矩阵来适配预训练模型，在保持原始模型权重不变的情况下实现高效微调。核心思想是将权重更新表示为： + +$$W' = W + \Delta W = W + BA$$ + +其中 $B \in \mathbb{R}^{d \times r}$，$A \in \mathbb{R}^{r \times k}$，$r \ll \min(d, k)$ 是秩的约束。 + +实现过程包括： +- 初始化：使用 `torch.nn.Linear` 创建低秩矩阵 $A$ 和 $B$，其中 $A$ 使用正态分布初始化，$B$ 初始化为零以确保训练开始时 $\Delta W = 0$ +- 前向传播：计算 $y = Wx + \alpha \cdot BAx$，其中 $\alpha$ 是缩放因子，通过 `F.linear` 函数实现线性变换 +- 参数效率：原始权重 $W$ 保持冻结，仅训练 $A$ 和 $B$，参数量从 $d \times k$ 减少到 $(d + k) \times r$ +- 合并权重：训练完成后，可通过 $W' = W + \alpha BA$ 永久合并更新，无需额外推理开销 **2. Textual Inversion**： -[代码实现已转换为数学公式和文字描述] +Textual Inversion 通过学习新的文本嵌入来表示特定概念，而无需修改模型权重。核心思想是为新概念创建优化的词嵌入向量： + +$$v^* = \arg\min_v \mathcal{L}_{LDM}(x, c(v))$$ + +其中 $v$ 是待学习的嵌入向量，$c(v)$ 是包含该嵌入的条件信息。 + +实现要点： +- 嵌入初始化：创建可学习的嵌入张量 `torch.nn.Parameter`，可以随机初始化或从相似词汇的嵌入开始 +- 优化过程：固定模型所有参数，仅优化嵌入向量 $v$，使用标准的去噪损失函数 +- 集成方式：将学习到的嵌入插入到文本编码器的词汇表中，使用特殊标记（如 ``）引用 +- 多向量表示：复杂概念可以使用多个嵌入向量 $\{v_1, v_2, ..., v_n\}$ 来表示，提高表达能力 +- 正则化技巧：添加嵌入范数约束 $\|v\|_2 \leq \gamma$ 防止过拟合，确保与原始词汇表的兼容性 **3. DreamBooth微调**： -[代码实现已转换为数学公式和文字描述] +DreamBooth 通过少量样本图像微调整个模型，同时使用类先验保留防止语言漂移。损失函数结合了重建损失和先验保留损失： + +$$\mathcal{L} = \mathcal{L}_{recon} + \lambda \mathcal{L}_{prior}$$ + +其中： +- $\mathcal{L}_{recon} = \mathbb{E}_{x,c,\epsilon,t}[\|\epsilon - \epsilon_\theta(x_t, t, c)\|^2]$ 是目标概念的重建损失 +- $\mathcal{L}_{prior} = \mathbb{E}_{x_{pr},c_{pr},\epsilon,t}[\|\epsilon - \epsilon_\theta(x_{t,pr}, t, c_{pr})\|^2]$ 是类先验保留损失 + +实现细节： +- 唯一标识符：使用稀有词汇（如 `[V]`）作为目标概念的唯一标识符，避免与现有概念冲突 +- 数据准备：收集3-5张目标概念的高质量图像，配对文本描述如 "a [V] dog" +- 先验图像生成：使用原始模型生成类别先验图像（如 "a dog"），用于保持类别知识 +- 混合训练：交替使用目标图像和先验图像进行训练，通过 `torch.utils.data.ConcatDataset` 合并数据集 +- 学习率策略：使用较小的学习率（1e-6到5e-6）和线性预热，避免过拟合 +- 梯度检查点：使用 `torch.utils.checkpoint` 减少显存占用，允许更大的批量大小 🔬 **研究方向：高效微调方法** 如何用最少的参数和数据实现有效的模型适配？这涉及到元学习、少样本学习和参数高效微调的前沿研究。 @@ -1352,25 +1387,89 @@ LDM需要灵活处理各种分辨率的图像： **1. 量化技术**： -[代码实现已转换为数学公式和文字描述] +量化通过降低数值精度来减少模型大小和加速推理。主要方法包括动态量化和静态量化： + +**动态量化**： +- 权重量化：将FP32权重映射到INT8，量化公式为 $q = \text{round}(\frac{w}{s}) + z$ +- 其中量化尺度 $s = \frac{\max(w) - \min(w)}{2^b - 1}$，零点 $z = -\text{round}(\frac{\min(w)}{s})$ +- 激活值在推理时动态量化，使用 `torch.quantization.quantize_dynamic` +- 适用于批量大小变化的场景，精度损失较小 + +**静态量化**： +- 需要校准数据集来统计激活值分布，使用 `torch.quantization.prepare` 和 `convert` +- 量化感知训练（QAT）：在训练时模拟量化效果，通过 `FakeQuantize` 层实现 +- 混合精度：关键层保持FP16/FP32，非关键层使用INT8，平衡精度和效率 +- 实现时使用 `torch.nn.quantized` 模块替换标准层，如 `nn.quantized.Linear` **2. 模型剪枝**： -[代码实现已转换为数学公式和文字描述] +模型剪枝通过移除冗余参数来压缩模型，主要包括结构化剪枝和非结构化剪枝： + +**非结构化剪枝**： +- 基于重要性分数移除个别权重，如 L1/L2 范数、梯度大小或 Taylor 展开 +- 剪枝掩码：$M_{ij} = \mathbb{1}[|W_{ij}| > \tau]$，其中 $\tau$ 是阈值 +- 使用 `torch.nn.utils.prune` 模块，支持 `l1_unstructured`、`random_unstructured` 等方法 +- 稀疏存储：使用 CSR/COO 格式存储稀疏张量，通过 `torch.sparse` 实现 + +**结构化剪枝**： +- 移除整个通道、注意力头或层，保持硬件友好的密集计算 +- 通道重要性评估：基于 BN 层的缩放因子 $\gamma$ 或激活值统计 +- 实现流程：计算重要性分数 → 排序选择 → 创建新模型 → 微调恢复性能 +- 使用 `torch.nn.utils.prune.ln_structured` 进行结构化剪枝 +- 剪枝率调度：渐进式剪枝，从小比例开始逐步增加，避免性能急剧下降 **3. ONNX导出与优化**： -[代码实现已转换为数学公式和文字描述] +ONNX（Open Neural Network Exchange）提供了跨框架的模型部署方案，支持多种推理引擎优化： + +**导出流程**： +- 模型追踪：使用 `torch.onnx.export` 将 PyTorch 模型转换为 ONNX 格式 +- 动态轴设置：指定 `dynamic_axes` 参数支持可变批量大小和序列长度 +- 算子映射：确保所有自定义操作都有对应的 ONNX 算子，必要时实现自定义算子 +- 输入示例：提供代表性的输入张量用于追踪，形状如 `(batch_size, channels, height, width)` + +**优化技术**： +- 图优化：使用 ONNX Runtime 的图优化器，包括常量折叠、算子融合、冗余节点消除 +- 量化支持：通过 `onnxruntime.quantization` 进行后训练量化，支持 INT8 推理 +- 内存优化：启用内存重用和算子内核优化，减少内存占用 +- 多线程推理：配置 `SessionOptions` 中的线程数和执行模式 +- TensorRT 集成：将 ONNX 模型转换为 TensorRT 引擎，获得 GPU 上的极致性能 +- 模型分片：大模型可分割成多个子图，支持流水线并行推理 ### 10.5.4 性能优化最佳实践 **1. 批量处理优化**： -[代码实现已转换为数学公式和文字描述] +批量处理是提升吞吐量的关键技术，需要平衡延迟和效率： + +**动态批处理**： +- 批次聚合：收集多个请求直到达到批量大小或超时阈值 +- 填充策略：使用 `torch.nn.utils.rnn.pad_sequence` 对不同长度的输入进行填充 +- 注意力掩码：生成适当的掩码矩阵，确保填充部分不参与计算 +- 批量大小选择：根据 GPU 显存动态调整，公式为 $B_{opt} = \lfloor \frac{M_{available}}{M_{per\_sample}} \rfloor$ + +**异步处理**： +- 使用 `torch.cuda.Stream` 创建多个 CUDA 流，实现计算和数据传输重叠 +- 预取机制：在处理当前批次时，异步加载下一批数据到 GPU +- 双缓冲：维护两个缓冲区，一个用于当前计算，一个用于数据准备 +- 结果聚合：使用 `asyncio` 或线程池管理异步任务，确保结果按序返回 **2. 缓存优化**： -[代码实现已转换为数学公式和文字描述] +缓存策略可以显著减少重复计算，提高系统响应速度： + +**特征缓存**： +- VAE 编码缓存：预计算并存储常用图像的潜在表示 $z = E(x)$ +- 文本嵌入缓存：使用 LRU 缓存存储频繁使用的文本提示的 CLIP 嵌入 +- 实现方式：使用 `functools.lru_cache` 或 Redis 等键值存储 +- 缓存键设计：基于内容哈希，如 `hashlib.sha256(prompt.encode()).hexdigest()` + +**中间结果缓存**： +- 注意力图缓存：对于相似的生成任务，复用中间层的注意力计算结果 +- 噪声调度缓存：预计算并存储不同时间步的噪声调度参数 +- 梯度检查点：使用 `torch.utils.checkpoint` 在前向传播时丢弃中间激活，反向传播时重新计算 +- 显存管理：实现基于优先级的缓存淘汰策略，平衡显存使用和缓存命中率 +- 分布式缓存：在多 GPU 环境中使用共享内存或 NVLink 实现跨设备缓存共享
**综合练习：构建生产级LDM系统** @@ -1422,7 +1521,14 @@ LDM需要灵活处理各种分辨率的图像： **4. 效率提升**： -[代码实现已转换为数学公式和文字描述] +未来的效率优化将聚焦于算法层面的根本性改进： + +- **一步生成模型**：研究如何将多步扩散过程压缩到单步或少步生成，如一致性模型和流匹配方法 +- **神经ODE求解器**：开发专门针对扩散模型的高效ODE求解器，减少评估次数 +- **硬件协同设计**：设计专用的扩散模型加速器，优化矩阵运算和采样过程 +- **知识蒸馏**：将大型教师模型的知识迁移到小型学生模型，保持质量的同时大幅提升速度 +- **自适应计算**：根据生成内容的复杂度动态调整计算资源，简单区域使用更少的去噪步骤 +- **端到端优化**：联合优化编码器、解码器和扩散模型，减少冗余计算 🌟 **开放挑战：下一代LDM** 如何设计能够处理任意模态、任意分辨率、实时交互的统一生成模型？这需要算法、架构和硬件的协同创新。 From 63872b187ece7fb020077ccf25a85e706b0f387f Mon Sep 17 00:00:00 2001 From: "zsc@air" Date: Sun, 3 Aug 2025 11:05:20 +0800 Subject: [PATCH 60/62] add_html --- html/CLAUDE.html | 153 +++ html/PROJECT_STATUS.html | 175 ++++ html/README.html | 124 +++ html/appendix-a.html | 214 +++++ html/appendix-b.html | 156 +++ html/appendix-c.html | 155 +++ html/assets/highlight.css | 62 ++ html/assets/script.js | 33 + html/assets/style.css | 296 ++++++ html/chapter1.html | 334 +++++++ html/chapter10.html | 1593 +++++++++++++++++++++++++++++++ html/chapter11.html | 1908 +++++++++++++++++++++++++++++++++++++ html/chapter12.html | 1156 ++++++++++++++++++++++ html/chapter13.html | 1411 +++++++++++++++++++++++++++ html/chapter14.html | 1560 ++++++++++++++++++++++++++++++ html/chapter2.html | 611 ++++++++++++ html/chapter3.html | 404 ++++++++ html/chapter4.html | 683 +++++++++++++ html/chapter5.html | 825 ++++++++++++++++ html/chapter6.html | 568 +++++++++++ html/chapter7.html | 1238 ++++++++++++++++++++++++ html/chapter8.html | 815 ++++++++++++++++ html/chapter9.html | 1083 +++++++++++++++++++++ html/index.html | 124 +++ 24 files changed, 15681 insertions(+) create mode 100644 html/CLAUDE.html create mode 100644 html/PROJECT_STATUS.html create mode 100644 html/README.html create mode 100644 html/appendix-a.html create mode 100644 html/appendix-b.html create mode 100644 html/appendix-c.html create mode 100644 html/assets/highlight.css create mode 100644 html/assets/script.js create mode 100644 html/assets/style.css create mode 100644 html/chapter1.html create mode 100644 html/chapter10.html create mode 100644 html/chapter11.html create mode 100644 html/chapter12.html create mode 100644 html/chapter13.html create mode 100644 html/chapter14.html create mode 100644 html/chapter2.html create mode 100644 html/chapter3.html create mode 100644 html/chapter4.html create mode 100644 html/chapter5.html create mode 100644 html/chapter6.html create mode 100644 html/chapter7.html create mode 100644 html/chapter8.html create mode 100644 html/chapter9.html create mode 100644 html/index.html diff --git a/html/CLAUDE.html b/html/CLAUDE.html new file mode 100644 index 0000000..0db1dd9 --- /dev/null +++ b/html/CLAUDE.html @@ -0,0 +1,153 @@ + + + + + + 扩散模型教程项目说明 + + + + + + + +
+ + +
+
+

（交流可以用英文，本文档中文，保留这句）

+

扩散模型教程项目说明

+

项目目标

+

编写一份 扩散模型设计的由浅入深的教程markdown，要包含大量的习题和参考答案（答案默认折叠）。合适时提及相关 pytorch 函数名但不写代码。 +项目特色是，包含大量的可继续研究的线索

+

工具说明

+

当需要时，可以通过 gemini -p "深入回答：<要问的问题> -m gemini-2.5-pro" 来获取 gemini-2.5-pro 的参考意见(gemini 系只问 gemini-2.5-pro 不问别人) +当需要时，可以通过 `echo "<要问的问题>"|llm -m 4.1 来获取 gpt-4.1 的参考意见

+

教程大纲

+

最终章节结构（14章 + 附录）

+
    +
  1. 第1章：扩散模型导论 - 基本概念、历史发展、前向扩散过程
    2. +
  2. 第2章：神经网络架构：U-Net与ViT - 扩散模型中的去噪网络架构，U-Net详解，Vision Transformer在扩散模型中的应用
    3. +
  3. 第3章：去噪扩散概率模型 (DDPM) - 核心原理、变分下界、训练算法
    4. +
  4. 第4章：基于分数的生成模型 - Score matching、Langevin dynamics
    5. +
  5. 第5章：连续时间扩散模型 (PDE/SDE) - 随机微分方程、概率流ODE、Fokker-Planck方程
    6. +
  6. 第6章：流匹配 (Flow Matching) - 连续正则化流、最优传输视角、与扩散模型的联系
    7. +
  7. 第7章：扩散Transformer (DiT) - Diffusion Transformer架构、与U-Net的对比、可扩展性分析
    8. +
  8. 第8章：采样算法与加速技术 - DDIM、DPM-Solver等快速采样方法
    9. +
  9. 第9章：条件生成与引导技术 - Classifier guidance、classifier-free guidance
    10. +
  10. 第10章：潜在扩散模型 (LDM) - Stable Diffusion架构
    11. +
  11. 第11章：视频扩散模型 - 时序建模、3D U-Net、视频生成的挑战与方法
    12. +
  12. 第12章：文本扩散模型 - D3PM、Diffusion-LM、embedding空间扩散
    13. +
  13. 第13章：扩散模型的应用 - 图像生成、编辑、超分辨率、3D生成
    14. +
  14. 第14章：前沿研究与未来方向 - 一致性模型、扩散模型的未来发展趋势
    15. +
+

附录A：测度论与随机过程速成 - 为第5章PDE/SDE内容提供数学基础 +附录B：倒向随机微分方程 (BSDE) 速成 - 理解扩散模型反向过程的数学工具

+

内容设计原则

+
    +
  1. +

    PDE/SDE章节方法： + - 先介绍直觉和实际实现 + - 然后进行完整推导，包括reverse SDE + - 测度论和随机微积分速成课程放在附录

    +
    2. +
  2. +

    文本扩散模型重点： + - 离散状态空间扩散（如D3PM） + - 连续embedding空间扩散（如Diffusion-LM） + - 两者并重

    +
    3. +
  3. +

    交互元素： + - 保持简单，先用静态图像 + - 逐步增加交互性

    +
    4. +
  4. +

    编程语言和框架： + - Python/PyTorch（不用JAX） + - 方法可以高级，但限于toy data

    +
    5. +
  5. +

    章节依赖性： + - 每章尽量自包含 + - 文本扩散模型章节（第8章）设计为独立可读

    +
    6. +
  6. +

    练习设计： + - 理论和实现混合 + - 包含挑战题 + - 难度递进

    +
    7. +
  7. +

    代码框架： + - 逐章构建mini-library + - 提供skeleton code让学生填充

    +
    8. +
  8. +

    前置知识： + - 假设学生已有概率论、神经网络基础、PyTorch经验 + - 在首页明确说明这些前置要求

    +
    9. +
+

章节格式要求

+

每个章节应包含：

+
    +
  1. 开篇段落 - 引入本章主题，说明学习目标
    2. +
  2. 丰富的文字描述 - 不仅是公式，要有充分的文字解释和直观说明
    3. +
  3. 本章小结 - 总结要点，预告下一章内容
    4. +
+

输出大小控制

+

重要原则：

+
    +
  • 输入可以是章节级别的请求（如"创建第2章"）
    • +
  • 但输出必须限制在一个小节（section）的大小，不超过
    • +
  • 有时甚至要在子小节（subsection）级别工作
    • +
  • 这样确保每次生成的内容精炼且高质量
    • +
+

统一样式要求

+
    +
  1. 使用共享CSS/JS文件 - 将通用样式抽取到 common.css 和 common.js
    2. +
  2. 长代码和练习答案默认折叠 - 使用统一的折叠/展开机制
    3. +
  3. 响应式设计 - 确保移动端友好
    4. +
  4. 数学公式 - 使用KaTeX渲染
    5. +
  5. 代码高亮 - 使用Prism.js或类似库
    6. +
+

important-instruction-reminders

+

Do what has been asked; nothing more, nothing less. +NEVER create files unless they're absolutely necessary for achieving your goal. +ALWAYS prefer editing an existing file to creating a new one. +NEVER proactively create documentation files (*.md) or README files. Only create documentation files if explicitly requested by the User.

+
+ + +
+
+ + \ No newline at end of file diff --git a/html/PROJECT_STATUS.html b/html/PROJECT_STATUS.html new file mode 100644 index 0000000..cc01ed5 --- /dev/null +++ b/html/PROJECT_STATUS.html @@ -0,0 +1,175 @@ + + + + + + 扩散模型教程项目状态 + + + + + + + +
+ + +
+
+

扩散模型教程项目状态

+

项目完成情况

+

✅ 已完成的任务

+
    +
  1. +

    章节编写（14章全部完成） + - 第1章：扩散模型导论 + - 第2章：神经网络架构：U-Net与ViT + - 第3章：去噪扩散概率模型 (DDPM) + - 第4章：基于分数的生成模型 + - 第5章：连续时间扩散模型 (PDE/SDE) + - 第6章：流匹配 (Flow Matching) + - 第7章：扩散Transformer (DiT) + - 第8章：采样算法与加速技术 + - 第9章：条件生成与引导技术 + - 第10章：潜在扩散模型 (LDM) + - 第11章：视频扩散模型 + - 第12章：文本扩散模型 + - 第13章：扩散模型的应用 + - 第14章：前沿研究与未来方向

    +
    2. +
  2. +

    代码块移除 + - 所有Python代码块已成功移除 + - 代码内容已转换为数学公式和文字描述 + - 使用自动化脚本 remove_code_blocks.py 处理

    +
    3. +
  3. +

    LaTeX格式优化 + - 创建并优化了 add_latex_spaces.py 脚本 + - 确保单个 $ 的行内公式有适当空格 + - 确保

    +
    4. +
+

$$ 的显示公式前有换行

+
    +
  1. 项目文件完善 + - 更新了 index.md，标记所有章节为已完成 + - 创建了验证脚本 validate_tutorial.py + - 所有章节包含丰富的练习题和研究线索
    2. +
+

教程特色

+
    +
  1. +

    由浅入深的结构设计 + - 从基础概念逐步过渡到前沿研究 + - 每章都有清晰的学习目标和章节大纲

    +
    2. +
  2. +

    大量习题和参考答案 + - 每个重要概念都配有练习题 + - 练习题包含理论推导和实践任务 + - 答案使用 <details markdown="1"> 标签默认折叠

    +
    3. +
  3. +

    丰富的研究线索 + - 使用 🔬 和 🌟 标记研究方向 + - 提供开放性问题供深入探索 + - 连接相关的数学理论和前沿论文

    +
    4. +
  4. +

    数学严谨性 + - 使用LaTeX格式的数学公式 + - 提供完整的推导过程 + - 平衡直观理解和理论深度

    +
    5. +
+

统计信息

+
    +
  • 总行数：8,045行
    • +
  • 总字符数：155,944字符
    • +
  • 平均每章：574行，11,138字符
    • +
  • 最长章节：第14章（1,292行）
    • +
  • 最短章节：第5章（115行）
    • +
+

待完成项目（可选）

+
    +
  1. +

    附录编写 + - 附录A：测度论与随机过程速成 + - 附录B：倒向随机微分方程 (BSDE) 速成

    +
    2. +
  2. +

    交互式元素 + - 可以添加可视化demo链接 + - 集成Jupyter notebook示例

    +
    3. +
  3. +

    进一步优化 + - 添加章节间的交叉引用 + - 创建术语表和索引 + - 设计统一的练习题难度标记系统

    +
    4. +
+

使用建议

+
    +
  1. +

    阅读顺序 + - 初学者：按章节顺序阅读 + - 有基础者：可以跳过前3章 + - 研究者：重点关注5-7章和14章

    +
    2. +
  2. +

    练习策略 + - 每章至少完成一个练习题 + - 尝试拓展练习中的研究问题 + - 记录自己的理解和疑问

    +
    3. +
  3. +

    深入学习 + - 跟随研究线索查阅相关论文 + - 实现简化版本的算法 + - 参与开源项目实践

    +
    4. +
+

项目维护

+
    +
  • 定期更新最新研究进展
    • +
  • 收集读者反馈改进内容
    • +
  • 添加更多实际应用案例
    • +
  • 保持数学符号的一致性
    • +
+
+

最后更新：2025-07-27

+
+ + +
+
+ + \ No newline at end of file diff --git a/html/README.html b/html/README.html new file mode 100644 index 0000000..4d6844c --- /dev/null +++ b/html/README.html @@ -0,0 +1,124 @@ + + + + + + 扩散模型教程 + + + + + + + +
+ + +
+
+

扩散模型教程

+

Diffusion Models: From Theory to Practice

+

欢迎来到扩散模型教程！本教程将带你从基础理论逐步深入到实际应用，帮助你全面理解和掌握扩散模型这一强大的生成模型技术。

+

每个章节包含：

+
    +
  • 理论基础与数学推导
    • +
  • 可视化演示和交互式示例
    • +
  • 编程练习与实践项目
    • +
  • 习题与参考答案（默认折叠）
    • +
+

前置知识要求

+

本教程假设读者已具备以下基础知识：

+
    +
  • 概率论与统计：随机变量、概率分布、期望、方差、贝叶斯定理
    • +
  • 线性代数：矩阵运算、特征值分解、向量空间
    • +
  • 微积分：多元微积分、偏导数、链式法则、泰勒展开
    • +
  • 深度学习基础：神经网络、反向传播、卷积网络、Transformer
    • +
  • PyTorch 编程：张量操作、自动微分、模型训练流程
    • +
+

如果对某些概念不熟悉，建议先补充相关知识再开始学习。附录部分提供了部分高级数学概念的速成指南。

+

课程章节

+

第1章：扩散模型导论

+

已完成

+

介绍扩散模型的基本概念、历史发展、与其他生成模型的比较，以及前向扩散过程的数学基础。

+

第2章：神经网络架构：U-Net与ViT

+

已完成

+

探索去噪网络的历史发展，从医学图像分割到生成模型，深入理解U-Net架构演进和Vision Transformer的崛起。

+

第3章：去噪扩散概率模型 (DDPM)

+

已完成

+

深入理解DDPM的核心原理，包括前向过程、反向过程、变分下界推导、训练算法和完整实现。

+

第4章：基于分数的生成模型

+

已完成

+

探索score matching和Langevin dynamics，理解扩散模型与分数函数的深层联系。

+

第5章：连续时间扩散模型 (PDE/SDE)

+

已完成

+

从随机微分方程(SDE)和偏微分方程(PDE)角度理解扩散模型，包括概率流ODE、Fokker-Planck方程等连续时间框架。

+

第6章：流匹配 (Flow Matching)

+

已完成

+

连续正则化流、最优传输视角、与扩散模型的联系。

+

第7章：扩散Transformer (DiT)

+

已完成

+

Diffusion Transformer架构、与U-Net的对比、可扩展性分析。

+

第8章：采样算法与加速技术

+

已完成

+

学习DDIM、DPM-Solver等快速采样方法，以及如何优化生成质量与速度的平衡。

+

第9章：条件生成与引导技术

+

已完成

+

掌握classifier guidance、classifier-free guidance等条件生成技术，实现可控生成。

+

第10章：潜在扩散模型 (LDM)

+

已完成

+

理解Stable Diffusion的架构，学习如何在潜在空间中进行高效的扩散建模。

+

第11章：视频扩散模型

+

已完成

+

时序建模、3D U-Net、视频生成的挑战与方法。

+

第12章：文本扩散模型

+

已完成

+

探索离散域上的扩散模型，包括D3PM、Diffusion-LM等文本生成方法，以及embedding空间的扩散技术。

+

第13章：扩散模型的应用

+

已完成

+

探索图像生成、图像编辑、超分辨率、3D生成等实际应用场景。

+

第14章：前沿研究与未来方向

+

已完成

+

了解最新研究进展，包括一致性模型、扩散模型的未来发展趋势。

+

附录

+

附录A：测度论与随机过程速成

+

已完成

+

为第5章PDE/SDE内容提供数学基础，包括σ-代数、测度、布朗运动等核心概念。

+

附录B：倒向随机微分方程 (BSDE) 速成

+

已完成

+

理解扩散模型反向过程的数学工具，包括BSDE基本理论、Feynman-Kac公式等。

+

附录C：信息几何与分数函数的力学解释

+

已完成

+

从信息几何角度理解扩散模型，揭示分数函数作为"力"的物理意义，建立与能量优化的联系。

+
+ + +
+
+ + \ No newline at end of file diff --git a/html/appendix-a.html b/html/appendix-a.html new file mode 100644 index 0000000..2bd8b21 --- /dev/null +++ b/html/appendix-a.html @@ -0,0 +1,214 @@ + + + + + + 附录A：测度论与随机过程速成 + + + + + + + +
+ + +
+
+

← 返回目录 | 附录A | 附录B →

+

附录A：测度论与随机过程速成

+

本附录为理解第5章（连续时间扩散模型）提供必要的数学基础。我们将快速回顾测度论的核心概念，介绍布朗运动和随机微分方程（SDE）的基本知识。这不是一门完整的数学课程，而是为理解扩散模型所需的最小知识集，旨在建立直觉并熟悉核心工具。

+

A.1 测度论基础

+

A.1.1 为什么需要测度论？

+

让我们从一个简单但深刻的问题开始：在区间[0,1]上随机选一个点，这个点恰好是有理数的概率是多少？

+

直觉可能会说：“有理数有无穷多个，所以概率应该不为零。”但实际上，这个概率是0。这个反直觉的结果揭示了我们需要一个比传统集合论更精细的数学框架来处理“无穷”。测度论正是为此而生，它严格定义了“长度”、“面积”、“体积”乃至“概率”等概念。

+

A.1.2 σ-代数与测度

+
    +
  • σ-代数 (σ-algebra): 在一个样本空间 Ω 中，并非所有子集都能被合理地赋予概率。σ-代数 F 是 Ω 的一个子集族，它包含了我们所有感兴趣的“事件”，并对补、可数并等运算封闭。
    • +
  • 测度 (Measure): 测度 μ 是一个定义在σ-代数 F 上的函数，它为每个事件赋予一个非负的“大小”。当 μ(Ω) = 1 时，这个测度就是一个概率测度 P。
    • +
+
+

定义 A.1 (概率空间) +一个概率空间是一个三元组 (Ω, F, P)，其中：

+
    +
  • Ω 是样本空间（所有可能结果的集合）。
    • +
  • F 是 Ω 上的一个σ-代数（所有可测事件的集合）。
    • +
  • P 是定义在 F 上的一个概率测度。
    • +
+
+

💡 关键洞察：有理数集的勒贝格测度（长度）为0，是因为虽然有理数是可数无穷的，但每个单点的测度都是0。根据测度的可数可加性，可数个0相加仍然是0。

+

A.1.3 随机变量与条件期望

+
    +
  • 随机变量 (Random Variable): 一个随机变量 X 是一个从样本空间 Ω 到实数 R 的函数，它必须是“可测的”，即对于任何数值区间，我们都能找到其在样本空间中对应的事件。
    • +
  • 滤波 (Filtration): 滤波 {F_t} 是一个随时间 t 递增的σ-代数序列，F_s ⊆ F_t 对所有 s ≤ t 成立。它代表了信息的累积过程，F_t 包含了到时刻 t 为止所有已知的信息。
    • +
  • 条件期望 (Conditional Expectation): E[X | F_t] 代表在已知时刻 t 信息 F_t 的情况下，对随机变量 X 的最优估计。
    • +
+
+**练习 A.1：σ-代数** +

设 Ω = {1, 2, 3, 4}。

+
    +
  1. 构造包含事件 A = {1, 2} 的最小σ-代数 σ(A)。
    2. +
  2. 如果再加入事件 B = {2, 3}，最小σ-代数 σ(A, B) 是什么？
    3. +
+

解答：

+
    +
  1. σ(A) 必须对补运算封闭，所以必须包含 A^c = {3, 4}。同时必须包含全集和空集。因此 σ(A) = {∅, {1, 2}, {3, 4}, {1, 2, 3, 4}}。
    2. +
  2. σ(A, B) 必须包含 A 和 B，以及它们的所有交、并、补运算的组合。例如 A ∩ B = {2}，A ∪ B = {1, 2, 3}，(A ∪ B)^c = {4} 等。最终可以生成 Ω 的幂集（所有16个子集）。
    3. +
+
+

A.2 布朗运动 (Brownian Motion)

+

布朗运动是随机过程理论的基石，也是扩散模型的数学核心。

+
+

定义 A.2 (标准布朗运动) +一个随机过程 {B_t} 称为标准布朗运动（或维纳过程），如果：

+
    +
  1. 起点确定: B_0 = 0。
    2. +
  2. 独立增量: 对任意 0 ≤ s < t，增量 B_t - B_s 独立于过去的路径 {B_u : u ≤ s}。
    3. +
  3. 高斯增量: B_t - B_s 服从均值为0，方差为 t-s 的正态分布，即 B_t - B_s ~ N(0, t-s)。
    4. +
  4. 路径连续: 路径 t ↦ B_t 是连续函数。
    5. +
+
+

布朗运动的深刻性质:

+
    +
  • 无处可微: 布朗运动的路径虽然连续，但在任何一点都是不可微的。它的“速度”是无穷的。
    • +
  • 二次变差非零: 在普通微积分中 (dt)^2 = 0，但在随机微积分中，(dB_t)^2 = dt。这是两者最核心的区别，也是伊藤公式中出现修正项的根源。
    • +
  • 鞅 (Martingale): 布朗运动是一个鞅，即 E[B_t | F_s] = B_s for s < t。这意味着对未来的最优预测就是当前的值。
    • +
+

A.3 随机积分与伊藤公式

+

由于布朗运动的奇异性质，传统的黎曼积分不适用。我们需要一种新的积分理论——随机积分。

+

A.3.1 伊藤积分 (Itô Integral)

+

伊藤积分 ∫f_s dB_s 的定义在黎曼和中，总是取被积函数在区间的左端点的值。这个选择保证了被积函数 f_s 不会“预见”到噪声 dB_s 的未来，从而使得积分结果仍然是一个鞅。

+

⚡ 理论要点：伊藤积分和另一种常见的斯特拉托诺维奇（Stratonovich）积分（取中点）会导致不同的结果。物理学中常用后者，因为它遵循普通的链式法则。金融和概率论中常用前者，因为它具有鞅性质。扩散模型理论建立在伊藤积分之上。

+

A.3.2 伊藤公式 (Itô's Formula)

+

伊藤公式是随机微积分的链式法则，是处理SDE最重要的工具。

+
+

定理 A.3 (伊藤公式) +设 X_t 满足SDE dX_t = μ_t dt + σ_t dB_t，f(x, t) 是一个足够光滑的函数，则： +

+
+

$$df(X_t, t) = \left(\frac{\partial f}{\partial t} + \mu_t \frac{\partial f}{\partial x} + \frac{1}{2}\sigma_t^2 \frac{\partial^2 f}{\partial x^2}\right)dt + \sigma_t \frac{\partial f}{\partial x} dB_t$$

+
+

核心区别在于比普通链式法则多出的一项：1/2 * σ_t^2 * ∂^2f/∂x^2，这被称为伊藤修正项，它正是来源于 (dB_t)^2 = dt。

+
+
+**练习 A.2：伊藤公式的应用** +
    +
  1. 推导：设 B_t 是标准布朗运动，使用伊藤公式计算 d(B_t^3)。
    2. +
  2. 证明：证明 M_t = exp(B_t - t/2) 是一个鞅。
    3. +
  3. 研究思路：
      +
    • 问题1：对 f(x) = x^3 应用伊藤公式，其中 μ_t=0, σ_t=1。df = (1/2 * 1^2 * 6B_t)dt + (3B_t^2 * 1)dB_t = 3B_t dt + 3B_t^2 dB_t。
      • +
    • 问题2：对 f(x,t) = exp(x - t/2) 应用伊藤公式。df = (-1/2 * f)dt + (0)dt + (1/2 * 1^2 * f)dt + (f * 1)dB_t = f dB_t。由于结果的 dt 项（漂移项）为0，所以它是一个鞅。
      • +
    +
    4. +
+
+

A.4 随机微分方程 (SDEs)

+

SDE描述了受随机扰动影响的动态系统，是扩散模型的数学语言。

+
+

定义 A.4 (SDE) +一个典型的SDE具有形式：

+

$$dX_t = b(X_t, t)dt + \sigma(X_t, t)dB_t$$

+
    +
  • 漂移项 b(X_t, t): 描述系统的确定性平均行为。
    • +
  • 扩散项 σ(X_t, t): 描述随机波动的强度。
    • +
+
+

存在唯一性：如果漂移和扩散系数满足Lipschitz连续性和线性增长条件，那么SDE存在唯一的强解。这保证了我们讨论的扩散过程是良定义的。

+

A.5 数值方法简介

+

大多数SDE没有解析解，需要数值方法来模拟。

+
    +
  • +

    Euler-Maruyama方法: 最简单的数值格式，直接将SDE离散化： + X_{n+1} = X_n + b(X_n)Δt + σ(X_n) * sqrt(Δt) * Z_n，其中 Z_n ~ N(0, 1)。

    +
    • +
  • +

    Milstein方法: 更高阶的方法，通过加入一个修正项来获得更高的收敛精度，特别是当扩散系数 σ 不为常数时。

    +
    • +
+

💡 实践洞察：数值模拟显示，对于扩散系数依赖于状态 X_t 的SDE（例如金融中的一些模型），Milstein方法比Euler-Maruyama方法能更精确地收敛到真实解。对于扩散模型中常见的 σ 只依赖于时间 t 的情况，两种方法的差别不大。

+

A.6 与扩散模型的深层联系

+

现在，我们可以将这些数学工具与扩散模型联系起来。

+

A.6.1 前向与反向SDE

+
    +
  • +

    前向SDE: 精心设计的、将数据 x_0 转化为噪声 x_T 的过程。例如VP-SDE： + dx = -1/2 * β(t) * x dt + sqrt(β(t)) * dB_t

    +
    • +
  • +

    反向SDE: Anderson定理告诉我们，存在一个对应的反向过程，其漂移项必须由分数函数 ∇log p_t(x) 来修正： + dx = [f(x, t) - g(t)^2 * ∇log p_t(x)] dt + g(t) d(bar(W)_t) + 这揭示了学习生成模型等价于学习分数函数。

    +
    • +
+

A.6.2 概率流ODE

+
    +
  • +

    每个SDE都对应一个确定性的ODE，称为概率流ODE，它描述了概率密度的平均流动方向： + dx = [f(x, t) - 1/2 * g(t)^2 * ∇log p_t(x)] dt

    +
    • +
  • +

    由于没有随机项，可以使用高效的ODE数值求解器进行快速、确定性的采样。这是DDIM等快速采样算法的理论基础。

    +
    • +
+

A.6.3 Fokker-Planck方程

+
    +
  • 这是一个偏微分方程（PDE），它从宏观上描述了概率密度 p(x, t) 随时间的演化。
    • +
  • 它将微观的粒子运动（SDE）与宏观的密度变化（PDE）联系起来，是进行理论分析的强大工具。
    • +
+
+**综合练习：统一视角** +

考虑一个简单的一维Ornstein-Uhlenbeck过程：dX_t = -θX_t dt + σdB_t。

+
    +
  1. 稳态分布：使用Fokker-Planck方程，证明其稳态分布为 N(0, σ^2/(2θ))。
    2. +
  2. 分数函数：写出其稳态分布的分数函数。
    3. +
  3. 反向SDE：写出在稳态下的反向SDE。
    4. +
  4. 概率流ODE：写出在稳态下的概率流ODE。
    5. +
+

解答思路：

+
    +
  1. 在Fokker-Planck方程中令 ∂p/∂t = 0，得到一个关于 p(x) 的常微分方程，求解可得高斯分布。
    2. +
  2. 对于高斯分布 N(μ, Σ^2)，分数函数为 -(x-μ)/Σ^2。
    3. +
  3. 将分数函数代入Anderson定理的公式。
    4. +
  4. 将分数函数代入概率流ODE的公式。你会发现，在稳态下，ODE的漂移项恰好是前向SDE漂移项的两倍。
    5. +
+
+

A.7 进一步学习资源

+
    +
  • Øksendal, B. "Stochastic Differential Equations": SDE的经典入门教材，理论与应用并重。
    • +
  • Evans, L.C. "An Introduction to Stochastic Differential Equations": 更侧重于PDE方法的SDE介绍，适合数学背景较强的读者。
    • +
  • Särkkä, S., & Solin, A. "Applied Stochastic Differential Equations": 侧重于数值方法和实际应用的优秀书籍。
    • +
+
+ + +
+
+ + \ No newline at end of file diff --git a/html/appendix-b.html b/html/appendix-b.html new file mode 100644 index 0000000..7174b93 --- /dev/null +++ b/html/appendix-b.html @@ -0,0 +1,156 @@ + + + + + + 附录B：倒向随机微分方程 (BSDE) 速成 + + + + + + + +
+ + +
+
+

← 附录A | 附录B | 附录C →

+

附录B：倒向随机微分方程 (BSDE) 速成

+

倒向随机微分方程（Backward Stochastic Differential Equations, BSDE）是理解扩散模型反向过程，特别是其与最优控制和经济学联系的重要数学工具。本附录将快速介绍BSDE的核心概念，旨在为读者提供一个更深刻的理论视角。

+

B.1 从前向到倒向：问题的提出

+

标准的前向SDE（FSDE）从一个已知的初始状态 X_0 出发，描述系统如何演化到未来。然而，在许多问题中，我们关心的是一个“目标导向”的问题：给定一个在未来时刻 T 的目标（或成本）ξ，我们想知道在当前时刻 t 的“价值”Y_t 以及为了达到该目标需要采取的“策略”Z_t。

+
+

定义 B.1 (一般BSDE) +一个BSDE的解是一对随机过程 (Y_t, Z_t)，满足： +

+
+

$$-dY_t = f(t, Y_t, Z_t)dt - Z_t dW_t$$

+
+

并满足一个终端条件 Y_T = ξ。

+
+

与FSDE的核心区别：

+
    +
  • 信息流向：FSDE由初始条件决定，向未来求解。BSDE由终端条件决定，向过去求解。
    • +
  • 解的构成：FSDE的解是一个过程 X_t。BSDE的解是一对过程 (Y_t, Z_t)。
    • +
+

直观理解 Y_t 和 Z_t：

+
    +
  • Y_t (价值过程): 代表在时刻 t，为了满足终端条件 ξ 所需的“价值”或“成本”。
    • +
  • Z_t (策略/对冲过程): 代表在时刻 t，为了应对随机性 dW_t 而需要采取的“策略”或“控制”。在金融中，这对应于对冲组合；在扩散模型中，它与分数函数 ∇log p_t 密切相关。
    • +
+

B.2 核心理论

+

B.2.1 存在唯一性

+

BSDE理论的基石是由Pardoux和彭实戈在1990年证明的存在唯一性定理。

+
+

定理 B.2 (Pardoux-Peng, 1990) +如果终端条件 ξ 是平方可积的，且驱动函数 f(t, y, z) 关于 y 和 z 满足Lipschitz连续性，那么BSDE存在唯一的平方可积解 (Y, Z)。

+
+

这个定理保证了我们讨论的问题是良定义的。后续的研究将条件放宽到了二次增长的驱动函数，这对于连接BSDE和某些物理或金融模型至关重要。

+

B.2.2 比较定理

+

BSDE的一个强大性质是比较定理，它允许我们比较不同BSDE的解。 +简而言之：如果一个BSDE的终端条件和驱动函数都“更大”，那么它的解 Y_t 在任何时刻 t 也都“更大”。这在风险度量和最优控制中非常有用。

+

B.2.3 BSDE与PDE的联系：非线性Feynman-Kac公式

+

BSDE与偏微分方程（PDE）之间存在深刻的对偶关系，这通过非线性Feynman-Kac公式建立。

+

🌟 理论核心：一个（半）线性抛物型PDE的解，可以表示为一个BSDE的解的期望。反之，一个BSDE的解 Y_t 也可以看作是某个PDE u(t, X_t) 沿着随机路径 X_t 的演化。具体来说，Y_t = u(t, X_t)，而 Z_t 与 u 的空间梯度 ∇u 相关：Z_t = σ^T * ∇u。

+

这个联系是双向的：

+
    +
  • 我们可以用概率方法（模拟BSDE）来求解高维PDE。
    • +
  • 我们可以用PDE的理论来分析BSDE的性质。
    • +
+

B.3 BSDE在扩散模型中的应用

+

BSDE为连续时间扩散模型提供了严格的数学描述。

+
    +
  1. +

    反向过程的刻画：扩散模型的反向过程，即从噪声 x_T 生成数据 x_0 的过程，本质上是一个终端值问题，可以用BSDE来精确描述。

    +
    2. +
  2. +

    分数函数的演化：定义 Y_t = log p_t(X_t)，即沿着随机路径 X_t 的对数概率密度。可以证明，Y_t 满足一个驱动函数 f 具有二次增长的非线性BSDE。在这个BSDE中，Z_t 过程与分数函数 ∇log p_t(X_t) 直接相关。

    +

    💡 关键洞察：这意味着，学习分数函数的过程，可以被看作是求解一个非线性BSDE的过程。这为设计新的损失函数和训练算法提供了理论依据。例如，我们可以通过最小化BSDE的残差来学习分数模型。

    +
    3. +
  3. +

    与最优传输的联系：连接两个分布 p_0 和 p_T 的Schrödinger桥问题，可以被转化为求解一个耦合的前向-倒向SDE（FBSDE）系统。这个系统的解给出了在两个分布之间转换的最优随机路径，为扩散模型提供了最优传输的视角。

    +
    4. +
+

B.4 数值方法简介

+

由于大多数BSDE没有解析解，数值方法至关重要。

+
    +
  • +

    时间离散化：最常见的是向后欧拉格式。从 Y_T = ξ 开始，反向迭代求解 (Y_{t_i}, Z_{t_i})。每一步都需要计算一个条件期望，这是数值求解的难点。

    +
    • +
  • +

    深度学习方法 (Deep BSDE)：现代方法使用神经网络来参数化未知的 Z_t 过程。其核心思想是：

    +
      +
    1. 用一个神经网络 Z_θ(t, x) 来近似 Z_t。
      2. +
    2. 从 t=0 开始，使用 Z_θ 和一个猜测的初始值 Y_0，通过离散化格式前向模拟出 Y_T。
      3. +
    3. 最小化模拟得到的 Y_T 和真实的终端条件 ξ 之间的误差 ||Y_T - ξ||^2。
      4. +
    4. 通过反向传播训练网络参数 θ 和初始值 Y_0。
      5. +
    +
    • +
+

⚡ 实现挑战：Deep BSDE方法将一个复杂的随机控制问题转化为了一个深度学习的优化问题，但在高维情况下，仍然面临“维度灾难”的挑战。

+
+练习 B.1：线性BSDE的显式解 +

考虑线性BSDE：-dY_t = (aY_t + f_t)dt - Z_t dW_t，终端条件为 Y_T = ξ，其中 a 是常数，f_t 是确定性函数。

+
    +
  1. 求解：使用积分因子 e^{at}，求解 Y_t 的表达式。
    2. +
  2. 分析：解释解的表达式的金融学含义（将 a 视为贴现率）。
    3. +
  3. 开放探索：如果 a 也是一个随机过程 a_t，解会是什么形式？这在随机利率模型中很常见。
    4. +
+

解答思路：

+
    +
  1. 对 tilde(Y)_t = e^{at}Y_t 应用伊藤公式，可以消去 Y_t 的漂移项，得到一个只包含 dt 和 dW_t 的SDE。对其积分再整理，最终得到 Y_t = E[e^{-a(T-t)}ξ + ∫_t^T e^{-a(s-t)}f_s ds | F_t]。
    2. +
  2. 这个解表示，时刻 t 的价值等于未来所有现金流 f_s 和终端价值 ξ 在考虑了贴现因子 e^{-a(s-t)} 后的条件期望。
    3. +
+
+
+练习 B.2：BSDE与热方程 +

证明热方程 ∂u/∂t + 1/2 * Δu = 0，u(T,x) = g(x) 的解可以用一个BSDE表示。

+
    +
  1. 构造过程：定义一个前向过程 X_t^x = x + W_t 和一个新过程 Y_t = u(t, X_t^x)。
    2. +
  2. 应用伊藤公式：对 Y_t 应用伊藤公式。
    3. +
  3. 建立联系：利用 u 是热方程的解这一事实，证明 Y_t 满足一个驱动函数 f=0 的BSDE。
    4. +
+

研究思路：这个练习展示了Feynman-Kac公式最简单的情形。思考一下，如果PDE中有一个非线性的项，例如 ∂u/∂t + 1/2 * Δu + (∇u)^2 = 0（Hamilton-Jacobi-Bellman方程），那么对应的BSDE的驱动函数 f 会是什么样的？

+
+

本章小结

+
    +
  • 核心定义：BSDE是从一个未来的终端条件出发，向后求解的随机微分方程，其解为一对 (Y_t, Z_t) 过程。
    • +
  • 理论基石：存在唯一性定理和比较定理保证了BSDE的良好性质。非线性Feynman-Kac公式建立了BSDE与PDE的深刻联系。
    • +
  • 扩散模型应用：BSDE为描述扩散模型的反向过程和分数函数的演化提供了严格的数学框架，并将其与最优控制和最优传输理论联系起来。
    • +
+

虽然BSDE理论较为抽象，但它为我们理解“目标导向”的随机过程提供了统一而强大的语言，是连接概率论、PDE和机器学习的重要桥梁。

+
+ + +
+
+ + \ No newline at end of file diff --git a/html/appendix-c.html b/html/appendix-c.html new file mode 100644 index 0000000..b278050 --- /dev/null +++ b/html/appendix-c.html @@ -0,0 +1,155 @@ + + + + + + 附录C：信息几何与分数函数的力学解释 + + + + + + + +
+ + +
+
+

← 附录B | 附录C | 返回首页 →

+

附录C：信息几何与分数函数的力学解释

+

扩散模型的成功不仅是工程上的胜利，更是深刻数学原理的体现。本附录将从信息几何（Information Geometry）的角度重新审视扩散模型，揭示分数函数作为“力”的物理意义，并建立与能量优化的深刻联系。这种视角不仅提供了强大的理论洞察，也为设计新算法提供了直观的指导原则。

+

C.1 信息几何基础

+

信息几何将概率分布空间 P 视为一个具有内在几何结构的黎曼流形（Riemannian manifold），而不是一个平坦的欧几里得空间。

+

C.1.1 概率分布流形

+
    +
  • 概率单纯形: 对于离散分布，所有可能的概率向量构成一个单纯形。这是一个嵌入在高维空间中的弯曲子流形。
    • +
  • Fisher信息度量: 这个流形上的“距离”不是欧几里得距离，而是由Fisher信息矩阵 I(θ) 定义的黎曼度量。两点之间的最短路径是测地线（geodesic）。
    +

    定义 C.1 (Fisher信息矩阵) +对于参数化的概率分布族 {p(x; θ)}，Fisher信息矩阵定义为： +

    +
    +
    • +
+

$$I_{ij}( heta) = \mathbb{E}_{p(x;\theta)}\left[\frac{\partial \log p(x;\theta)}{\partial \theta_i} \frac{\partial \log p(x;\theta)}{\partial \theta_j}\right]$$ +它衡量了当我们微小地改变参数 θ 时，概率分布 p(x; θ) 的变化有多大。信息矩阵的元素越大，表示分布对该方向的参数变化越敏感。

+

C.1.2 自然梯度 (Natural Gradient)

+

在优化概率模型时，普通的梯度下降是在平坦的欧几里得空间中寻找最速下降方向。然而，在弯曲的概率流形上，真正的最速下降方向由自然梯度给出。

+
+

定义 C.2 (自然梯度) +设 L(θ) 是关于参数 θ 的损失函数，普通梯度为 g = ∇_θ L。自然梯度 g_nat 定义为：

+

$$\tilde{g} = I(\theta)^{-1} g$$ +优化步骤变为：θ_{t+1} = θ_t - α * I(θ_t)^{-1} * g_t。

+
+

💡 关键洞察：自然梯度下降具有参数化不变性。无论我们如何对模型进行重新参数化（例如，线性变换），其在概率流形上的优化路径都是相同的。而普通梯度下降的路径则会随参数化的改变而改变。这使得自然梯度在理论上是优化概率模型的更优选择。

+

⚡ 实现挑战：计算完整的Fisher信息矩阵并求逆的代价非常高昂（O(N^2)，N为参数量）。在实践中，通常使用其对角近似、K-FAC等方法来降低计算成本。Adam等自适应优化算法也可以被看作是对自然梯度的一种简化近似。

+
+练习 C.1：Fisher信息计算 +
    +
  1. 计算：对于一维高斯分布 N(μ, σ^2)，其参数为 θ = (μ, σ)。计算其2x2的Fisher信息矩阵 I(μ, σ)。
    2. +
  2. 分析：从矩阵的形式分析：a) 为什么估计均值 μ 和估计标准差 σ 是解耦的？b) 为什么当 σ 很小时，Fisher信息会变大？
    3. +
  3. 开放探索：自然梯度在训练扩散模型的分数网络 s_θ 时有何应用？θ 是网络权重，此时的Fisher信息矩阵该如何定义和计算？
    4. +
+

解答思路：

+
    +
  1. 写出对数似然 log p(x; μ, σ)，然后计算其对 μ 和 σ 的二阶偏导数的期望。你会发现非对角线项的期望为0，对角线项分别为 1/σ^2 和 2/σ^2。
    2. +
  2. a) 非对角线项为0意味着参数 μ 和 σ 在Fisher度量下是正交的。b) σ 越小，分布越集中，从样本中推断参数位置的信息就越多，因此Fisher信息越大。
    3. +
+
+

C.2 分数函数的几何与力学解释

+

C.2.1 分数函数作为切向量

+

从信息几何的角度看，分数函数 s(x) = ∇_x log p(x) 不仅仅是一个梯度，它是在数据空间 x 中，定义了一个指向概率密度 p(x) 增长最快方向的向量场。

+
    +
  • 与流形的关系：可以证明 E_p[s(x)] = 0，这意味着分数函数属于概率分布流形在某一点的切空间。
    • +
  • 动力学意义：如果我们让一个粒子沿着这个向量场流动，即 dx/dt = s(x)，粒子最终会收敛到概率分布的局部最大值（模式）。
    • +
+

C.2.2 Stein恒等式

+

Stein恒等式是连接分数函数与概率分布的桥梁，它构成了分数匹配的理论基础。

+
+

定理 C.3 (Stein恒等式) +对于一个足够光滑的测试函数 φ(x) 和概率密度 p(x)，在一定边界条件下成立：

+

$$\mathbb{E}_{p(x)}[\nabla_x \cdot \phi(x) + \phi(x) \cdot \nabla_x \log p(x)] = 0$$ +💡 关键洞察：这个恒等式只涉及分数 ∇log p(x) 和 p(x) 的期望，而完全不依赖于 p(x) 本身及其归一化常数。这使得我们可以在只拥有 p(x) 的样本的情况下，通过最小化Stein恒等式的残差来学习其分数函数，这正是分数匹配的核心思想。

+
+

C.2.3 分数函数作为“力场”

+

我们可以从物理学的角度，为分数函数建立一个非常直观的力学类比。

+
+

定义 C.4 (能量函数与力) +给定一个概率分布 p(x)，我们可以定义一个对应的能量函数（或势能）：

+

$$E(x) = -\log p(x)$$ +那么，分数函数就变成了作用在粒子上的力：

+

$$F(x) = -\nabla E(x) = \nabla \log p(x)$$ +这是一个保守力场，因为它是一个标量势 E(x) 的梯度。

+
+

物理图像：

+
    +
  • 高概率区域 (p(x) 大) ⇔ 低能量区域 (E(x) 小)。
    • +
  • 粒子会受到一个力的作用，将它从高能量区域（低概率）推向低能量区域（高概率）。
    • +
  • 概率分布的模式（modes）对应于能量景观的势阱（potential wells）。
    • +
+

C.2.4 Langevin动力学

+

Langevin动力学描述了粒子在这个力场中，同时受到随机热噪声影响时的运动轨迹。

+
+

定义 C.5 (Langevin SDE)

+

$$dX_t = \nabla \log p(X_t) dt + \sqrt{2} dW_t$$

+
    +
  • 漂移项 ∇log p(X_t)dt: 粒子受到分数“力”的作用，确定性地向能量更低处移动。
    • +
  • 扩散项 sqrt(2)dW_t: 粒子受到随机布朗运动的扰动，使其能够探索整个能量景观，而不是仅仅陷入最近的势阱。
    • +
+
+

🌟 核心联系：Langevin动力学的稳态分布恰好是 p(x)。这意味着，无论从什么初始状态开始，只要我们模拟这个SDE足够长的时间，最终得到的粒子分布就会收敛到我们想要的目标分布 p(x)。这为从概率分布中采样提供了一个基于物理模拟的强大方法。

+

扩散模型中的应用：

+
    +
  • 前向过程：可以看作是一个能量景观逐渐被“抚平”的过程。E_0(x) = -log p_data(x) 是一个复杂、多势阱的崎岖景观，而 E_T(x) ≈ ||x||^2 / 2 是一个简单的、单一的抛物线势阱。
    • +
  • 反向过程：学习反向SDE dx = [f - g^2 * s_θ]dt + g d(bar(W)_t)，本质上是在学习一个时变的力场 s_θ(x, t)，这个力场可以在每个时刻 t 将粒子有效地引导回数据所在的高概率区域。
    • +
+
+综合练习：一维双势阱模型 +

考虑一个一维能量函数 E(x) = (x^2 - 1)^2，它在 x=-1 和 x=1 处有两个势阱。

+
    +
  1. 概率分布：写出对应的概率分布 p(x) ∝ exp(-E(x)) 的表达式。
    2. +
  2. 分数函数/力：计算其分数函数 s(x) = ∇log p(x)。分析在 x=0（势垒）和 x=-1, 1（势阱）附近，这个“力”的方向和大小。
    3. +
  3. Langevin动力学：写出对应的Langevin SDE。如果一个粒子从 x=0 开始，它的长期行为会是怎样的？
    4. +
  4. 开放探索：在扩散模型中，我们学习的是一个时变的分数函数 s_θ(x, t)。对于这个双势阱例子，s_θ(x, t) 在 t 接近 T（高噪声）和 t 接近 0（低噪声）时，其形状应该分别是什么样的？
    5. +
+

解答思路：

+
    +
  1. p(x) = (1/Z) * exp(-(x^2 - 1)^2)，Z是归一化常数。
    2. +
  2. s(x) = -dE/dx = -2(x^2 - 1)(2x) = -4x(x^2 - 1)。在 x=0，s(0)=0，但这是一个不稳定的平衡点。在 x=-1, 1，s(x)=0，是稳定的平衡点。在 x 略大于0时，s(x)<0，力指向左边；略小于0时，s(x)>0，力指向右边，因此粒子会被推离 x=0。
    3. +
  3. dX_t = -4X_t(X_t^2 - 1)dt + sqrt(2)dW_t。长期来看，粒子会在两个势阱 x=-1 和 x=1 之间来回跳跃，其最终分布会收敛到 p(x)。
    4. +
  4. 当 t 接近 T 时，能量景观被抚平，s_θ(x, t) 应该接近于一个单势阱（高斯分布）的分数函数，即 s ≈ -x。当 t 接近 0 时，s_θ(x, t) 应该精确地逼近我们计算出的 s(x) = -4x(x^2 - 1)，以恢复双峰结构。
    5. +
+
+
+ + +
+
+ + \ No newline at end of file diff --git a/html/assets/highlight.css b/html/assets/highlight.css new file mode 100644 index 0000000..18a154b --- /dev/null +++ b/html/assets/highlight.css @@ -0,0 +1,62 @@ +.codehilite { background: #f8f8f8; } +.codehilite .hll { background-color: #ffffcc } +.codehilite .c { color: #999988; font-style: italic } /* Comment */ +.codehilite .err { color: #a61717; background-color: #e3d2d2 } /* Error */ +.codehilite .k { color: #000000; font-weight: bold } /* Keyword */ +.codehilite .o { color: #000000; font-weight: bold } /* Operator */ +.codehilite .cm { color: #999988; font-style: italic } /* Comment.Multiline */ +.codehilite .cp { color: #999999; font-weight: bold; font-style: italic } /* Comment.Preproc */ +.codehilite .c1 { color: #999988; font-style: italic } /* Comment.Single */ +.codehilite .cs { color: #999999; font-weight: bold; font-style: italic } /* Comment.Special */ +.codehilite .gd { color: #000000; background-color: #ffdddd } /* Generic.Deleted */ +.codehilite .ge { color: #000000; font-style: italic } /* Generic.Emph */ +.codehilite .gr { color: #aa0000 } /* Generic.Error */ +.codehilite .gh { color: #999999 } /* Generic.Heading */ +.codehilite .gi { color: #000000; background-color: #ddffdd } /* Generic.Inserted */ +.codehilite .go { color: #888888 } /* Generic.Output */ +.codehilite .gp { color: #555555 } /* Generic.Prompt */ +.codehilite .gs { font-weight: bold } /* Generic.Strong */ +.codehilite .gu { color: #aaaaaa } /* Generic.Subheading */ +.codehilite .gt { color: #aa0000 } /* Generic.Traceback */ +.codehilite .kc { color: #000000; font-weight: bold } /* Keyword.Constant */ +.codehilite .kd { color: #000000; font-weight: bold } /* Keyword.Declaration */ +.codehilite .kn { color: #000000; font-weight: bold } /* Keyword.Namespace */ +.codehilite .kp { color: #000000; font-weight: bold } /* Keyword.Pseudo */ +.codehilite .kr { color: #000000; font-weight: bold } /* Keyword.Reserved */ +.codehilite .kt { color: #445588; font-weight: bold } /* Keyword.Type */ +.codehilite .m { color: #009999 } /* Literal.Number */ +.codehilite .s { color: #dd1144 } /* Literal.String */ +.codehilite .na { color: #008080 } /* Name.Attribute */ +.codehilite .nb { color: #0086B3 } /* Name.Builtin */ +.codehilite .nc { color: #445588; font-weight: bold } /* Name.Class */ +.codehilite .no { color: #008080 } /* Name.Constant */ +.codehilite .nd { color: #3c5d5d; font-weight: bold } /* Name.Decorator */ +.codehilite .ni { color: #800080 } /* Name.Entity */ +.codehilite .ne { color: #990000; font-weight: bold } /* Name.Exception */ +.codehilite .nf { color: #990000; font-weight: bold } /* Name.Function */ +.codehilite .nl { color: #990000; font-weight: bold } /* Name.Label */ +.codehilite .nn { color: #555555 } /* Name.Namespace */ +.codehilite .nt { color: #000080 } /* Name.Tag */ +.codehilite .nv { color: #008080 } /* Name.Variable */ +.codehilite .ow { color: #000000; font-weight: bold } /* Operator.Word */ +.codehilite .w { color: #bbbbbb } /* Text.Whitespace */ +.codehilite .mf { color: #009999 } /* Literal.Number.Float */ +.codehilite .mh { color: #009999 } /* Literal.Number.Hex */ +.codehilite .mi { color: #009999 } /* Literal.Number.Integer */ +.codehilite .mo { color: #009999 } /* Literal.Number.Oct */ +.codehilite .sb { color: #dd1144 } /* Literal.String.Backtick */ +.codehilite .sc { color: #dd1144 } /* Literal.String.Char */ +.codehilite .sd { color: #dd1144 } /* Literal.String.Doc */ +.codehilite .s2 { color: #dd1144 } /* Literal.String.Double */ +.codehilite .se { color: #dd1144 } /* Literal.String.Escape */ +.codehilite .sh { color: #dd1144 } /* Literal.String.Heredoc */ +.codehilite .si { color: #dd1144 } /* Literal.String.Interpol */ +.codehilite .sx { color: #dd1144 } /* Literal.String.Other */ +.codehilite .sr { color: #009926 } /* Literal.String.Regex */ +.codehilite .s1 { color: #dd1144 } /* Literal.String.Single */ +.codehilite .ss { color: #990073 } /* Literal.String.Symbol */ +.codehilite .bp { color: #999999 } /* Name.Builtin.Pseudo */ +.codehilite .vc { color: #008080 } /* Name.Variable.Class */ +.codehilite .vg { color: #008080 } /* Name.Variable.Global */ +.codehilite .vi { color: #008080 } /* Name.Variable.Instance */ +.codehilite .il { color: #009999 } /* Literal.Number.Integer.Long */ \ No newline at end of file diff --git a/html/assets/script.js b/html/assets/script.js new file mode 100644 index 0000000..8542b19 --- /dev/null +++ b/html/assets/script.js @@ -0,0 +1,33 @@ +// Sidebar toggle for mobile +document.addEventListener('DOMContentLoaded', function() { + const sidebar = document.getElementById('sidebar'); + const sidebarToggle = document.getElementById('sidebar-toggle'); + + sidebarToggle.addEventListener('click', function() { + sidebar.classList.toggle('active'); + }); + + // Close sidebar when clicking outside on mobile + document.addEventListener('click', function(event) { + const isClickInside = sidebar.contains(event.target); + const isToggleClick = sidebarToggle.contains(event.target); + + if (!isClickInside && !isToggleClick && sidebar.classList.contains('active')) { + sidebar.classList.remove('active'); + } + }); + + // Smooth scrolling for anchor links + document.querySelectorAll('a[href^="#"]').forEach(anchor => { + anchor.addEventListener('click', function (e) { + e.preventDefault(); + const target = document.querySelector(this.getAttribute('href')); + if (target) { + target.scrollIntoView({ + behavior: 'smooth', + block: 'start' + }); + } + }); + }); +}); \ No newline at end of file diff --git a/html/assets/style.css b/html/assets/style.css new file mode 100644 index 0000000..de191d7 --- /dev/null +++ b/html/assets/style.css @@ -0,0 +1,296 @@ +/* Reset and base styles */ +* { + margin: 0; + padding: 0; + box-sizing: border-box; +} + +:root { + --primary-color: #2c3e50; + --secondary-color: #3498db; + --text-color: #333; + --bg-color: #fff; + --sidebar-bg: #f8f9fa; + --border-color: #e0e0e0; + --code-bg: #f4f4f4; + --link-color: #3498db; + --link-hover: #2980b9; +} + +body { + font-family: -apple-system, BlinkMacSystemFont, "Segoe UI", Roboto, "Helvetica Neue", Arial, sans-serif; + font-size: 16px; + line-height: 1.6; + color: var(--text-color); + background-color: var(--bg-color); +} + +/* Container layout */ +.container { + display: flex; + min-height: 100vh; +} + +/* Sidebar */ +.sidebar { + width: 300px; + background-color: var(--sidebar-bg); + border-right: 1px solid var(--border-color); + padding: 20px; + overflow-y: auto; + position: fixed; + height: 100vh; + left: 0; + top: 0; + transition: transform 0.3s ease; +} + +.sidebar-header { + display: flex; + justify-content: space-between; + align-items: center; + margin-bottom: 20px; + padding-bottom: 10px; + border-bottom: 1px solid var(--border-color); +} + +.sidebar-header h3 { + color: var(--primary-color); + font-size: 1.2rem; +} + +.sidebar-toggle { + display: none; + background: none; + border: none; + cursor: pointer; + padding: 5px; + width: 30px; + height: 30px; + position: relative; +} + +.sidebar-toggle span { + display: block; + width: 20px; + height: 2px; + background-color: var(--primary-color); + margin: 4px 0; + transition: 0.3s; +} + +.nav-list { + list-style: none; +} + +.nav-list li { + margin-bottom: 8px; +} + +.nav-list a { + color: var(--text-color); + text-decoration: none; + display: block; + padding: 8px 12px; + border-radius: 4px; + transition: background-color 0.2s; +} + +.nav-list a:hover { + background-color: rgba(52, 152, 219, 0.1); + color: var(--link-color); +} + +.nav-list .active a { + background-color: var(--secondary-color); + color: white; +} + +/* Main content */ +.content { + flex: 1; + margin-left: 300px; + padding: 40px; + max-width: 900px; + width: 100%; +} + +article { + margin-bottom: 40px; +} + +/* Typography */ +h1, h2, h3, h4, h5, h6 { + color: var(--primary-color); + margin-top: 1.5em; + margin-bottom: 0.5em; + font-weight: 600; +} + +h1 { font-size: 2.2em; border-bottom: 2px solid var(--border-color); padding-bottom: 0.3em; } +h2 { font-size: 1.8em; } +h3 { font-size: 1.5em; } +h4 { font-size: 1.3em; } +h5 { font-size: 1.1em; } +h6 { font-size: 1em; } + +p { + margin-bottom: 1em; +} + +a { + color: var(--link-color); + text-decoration: none; +} + +a:hover { + color: var(--link-hover); + text-decoration: underline; +} + +/* Lists */ +ul, ol { + margin-bottom: 1em; + padding-left: 2em; +} + +li { + margin-bottom: 0.5em; +} + +/* Code blocks */ +pre { + background-color: var(--code-bg); + border: 1px solid var(--border-color); + border-radius: 4px; + padding: 16px; + overflow-x: auto; + margin-bottom: 1em; +} + +code { + background-color: var(--code-bg); + padding: 2px 6px; + border-radius: 3px; + font-family: "SFMono-Regular", Consolas, "Liberation Mono", Menlo, Courier, monospace; + font-size: 0.9em; +} + +pre code { + background-color: transparent; + padding: 0; +} + +/* Tables */ +table { + width: 100%; + border-collapse: collapse; + margin-bottom: 1em; +} + +th, td { + border: 1px solid var(--border-color); + padding: 8px 12px; + text-align: left; +} + +th { + background-color: var(--sidebar-bg); + font-weight: 600; +} + +tr:nth-child(even) { + background-color: rgba(0, 0, 0, 0.02); +} + +/* Blockquotes */ +blockquote { + border-left: 4px solid var(--secondary-color); + padding-left: 20px; + margin: 1em 0; + color: #666; +} + +/* Page navigation */ +.page-nav { + display: flex; + justify-content: space-between; + margin-top: 60px; + padding-top: 20px; + border-top: 1px solid var(--border-color); +} + +.nav-link { + display: inline-block; + padding: 10px 20px; + background-color: var(--sidebar-bg); + border-radius: 4px; + transition: background-color 0.2s; +} + +.nav-link:hover { + background-color: rgba(52, 152, 219, 0.1); + text-decoration: none; +} + +.nav-link.prev { + margin-right: auto; +} + +.nav-link.next { + margin-left: auto; +} + +/* Mobile responsive */ +@media (max-width: 768px) { + .sidebar { + transform: translateX(-100%); + z-index: 1000; + } + + .sidebar.active { + transform: translateX(0); + } + + .sidebar-toggle { + display: block; + } + + .content { + margin-left: 0; + padding: 20px; + } + + .page-nav { + flex-direction: column; + gap: 10px; + } + + .nav-link { + width: 100%; + text-align: center; + } + + h1 { font-size: 1.8em; } + h2 { font-size: 1.5em; } + h3 { font-size: 1.3em; } +} + +/* Dark mode preparation */ +@media (prefers-color-scheme: dark) { + :root { + --primary-color: #ecf0f1; + --secondary-color: #3498db; + --text-color: #ecf0f1; + --bg-color: #1a1a1a; + --sidebar-bg: #2c3e50; + --border-color: #34495e; + --code-bg: #2c3e50; + } +} + +/* Math display */ +.MathJax_Display { + overflow-x: auto; + overflow-y: hidden; +} \ No newline at end of file diff --git a/html/chapter1.html b/html/chapter1.html new file mode 100644 index 0000000..1bf421f --- /dev/null +++ b/html/chapter1.html @@ -0,0 +1,334 @@ + + + + + + 第1章：扩散模型导论 + + + + + + + +
+ + +
+
+

← 返回目录 | 第1章 / 共14章 | 下一章 →

+

第1章：扩散模型导论

+

欢迎来到扩散模型的世界。本章将为您打开一扇通往现代生成模型前沿的大门。我们将从最基本的概念出发，探索扩散模型如何通过模拟一个有序到无序、再从无序中恢复有序的优雅过程，实现惊人的生成效果。您将学习到其背后的核心数学原理，包括前向加噪和反向去噪过程，并初步接触到该领域激动人心的开放性研究问题。本章旨在为您后续深入学习DDPM、分数模型和更高级的主题奠定坚实的直觉和理论基础。

+

1.1 什么是扩散模型？

+

扩散模型（Diffusion Models）是一类强大的生成模型，它通过学习数据的逐步去噪过程来生成高质量的样本。这个过程可以类比为物理学中的扩散现象：就像墨水在水中逐渐扩散直至均匀分布，扩散模型将数据逐步添加噪声直至变成纯噪声，然后学习如何反转这个过程。

+

让我们从一个直观的例子开始。想象你有一张清晰的照片，现在你要对它进行一系列操作：第一步，添加一点点噪声，图像变得略微模糊；第二步，再添加一些噪声，细节开始消失；如此反复，经过足够多的步骤后，原始图像完全被噪声淹没，变成了纯粹的随机像素。这就是扩散模型的前向过程——一个逐渐破坏信息的过程。

+

神奇的是，如果我们能学会如何在每一步精确地去除添加的噪声，那么就可以从纯噪声开始，一步步恢复出原始图像。更重要的是，一旦学会了这种去噪能力，我们就可以从任意的随机噪声开始，生成全新的、从未见过但却逼真的图像。这就是扩散模型的核心思想：通过学习破坏的逆过程来实现创造。

+

从布朗运动到扩散模型：一段跨越百年的科学之旅

+

扩散模型的数学根源可以追溯到1827年罗伯特·布朗（Robert Brown）对花粉微粒在水中无规则运动的观察。当时，布朗用显微镜观察悬浮在水中的花粉颗粒，发现它们在不停地做着看似毫无规律的运动。这种现象困扰了科学界近80年，直到1905年，爱因斯坦（Einstein）在其奇迹之年中不仅发表了相对论，还给出了布朗运动的严格数学描述。

+

爱因斯坦的洞察是革命性的：他意识到这种无规则运动源于水分子对花粉的不断碰撞。由于分子运动的随机性，花粉在各个方向受到的撞击力不平衡，导致了观察到的随机运动。他通过扩散方程 $\frac{\partial p}{\partial t} = D\nabla^2 p$ 刻画了粒子密度的演化，其中 $p$ 是粒子的概率密度， $D$ 是扩散系数。这个方程告诉我们，粒子会从高浓度区域向低浓度区域扩散，最终达到均匀分布。

+

值得注意的是，这里的扩散过程遵循菲克定律（Fick's law），描述的是浓度梯度驱动的纯扩散现象，而非Navier-Stokes方程中的对流-扩散耦合过程。在机器学习的扩散模型中，我们关注的正是这种纯粹的随机扩散：没有外力驱动的定向流动，只有随机热运动导致的均匀化过程。这种纯扩散的特性使得数学处理更加优雅，也保证了前向过程的可逆性。

+

三年后的1908年，保罗·朗之万（Paul Langevin）提出了另一种描述布朗运动的方法——不再关注粒子群体的密度演化，而是追踪单个粒子的轨迹。他提出的随机微分方程： $d\mathbf{x}_t = -\nabla U(\mathbf{x}_t)dt + \sqrt{2D}d\mathbf{W}_t$ ，其中第一项 $-\nabla U(\mathbf{x}_t)dt$ 是确定性的漂移项，表示粒子在势能场 $U$ 中受到的力；第二项 $\sqrt{2D}d\mathbf{W}_t$ 是随机的扩散项，表示分子碰撞带来的随机扰动， $\mathbf{W}_t$ 是维纳过程（Wiener process）。

+

这个方程奠定了随机过程理论的基础，也成为了现代扩散模型的理论支柱。从朗之万动力学到今天的去噪扩散概率模型（DDPM），核心思想一脉相承：通过在数据上添加精心设计的噪声（对应朗之万方程中的随机项），并学习反向的去噪过程（对应漂移项），我们可以从简单的噪声分布生成复杂的数据分布。这种优雅的对称性不仅在数学上令人着迷，更在实践中展现出了惊人的生成能力。

+

扩散模型的本质：时间的可逆性

+

扩散模型最深刻的洞察在于对时间可逆性的利用。在物理学中，许多微观过程都是时间可逆的——如果你能精确地知道系统的状态，理论上可以逆转时间的流向。扩散模型将这一物理直觉转化为算法：如果我们知道噪声是如何一步步添加的，那么就能学会如何一步步去除它。

+

这种可逆性并非显而易见。在宏观世界中，我们看到的大多是不可逆过程：墨水滴入水中会扩散，但扩散的墨水不会自发聚集；玻璃杯摔碎了不会自动复原。这是因为宏观过程涉及的粒子数量巨大，精确逆转每个粒子的运动在实践中是不可能的。但在扩散模型的数学框架中，我们处理的是概率分布的演化，而非单个粒子的轨迹。通过学习分布之间的映射关系，我们可以实现宏观上的"时间逆转"。

+

🔬 研究线索：物理扩散与概率扩散的深层联系
+扩散模型与物理扩散方程的联系不仅仅是类比。实际上，Fokker-Planck方程和Schrödinger桥问题揭示了两者的数学等价性。Fokker-Planck方程描述了概率密度在朗之万动力学下的演化，而Schrödinger桥问题寻找连接两个概率分布的最优随机过程。这种联系在最优传输理论中有深刻体现，但目前仍缺乏统一的几何理论框架。特别是，如何从信息几何的角度理解扩散过程在概率流形上的测地线性质？PyTorch中的torchdiffeq.odeint可用于探索连续时间扩散的数值实现。

+
+

定义 1.1（扩散模型） +扩散模型是一类概率生成模型，它定义了两个马尔可夫过程：

+
    +
  • 前向过程（Forward Process）：一个固定的马尔可夫链，将数据分布 $q(\mathbf{x}_0)$ 通过逐步添加高斯噪声转换为已知的先验分布（通常是标准高斯分布）。
    • +
  • 反向过程（Reverse Process）：一个参数化的马尔可夫链，学习前向过程的逆过程，从先验分布开始逐步去噪，最终生成数据分布的样本。
    • +
+

模型的训练目标是最大化数据的对数似然下界，这等价于学习在每个时间步精确预测和去除噪声的能力。

+
+

1.2 扩散模型的数学基础

+

在理解了扩散模型的直观概念后，让我们深入其数学原理。扩散模型的数学框架优雅而深刻，它将看似复杂的生成过程分解为一系列简单的概率变换。我们将从前向扩散过程开始，逐步揭示这个框架的精妙之处。

+

1.2.1 前向扩散过程

+

前向过程是扩散模型的第一个关键组成部分。它定义了如何将数据逐步转化为噪声，这个过程必须满足两个关键要求：首先，它必须是可控的，让我们能够精确知道每一步发生了什么；其次，它必须最终将任何数据都转化为相同的简单分布（通常是标准高斯分布）。

+

马尔可夫链：一步一步走向混沌

+

给定数据点 $\mathbf{x}_0 \sim q(\mathbf{x}_0)$ ，前向过程通过 $T$ 步逐渐添加高斯噪声，定义为一个马尔可夫链：

+

$$q(\mathbf{x}_t | \mathbf{x}_{t-1}) = \mathcal{N}(\mathbf{x}_t; \sqrt{1-\beta_t}\mathbf{x}_{t-1}, \beta_t\mathbf{I})$$ +让我们仔细解析这个公式的含义。这个条件分布告诉我们，给定第 $t-1$ 步的状态 $\mathbf{x}_{t-1}$ ，第 $t$ 步的状态 $\mathbf{x}_t$ 是如何生成的：

+
    +
  • 均值部分 $\sqrt{1-\beta_t}\mathbf{x}_{t-1}$ ：我们保留了前一步状态的一部分信息，保留的比例是 $\sqrt{1-\beta_t}$ 。注意这里使用平方根是为了保持方差的正确缩放。
    • +
  • 方差部分 $\beta_t\mathbf{I}$ ：我们添加了方差为 $\beta_t$ 的各向同性高斯噪声。
    • +
+

其中 ${\beta_t}_{t=1}^T$ 是预先设定的噪声调度（noise schedule），控制每一步添加噪声的量。通常 $\beta_t$ 的值很小（如0.0001到0.02之间），这保证了相邻时间步之间的变化是渐进的。

+

这种设计的巧妙之处在于，它在每一步都在做两件事：削弱原始信号（通过乘以小于1的系数）和添加随机噪声。经过足够多的步骤后，原始信号的影响会指数级衰减，而累积的噪声会主导整个分布。

+

重参数化技巧：时间旅行的捷径

+

在实际训练中，如果要采样 $\mathbf{x}_t$ ，按照马尔可夫链的定义需要从 $\mathbf{x}_0$ 开始逐步计算到 $\mathbf{x}_t$ ，这会非常低效。幸运的是，高斯分布的良好性质允许我们使用重参数化技巧，直接从 $\mathbf{x}_0$ "跳跃"到任意时刻 $t$ ： +$$ \mathbf{x}_t = \sqrt{\bar{\alpha}_t}\mathbf{x}_0 + \sqrt{1-\bar{\alpha}_t}\boldsymbol{\epsilon}, \quad \boldsymbol{\epsilon} \sim \mathcal{N}(0, \mathbf{I})$$ +这个公式的推导基于高斯分布的可加性。让我们通过一个简单的例子来理解：如果 $X \sim \mathcal{N}(\mu_1, \sigma_1^2)$ 和 $Y \sim \mathcal{N}(\mu_2, \sigma_2^2)$ 是独立的高斯随机变量，那么 $aX + bY \sim \mathcal{N}(a\mu_1 + b\mu_2, a^2\sigma_1^2 + b^2\sigma_2^2)$ 。

+

应用这个性质，我们可以证明上述重参数化公式等价于条件概率： +$$q(\mathbf{x}_t | \mathbf{x}_0) = \mathcal{N}(\mathbf{x}_t; \sqrt{\bar{\alpha}_t}\mathbf{x}_0, (1-\bar{\alpha}_t)\mathbf{I})$$ +其中 $\alpha_t = 1 - \beta_t$ 表示每一步保留的信息比例， $\bar{\alpha}_t = \prod_{s=1}^{t}\alpha_s$ 表示从初始状态到时刻 $t$ 累积保留的信息比例。

+

信噪比的演化：从清晰到模糊的定量描述

+

理解前向过程的一个关键视角是信噪比（Signal-to-Noise Ratio, SNR）。在时刻 $t$ ，数据的信噪比可以定义为： +$$\text{SNR}(t) = \frac{\text{Signal Power}}{\text{Noise Power}} = \frac{\bar{\alpha}_t}{1-\bar{\alpha}_t}$$ +这个比值直观地刻画了原始信号和噪声的相对强度。当 $t=0$ 时， $\text{SNR}(0) = \infty$ （纯信号，无噪声）；当 $t \to T$ 且 $\bar{\alpha}_T \to 0$ 时， $\text{SNR}(T) \to 0$ （纯噪声，无信号）。

+

在对数尺度下观察SNR特别有意义： $\log \text{SNR}(t) = \log \bar{\alpha}_t - \log(1-\bar{\alpha}_t)$ 。好的噪声调度应该使得 $\log \text{SNR}(t)$ 近似线性下降，这样可以保证：

+
    +
  1. 模型在各个时间步面临相似难度的去噪任务
    2. +
  2. 训练过程中各个时间步的梯度贡献较为均衡
    3. +
  3. 避免某些时间步的信息损失过快或过慢
    4. +
+

当 $t \to T$ 时，若设计得当使 $\bar{\alpha}_T \to 0$ ，则 $\mathbf{x}_T$ 的分布将趋向于各向同性的标准高斯分布 $\mathcal{N}(0, \mathbf{I})$ ，完全独立于原始数据 $\mathbf{x}_0$ 。这正是我们想要的：无论起点是什么样的复杂数据，终点都是相同的简单分布。

+

💡 开放问题：最优噪声调度的理论基础
+虽然实践中余弦调度效果良好，但缺乏理论指导原则。信息论视角下，噪声调度应该如何与数据的固有维度相适应？是否存在数据相关的自适应调度算法？

+

🌟 理论空白：扩散速度的几何含义
+前向扩散过程在数据流形上的速度场有何几何意义？与Ricci流的联系如何？这个联系源于两者都描述了几何结构的演化：Ricci流通过 $\frac{\partial g_{ij}}{\partial t} = -2R_{ij}$ 使流形曲率均匀化，最终趋向常曲率空间；而扩散过程使数据分布从复杂流形逐渐"展平"到各向同性高斯分布。两者都涉及从复杂几何到简单几何的演化，且都可用PDE描述。理解这种深层联系可能启发新的采样算法，例如利用流形的曲率信息来设计自适应的噪声调度。

+
+**练习 1.1：分析噪声调度** +

考虑一个线性噪声调度： $\beta_t = \beta_{min} + \frac{t-1}{T-1}(\beta_{max} - \beta_{min})$ ，其中 $T=1000$ , $\beta_{min}=10^{-4}$ , $\beta_{max}=0.02$ 。

+
    +
  1. 推导与分析：推导信噪比 (Signal-to-Noise Ratio, SNR) $\text{SNR}(t) = \frac{\bar{\alpha}_t}{1-\bar{\alpha}_t}$ 的表达式。分析其随时间 $t$ 的变化趋势，并解释为什么在对数尺度下观察SNR更有意义。
    2. +
  2. 开放探索：比较线性和余弦调度对整个扩散过程中信息损失速率的影响。哪种调度在过程的早期/晚期损失更多信息？这如何影响模型的学习难度和最终生成质量？
    3. +
  3. 研究思路：
      +
    • 信息瓶颈视角的噪声调度分析：信息瓶颈（Information Bottleneck）理论最小化 $\mathcal{L} = I(X;Z) - \beta I(Z;Y)$ ，其中 $Z$ 是压缩表示。在扩散模型中， $\mathbf{x}_t$ 可视为 $\mathbf{x}_0$ 的压缩表示，互信息 $I(\mathbf{x}_0; \mathbf{x}_t) = \frac{1}{2}\log\frac{1}{1-\bar{\alpha}_t}$ 随时间递减。理想的噪声调度应该：(1) 在早期保留语义信息（高层特征），在后期才丢失细节；(2) 使信息损失率 $-\frac{dI}{dt}$ 尽可能恒定，避免某些时刻的学习困难；(3) 考虑数据的固有维度 $d_{intrinsic}$ ，高维数据可能需要更平缓的调度。这启发我们设计自适应调度： $\beta_t = f(I(\mathbf{x}_0; \mathbf{x}_t), d_{intrinsic})$ 。
      • +
    • 研究噪声调度与模型架构（如U-Net的不同层）之间的相互作用。
      • +
    • 探索变分方法，将噪声调度本身作为可学习的参数。
      • +
    +
    4. +
+
+

1.2.2 反向去噪过程

+

如果前向过程是将数据逐步转化为噪声的"破坏"过程，那么反向过程就是扩散模型的"创造"过程——它学习如何从纯噪声中逐步恢复出有意义的数据。这个过程的数学描述既优雅又富有挑战性。

+

时间的逆转：从噪声到数据的旅程

+

反向过程的目标是学习条件分布 $p_\theta(\mathbf{x}_{t-1} | \mathbf{x}_t)$ ，即给定时刻 $t$ 的状态，如何推断时刻 $t-1$ 的状态。整个反向过程从纯噪声 $\mathbf{x}_T \sim \mathcal{N}(0, \mathbf{I})$ 开始，逐步去除噪声，最终生成数据样本 $\mathbf{x}_0$ 。

+

数学上，反向过程的联合分布可以写作： +$$p_\theta(\mathbf{x}_{0:T}) = p(\mathbf{x}_T) \prod_{t=1}^T p_\theta(\mathbf{x}_{t-1} | \mathbf{x}_t)$$ +这里的关键洞察是：虽然真实的反向条件分布 $q(\mathbf{x}_{t-1} | \mathbf{x}_t)$ 很难直接计算（它依赖于整个数据分布），但我们可以用神经网络来学习近似它。

+

高斯假设：简化但不简单

+

为了使问题可解，我们假设每一步的反向过程仍然是高斯分布： +$$p_\theta(\mathbf{x}_{t-1} | \mathbf{x}_t) = \mathcal{N}(\mathbf{x}_{t-1}; \boldsymbol{\mu}_\theta(\mathbf{x}_t, t), \sigma_t^2\mathbf{I})$$ +这个假设看似限制性很强，但实际上有深刻的理论基础：

+
    +
  1. 当 $\beta_t$ 足够小时，真实的反向过程确实近似高斯分布
    2. +
  2. 高斯分布的参数化简单，只需要学习均值和方差
    3. +
  3. 高斯分布的采样高效，这对生成过程至关重要
    4. +
+

其中，均值 $\boldsymbol{\mu}_\theta(\mathbf{x}_t, t)$ 由一个参数化的神经网络（通常是U-Net或Transformer）预测。这个网络接收当前的噪声图像 $\mathbf{x}_t$ 和时间步 $t$ 作为输入，输出去噪后的均值。

+

均值参数化的艺术

+

有趣的是，预测均值 $\boldsymbol{\mu}_\theta(\mathbf{x}_t, t)$ 有多种等价的参数化方式，每种方式都有其独特的视角：

+
    +
  1. 直接预测均值：网络直接输出 $\boldsymbol{\mu}_\theta(\mathbf{x}_t, t)$
    2. +
  2. 预测原始数据：网络预测 $\mathbf{x}_0$ ，然后通过贝叶斯公式计算均值
    3. +
  3. 预测噪声：网络预测添加的噪声 $\boldsymbol{\epsilon}$ ，这是DDPM采用的方式
    4. +
+

第三种方式特别优雅。回忆重参数化公式 $\mathbf{x}_t = \sqrt{\bar{\alpha}_t}\mathbf{x}_0 + \sqrt{1-\bar{\alpha}_t}\boldsymbol{\epsilon}$ ，如果我们能预测出噪声 $\boldsymbol{\epsilon}$ ，就可以恢复出 $\mathbf{x}_0$ ： +$$\hat{\mathbf{x}}_0 = \frac{\mathbf{x}_t - \sqrt{1-\bar{\alpha}_t}\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t)}{\sqrt{\bar{\alpha}_t}}$$ +这种参数化的优势在于：

+
    +
  • 噪声预测在不同时间步的尺度较为一致
    • +
  • 与基于分数的生成模型有深刻联系（将在第4章详述）
    • +
  • 实践中训练更稳定，收敛更快
    • +
+

方差的选择：固定还是学习？

+

方差 $\sigma_t^2$ 的选择是一个微妙的设计决策：

+

固定方差策略（DDPM采用）：

+
    +
  • 设置 $\sigma_t^2 = \beta_t$ 或 $\sigma_t^2 = \frac{1-\bar{\alpha}_{t-1}}{1-\bar{\alpha}_t}\beta_t$
    • +
  • 这些选择基于在已知 $\mathbf{x}_0$ 时的真实后验方差
    • +
  • 简单且计算高效，不需要额外的网络输出
    • +
+

学习方差策略（Improved DDPM等）：

+
    +
  • 网络同时预测均值和方差（或对数方差）
    • +
  • 可以更好地建模数据的不确定性
    • +
  • 在某些任务上可以提升生成质量，但增加了优化难度
    • +
+

⚡ 实现挑战：方差参数化的选择
+固定方差vs学习方差是一个未解决的权衡问题。理论上，最优的方差应该反映模型在每个位置和时间步的不确定性。但实践中，学习方差可能导致训练不稳定。一个折中方案是学习方差的插值系数：$\sigma_t^2 = \exp(v_\theta \log \beta_t + (1-v_\theta) \log \tilde{\beta}_t)$，其中 $v_\theta \in [0,1]$ 由网络预测。这涉及到torch.nn.Parameter的灵活使用和梯度流的稳定性分析。

+

贝叶斯视角：后验推断的优雅

+

从贝叶斯推断的角度看，反向过程实际上是在做后验推断。如果我们知道 $\mathbf{x}_0$ ，那么真实的后验分布 $q(\mathbf{x}_{t-1} | \mathbf{x}_t, \mathbf{x}_0)$ 有闭式解： +$$q(\mathbf{x}_{t-1} | \mathbf{x}_t, \mathbf{x}_0) = \mathcal{N}(\mathbf{x}_{t-1}; \tilde{\boldsymbol{\mu}}_t(\mathbf{x}_t, \mathbf{x}_0), \tilde{\beta}_t \mathbf{I})$$ +其中后验均值和方差为： +$$\tilde{\boldsymbol{\mu}}_t(\mathbf{x}_t, \mathbf{x}_0) = \frac{\sqrt{\bar{\alpha}_{t-1}}\beta_t}{1-\bar{\alpha}_t}\mathbf{x}_0 + \frac{\sqrt{\alpha_t}(1-\bar{\alpha}_{t-1})}{1-\bar{\alpha}_t}\mathbf{x}_t$$

+

$$\tilde{\beta}_t = \frac{1-\bar{\alpha}_{t-1}}{1-\bar{\alpha}_t} \beta_t$$ +这个公式揭示了一个重要事实：如果我们能准确预测 $\mathbf{x}_0$ （或等价地，预测噪声 $\boldsymbol{\epsilon}$ ），就能计算出最优的去噪方向。这正是神经网络需要学习的核心能力。

+
+**练习 1.2：探索扩散过程的数学本质** +

考虑一个简单的一维扩散过程，初始数据为单点 $x_0$ 。

+
    +
  1. 前向过程分析：推导任意时刻 $t$ 的期望 $\mathbb{E}[x_t | x_0]$ 和方差 $\text{Var}(x_t | x_0)$ 。
    2. +
  2. 信息论视角：推导并分析互信息 $I(x_t; x_0)$ 如何随时间 $t$ 衰减。这对于理解扩散过程中的信息损失有何启示？
    3. +
  3. 最优反向过程：证明当 $\beta_t \to 0$ 时，真实的反向过程条件分布 $q(\mathbf{x}_{t-1} | \mathbf{x}_t, \mathbf{x}_0)$ 的均值，可以仅由 $\mathbf{x}_t$ 和 $\nabla_{\mathbf{x}_t} \log q_t(\mathbf{x}_t)$ （即分数函数）来近似表达。这揭示了扩散模型与分数模型的深刻联系（将在第4章详细讨论）。
    4. +
  4. 研究思路：
      +
    • 将1D高斯情况下的解析解作为理解高维、复杂数据分布上扩散过程的"玩具模型"。
      • +
    • 探索非高斯噪声（如Laplace或Student's-t分布）对前向和反向过程的影响。
      • +
    • 研究该过程与Ornstein-Uhlenbeck过程的联系。
      • +
    +
    5. +
+
+

1.2.3 训练目标：变分下界的优雅

+

扩散模型的训练目标源于最大似然估计。给定观测数据 $\mathbf{x}_0$ ，我们希望最大化其在模型下的对数似然 $\log p_\theta(\mathbf{x}_0)$ 。由于直接计算这个似然涉及对所有可能的扩散路径进行积分，在计算上是不可行的。因此，我们转而优化其变分下界（Evidence Lower Bound, ELBO）。

+

通过巧妙的数学推导，ELBO可以分解为一系列更简单的项。最终，DDPM将复杂的优化问题简化为一个优雅的去噪目标： +$$L_{\text{simple}} = \mathbb{E}_{t, \mathbf{x}_0, \boldsymbol{\epsilon}} \left[ |\boldsymbol{\epsilon} - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t)|^2 \right]$$ +其中 $t$ 从 ${1, ..., T}$ 均匀采样， $\boldsymbol{\epsilon} \sim \mathcal{N}(0, \mathbf{I})$ 是添加的噪声， $\mathbf{x}_t$ 是通过重参数化得到的噪声数据。

+

这个损失函数的美妙之处在于其简单性：

+
    +
  • 直观解释：网络学习预测在每个时间步添加的噪声
    • +
  • 计算高效：每次只需要采样一个时间步，而不是整个轨迹
    • +
  • 梯度稳定：L2损失提供了平滑的梯度信号
    • +
+

🌟 理论空白：扩散速度的几何含义
+前向扩散过程在数据流形上的速度场有何几何意义？与Ricci流的联系如何？这个联系源于两者都描述了几何结构的演化：Ricci流通过 $\frac{\partial g_{ij}}{\partial t} = -2R_{ij}$ 使流形曲率均匀化，最终趋向常曲率空间；而扩散过程使数据分布从复杂流形逐渐"展平"到各向同性高斯分布。两者都涉及从复杂几何到简单几何的演化，且都可用PDE描述。理解这种深层联系可能启发新的采样算法，例如利用流形的曲率信息来设计自适应的噪声调度。

+

1.2.4 采样过程：从理论到实践

+

训练完成后，我们可以通过反向过程生成新的样本。采样算法从标准高斯噪声开始，迭代应用学习到的去噪网络：

+
    +
  1. 采样初始噪声： $\mathbf{x}_T \sim \mathcal{N}(0, \mathbf{I})$
    2. +
  2. 对于 $t = T, T-1, ..., 1$ ： + - 如果 $t > 1$ ，添加噪声： $\mathbf{z} \sim \mathcal{N}(0, \mathbf{I})$ + - 否则： $\mathbf{z} = \mathbf{0}$ + - 应用去噪步骤： $\mathbf{x}_{t-1} = \frac{1}{\sqrt{\alpha_t}}(\mathbf{x}_t - \frac{1-\alpha_t}{\sqrt{1-\bar{\alpha}_t}}\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t)) + \sigma_t \mathbf{z}$
    3. +
+

这个采样过程展现了扩散模型的核心魅力：通过学习去噪，我们实现了生成。每一步去噪都在逐渐揭示数据的结构，就像雕塑家从大理石中雕刻出雕像一样。

+

1.3 扩散模型的优势

+

扩散模型在生成模型领域的崛起并非偶然。它解决了许多困扰早期生成模型的核心问题，同时带来了新的可能性。让我们深入分析扩散模型的独特优势，理解为什么它能够在短时间内成为生成AI的主流选择。

+

生成质量：细节的胜利

+

扩散模型最引人注目的优势是其卓越的生成质量。在FID（Fréchet Inception Distance）、IS（Inception Score）等标准评测指标上，扩散模型consistently超越了GAN。但更重要的是，扩散模型在生成细节方面的表现尤为出色：

+
    +
  • 纹理保真度：扩散模型能够生成极其精细的纹理，如皮肤的毛孔、织物的纹理、水面的涟漪等
    • +
  • 全局一致性：生成的图像在全局结构上保持良好的一致性，避免了GAN常见的局部伪影
    • +
  • 多样性保持：能够捕获数据分布的全部模态，而不是像某些GAN那样只关注高概率区域
    • +
+

这种质量优势源于扩散模型的渐进式生成过程。不同于GAN的一步到位，扩散模型通过数百甚至上千步的迭代细化，每一步都在改善生成质量。这种"慢工出细活"的方式虽然计算成本较高，但换来了无与伦比的生成质量。

+

训练稳定性：告别模式崩塌

+

如果你曾经训练过GAN，一定对其训练的不稳定性深有体会。生成器和判别器之间的对抗博弈常常导致：

+
    +
  • 模式崩塌（Mode Collapse）：生成器只学会生成少数几种样本
    • +
  • 梯度消失/爆炸：判别器过强或过弱都会导致训练失败
    • +
  • 超参数敏感性：微小的超参数变化可能导致完全不同的结果
    • +
+

扩散模型彻底改变了这一局面。其训练目标是一个简单的去噪任务，没有对抗网络的不稳定性： +$$L = \mathbb{E}_{t, \mathbf{x}_0, \boldsymbol{\epsilon}} \left[ |\boldsymbol{\epsilon} - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t)|^2 \right]$$

+

这个L2损失函数：

+
    +
  • 梯度平滑：提供稳定的梯度信号，不会出现梯度消失或爆炸
    • +
  • 无需平衡：不需要精心平衡两个网络的训练速度
    • +
  • 收敛可预测：损失曲线平滑下降，训练进度清晰可见
    • +
+

理论基础：概率论的优雅

+

扩散模型建立在坚实的概率论基础之上。每个设计选择都有明确的理论依据：

+
    +
  1. 变分推断框架：模型优化的是数据似然的变分下界（ELBO），这是一个有明确统计意义的目标
    2. +
  2. 与物理过程的联系：前向过程对应于物理中的扩散现象，反向过程对应于时间反演
    3. +
  3. 与最优传输的联系：扩散路径可以视为连接数据分布和噪声分布的传输路径
    4. +
+

这种理论基础带来的好处是：

+
    +
  • 可解释性强：模型的每个组件都有清晰的概率解释
    • +
  • 改进有方向：理论分析可以指导模型的改进方向
    • +
  • 与其他方法的桥梁：容易与分数匹配、流模型等其他方法建立联系
    • +
+

灵活性：一个框架，多种应用

+

扩散模型的框架极其灵活，可以轻松适应各种生成任务：

+

条件生成：通过在去噪网络中注入条件信息，可以实现：

+
    +
  • 文本到图像生成（如DALL-E 2、Stable Diffusion）
    • +
  • 图像到图像翻译
    • +
  • 类别条件生成
    • +
  • 多模态生成
    • +
+

图像编辑：利用扩散模型的迭代特性，可以实现：

+
    +
  • 图像修复（inpainting）
    • +
  • 超分辨率
    • +
  • 风格迁移
    • +
  • 语义编辑
    • +
+

精确似然估计：不同于GAN，扩散模型可以：

+
    +
  • 计算数据的精确似然下界
    • +
  • 进行异常检测
    • +
  • 模型比较和选择
    • +
+

可控性：精确控制生成过程

+

扩散模型提供了前所未有的生成控制能力：

+
    +
  1. 引导强度控制：通过调整classifier-free guidance的强度，可以在多样性和质量之间权衡
    2. +
  2. 中间状态访问：可以在任意时间步查看和修改生成过程
    3. +
  3. 噪声控制：通过控制初始噪声和采样随机性，可以精确控制生成结果
    4. +
+

这种可控性在实际应用中极为重要，使得扩散模型不仅是研究工具，更是实用的生产力工具。

+

🔬 研究前沿：效率与质量的平衡
+尽管扩散模型有诸多优势，但其主要劣势是采样速度慢。当前的研究热点包括：

+
    +
  • 蒸馏方法：将多步扩散模型蒸馏为少步模型
    • +
  • 并行采样：设计可以并行执行的采样算法
    • +
  • 自适应步数：根据生成难度动态调整采样步数 +这些方向都试图在保持生成质量的同时提高效率，是未来发展的关键。
    • +
+

1.4 历史发展与里程碑

+

扩散模型的发展并非一蹴而就，而是经历了一个从理论探索到实践突破的漫长过程。

+
    +
  • 2015年：Sohl-Dickstein等人在论文《Deep Unsupervised Learning using Nonequilibrium Thermodynamics》中首次提出了扩散概率模型的思想，将其与非平衡热力学联系起来。
    • +
  • 2020年：Ho等人提出的DDPM（Denoising Diffusion Probabilistic Models）是该领域的转折点。他们通过简化目标函数和架构设计，极大地提升了模型的生成质量和易用性，使其成为主流的生成模型。
    • +
  • 2021年：Song等人提出的DDIM（Denoising Diffusion Implicit Models）通过构建非马尔可夫的前向过程，实现了比DDPM快10-100倍的采样速度，同时保持了高质量的生成结果。
    • +
  • 2022年：Rombach等人提出的潜在扩散模型（Latent Diffusion Models, LDM），即Stable Diffusion的核心，通过在低维潜在空间中进行扩散，大幅降低了计算成本，使得高分辨率图像生成变得触手可及。
    • +
  • 2023年：Peebles和Xie提出的DiT（Diffusion Transformer）标志着扩散模型架构的重大转变。他们证明了纯Transformer架构可以替代U-Net，并且展现出卓越的缩放特性（scaling properties）。DiT-XL/2在256×256 ImageNet上达到2.27 FID，证明了扩散模型也遵循大模型的缩放定律：随着模型参数、训练数据和计算量的增加，生成质量可预测地提升。这一发现直接推动了Sora、Stable Diffusion 3等大规模视频和图像生成模型的诞生。
    • +
+

🔬 历史视角的研究机会
+早期基于热力学的方法与现代DDPM的联系尚未完全被挖掘。非平衡统计物理中的Jarzynski恒等式或Crooks涨落定理（Fluctuation Theorems）能否为理解反向过程、设计新的损失函数或采样策略提供新的理论洞察？

+

1.5 本章小结

+

在本章中，我们对扩散模型进行了初步的探索：

+
    +
  • 核心概念：理解了扩散模型通过“加噪”和“去噪”两个对称过程进行生成建模的基本思想。
    • +
  • 数学基础：学习了前向过程的数学表述，特别是如何通过重参数化技巧直接对任意时间步的噪声样本进行采样。
    • +
  • 关键组件：初步了解了反向去噪过程、噪声调度和网络参数化的基本概念。
    • +
  • 模型优势与历史：认识到扩散模型在生成质量和训练稳定性上的优势，并回顾了其发展的关键里程碑。
    • +
+

通过本章的学习，我们已经掌握了扩散模型的基本词汇和核心思想。下一章，我们将深入学习U-Net和Transformer这两种在扩散模型中至关重要的神经网络架构，为后续理解模型的具体实现打下基础。

+
+**综合练习：噪声调度的理论分析** +

考虑三种常见的噪声调度策略：

+
    +
  • 线性调度： $\beta_t = \beta_{\text{start}} + \frac{t-1}{T-1}(\beta_{\text{end}} - \beta_{\text{start}})$
    • +
  • 余弦调度： $\bar{\alpha}_t = f(t)/f(0)$ ，其中 $f(t) = \cos\left(\frac{t/T + s}{1 + s} \cdot \frac{\pi}{2}\right)^2$
    • +
  • 二次调度： $\beta_t$ 的增长率随 $t$ 呈二次关系。
    • +
+

理论分析与开放探索：

+
    +
  1. 信噪比分析：推导并绘制每种调度下信噪比 $\text{SNR}(t) = \bar{\alpha}_t / (1 - \bar{\alpha}_t)$ 的对数曲线。比较不同曲线的形状，并讨论其对模型学习过程可能产生的影响（例如，模型在哪些阶段需要学习更精细的细节？）。
    2. +
  2. 与最优传输的联系：噪声调度定义了从数据分布到噪声分布的路径。这与最优传输（Optimal Transport）理论中的位移插值（displacement interpolation）有何联系？是否存在一个“最优”的调度方案，可以最小化某种传输成本？
    3. +
  3. 实现挑战：自适应噪声调度：能否设计一个根据数据特性（如复杂度、固有维度）或训练阶段动态调整的噪声调度？这可能需要在线估计数据的局部几何性质。torch.autograd.functional.jacobian可用于计算此类局部几何量。
    4. +
  4. 理论空白：噪声调度与采样效率：不同的噪声调度对DDIM等快速采样算法的影响机制尚不清楚。是否存在专门为快速采样（而非最优训练）设计的噪声调度？这涉及到对ODE/SDE求解器离散化误差的精细分析。
    5. +
+
+

← 返回目录 | 第1章 / 共14章 | 下一章 →

+
+ + +
+
+ + \ No newline at end of file diff --git a/html/chapter10.html b/html/chapter10.html new file mode 100644 index 0000000..6eef4ea --- /dev/null +++ b/html/chapter10.html @@ -0,0 +1,1593 @@ + + + + + + 第10章：潜在扩散模型 (LDM) + + + + + + + +
+ + +
+
+

← 返回目录 | 第10章 / 共14章 | 下一章 →

+

第10章：潜在扩散模型 (LDM)

+

潜在扩散模型（Latent Diffusion Models, LDM）是扩散模型的一个革命性进展，它通过在压缩的潜在空间而非原始像素空间进行扩散，极大地提高了计算效率。本章将深入探讨LDM的核心思想，包括自编码器的设计、潜在空间的特性、以及如何在保持生成质量的同时实现数量级的加速。您将理解Stable Diffusion背后的技术原理，掌握设计高效扩散模型的关键技巧，并学习如何权衡压缩率与重建质量。

+

章节大纲

+

10.1 从像素空间到潜在空间

+
    +
  • 高分辨率图像的计算挑战
    • +
  • 潜在空间的优势
    • +
  • 感知压缩vs信息压缩
    • +
  • LDM的整体架构
    • +
+

10.2 自编码器设计

+
    +
  • VQ-VAE vs KL-VAE
    • +
  • 感知损失与对抗训练
    • +
  • 潜在空间的正则化
    • +
  • 编码器-解码器架构细节
    • +
+

10.3 潜在空间中的扩散

+
    +
  • 潜在扩散过程的数学描述
    • +
  • 噪声调度的适配
    • +
  • 条件机制在潜在空间的实现
    • +
  • 训练策略与技巧
    • +
+

10.4 Stable Diffusion架构详解

+
    +
  • 模型组件分析
    • +
  • CLIP文本编码器集成
    • +
  • 交叉注意力机制
    • +
  • 推理优化技术
    • +
+

10.5 实践考虑与扩展

+
    +
  • 不同分辨率的处理
    • +
  • 微调与适配
    • +
  • 模型压缩与部署
    • +
  • 未来发展方向
    • +
+

10.1 从像素空间到潜在空间

+

10.1.1 高分辨率图像的计算挑战

+

在像素空间直接应用扩散模型面临严重的计算瓶颈：

+

计算复杂度分析：

+
    +
  • 512×512 RGB图像：786,432维
    • +
  • 1024×1024 RGB图像：3,145,728维
    • +
  • U-Net的计算量： $O(n^2)$ 对于自注意力层
    • +
+

具体数字：

+
    +
  • 输入张量：批次大小 × 通道数 × 高度 × 宽度 × 4字节（float32）
    • +
  • U-Net中间特征：假设最大通道数2048，在8倍下采样分辨率
    • +
  • 自注意力矩阵：序列长度的平方，其中序列长度 = (H/8) × (W/8)
    • +
  • 总内存需求：1024×1024图像需要约48GB内存！
    • +
+

10.1.2 潜在空间的核心优势

+

LDM通过在低维潜在空间操作获得多个优势：

+
    +
  1. 计算效率：8倍下采样减少64倍计算量
    2. +
  2. 语义压缩：潜在表示更接近语义信息
    3. +
  3. 更好的归纳偏置：自然图像的低维流形假设
    4. +
  4. 模块化设计：分离压缩和生成任务
    5. +
+

潜在空间方法的核心洞察来自于自然图像的内在维度远低于其像素表示。一张512×512的RGB图像虽然有786,432个数值，但其语义内容可以用更紧凑的表示捕捉。这种观察基于流形假设：自然图像分布在高维像素空间的低维流形上。

+

通过学习这个流形的有效参数化，我们可以：

+
    +
  • 减少冗余：像素级的细微变化往往对语义无关紧要
    • +
  • 提高泛化：在语义空间建模比在像素空间更容易泛化
    • +
  • 加速训练：更小的特征图意味着更快的前向和反向传播
    • +
  • 改善条件控制：语义特征更容易与文本等条件对齐
    • +
+

压缩率vs质量的权衡：

+
下采样因子 | 潜在维度 | 加速比 | 重建PSNR
+    4       |  64×64   |  16x   |  >30dB
+    8       |  32×32   |  64x   |  ~27dB
+   16       |  16×16   | 256x   |  ~23dB
+
+ +

这个表格展示了一个关键的工程权衡。8倍下采样被广泛采用，因为它在保持足够的重建质量（~27dB PSNR通常被认为是"好"的质量）的同时，提供了显著的计算节省。更激进的压缩虽然更快，但会导致明显的质量下降，特别是在细节保留方面。

+

10.1.3 感知压缩vs信息压缩

+

LDM的关键洞察是区分两种压缩：

+

信息压缩（传统压缩）：

+
    +
  • 目标：完美重建每个像素
    • +
  • 方法：熵编码、预测编码
    • +
  • 问题：保留了感知不重要的细节
    • +
+

感知压缩（LDM使用）：

+
    +
  • 目标：保留感知重要的特征
    • +
  • 方法：学习的编码器 + 感知损失
    • +
  • 优势：更高压缩率，更语义化的表示
    • +
+

这种区分具有深远的影响。传统的图像压缩算法（如JPEG、PNG）追求信息论意义上的最优——用最少的比特完美重建原始信号。然而，人类视觉系统并不同等对待所有信息。我们对结构、纹理和语义内容敏感，但对某些高频细节和精确的像素值不敏感。

+

感知压缩利用这一特点，通过以下方式实现更高效的表示：

+
    +
  1. 结构保留：优先保留边缘、形状等结构信息
    2. +
  2. 纹理建模：学习纹理的统计特性而非精确复制
    3. +
  3. 语义聚焦：分配更多容量给语义重要的区域
    4. +
+

感知压缩的关键是组合不同类型的损失函数：

+
    +
  • 像素级损失：如L1或L2损失，保证基本的重建准确性
    • +
  • 感知损失：使用预训练网络（如VGG）的特征空间距离
    • +
  • 损失权重：平衡像素级和感知级的重建质量
    • +
+

感知损失的作用机制值得深入理解。当我们使用VGG等预训练网络的中间层特征计算距离时，实际上是在比较图像的"感知指纹"。这些特征已经学会了识别边缘、纹理、物体部件等视觉模式，因此在这个空间的相似性更接近人类的感知判断。

+

🔬 研究线索：最优压缩率
+什么决定了最优的压缩率？是否可以根据数据集特性自适应选择？这涉及到率失真理论和流形假设。

+

10.1.4 LDM的整体架构

+

LDM由三个主要组件构成：

+
    +
  1. +

    自编码器（Autoencoder） + - 编码器：将图像压缩到潜在空间 + - 解码器：从潜在表示重建图像 + - 通常预训练并冻结参数

    +
    2. +
  2. +

    扩散模型（Diffusion Model） + - 在潜在空间中操作 + - 使用U-Net或DiT架构 + - 处理降维后的特征

    +
    3. +
  3. +

    条件模型（Conditioning Model） + - 处理文本、类别等条件信息 + - 通过交叉注意力注入条件

    +
    4. +
+

这种模块化设计带来了几个重要优势：

+

解耦训练：自编码器和扩散模型可以独立训练和优化。这意味着我们可以使用大规模无标注数据训练通用的自编码器，然后在特定任务上训练扩散模型。这种方法大大降低了训练成本，并提高了模型的灵活性。

+

组件复用：一个训练好的自编码器可以被多个扩散模型共享。例如，同一个VAE可以用于文本到图像、图像编辑、超分辨率等不同任务。这种复用不仅节省了计算资源，还确保了不同任务之间的一致性。

+

渐进式改进：各个组件可以独立升级。当出现更好的文本编码器或去噪架构时，我们可以只替换相应的模块，而不需要重新训练整个系统。

+

工作流程：

+
    +
  • 编码：图像 $\mathbf{x} \to$ 潜在表示 $\mathbf{z} = \mathcal{E}(\mathbf{x})$
    • +
  • 扩散：在 $\mathbf{z}$ 空间执行正向/反向扩散过程
    • +
  • 解码：潜在表示 $\mathbf{z} \to$ 图像 $\mathbf{x} = \mathcal{D}(\mathbf{z})$
    • +
+

这个流程的每一步都经过精心设计。编码步骤不仅压缩数据，还将其转换到更适合建模的空间。扩散过程在这个规整的空间中进行，享受更好的收敛性和稳定性。最后的解码步骤将生成的潜在表示转换回视觉丰富的图像空间。 + z = z / self.scale_factor + with torch.no_grad(): + x = self.autoencoder.decode(z) + return x

+
<details>
+<summary>**练习 10.1：分析压缩效率**</summary>
+
+研究不同压缩策略的效果。
+
+1. **压缩率实验**：
+   - 实现不同下采样率的自编码器
+   - 测量重建质量（PSNR, SSIM, LPIPS）
+   - 绘制率失真曲线
+
+2. **语义保留分析**：
+   - 使用预训练分类器评估语义保留
+   - 比较像素MSE vs 感知损失
+   - 分析哪些特征被保留/丢失
+
+3. **计算效益评估**：
+   - 测量不同分辨率的推理时间
+   - 计算内存使用
+   - 找出效率瓶颈
+
+4. **理论拓展**：
+   - 从流形假设角度分析压缩
+   - 研究最优传输理论的应用
+   - 探索自适应压缩率
+
+</details>
+
+### 10.1.5 两阶段训练策略
+
+LDM采用两阶段训练，分离压缩和生成：
+
+**第一阶段：训练自编码器**
+
+自编码器训练是整个LDM系统的基础。这个阶段的目标是学习一个高质量的图像压缩和重建系统，为后续的扩散建模提供合适的表示空间。
+
+自编码器训练的关键要素：
+- **编码-解码流程**： $\mathbf{x} \to \mathbf{z} = \mathcal{E}(\mathbf{x}) \to \mathbf{x}_{recon} = \mathcal{D}(\mathbf{z})$
+- **重建损失**： $\mathcal{L}_{recon} = ||\mathbf{x} - \mathbf{x}_{recon}||_1$
+- **感知损失**： $\mathcal{L}_{percep} = ||\phi(\mathbf{x}) - \phi(\mathbf{x}_{recon})||_2$ ，其中 $\phi$ 是感知网络
+- **KL正则化**（VAE情况）： $\mathcal{L}_{KL} = \text{KL}(q(\mathbf{z}|\mathbf{x})||p(\mathbf{z}))$
+- **总损失**： $\mathcal{L} = \mathcal{L}_{recon} + \lambda_1 \mathcal{L}_{percep} + \lambda_2 \mathcal{L}_{KL}$
+
+损失函数的每个部分都有其特定作用。重建损失确保基本的保真度，感知损失维护视觉质量，而KL正则化（在VAE中）约束潜在空间的分布。权重的选择至关重要：过大的KL权重会导致后验崩塌，而过小则可能使潜在空间不规整。实践中，KL权重通常设置为极小值（如1e-6），使模型表现接近确定性自编码器，同时保持轻微的正则化效果。
+
+**第二阶段：训练扩散模型**
+
+第二阶段专注于在学习到的潜在空间中训练扩散模型。这个阶段的设计充分利用了潜在空间的优良特性。
+
+在潜在空间训练扩散模型：
+- **冻结自编码器**：保持编码器参数固定
+- **编码数据**：将图像 $\mathbf{x}$ 编码为 $\mathbf{z} = \mathcal{E}(\mathbf{x})$
+- **标准扩散训练**：
+  - 采样时间步 $t \sim \mathcal{U}[0, T]$
+  - 添加噪声： $\mathbf{z}_t = \sqrt{\bar{\alpha}_t}\mathbf{z}_0 + \sqrt{1-\bar{\alpha}_t}\boldsymbol{\epsilon}$
+  - 预测噪声： $\boldsymbol{\epsilon}_\theta(\mathbf{z}_t, t, \mathbf{c})$
+  - 损失函数： $\mathcal{L} = \mathbb{E}_{t,\mathbf{z}_0,\boldsymbol{\epsilon}}[||\boldsymbol{\epsilon} - \boldsymbol{\epsilon}_\theta(\mathbf{z}_t, t, \mathbf{c})||^2]$
+
+两阶段训练的优势在于其灵活性和效率。自编码器一旦训练完成，可以被多个扩散模型复用。这允许研究者和工程师专注于改进扩散模型本身，而不需要每次都重新训练整个系统。此外，在潜在空间的训练比在像素空间快得多，使得快速迭代和实验成为可能。
+
+💡 **实践技巧：预训练策略**  
+可以使用大规模数据集预训练通用自编码器，然后在特定领域微调。这大大减少了训练成本。
+
+### 10.1.6 潜在空间的特性
+
+理想的潜在空间应具备：
+
+1. **平滑性**：相近的潜在编码对应相似的图像
+2. **语义性**：潜在维度对应有意义的变化
+3. **紧凑性**：高效利用每个维度
+4. **正态性**：便于扩散模型建模
+
+这些特性不是自动获得的，而是通过精心的架构设计和训练策略实现的。让我们深入理解每个特性的重要性：
+
+**平滑性**确保了潜在空间的连续性。在一个平滑的潜在空间中，小的扰动只会导致输出的微小变化。这对于扩散模型至关重要，因为扩散过程本质上是在潜在空间中进行连续的轨迹追踪。如果空间不平滑，去噪过程可能会产生不连贯的结果。
+
+**语义性**使得潜在表示具有可解释性。理想情况下，潜在空间的不同方向应该对应图像的不同语义属性，如物体的姿态、光照、风格等。虽然完全的解耦很难实现，但部分的语义对齐可以提高模型的可控性。
+
+**紧凑性**要求每个潜在维度都携带有用信息。冗余或未使用的维度不仅浪费计算资源，还可能成为噪声源。通过适当的正则化和架构设计，我们可以鼓励模型学习紧凑的表示。
+
+**正态性**是扩散模型的技术要求。标准的扩散理论假设数据分布接近高斯分布。虽然这个假设在像素空间中明显不成立，但通过适当的编码器设计和正则化，我们可以使潜在空间更接近这个理想。
+
+**分析潜在空间**：
+
+可以通过以下方法分析潜在空间的特性：
+
+实现潜在空间分析需要：
+- 使用 `torch.no_grad()` 上下文管理器避免梯度计算
+- 遍历数据加载器，对每批图像进行编码
+- 使用自编码器的 `encode` 方法获取潜在表示
+- 收集所有潜在表示和对应的标签
+- 计算统计特性：
+  - 均值（理想接近0）
+  - 标准差（理想接近1）
+  - 峰度（使用 `scipy.stats.kurtosis` 测量分布形状）
+- 使用降维技术可视化：
+  - t-SNE（`sklearn.manifold.TSNE`）将高维潜在空间映射到2D
+  - 根据标签着色散点图，观察类别聚类情况
+  - 也可使用UMAP作为替代的降维方法
+
+🌟 **开放问题：最优潜在空间设计**  
+如何设计具有特定属性的潜在空间？能否学习解耦的表示？这涉及到表示学习和因果推断的前沿研究。
+
+## 10.3 潜在空间中的扩散
+
+### 10.3.1 潜在扩散过程的数学描述
+
+在潜在空间中进行扩散需要重新定义前向和反向过程：
+
+**前向过程**：
+
+$$q(\mathbf{z}_t | \mathbf{z}_0) = \mathcal{N}(\mathbf{z}_t; \sqrt{\bar{\alpha}_t}\mathbf{z}_0, (1-\bar{\alpha}_t)\mathbf{I})$$
+
+其中 $\mathbf{z}_0 = \mathcal{E}(\mathbf{x})$ 是编码后的潜在表示。
+
+**关键差异**：
+1. **维度降低**：从 $\mathbb{R}^{3 \times H \times W}$ 到 $\mathbb{R}^{C \times h \times w}$
+2. **分布变化**：潜在空间可能不完全符合高斯分布
+3. **尺度差异**：需要适当的归一化
+
+**反向过程**：
+
+$$p_\theta(\mathbf{z}_{t-1} | \mathbf{z}_t) = \mathcal{N}(\mathbf{z}_{t-1}; \boldsymbol{\mu}_\theta(\mathbf{z}_t, t), \sigma_t^2\mathbf{I})$$
+
+扩散模型学习预测噪声 $\boldsymbol{\epsilon}_\theta(\mathbf{z}_t, t)$ ，用于计算均值：
+
+$$\boldsymbol{\mu}_\theta(\mathbf{z}_t, t) = \frac{1}{\sqrt{\alpha_t}}\left(\mathbf{z}_t - \frac{1-\alpha_t}{\sqrt{1-\bar{\alpha}_t}}\boldsymbol{\epsilon}_\theta(\mathbf{z}_t, t)\right)$$
+
+### 10.3.2 噪声调度的适配
+
+潜在空间的统计特性与像素空间不同，需要调整噪声调度：
+
+**1. 信噪比分析**：
+
+分析潜在空间的信噪比特性：
+- **信号功率**： $P_{signal} = \mathbb{E}[||\mathbf{z}||^2]$
+- **噪声功率**： $P_{noise} = (1-\bar{\alpha}_t) \cdot P_{signal}$
+- **信噪比**： $\text{SNR}(t) = 10\log_{10}(P_{signal}/P_{noise})$ dB
+
+通过分析不同时间步的SNR，可以了解噪声调度的合理性。
+
+**2. 自适应调度**：
+
+根据潜在空间的统计特性设计噪声调度：
+- **考虑潜在空间均值和方差**：使用数据集的统计量
+- **调整 $\beta$ 范围**： $\beta_{start} = 0.0001 \cdot \sigma_z$ ， $\beta_{end} = 0.02 \cdot \sigma_z$
+- **目标最终SNR**：确保 $T$ 步后 SNR $\approx -20$ dB
+- **线性或余弦调度**：根据潜在空间分布选择
+
+💡 **实践技巧：预计算统计量**  
+在大规模数据集上预计算潜在空间的均值和方差，用于归一化和噪声调度设计。
+
+### 10.3.3 条件机制在潜在空间的实现
+
+LDM中的条件信息通过多种方式注入：
+
+**1. 交叉注意力机制**：
+
+交叉注意力允许潜在特征与条件信息交互：
+- **输入**：潜在特征 $\mathbf{x} \in \mathbb{R}^{B \times HW \times C}$ ，条件编码 $\mathbf{c} \in \mathbb{R}^{B \times L \times D}$
+- **注意力计算**： $\text{Attention}(\mathbf{Q}, \mathbf{K}, \mathbf{V}) = \text{softmax}(\frac{\mathbf{Q}\mathbf{K}^T}{\sqrt{d_k}})\mathbf{V}$
+- **其中**： $\mathbf{Q} = \mathbf{x}\mathbf{W}_Q$ ， $\mathbf{K} = \mathbf{c}\mathbf{W}_K$ ， $\mathbf{V} = \mathbf{c}\mathbf{W}_V$
+- **残差连接**： $\mathbf{x}_{out} = \mathbf{x} + \text{Attention}(\mathbf{x}, \mathbf{c}, \mathbf{c})$
+
+**2. 特征调制（FiLM）**：
+
+FiLM（Feature-wise Linear Modulation）通过缩放和偏移调制特征：
+
+$$\mathbf{x}_{out} = \mathbf{x} \odot (1 + \gamma(\mathbf{c})) + \beta(\mathbf{c})$$
+
+其中：
+- $\gamma(\mathbf{c})$ ：条件相关的缩放参数
+- $\beta(\mathbf{c})$ ：条件相关的偏移参数
+- $\odot$ ：逐元素乘法
+
+**3. 空间条件控制**：
+
+处理空间条件（如掩码、边缘图）的方法：
+- **拼接方法**： $\mathbf{z}_{cond} = [\mathbf{z}_t, \mathbf{s}]$ ，沿通道维度拼接
+- **加法融合**： $\mathbf{z}_{cond} = \mathbf{z}_t + \mathbf{s}$ ，需要维度匹配
+- **门控融合**： $\mathbf{z}_{cond} = \mathbf{z}_t \odot \sigma(\mathbf{s}) + \mathbf{s} \odot (1-\sigma(\mathbf{s}))$
+
+其中 $\mathbf{s}$ 是空间条件， $\sigma$ 是sigmoid函数。
+
+🔬 **研究方向：条件注入的最优位置**  
+应该在U-Net的哪些层注入条件信息？早期层影响全局结构，后期层控制细节。系统研究这种权衡可以指导架构设计。
+
+### 10.3.4 训练策略与技巧
+
+**1. 渐进式训练**：
+
+从低分辨率开始逐步提高，加快训练收敛：
+- **初始阶段**：在较小的潜在空间分辨率（如32×32）训练
+- **逐步提升**：根据训练进度提高到64×64或更高
+- **分辨率适配**：使用插值调整潜在表示大小
+- **优势**：早期快速迭代，后期精细调整
+
+**2. 混合精度训练**：
+
+使用自动混合精度（AMP）加速训练：
+- **前向传播**：在FP16半精度下计算，减少内存使用
+- **反向传播**：使用FP32全精度保持数值稳定性
+- **梯度缩放**：自动调整梯度范围，避免溢出
+- **性能提升**：通常可获得2-3倍加速
+
+**3. 梯度累积**：
+
+在显存受限时模拟大批量训练：
+- **累积步数**：多个小批次的梯度累加
+- **等效批量**：实际批量 = 物理批量 × 累积步数
+- **更新频率**：每累积完成后执行一次参数更新
+- **损失归一化**：除以累积步数以保持正确的梯度尺度
+
+### 10.3.5 质量与效率的权衡
+
+**压缩率 vs 重建质量**：
+
+| 下采样因子 | 压缩率 | 速度提升 | FID | 适用场景 |
+|-----------|--------|----------|-----|---------|
+| 4x | 16x | 10-15x | ~5 | 高质量生成 |
+| 8x | 64x | 40-60x | ~10 | 平衡选择 |
+| 16x | 256x | 150-200x | ~25 | 快速预览 |
+
+**动态质量调整**：
+
+根据使用场景自动选择合适的模型配置：
+- **草稿模式**：使用16x压缩模型，10个采样步骤，适合快速预览
+- **平衡模式**：使用8x压缩模型，25个采样步骤，平衡质量和速度
+- **高质量模式**：使用4x压缩模型，50个采样步骤，最佳生成质量
+
+这种方法允许用户根据需求在质量和速度之间灵活选择。
+
+<details>
+<summary>**练习 10.3：潜在空间扩散实验**</summary>
+
+探索潜在空间扩散的各个方面。
+
+1. **压缩率影响分析**：
+   - 训练不同压缩率的LDM（4x, 8x, 16x）
+   - 比较生成质量、多样性和速度
+   - 绘制压缩率-质量曲线
+
+2. **噪声调度优化**：
+   - 实现基于SNR的自适应调度
+   - 比较线性、余弦和学习的调度
+   - 分析对收敛速度的影响
+
+3. **条件注入研究**：
+   - 实现不同的条件注入方法
+   - 测试在不同层注入的效果
+   - 评估对可控性的影响
+
+4. **创新探索**：
+   - 设计多尺度潜在空间（层次化LDM）
+   - 研究向量量化的潜在扩散
+   - 探索自适应压缩率选择
+
+</details>
+
+### 10.3.6 调试与可视化
+
+**监控训练过程**：
+
+可视化扩散和去噪过程的关键步骤：
+1. **编码**：将输入图像编码到潜在空间 $\mathbf{z}_0 = \mathcal{E}(\mathbf{x}_0)$
+2. **前向扩散**：在不同时间步添加噪声，观察潜在表示的逐渐退化
+3. **反向去噪**：从纯噪声开始，逐步去噪恢复清晰的潜在表示
+4. **解码可视化**：将各个阶段的潜在表示解码回图像空间
+
+选择关键时间步（如 $t \in \{0, 250, 500, 750, 999\}$ ）进行可视化。
+
+**诊断工具**：
+
+诊断潜在扩散模型常见问题的方法：
+1. **潜在空间分布检查**：
+   - 计算均值和标准差，确保接近标准正态分布
+   - 检查是否存在异常值或分布偏移
+
+2. **重建质量评估**：
+   - 计算重建误差： $\mathcal{L}_{recon} = ||\mathbf{x} - \mathcal{D}(\mathcal{E}(\mathbf{x}))||^2$
+   - 检查感知质量和细节保留
+
+3. **噪声预测准确性**：
+   - 添加已知噪声并预测
+   - 计算预测误差并分析在不同时间步的表现
+
+实现诊断工具需要：
+- 编码测试图像并计算潜在表示的统计量（均值、标准差）
+- 对比原始图像和重建图像，使用MSE和感知损失评估质量
+- 在不同时间步计算噪声预测误差，使用 `F.mse_loss` 比较预测噪声和真实噪声
+- 从随机噪声生成样本，通过反向扩散过程逐步去噪
+- 返回包含潜在统计、重建误差、噪声误差和生成样本的诊断结果字典
+
+🌟 **最佳实践：多阶段调试**  
+先确保自编码器工作正常，再训练扩散模型。使用小数据集快速迭代，验证流程正确后再扩展到大规模训练。
+
+## 10.2 自编码器设计
+
+### 10.2.1 VQ-VAE vs KL-VAE
+
+LDM中常用两种自编码器架构，各有优劣：
+
+**VQ-VAE（Vector Quantized VAE）**：
+
+VQ-VAE通过向量量化实现离散的潜在表示，这种方法有其独特的优势和挑战。
+
+VQ-VAE使用离散的潜在表示：
+- **编码器**：将图像编码为连续特征 $\mathbf{z}_e = \text{Encoder}(\mathbf{x})$
+- **向量量化**：将连续特征映射到最近的码本 $\mathbf{z}_q = \text{Quantize}(\mathbf{z}_e)$
+- **码本（Codebook）**：包含 $K$ 个可学习的向量，通常 $K=8192$
+- **承诺损失**： $\mathcal{L}_{commit} = ||\mathbf{z}_e - \text{sg}[\mathbf{z}_q]||^2$ ，鼓励编码器输出接近码本
+- **优点**：离散表示、压缩率高
+- **缺点**：码本崩塌、重建质量受限
+
+向量量化的核心思想是将连续的编码器输出映射到一个有限的码本集合。这类似于传统的矢量量化技术，但通过端到端学习实现。每个空间位置的特征向量被替换为码本中最近的向量，实现了离散化。这种离散性带来了极高的压缩率——整个图像可以用码本索引序列表示。
+
+然而，VQ-VAE面临几个技术挑战。码本崩塌是最常见的问题，即模型只使用码本中的少数几个向量，浪费了表示容量。此外，量化操作的不可微性需要特殊的训练技巧，如直通估计器（straight-through estimator）。
+
+**KL-VAE（KL正则化的VAE）**：
+
+相比之下，KL-VAE保持了连续的潜在表示，更适合扩散模型的需求。
+
+KL-VAE使用连续的潜在表示和概率分布：
+- **编码器输出**：均值 $\boldsymbol{\mu}$ 和对数方差 $\log\boldsymbol{\sigma}^2$
+- **重参数化技巧**： $\mathbf{z} = \boldsymbol{\mu} + \boldsymbol{\sigma} \odot \boldsymbol{\epsilon}$ ，其中 $\boldsymbol{\epsilon} \sim \mathcal{N}(0, \mathbf{I})$
+- **KL损失**： $\mathcal{L}_{KL} = \text{KL}(q(\mathbf{z}|\mathbf{x})||p(\mathbf{z}))$ ，促使潜在分布接近标准正态
+- **KL权重**：通常设置为很小的值（如 $10^{-6}$ ），以保持重建质量
+- **优点**：连续表示、训练稳定、适合扩散模型
+- **缺点**：压缩率受限、可能出现后验崩塌
+
+KL-VAE的设计基于变分推断原理。编码器不是产生确定性的编码，而是输出一个分布的参数。通过重参数化技巧，我们可以从这个分布中采样，同时保持梯度的可传播性。KL散度项作为正则化，鼓励后验分布 $q(\mathbf{z}|\mathbf{x})$ 接近先验 $p(\mathbf{z})$ （通常是标准正态分布）。
+
+在LDM的实践中，KL权重被设置得极小。这是一个关键的设计选择：我们想要VAE的架构灵活性和理论基础，但不希望过强的正则化损害重建质量。极小的KL权重使模型表现接近确定性自编码器，同时保留了概率建模的框架。
+
+**比较**：
+| 特性 | VQ-VAE | KL-VAE |
+|------|--------|---------|
+| 潜在空间 | 离散 | 连续 |
+| 训练稳定性 | 较难（需要技巧） | 较好 |
+| 压缩率 | 固定 | 灵活 |
+| 后续扩散 | 需要适配 | 直接应用 |
+
+选择哪种架构取决于具体应用。VQ-VAE在需要极高压缩率或离散表示的场景中表现出色，如音频生成或符号化表示学习。而对于扩散模型，KL-VAE的连续性使其成为自然选择。扩散过程的数学基础建立在连续空间的布朗运动上，离散空间需要特殊的适配（如D3PM中的离散扩散）。
+
+💡 **实践选择：为什么LDM偏好KL-VAE**  
+连续潜在空间更适合扩散模型的高斯噪声假设。极小的KL权重（1e-6）使其接近确定性编码器。
+
+### 10.2.2 感知损失与对抗训练
+
+单纯的像素重建损失会导致模糊结果。LDM使用组合损失：
+
+理解为什么需要超越像素级损失是关键。L1或L2损失在像素空间计算平均值，这导致了臭名昭著的"模糊"问题。当多个锐利的图像都是合理的重建时，像素级损失会倾向于它们的平均值——一个模糊的图像。这在高频细节（如纹理、边缘）上特别明显。
+
+LDM使用组合损失函数来训练自编码器：
+
+1. **重建损失**： $\mathcal{L}_{rec} = ||\mathbf{x} - \mathbf{x}_{recon}||_1$
+   - 保证基本的像素级重建
+   - L1损失比L2更鲁棒，对异常值不敏感
+
+2. **感知损失**： $\mathcal{L}_{percep} = ||\phi(\mathbf{x}) - \phi(\mathbf{x}_{recon})||_2$
+   - 使用预训练VGG网络的特征
+   - 保持高级语义信息
+   - 通常使用多个层的特征组合
+
+感知损失的创新在于它在特征空间而非像素空间衡量相似性。预训练的VGG网络已经学会了提取图像的层次化特征：低层捕捉边缘和纹理，高层理解物体和场景。通过在这些特征上计算距离，我们鼓励重建保持感知上重要的属性。
+
+3. **KL正则化**： $\mathcal{L}_{KL} = -\frac{1}{2}\sum(1 + \log\sigma^2 - \mu^2 - \sigma^2)$
+   - 约束潜在分布接近标准正态
+   - 在LDM中权重极小，避免过度正则化
+
+4. **对抗损失**： $\mathcal{L}_{adv} = -\mathbb{E}[D(\mathbf{x}_{recon})]$
+   - 延迟启动（通常在50k步后）
+   - 提高细节真实性
+   - 使用PatchGAN判别器
+
+对抗训练的引入是为了进一步提高重建的真实性。判别器学习区分真实图像和重建图像，迫使生成器（解码器）产生更逼真的结果。延迟启动策略很重要：先让自编码器通过重建和感知损失学习基本的编码-解码能力，然后引入对抗损失来精细化细节。
+组合损失的实现需要权衡各个损失项：
+- 重建损失（`rec_loss`）：基础损失项，权重通常为1.0
+- 感知损失（`p_loss`）：乘以感知权重（`perceptual_weight`），通常为0.1-1.0
+- KL损失（`kl_loss`）：乘以极小的KL权重（`kl_weight`），通常为1e-6
+- 对抗损失（`g_loss`）：乘以判别器权重（`disc_weight`），通常为0.1-0.5
+
+**总损失**： $\mathcal{L}_{total} = \mathcal{L}_{rec} + \lambda_1\mathcal{L}_{percep} + \lambda_2\mathcal{L}_{KL} + \lambda_3\mathcal{L}_{adv}$
+
+损失权重的设置是一门艺术。典型的配置可能是：
+- 重建损失权重：1.0（作为基准）
+- 感知损失权重：0.1-1.0（取决于具体的感知网络和层）
+- KL权重：1e-6（极小，主要起正则化作用）
+- 对抗损失权重：0.1-0.5（过大会导致训练不稳定）
+
+这些权重需要根据具体数据集和任务调整。一个好的起点是先只用重建和感知损失训练，观察重建质量，然后逐步加入其他损失项。
+
+**判别器设计**：
+
+PatchGAN判别器的特点：
+- **局部判别**：输出特征图而非单一标量
+- **多尺度卷积**：逐步下采样，提取不同尺度特征
+- **LeakyReLU激活**：更适合判别器训练
+- **最终输出**： $H/16 \times W/16$ 的特征图，每个位置判别对应的局部区域
+
+PatchGAN的设计理念是"局部真实性"。与传统的全局判别器不同，PatchGAN将图像分成重叠的块，对每个块独立判别。这种设计有几个优势：
+1. 强制局部细节的真实性
+2. 参数效率更高
+3. 可以处理任意大小的图像
+4. 训练更稳定
+
+判别器的感受野大小是一个重要的设计选择。太小的感受野只能捕捉纹理，太大则退化为全局判别器。典型的PatchGAN使用70×70的感受野，这在捕捉局部结构和保持计算效率之间取得了良好平衡。
+
+### 10.2.3 潜在空间的正则化
+
+为了确保潜在空间适合扩散建模，需要适当的正则化：
+
+正则化在LDM中扮演着微妙但关键的角色。我们需要在两个目标之间取得平衡：保持足够的表示能力以准确重建图像，同时确保潜在空间具有良好的结构以支持扩散建模。
+
+**1. KL正则化的作用**：
+- 防止潜在空间坍缩
+- 鼓励接近标准高斯分布
+- 但权重需要很小避免信息损失
+
+KL正则化的数学形式值得深入理解。对于高斯VAE，KL散度有闭式解：
+$$\mathcal{L}_{KL} = -\frac{1}{2}\sum_{i=1}^{d}(1 + \log\sigma_i^2 - \mu_i^2 - \sigma_i^2)$$
+
+这个公式鼓励每个潜在维度的均值接近0，方差接近1。但在LDM中，我们使用极小的权重（通常1e-6），这意味着正则化的作用非常轻微。这是一个精心的设计选择：我们想要VAE的理论框架和稳定性，但不希望强制的标准正态分布损害重建质量。
+
+**2. 谱归一化**：
+
+谱归一化通过约束权重矩阵的谱范数来稳定训练：
+- **目的**：限制Lipschitz常数，避免梯度爆炸
+- **应用位置**：通常应用于判别器的所有卷积层
+- **效果**：提高GAN训练稳定性
+
+谱归一化的核心思想是控制函数的Lipschitz常数。对于线性层 $f(\mathbf{x}) = \mathbf{W}\mathbf{x}$ ，其Lipschitz常数等于权重矩阵的谱范数（最大奇异值）。通过将权重除以其谱范数，我们确保每层的Lipschitz常数为1，整个网络的Lipschitz常数有界。
+
+这在对抗训练中特别重要，因为它防止判别器变得过于"尖锐"，从而稳定了训练动态。实践中，谱归一化通过幂迭代方法高效计算，只需要很小的额外计算成本。
+
+**3. 梯度惩罚**：
+
+梯度惩罚（Gradient Penalty）是WGAN-GP的核心技术：
+- **原理**：在真实和生成样本之间插值，约束梯度范数接近1
+- **插值公式**： $\mathbf{x}_{interp} = \epsilon\mathbf{x}_{real} + (1-\epsilon)\mathbf{x}_{fake}$
+- **惩罚项**： $\mathcal{L}_{GP} = \mathbb{E}[(||\nabla_{\mathbf{x}_{interp}}D(\mathbf{x}_{interp})||_2 - 1)^2]$
+- **优点**：更稳定的训练，避免模式崩塌
+
+梯度惩罚基于Wasserstein距离的对偶形式。理论上，最优的Wasserstein判别器应该是1-Lipschitz函数。梯度惩罚通过软约束实现这一点，在数据流形附近强制梯度范数接近1。这比谱归一化更灵活，因为它只在数据分布附近施加约束，而不是全局限制网络容量。
+梯度惩罚的实现步骤：
+- 在真实和生成样本之间进行随机插值
+- 计算判别器对插值样本的输出
+- 使用自动微分计算输出相对于输入的梯度
+- 计算梯度的L2范数（使用 `norm(2, dim=1)`）
+- 惩罚项为梯度范数与1的差的平方的均值
+- 这鼓励判别器在数据流形附近保持1-Lipschitz性质
+
+🔬 **研究线索：最优正则化策略**  
+如何平衡重建质量和潜在空间的规整性？是否可以设计自适应的正则化方案？
+
+### 10.2.4 编码器-解码器架构细节
+
+**高效的编码器设计**：
+
+编码器的层次结构：
+1. **初始卷积**：3×3卷积将RGB图像映射到特征空间
+2. **下采样阶段**：
+   - 使用多个分辨率级别，通道数逐级增加： $(1, 2, 4, 8) \times ch$
+   - 每个级别包含多个ResNet块
+   - 级别之间使用2倍下采样
+3. **中间处理**：
+   - ResNet块 + 注意力块 + ResNet块
+   - 在最低分辨率处捕捉全局信息
+4. **输出层**：
+   - GroupNorm + SiLU激活
+   - 输出 $2 \times z_{channels}$ 通道（均值和方差）
+
+**残差块实现**：
+
+ResNet块的关键组件：
+- **归一化**：GroupNorm（32组，更适合小批量训练
+- **激活函数**：SiLU (Swish)，平滑且非单调
+- **两层3×3卷积**：保持空间分辨率
+- **快捷连接**：当输入输出通道不匹配时使用1×1卷积
+- **Dropout**：可选的正则化
+ResNet块的处理流程：
+- 第一层：归一化（`norm1`） → SiLU激活 → 3×3卷积（`conv1`）
+- 第二层：归一化（`norm2`） → SiLU激活 → Dropout（可选） → 3×3卷积（`conv2`）
+- 快捷连接：如果输入输出通道不同，使用1×1卷积（`shortcut`）进行匹配
+- 最终输出：残差路径与快捷连接相加
+
+<details>
+<summary>**练习 10.2：自编码器架构实验**</summary>
+
+探索不同的自编码器设计选择。
+
+1. **架构比较**：
+   - 实现VQ-VAE和KL-VAE
+   - 比较重建质量和训练稳定性
+   - 分析潜在空间的统计特性
+
+2. **损失函数研究**：
+   - 调整各损失项的权重
+   - 尝试不同的感知网络（VGG, ResNet）
+   - 研究对抗训练的启动时机
+
+3. **压缩率实验**：
+   - 测试不同的潜在维度
+   - 分析率失真权衡
+   - 找出特定数据集的最优设置
+
+4. **创新设计**：
+   - 尝试渐进式训练（逐步增加分辨率）
+   - 实现条件自编码器
+   - 探索层次化潜在表示
+
+</details>
+
+### 10.2.5 训练技巧与稳定性
+
+**1. 学习率调度**：
+
+常用的学习率调度策略：
+- **线性预热**：在前N步线性增加学习率，避免训练初期的不稳定
+- **余弦退火**：学习率按余弦函数衰减，公式为 $lr = lr_{min} + \frac{1}{2}(lr_{max} - lr_{min})(1 + \cos(\frac{\pi \cdot step}{total\_steps}))$
+- **步进衰减**：在特定步数将学习率乘以衰减因子
+- **自适应调整**：根据验证损失平台期自动降低学习率
+
+**2. EMA（指数移动平均）**：
+
+EMA通过维护模型参数的移动平均来提高生成质量：
+- 更新公式： $\theta_{ema} = \beta \cdot \theta_{ema} + (1-\beta) \cdot \theta$
+- 典型的 $\beta$ 值为0.999或0.9999
+- EMA模型通常比原始模型产生更稳定、更高质量的结果
+- 在推理时使用EMA参数而非训练参数
+
+**3. 梯度累积**：
+
+在显存受限时通过梯度累积模拟大批量训练：
+- 将梯度累积多个小批次
+- 等效批量大小 = 物理批量 × 累积步数
+- 只在累积完成后更新参数
+- 需要正确归一化损失（除以累积步数）
+
+💡 **调试技巧：监控潜在空间**  
+定期可视化潜在编码的分布，确保没有模式崩溃或异常值。
+
+### 10.2.6 预训练模型的使用
+
+使用预训练的自编码器可以大大加速开发：
+
+加载预训练模型的关键步骤：
+- 从检查点文件加载状态字典
+- 实例化自编码器架构（需要匹配预训练时的配置）
+- 加载权重并设置为评估模式（`eval()`）
+- 如果使用不同的数据域，可能需要微调编码器或解码器
+- 常见的预训练模型来源：
+  - CompVis/stable-diffusion 的 VAE
+  - 各种开源模型仓库
+  - 自行在大规模数据集上预训练
+
+🌟 **最佳实践：迁移学习**  
+即使目标领域不同，从预训练模型开始通常比从头训练更好。自然图像的编码器可以很好地迁移到其他视觉任务。
+
+## 10.4 Stable Diffusion架构详解
+
+### 10.4.1 整体架构概览
+
+Stable Diffusion是LDM最成功的实现，其架构精心平衡了效率和质量：
+
+ +

┌─────────────┐ ┌──────────────┐ ┌─────────────┐ +│ 图像 │────▶│ VAE编码器 │────▶│ 潜在表示 z │ +│ 512×512×3 │ │ (下采样8x) │ │ 64×64×4 │ +└─────────────┘ └──────────────┘ └─────────────┘ + │ + ▼ +┌─────────────┐ ┌──────────────┐ ┌─────────────┐ +│ 文本提示 │────▶│ CLIP编码器 │────▶│ 文本嵌入 │ +│ │ │ │ │ 77×768 │ +└─────────────┘ └──────────────┘ └─────────────┘ + │ + ▼ + ┌──────────────────────────────┐ + │ U-Net去噪网络 │ + │ (带交叉注意力机制) │ + └──────────────────────────────┘ + │ + ▼ + ┌──────────────┐ ┌─────────────┐ + │ VAE解码器 │────▶│ 生成图像 │ + │ (上采样8x) │ │ 512×512×3 │ + └──────────────┘ └─────────────┘

+
**关键参数**：
+- 潜在维度：4
+- 下采样因子：8
+- U-Net通道数：320 → 640 → 1280 → 1280
+- 注意力分辨率：32×32, 16×16, 8×8
+- 总参数量：~860M（U-Net）+ 83M（VAE）+ 123M（CLIP）
+
+### 10.4.2 VAE组件详解
+
+Stable Diffusion使用KL-正则化的VAE，具有以下特点：
+
+**编码器架构**：
+- **输入处理**：接收RGB图像（3通道），通过初始卷积映射到128通道特征
+- **下采样路径**：
+  - 4个下采样块，每块包含2个ResNet层
+  - 通道数递增：128 → 256 → 512 → 512
+  - 每个块后进行2倍下采样（除了最后一个块）
+  - 总下采样因子：8倍（512×512 → 64×64）
+- **中间处理**：
+  - 两个ResNet块 + 一个注意力块
+  - 在最低分辨率捕捉全局依赖
+- **输出**：8通道（均值4通道 + 对数方差4通道）
+
+**解码器架构**：
+- **输入**：4通道潜在表示
+- **上采样路径**：
+  - 镜像编码器结构
+  - 通道数递减：512 → 512 → 256 → 128
+  - 使用最近邻插值 + 卷积进行上采样
+- **输出处理**：
+  - GroupNorm + SiLU激活
+  - 最终3×3卷积输出RGB图像
+
+**关键参数**：
+- **潜在维度**：4通道（极度压缩的表示）
+- **缩放因子**：0.18215
+  - 编码时：`z = encoder(x) * 0.18215`
+  - 解码时：`x = decoder(z / 0.18215)`
+- **KL权重**：约1e-6（接近确定性编码器）
+
+💡 **关键细节：缩放因子的作用**  
+0.18215这个魔法数字将潜在表示归一化到单位方差附近，这对扩散模型的稳定训练至关重要。它是在大规模数据集上经验确定的。
+
+### 10.4.3 CLIP文本编码器
+
+Stable Diffusion使用OpenAI的CLIP ViT-L/14模型编码文本：
+
+**CLIP编码器架构**：
+- **分词器**：使用CLIP tokenizer，词汇表大小约49,000
+  - 支持小写和大写字母、数字、常见符号
+  - 使用字节对编码（BPE）处理未知词
+  - 特殊标记：`[PAD]`（0）、`[START]`（49406）、`[END]`（49407）
+- **文本处理流程**：
+  1. 分词：将输入文本转换为token ID序列
+  2. 填充/截断：固定长度77 tokens
+  3. 添加特殊标记：开始和结束标记
+  4. 位置编码：添加可学习的位置嵌入
+
+**Transformer编码器**：
+- **架构**：12层Transformer，每层包含：
+  - 多头自注意力（12个注意力头）
+  - 前馈网络（隐藏维度3072）
+  - 层归一化和残差连接
+- **嵌入维度**：768
+- **输出**：77×768的特征矩阵（保留完整序列）
+
+**关键实现细节**：
+- **条件处理**：
+  - 正常提示：通过完整CLIP编码
+  - 空提示（用于CFG）：编码空字符串""
+  - 批处理：同时处理多个提示以提高效率
+- **数值稳定性**：
+  - 使用float16可能导致数值问题
+  - 建议文本编码器使用float32
+  - 输出特征已预归一化
+
+**文本编码特性**：
+- 最大长度：77 tokens
+- 嵌入维度：768
+- 使用整个序列（不仅是[CLS] token）
+- 保留位置信息用于细粒度控制
+
+🔬 **研究线索：更好的文本编码器**  
+CLIP是为图像-文本对齐训练的，不一定最适合生成任务。专门为扩散模型设计的文本编码器（如T5）可能提供更好的控制。
+
+### 10.4.4 U-Net架构细节
+
+Stable Diffusion的U-Net是整个系统的核心：
+
+**整体架构设计**：
+- **输入**：噪声潜在表示 `z_t` （4×64×64）+ 时间步嵌入 + 文本嵌入
+- **输出**：预测的噪声 `ε_θ` （相同尺寸）
+
+**下采样路径（编码器）**：
+1. **初始卷积**：4通道 → 320通道
+2. **下采样块序列**：
+   - Block 1-2：320通道，包含2个ResNet块
+   - Block 3-4：320→640通道，添加交叉注意力
+   - Block 5-6：640→1280通道，继续交叉注意力
+   - Block 7-9：保持1280通道，更深的处理
+   - 每3个块后进行2×下采样（除了最后）
+
+**中间块**：
+- 分辨率：8×8（最低点）
+- 结构：ResNet块 → 交叉注意力 → ResNet块
+- 通道数：1280
+- 捕捉全局语义信息
+
+**上采样路径（解码器）**：
+- 镜像下采样路径
+- 跳跃连接：拼接对应层的编码器特征
+- 通道数逐渐减少：1280 → 640 → 320
+- 交叉注意力位置与下采样路径对应
+
+**时间嵌入**：
+- 正弦位置编码（类似Transformer）
+- 通过MLP映射到各层所需维度
+- 使用FiLM机制注入到ResNet块
+
+**注意力配置**：
+- **自注意力**：仅在16×16及以下分辨率
+- **交叉注意力**：在指定层与文本特征交互
+- **注意力头数**：根据通道数自适应（通道数/64）
+
+**关键设计选择**：
+- **渐进式通道数**：更好地捕捉多尺度特征
+- **条件注入位置**：在中低分辨率注入文本信息
+- **跳跃连接**：保留细节信息，避免信息损失
+
+### 10.4.5 交叉注意力机制
+
+交叉注意力是文本控制的关键：
+
+**交叉注意力机制原理**：
+- **Query**：来自U-Net的图像特征（空间展平后）
+- **Key/Value**：来自CLIP的文本编码（77×768）
+- **计算流程**：
+  1. 线性变换：`Q = W_q × image_features`
+  2. 线性变换：`K = W_k × text_features`，`V = W_v × text_features`
+  3. 注意力分数：`scores = Q × K^T / sqrt(d_k)`
+  4. 注意力权重：`weights = softmax(scores)`
+  5. 输出：`output = weights × V`
+
+**实现细节**：
+- **多头注意力**：
+  - 8个注意力头（典型配置）
+  - 每个头独立计算注意力
+  - 输出拼接后通过线性层
+- **维度配置**：
+  - 输入图像特征：`B × HW × C`（批次×空间×通道）
+  - 文本特征：`B × 77 × 768`
+  - 注意力维度：通常与图像特征通道数匹配
+
+**空间对齐机制**：
+- 每个空间位置独立计算与文本的相关性
+- 允许不同区域关注不同的文本token
+- 实现细粒度的文本-图像对齐
+
+**优化技巧**：
+- **Flash Attention**：融合kernel减少内存访问
+- **切片注意力**：分批处理减少峰值内存
+- **xFormers**：使用优化的注意力实现
+  - 内存效率：O(N)而非O(N²)
+  - 速度提升：通常2-3倍加速
+
+**注意力图分析**：
+- 早期层：关注全局布局和大致位置
+- 中间层：物体级别的对齐
+- 后期层：细节和纹理的控制
+
+<details>
+<summary>**练习 10.4：理解Stable Diffusion的设计选择**</summary>
+
+深入分析SD的架构决策。
+
+1. **分辨率实验**：
+   - 修改VAE下采样因子（4x, 8x, 16x）
+   - 测量对生成质量和速度的影响
+   - 找出最优的质量-效率平衡点
+
+2. **注意力分析**：
+   - 可视化不同层的交叉注意力图
+   - 分析哪些词对应哪些图像区域
+   - 研究注意力头的专门化
+
+3. **文本编码器比较**：
+   - 比较CLIP vs BERT vs T5
+   - 测试不同的pooling策略
+   - 评估对提示遵循的影响
+
+4. **架构消融**：
+   - 移除某些注意力层
+   - 改变通道倍增因子
+   - 分析各组件的贡献
+
+</details>
+
+### 10.4.6 条件机制的实现细节
+
+Stable Diffusion支持多种条件输入：
+
+**1. 无分类器引导（CFG）**：
+
+CFG通过组合条件和无条件预测来增强生成质量：
+
+**数学公式**：
+$$\boldsymbol{\epsilon}_{\text{guided}} = \boldsymbol{\epsilon}_{\text{uncond}} + w \cdot (\boldsymbol{\epsilon}_{\text{cond}} - \boldsymbol{\epsilon}_{\text{uncond}})$$
+
+其中：
+- $\boldsymbol{\epsilon}_{\text{cond}}$：使用文本条件的噪声预测
+- $\boldsymbol{\epsilon}_{\text{uncond}}$：使用空提示的噪声预测
+- $w$：引导权重（典型值7.5）
+
+**实现流程**：
+1. 编码文本提示获得条件嵌入
+2. 编码空字符串获得无条件嵌入
+3. 将两个嵌入拼接，批量推理
+4. 分离预测结果并应用CFG公式
+5. 使用引导后的噪声进行去噪步骤
+
+**参数影响**：
+- $w < 1$：更随机，多样性高
+- $w = 1$：标准条件生成
+- $w > 1$：更严格遵循提示
+- $w > 20$：可能过度饱和
+
+**2. 负面提示**：
+
+负面提示通过修改无条件项来排除不想要的内容：
+
+**工作原理**：
+- 标准CFG使用空提示作为无条件
+- 负面提示替换空提示，引导远离特定概念
+- 公式不变，但 $\boldsymbol{\epsilon}_{\text{uncond}}$ 现在基于负面提示
+
+**常用负面提示**：
+- 质量相关：`low quality, blurry, distorted`
+- 风格相关：`cartoon, anime, 3d render`
+- 内容相关：`text, watermark, logo`
+
+**组合策略**：
+- 可以组合多个负面概念
+- 权重语法：`(concept:0.8)` 调整强度
+- 过长的负面提示可能降低效果
+
+**3. 图像条件（img2img）**：
+
+img2img通过从部分去噪的图像开始实现图像编辑：
+
+**实现步骤**：
+1. **编码源图像**：`z_0 = VAE.encode(source_image)`
+2. **添加噪声**：
+   - 选择起始时间步 $t_{\text{start}} = T \times (1 - \text{strength})$
+   - 添加对应噪声：$z_t = \sqrt{\bar{\alpha}_t}z_0 + \sqrt{1-\bar{\alpha}_t}\boldsymbol{\epsilon}$
+3. **部分去噪**：从 $t_{\text{start}}$ 开始去噪到 $t=0$
+4. **解码结果**：`result = VAE.decode(z_0)`
+
+**强度参数的影响**：
+- strength = 0：返回原图
+- strength = 0.3：轻微修改
+- strength = 0.7：显著变化
+- strength = 1.0：完全重新生成
+
+**应用场景**：
+- 风格转换：保持结构，改变风格
+- 图像修复：配合掩码进行局部编辑
+- 细节增强：低强度改善图像质量
+
+### 10.4.7 推理优化技术
+
+**1. 半精度推理**：
+
+半精度（FP16）推理可以显著减少内存使用并加速计算：
+
+**实现方法**：
+- **模型转换**：将模型权重从FP32转换为FP16，使用PyTorch的 `model.half()` 或 `model.to(torch.float16)`
+- **自动混合精度**：使用 `torch.cuda.amp.autocast()` 上下文管理器自动处理精度转换
+- **数值稳定性考虑**：
+  - VAE解码器可能需要保持FP32以避免颜色偏移
+  - 文本编码器建议使用FP32保持精度
+  - U-Net通常可以安全使用FP16
+
+**性能提升**：
+- 内存使用减少约50%
+- 在支持Tensor Core的GPU上速度提升2-3倍
+- 批处理大小可以增加一倍
+
+**潜在问题与解决**：
+- **数值溢出**：使用梯度缩放（gradient scaling）防止小梯度下溢
+- **精度损失**：关键层（如最终输出层）保持FP32
+- **颜色偏移**：VAE使用FP32或调整缩放因子
+
+**2. 注意力优化**：
+
+优化注意力计算是提高推理速度的关键：
+
+**Flash Attention**：
+- **原理**：通过融合CUDA kernel减少HBM（高带宽内存）访问
+- **优势**：
+  - 内存复杂度从O(N²)降至O(N)
+  - 速度提升2-4倍，特别是长序列
+  - 支持因果掩码和dropout
+- **使用条件**：需要特定GPU架构（Ampere及以上）
+
+**切片注意力（Sliced Attention）**：
+- **原理**：将注意力矩阵分块计算，避免完整矩阵实例化
+- **实现步骤**：
+  1. 将Query分成多个切片
+  2. 对每个切片独立计算注意力
+  3. 累积结果
+- **内存节省**：峰值内存使用降低80%以上
+- **速度权衡**：略微降低速度（10-20%）但大幅节省内存
+
+**xFormers优化**：
+- **memory_efficient_attention**：自动选择最优的注意力实现
+- **支持多种后端**：Flash Attention、CutLass、Triton
+- **自适应选择**：根据序列长度和硬件自动选择算法
+- **易于集成**：只需替换标准注意力调用
+
+**3. 批处理优化**：
+
+有效的批处理可以最大化GPU利用率：
+
+**动态批处理**：
+- **原理**：根据可用内存动态调整批次大小
+- **实现策略**：
+  1. 监测当前GPU内存使用
+  2. 估算单个样本的内存需求
+  3. 计算最大可能的批次大小
+  4. 留出安全边际（通常10-20%）
+
+**多分辨率批处理**：
+- **挑战**：不同分辨率的图像无法直接批处理
+- **解决方案**：
+  1. **分组策略**：将相同分辨率的请求分组
+  2. **填充方法**：填充到批次内最大尺寸
+  3. **分桶处理**：预定义几个标准分辨率桶
+  4. **动态形状**：使用动态图优化不同形状
+
+**流水线并行**：
+- **VAE和U-Net分离**：在U-Net处理当前批次时，VAE可以解码上一批次
+- **文本编码预处理**：批量编码文本，缓存结果
+- **异步处理**：使用CUDA流实现真正的并行
+
+**内存池化**：
+- **预分配缓冲区**：避免频繁的内存分配/释放
+- **张量复用**：在不同步骤间复用中间张量
+- **梯度检查点**：推理时不需要，但训练时可以权衡计算换内存
+
+💡 **性能提示：VAE解码瓶颈**  
+在批量生成时，VAE解码往往成为瓶颈。可以先生成所有潜在表示，然后批量解码，或使用更轻量的解码器。
+
+### 10.4.8 模型变体与改进
+
+**Stable Diffusion演进**：
+
+| 版本 | 分辨率 | 改进 | 参数量 |
+|------|--------|------|---------|
+| SD 1.4 | 512×512 | 基础版本 | 860M |
+| SD 1.5 | 512×512 | 更好的训练数据 | 860M |
+| SD 2.0 | 768×768 | 新的CLIP编码器 | 865M |
+| SD 2.1 | 768×768 | 减少NSFW过滤 | 865M |
+| SDXL | 1024×1024 | 级联U-Net架构 | 3.5B |
+
+**SDXL的创新**：
+
+SDXL（Stable Diffusion XL）引入了多项架构改进：
+
+**1. 级联U-Net架构**：
+- **基础模型**：生成1024×1024潜在表示（128×128×4）
+- **精炼模型**：提升细节质量，专注于高频信息
+- **两阶段生成**：先生成基础图像，再精炼细节
+
+**2. 条件增强**：
+- **尺寸条件**：原始图像尺寸作为额外条件，改善裁剪问题
+- **裁剪条件**：top/left坐标信息，帮助模型理解物体位置
+- **美学分数**：训练时的质量评分，推理时可控制生成质量
+
+**3. 架构改进**：
+- **更深的网络**：70层 vs SD1.5的35层
+- **更多注意力层**：在更多分辨率添加注意力机制
+- **改进的VAE**：更好的重建质量，减少伪影
+
+**4. 训练策略优化**：
+- **渐进式训练**：从512×512开始，逐步提升到1024×1024
+- **多尺度损失**：在不同分辨率计算损失，提高多尺度一致性
+- **噪声偏移（Noise Offset）**：改善极暗和极亮区域的生成
+
+**5. 推理改进**：
+- **分离的文本编码器**：使用两个CLIP模型（OpenCLIP ViT-G和CLIP ViT-L）
+- **池化文本嵌入**：除了序列嵌入，还使用池化的全局嵌入
+- **可选的精炼阶段**：根据需求选择是否使用精炼模型
+
+🌟 **未来方向：模块化设计**  
+未来的架构可能采用更模块化的设计，允许用户根据需求组合不同的编码器、去噪器和解码器。这需要标准化的接口和训练协议。
+
+### 10.4.9 训练细节与数据处理
+
+**训练配置**：
+
+Stable Diffusion的训练需要精心设计的配置：
+
+**基础超参数**：
+- **学习率**：1e-4 到 5e-5，使用常数或余弦调度
+- **批次大小**：2048-4096（使用梯度累积实现）
+- **训练步数**：通常500k-1M步
+- **优化器**：AdamW，β1=0.9, β2=0.999, 权重衰减0.01
+- **EMA衰减**：0.9999，用于稳定生成质量
+
+**硬件需求**：
+- **最小配置**：8×A100 80GB用于基础训练
+- **推荐配置**：32×A100或更多用于大规模训练
+- **混合精度**：必须使用以节省内存
+- **梯度检查点**：在U-Net中启用以减少内存使用
+
+**数据预处理**：
+1. **图像处理**：
+   - 中心裁剪或随机裁剪到目标尺寸
+   - 归一化到[-1, 1]范围
+   - 可选的数据增强（水平翻转等）
+
+2. **文本处理**：
+   - 清理和标准化标题
+   - 处理特殊字符和编码问题
+   - 长度限制和截断策略
+
+3. **过滤策略**：
+   - 移除低质量图像（模糊、低分辨率）
+   - NSFW内容过滤（可选）
+   - 去重处理（基于感知哈希）
+
+**训练策略**：
+1. **多尺度训练**：随机裁剪不同尺寸
+   - 基础分辨率的0.75x到1.25x
+   - 保持宽高比的智能裁剪
+   - 提高模型对不同尺寸的泛化能力
+
+2. **条件dropout**：10%概率丢弃文本条件
+   - 训练无条件生成能力
+   - 支持classifier-free guidance
+   - 可以调整dropout率影响CFG效果
+
+3. **噪声偏移**：微调噪声调度改善暗部细节
+   - 在标准高斯噪声基础上添加小偏移（0.1×均值）
+   - 改善极暗和极亮区域的生成
+   - 需要在训练和推理时保持一致
+
+4. **渐进式训练**：先训练低分辨率，再微调高分辨率
+   - 阶段1：256×256分辨率，快速收敛
+   - 阶段2：512×512分辨率，主要训练
+   - 阶段3：可选的高分辨率微调
+
+### 10.4.10 常见问题与解决方案
+
+**1. 生成质量问题**：
+- 模糊：增加CFG scale或使用更多步数
+- 伪影：检查VAE权重，可能需要使用fp32
+- 颜色偏移：调整噪声偏移参数
+
+**2. 提示遵循问题**：
+- 使用提示权重：`(word:1.3)` 增强，`[word]` 减弱
+- 负面提示：明确排除不想要的元素
+- 提示工程：使用更具体的描述
+
+**3. 内存优化**：
+
+内存管理是部署LDM的关键挑战：
+
+**减少内存使用的策略**：
+1. **CPU卸载（CPU Offloading）**：
+   - 将不活跃的模型组件移到CPU内存
+   - VAE可以在U-Net运行时卸载
+   - 文本编码器编码后可以卸载
+   - 使用 `model.to('cpu')` 和 `model.to('cuda')` 动态管理
+
+2. **顺序处理（Sequential Processing）**：
+   - 分解生成流程为独立步骤
+   - 每次只加载必要的组件
+   - 例如：先编码所有文本，保存结果，释放编码器
+
+3. **注意力切片（Attention Slicing）**：
+   - 将注意力计算分成小块
+   - 循环处理每个切片
+   - 内存使用从O(N²)降到O(N)
+   - 轻微的速度损失换取大幅内存节省
+
+4. **VAE平铺（VAE Tiling）**：
+   - 将大图像分成重叠的块
+   - 独立编码/解码每个块
+   - 混合重叠区域确保连续性
+   - 支持任意大小的图像生成
+
+**内存估算公式**：
+- U-Net前向传播：约 `batch_size × 4 × height/8 × width/8 × 1280 × 4字节`
+- 注意力峰值：约 `batch_size × (height/8 × width/8)² × num_heads × 4字节`
+- VAE解码：约 `batch_size × 3 × height × width × 512 × 4字节`
+
+**实际内存需求示例**：
+| 分辨率 | 批次=1 | 批次=4 | 优化后 |
+|--------|--------|--------|---------|
+| 512×512 | 8GB | 16GB | 4GB |
+| 768×768 | 12GB | 24GB | 6GB |
+| 1024×1024 | 16GB | 32GB | 8GB |
+
+🔧 **调试技巧：逐步验证**  
+遇到问题时，逐个组件验证：(1)VAE重建质量 (2)无条件生成 (3)文本条件响应 (4)CFG效果。这有助于定位问题根源。
+
+## 10.5 实践考虑与扩展
+
+### 10.5.1 不同分辨率的处理
+
+LDM需要灵活处理各种分辨率的图像：
+
+**1. 多分辨率训练**：
+
+多分辨率训练提高模型的泛化能力：
+
+**训练策略**：
+- **分桶策略（Aspect Ratio Bucketing）**：
+  - 预定义一组常见宽高比：1:1, 4:3, 3:4, 16:9, 9:16等
+  - 每个宽高比创建多个分辨率桶
+  - 将训练图像分配到最近的桶中
+  - 批次内保持相同分辨率，批次间切换
+
+- **动态分辨率范围**：
+  - 基础分辨率：512×512
+  - 训练范围：384×640 到 768×512
+  - 保持像素总数相近（±20%）
+  - 避免极端宽高比（限制在1:2到2:1之间）
+
+- **分辨率条件化**：
+  - 将原始图像尺寸作为额外条件输入
+  - 编码为连续值或离散桶
+  - 帮助模型理解不同分辨率的特性
+
+**实现细节**：
+1. **数据加载器定制**：
+   - 根据原始尺寸智能裁剪
+   - 中心裁剪用于推理，随机裁剪用于训练
+   - 保留宽高比信息用于条件输入
+
+2. **内存管理**：
+   - 大分辨率使用较小批次
+   - 梯度累积补偿批次差异
+   - 动态调整以避免OOM
+
+3. **损失归一化**：
+   - 按像素数归一化损失
+   - 确保不同分辨率的损失可比
+   - 避免大分辨率主导训练
+
+**2. 分辨率自适应推理**：
+
+推理时处理任意分辨率的方法：
+
+**策略一：填充法**：
+- **方法**：填充到最近的64倍数（U-Net要求）
+- **填充类型**：
+  - 反射填充：适合自然图像
+  - 复制填充：适合有边框的图像
+  - 常数填充：简单但可能产生伪影
+- **后处理**：生成后裁剪掉填充区域
+
+**策略二：调整大小法**：
+- **保持宽高比调整**：
+  1. 计算目标分辨率保持宽高比
+  2. 调整到最近的64倍数
+  3. 使用双线性或Lanczos插值
+- **智能缩放**：
+  - 小图像：先生成再上采样
+  - 大图像：分块生成再拼接
+
+**策略三：滑动窗口法**：
+- **适用场景**：超大分辨率图像（如2K、4K）
+- **实现步骤**：
+  1. 将图像分成重叠的窗口（如512×512，重叠64像素）
+  2. 对每个窗口独立生成
+  3. 使用泊松融合或加权平均混合重叠区域
+- **优势**：支持任意大小，保持局部一致性
+- **挑战**：全局一致性需要额外处理
+
+**最佳实践组合**：
+
+ +

输入分辨率 → 策略选择： +< 768×768：直接处理或轻微调整 +768×768 - 1536×1536：智能缩放

+
+

1536×1536：滑动窗口 +```

+
+

💡 实践技巧：宽高比保持
+训练时记录图像的原始宽高比，推理时可以生成相同比例的图像，避免变形。

+

10.5.2 微调与适配

+

1. LoRA（Low-Rank Adaptation）微调：

+

LoRA通过注入低秩分解矩阵来适配预训练模型，在保持原始模型权重不变的情况下实现高效微调。核心思想是将权重更新表示为：

+

$$W' = W + \Delta W = W + BA$$ +其中 $B \in \mathbb{R}^{d \times r}$，$A \in \mathbb{R}^{r \times k}$，$r \ll \min(d, k)$ 是秩的约束。

+

实现过程包括：

+
    +
  • 初始化：使用 torch.nn.Linear 创建低秩矩阵 $A$ 和 $B$，其中 $A$ 使用正态分布初始化，$B$ 初始化为零以确保训练开始时 $\Delta W = 0$
    • +
  • 前向传播：计算 $y = Wx + \alpha \cdot BAx$，其中 $\alpha$ 是缩放因子，通过 F.linear 函数实现线性变换
    • +
  • 参数效率：原始权重 $W$ 保持冻结，仅训练 $A$ 和 $B$，参数量从 $d \times k$ 减少到 $(d + k) \times r$
    • +
  • 合并权重：训练完成后，可通过 $W' = W + \alpha BA$ 永久合并更新，无需额外推理开销
    • +
+

2. Textual Inversion：

+

Textual Inversion 通过学习新的文本嵌入来表示特定概念，而无需修改模型权重。核心思想是为新概念创建优化的词嵌入向量： +$$v^* = \arg\min_v \mathcal{L}_{LDM}(x, c(v))$$ +其中 $v$ 是待学习的嵌入向量，$c(v)$ 是包含该嵌入的条件信息。

+

实现要点：

+
    +
  • 嵌入初始化：创建可学习的嵌入张量 torch.nn.Parameter，可以随机初始化或从相似词汇的嵌入开始
    • +
  • 优化过程：固定模型所有参数，仅优化嵌入向量 $v$，使用标准的去噪损失函数
    • +
  • 集成方式：将学习到的嵌入插入到文本编码器的词汇表中，使用特殊标记（如 <concept>）引用
    • +
  • 多向量表示：复杂概念可以使用多个嵌入向量 ${v_1, v_2, ..., v_n}$ 来表示，提高表达能力
    • +
  • 正则化技巧：添加嵌入范数约束 $|v|_2 \leq \gamma$ 防止过拟合，确保与原始词汇表的兼容性
    • +
+

3. DreamBooth微调：

+

DreamBooth 通过少量样本图像微调整个模型，同时使用类先验保留防止语言漂移。损失函数结合了重建损失和先验保留损失： +$$\mathcal{L} = \mathcal{L}_{recon} + \lambda \mathcal{L}_{prior}$$

+

其中：

+
    +
  • $\mathcal{L}_{recon} = \mathbb{E}_{x,c,\epsilon,t}[|\epsilon - \epsilon_\theta(x_t, t, c)|^2]$ 是目标概念的重建损失
    • +
  • $\mathcal{L}_{prior} = \mathbb{E}_{x_{pr},c_{pr},\epsilon,t}[|\epsilon - \epsilon_\theta(x_{t,pr}, t, c_{pr})|^2]$ 是类先验保留损失
    • +
+

实现细节：

+
    +
  • 唯一标识符：使用稀有词汇（如 [V]）作为目标概念的唯一标识符，避免与现有概念冲突
    • +
  • 数据准备：收集3-5张目标概念的高质量图像，配对文本描述如 "a [V] dog"
    • +
  • 先验图像生成：使用原始模型生成类别先验图像（如 "a dog"），用于保持类别知识
    • +
  • 混合训练：交替使用目标图像和先验图像进行训练，通过 torch.utils.data.ConcatDataset 合并数据集
    • +
  • 学习率策略：使用较小的学习率（1e-6到5e-6）和线性预热，避免过拟合
    • +
  • 梯度检查点：使用 torch.utils.checkpoint 减少显存占用，允许更大的批量大小
    • +
+

🔬 研究方向：高效微调方法
+如何用最少的参数和数据实现有效的模型适配？这涉及到元学习、少样本学习和参数高效微调的前沿研究。

+

10.5.3 模型压缩与部署

+

1. 量化技术：

+

量化通过降低数值精度来减少模型大小和加速推理。主要方法包括动态量化和静态量化：

+

动态量化：

+
    +
  • 权重量化：将FP32权重映射到INT8，量化公式为 $q = \text{round}(\frac{w}{s}) + z$
    • +
  • 其中量化尺度 $s = \frac{\max(w) - \min(w)}{2^b - 1}$，零点 $z = -\text{round}(\frac{\min(w)}{s})$
    • +
  • 激活值在推理时动态量化，使用 torch.quantization.quantize_dynamic
    • +
  • 适用于批量大小变化的场景，精度损失较小
    • +
+

静态量化：

+
    +
  • 需要校准数据集来统计激活值分布，使用 torch.quantization.prepare 和 convert
    • +
  • 量化感知训练（QAT）：在训练时模拟量化效果，通过 FakeQuantize 层实现
    • +
  • 混合精度：关键层保持FP16/FP32，非关键层使用INT8，平衡精度和效率
    • +
  • 实现时使用 torch.nn.quantized 模块替换标准层，如 nn.quantized.Linear
    • +
+

2. 模型剪枝：

+

模型剪枝通过移除冗余参数来压缩模型，主要包括结构化剪枝和非结构化剪枝：

+

非结构化剪枝：

+
    +
  • 基于重要性分数移除个别权重，如 L1/L2 范数、梯度大小或 Taylor 展开
    • +
  • 剪枝掩码：$M_{ij} = \mathbb{1}[|W_{ij}| > \tau]$，其中 $\tau$ 是阈值
    • +
  • 使用 torch.nn.utils.prune 模块，支持 l1_unstructured、random_unstructured 等方法
    • +
  • 稀疏存储：使用 CSR/COO 格式存储稀疏张量，通过 torch.sparse 实现
    • +
+

结构化剪枝：

+
    +
  • 移除整个通道、注意力头或层，保持硬件友好的密集计算
    • +
  • 通道重要性评估：基于 BN 层的缩放因子 $\gamma$ 或激活值统计
    • +
  • 实现流程：计算重要性分数 → 排序选择 → 创建新模型 → 微调恢复性能
    • +
  • 使用 torch.nn.utils.prune.ln_structured 进行结构化剪枝
    • +
  • 剪枝率调度：渐进式剪枝，从小比例开始逐步增加，避免性能急剧下降
    • +
+

3. ONNX导出与优化：

+

ONNX（Open Neural Network Exchange）提供了跨框架的模型部署方案，支持多种推理引擎优化：

+

导出流程：

+
    +
  • 模型追踪：使用 torch.onnx.export 将 PyTorch 模型转换为 ONNX 格式
    • +
  • 动态轴设置：指定 dynamic_axes 参数支持可变批量大小和序列长度
    • +
  • 算子映射：确保所有自定义操作都有对应的 ONNX 算子，必要时实现自定义算子
    • +
  • 输入示例：提供代表性的输入张量用于追踪，形状如 (batch_size, channels, height, width)
    • +
+

优化技术：

+
    +
  • 图优化：使用 ONNX Runtime 的图优化器，包括常量折叠、算子融合、冗余节点消除
    • +
  • 量化支持：通过 onnxruntime.quantization 进行后训练量化，支持 INT8 推理
    • +
  • 内存优化：启用内存重用和算子内核优化，减少内存占用
    • +
  • 多线程推理：配置 SessionOptions 中的线程数和执行模式
    • +
  • TensorRT 集成：将 ONNX 模型转换为 TensorRT 引擎，获得 GPU 上的极致性能
    • +
  • 模型分片：大模型可分割成多个子图，支持流水线并行推理
    • +
+

10.5.4 性能优化最佳实践

+

1. 批量处理优化：

+

批量处理是提升吞吐量的关键技术，需要平衡延迟和效率：

+

动态批处理：

+
    +
  • 批次聚合：收集多个请求直到达到批量大小或超时阈值
    • +
  • 填充策略：使用 torch.nn.utils.rnn.pad_sequence 对不同长度的输入进行填充
    • +
  • 注意力掩码：生成适当的掩码矩阵，确保填充部分不参与计算
    • +
  • 批量大小选择：根据 GPU 显存动态调整，公式为 $B_{opt} = \lfloor \frac{M_{available}}{M_{per_sample}} \rfloor$
    • +
+

异步处理：

+
    +
  • 使用 torch.cuda.Stream 创建多个 CUDA 流，实现计算和数据传输重叠
    • +
  • 预取机制：在处理当前批次时，异步加载下一批数据到 GPU
    • +
  • 双缓冲：维护两个缓冲区，一个用于当前计算，一个用于数据准备
    • +
  • 结果聚合：使用 asyncio 或线程池管理异步任务，确保结果按序返回
    • +
+

2. 缓存优化：

+

缓存策略可以显著减少重复计算，提高系统响应速度：

+

特征缓存：

+
    +
  • VAE 编码缓存：预计算并存储常用图像的潜在表示 $z = E(x)$
    • +
  • 文本嵌入缓存：使用 LRU 缓存存储频繁使用的文本提示的 CLIP 嵌入
    • +
  • 实现方式：使用 functools.lru_cache 或 Redis 等键值存储
    • +
  • 缓存键设计：基于内容哈希，如 hashlib.sha256(prompt.encode()).hexdigest()
    • +
+

中间结果缓存：

+
    +
  • 注意力图缓存：对于相似的生成任务，复用中间层的注意力计算结果
    • +
  • 噪声调度缓存：预计算并存储不同时间步的噪声调度参数
    • +
  • 梯度检查点：使用 torch.utils.checkpoint 在前向传播时丢弃中间激活，反向传播时重新计算
    • +
  • 显存管理：实现基于优先级的缓存淘汰策略，平衡显存使用和缓存命中率
    • +
  • 分布式缓存：在多 GPU 环境中使用共享内存或 NVLink 实现跨设备缓存共享
    • +
+
+**综合练习：构建生产级LDM系统** +

设计并实现一个生产就绪的LDM系统。

+
    +
  1. +

    系统架构设计： + - 设计微服务架构 + - 实现请求队列和负载均衡 + - 添加监控和日志 + - 处理故障恢复

    +
    2. +
  2. +

    性能优化： + - 实现多GPU推理 + - 优化内存使用 + - 添加结果缓存 + - 支持流式生成

    +
    3. +
  3. +

    功能扩展： + - 支持多种采样器 + - 实现图像编辑功能 + - 添加安全过滤 + - 支持自定义模型

    +
    4. +
  4. +

    部署方案： + - 容器化（Docker） + - Kubernetes编排 + - API网关设计 + - CDN集成

    +
    5. +
+
+

10.5.5 未来发展方向

+

1. 架构创新： +- 稀疏注意力：减少计算复杂度 +- 动态分辨率：自适应处理不同尺寸 +- 神经架构搜索：自动优化结构

+

2. 训练方法改进： +- 自监督预训练：利用无标注数据 +- 多模态联合训练：图像、文本、音频统一 +- 连续学习：不断适应新数据

+

3. 应用扩展： +- 3D生成：从2D扩展到3D +- 视频生成：时序一致性 +- 交互式编辑：实时响应用户输入

+

4. 效率提升：

+

未来的效率优化将聚焦于算法层面的根本性改进：

+
    +
  • 一步生成模型：研究如何将多步扩散过程压缩到单步或少步生成，如一致性模型和流匹配方法
    • +
  • 神经ODE求解器：开发专门针对扩散模型的高效ODE求解器，减少评估次数
    • +
  • 硬件协同设计：设计专用的扩散模型加速器，优化矩阵运算和采样过程
    • +
  • 知识蒸馏：将大型教师模型的知识迁移到小型学生模型，保持质量的同时大幅提升速度
    • +
  • 自适应计算：根据生成内容的复杂度动态调整计算资源，简单区域使用更少的去噪步骤
    • +
  • 端到端优化：联合优化编码器、解码器和扩散模型，减少冗余计算
    • +
+

🌟 开放挑战：下一代LDM
+如何设计能够处理任意模态、任意分辨率、实时交互的统一生成模型？这需要算法、架构和硬件的协同创新。

+

10.5.6 实践建议总结

+
    +
  1. +

    开始原型： + - 使用预训练模型快速验证想法 + - 从小数据集和低分辨率开始 + - 逐步增加复杂度

    +
    2. +
  2. +

    优化策略： + - 先优化算法，再优化实现 + - 使用profiler找出瓶颈 + - 平衡质量、速度和内存

    +
    3. +
  3. +

    部署考虑： + - 选择合适的量化策略 + - 实现鲁棒的错误处理 + - 考虑边缘设备限制

    +
    4. +
  4. +

    持续改进： + - 收集用户反馈 + - A/B测试不同版本 + - 跟踪最新研究进展

    +
    5. +
+

通过本章的学习，您已经掌握了潜在扩散模型的核心原理和实践技巧。LDM通过在压缩的潜在空间进行扩散，实现了效率和质量的优秀平衡，成为当前最流行的生成模型架构之一。下一章，我们将探讨如何将这些技术扩展到视频生成领域。

+

← 返回目录 | 第10章 / 共14章 | 下一章 →

+
+ + +
+
+ + \ No newline at end of file diff --git a/html/chapter11.html b/html/chapter11.html new file mode 100644 index 0000000..5f10a60 --- /dev/null +++ b/html/chapter11.html @@ -0,0 +1,1908 @@ + + + + + + 第11章：视频扩散模型 + + + + + + + +
+ + +
+
+

← 返回目录 | 第11章 / 共14章 | 下一章 →

+

第11章：视频扩散模型

+

视频生成是扩散模型面临的最具挑战性的任务之一。与静态图像不同，视频需要在时间维度上保持连贯性，同时处理更高维度的数据。本章将深入探讨视频扩散模型的核心技术，从时序建模的基本原理到3D架构设计，再到运动动力学的建模。您将学习如何处理时间一致性、运动模糊、长程依赖等视频特有的挑战，并掌握设计高效视频生成系统的关键技术。通过本章的学习，您将理解Sora、Runway等前沿视频生成模型背后的技术原理。

+

章节大纲

+

11.1 视频生成的挑战与机遇

+
    +
  • 时序一致性要求
    • +
  • 计算和内存瓶颈
    • +
  • 运动表示与建模
    • +
  • 数据集与评估指标
    • +
+

11.2 时序扩散模型架构

+
    +
  • 3D U-Net与因子化卷积
    • +
  • 时空注意力机制
    • +
  • 帧间信息传播
    • +
  • 分层时序建模
    • +
+

11.3 条件控制与运动引导

+
    +
  • 文本到视频生成
    • +
  • 图像动画化
    • +
  • 运动轨迹控制
    • +
  • 风格与内容解耦
    • +
+

11.4 高效训练与推理策略

+
    +
  • 视频压缩与潜在空间
    • +
  • 级联生成框架
    • +
  • 帧插值与超分辨率
    • +
  • 分布式训练技术
    • +
+

11.5 应用案例与未来方向

+
    +
  • 视频编辑与修复
    • +
  • 虚拟现实内容生成
    • +
  • 实时视频合成
    • +
  • 多模态视频理解
    • +
+

11.1 视频生成的挑战与机遇

+

视频生成代表着生成模型的前沿挑战。不同于静态图像，视频需要在空间和时间两个维度上同时建模复杂的模式。当我们观看一段自然流畅的视频时，大脑会无意识地处理大量的视觉信息：物体的运动轨迹、光影的变化、场景的转换，以及这些元素之间错综复杂的相互作用。对于机器学习模型而言，重现这种自然性是一项艰巨的任务。

+

11.1.1 时序一致性要求

+

视频生成的核心挑战是保持时间上的连贯性。这种连贯性体现在多个层面，每个层面都有其独特的技术难点。

+
    +
  1. 对象持续性
    2. +
+

在真实世界中，物体具有持续的身份标识。一个红色的球从画面左边滚到右边，它始终是同一个球。这看似简单的事实，对生成模型来说却充满挑战：

+
    +
  • +

    物体身份在帧间保持一致：模型需要理解什么是"同一个物体"。这不仅仅是外观的相似性，更涉及到语义层面的理解。例如，一个人转身后，虽然看到的是背影，但仍然是同一个人。扩散模型需要在潜在空间中编码这种身份信息，并确保在去噪过程中保持稳定。

    +
    • +
  • +

    外观特征（颜色、纹理）稳定：真实物体的颜色和纹理不会随机变化。然而，独立生成每一帧时，模型可能会产生微小的颜色偏差或纹理变化，累积起来就会造成明显的闪烁。这需要在训练时引入专门的损失函数，惩罚帧间的不必要变化。

    +
    • +
  • +

    形状变化符合物理规律：物体的形变应该是连续和合理的。例如，一个弹跳的球在压缩和恢复时应该遵循弹性形变的规律。这要求模型隐式地学习物理世界的约束，或者显式地引入物理先验。

    +
    • +
+
    +
  1. 运动连续性
    2. +
+

运动是视频的灵魂。流畅自然的运动需要满足多重约束：

+
    +
  • +

    轨迹平滑自然：物体的运动路径应该是连续可微的。突然的方向改变或位置跳跃会立即被人眼察觉。在扩散模型中，这通常通过在时间维度上应用平滑性约束来实现。例如，可以使用光流估计来计算相邻帧之间的运动场，并鼓励运动场的平滑性。

    +
    • +
  • +

    速度和加速度合理：不同类型的物体有不同的运动特性。一片羽毛的飘落和一块石头的下落遵循完全不同的动力学规律。模型需要学习这些隐含的物理规律，这可以通过大规模的视频数据训练获得，也可以通过引入物理仿真作为先验知识。

    +
    • +
  • +

    遮挡关系正确：当多个物体相互遮挡时，需要正确处理深度关系和可见性。被遮挡的部分应该在适当的时候消失和重现，且重现时的外观应该与消失前保持一致。这需要模型具有某种形式的3D理解能力。

    +
    • +
+
    +
  1. 光照一致性
    2. +
+

光照的变化为视频增添了真实感，但也带来了额外的复杂性：

+
    +
  • +

    阴影随物体移动：阴影是物体存在的重要视觉线索。当物体移动时，其投射的阴影也应该相应地改变位置和形状。这需要模型理解光源的位置和物体的3D结构。

    +
    • +
  • +

    反射和高光稳定：镜面反射和高光点应该随着视角和物体位置的改变而合理地移动。例如，金属球表面的高光点应该始终指向光源方向。

    +
    • +
  • +

    环境光照渐变：场景中的整体光照可能会缓慢变化（如日落时分），这种变化应该是渐进和全局一致的。所有物体都应该受到相同的光照变化影响。

    +
    • +
+

为了量化这些一致性要求，研究者们设计了各种度量指标。例如，时序稳定性可以通过计算相邻帧之间的感知距离来衡量：

+

$$\mathcal{L}_{\text{temporal}} = \sum_{t=1}^{T-1} |\phi(x_t) - \phi(x_{t+1})|^2$$ +其中$\phi$是预训练的特征提取器（如VGG网络）。这个损失函数鼓励相邻帧在感知特征空间中保持接近。

+

💡 关键洞察：时序正则化的重要性
+单纯的帧级损失会导致闪烁。必须显式地鼓励时序平滑性，但过度平滑会失去运动细节。平衡是关键。研究表明，结合多尺度的时序损失（像素级、特征级、语义级）能够获得最佳效果。

+

11.1.2 计算和内存瓶颈

+

视频数据的高维特性带来的计算挑战远超静态图像。这不仅仅是简单的线性增长，而是涉及到存储、计算和优化等多个方面的复合难题。

+

维度爆炸

+

当我们从图像扩展到视频时，数据维度的增长是惊人的：

+
    +
  • 图像：[B, C, H, W] → 4D张量（批次、通道、高度、宽度）
    • +
  • 视频：[B, T, C, H, W] → 5D张量（增加了时间维度T）
    • +
  • 内存需求：理论上是T倍增长，但实际情况更复杂
    • +
+

让我们通过具体数字来理解这种爆炸性增长。一个256×256的RGB图像需要约200KB存储空间。而一个相同分辨率、持续1秒（24帧）的视频片段则需要约4.8MB。如果我们要生成一个10秒的高清视频（1920×1080），仅原始数据就需要约1.5GB的内存。这还没有考虑模型的中间激活值，后者通常是原始数据的数十倍。

+

计算复杂度分析

+

视频扩散模型的计算复杂度在多个层面上超越图像模型：

+
    +
  1. 注意力机制的复杂度： + - 空间注意力：$O(B \cdot T \cdot (H \cdot W)^2 \cdot C)$ + - 时空注意力：$O(B \cdot (T \cdot H \cdot W)^2 \cdot C)$
    2. +
+

当T=16（半秒视频）时，时空注意力的计算量是空间注意力的256倍！这使得直接应用全局注意力变得不可行。

+
    +
  1. 卷积操作的复杂度： + - 2D卷积：$O(B \cdot T \cdot C_{in} \cdot C_{out} \cdot H \cdot W \cdot k^2)$ + - 3D卷积：$O(B \cdot C_{in} \cdot C_{out} \cdot T \cdot H \cdot W \cdot k^3)$
    2. +
+

3D卷积在时间维度上增加了额外的计算，使得每层的计算量增加k倍（k为时间核大小）。

+
    +
  1. 梯度累积问题： + 视频的长序列特性导致反向传播时需要存储大量的中间梯度。对于T帧的视频，梯度存储需求也近似线性增长。这在实践中常常导致GPU内存溢出。
    2. +
+

内存管理策略

+

面对这些挑战，研究者们开发了多种内存优化技术：

+
    +
  1. +

    梯度检查点（Gradient Checkpointing）： + 通过选择性地存储激活值，在前向传播时丢弃部分中间结果，反向传播时重新计算。这可以将内存需求从$O(T)$降低到$O(\sqrt{T})$，代价是增加约30%的计算时间。

    +
    2. +
  2. +

    混合精度训练： + 使用FP16进行大部分计算，仅在必要时使用FP32。这不仅减少50%的内存使用，还能利用现代GPU的Tensor Core加速计算。关键是要正确处理数值稳定性问题。

    +
    3. +
  3. +

    时间分片处理： + 将长视频分割成重叠的短片段，分别处理后融合。例如，将32帧的视频分成4个11帧的片段（3帧重叠），可以显著降低峰值内存使用。

    +
    4. +
  4. +

    激活值重计算： + 对于某些计算密集但内存友好的操作（如LayerNorm），可以选择不存储激活值，而是在反向传播时重新计算。

    +
    5. +
+

计算效率优化

+

除了内存管理，计算效率的优化同样重要：

+
    +
  1. +

    稀疏注意力模式： + - 局部时间窗口：每帧只关注前后k帧 + - 分层注意力：不同层使用不同的时间感受野 + - 学习式稀疏：通过元学习确定哪些帧对需要关注

    +
    2. +
  2. +

    因子化架构： + 将时空建模分解为"空间建模→时间建模→空间建模"的序列。虽然表达能力有所降低，但计算效率提升显著。

    +
    3. +
  3. +

    知识蒸馏： + 训练一个大型教师模型，然后蒸馏到更小的学生模型。学生模型可以使用更激进的架构简化。

    +
    4. +
+

🔬 研究线索：高效时空表示
+如何设计更高效的时空表示？当前的研究方向包括：

+
    +
  • 神经场表示：使用隐式神经表示编码视频，可以实现极高的压缩率
    • +
  • 层次化表示：在不同时间尺度上使用不同的表示粒度
    • +
  • 运动补偿预测：只存储关键帧和运动信息，大幅减少冗余
    • +
  • 可学习的视频编码器：端到端学习最适合扩散模型的视频表示
    • +
+

这些方向都在积极探索中，有望在未来实现数量级的效率提升。

+

11.1.3 运动表示与建模

+

运动是区分视频和图像序列的关键要素。有效地表示和建模运动不仅是技术挑战，更触及视觉感知的本质。人类视觉系统对运动极其敏感——我们能够轻易察觉不自然的运动，这使得运动建模成为视频生成的核心难题。

+

运动的多尺度特性

+

运动在视频中以多种尺度和形式存在，每种都需要不同的建模策略：

+
    +
  1. 像素级运动：光流与形变场
    2. +
+

在最细粒度上，运动表现为像素的位移。光流（Optical Flow）是描述这种运动的经典方法，它为每个像素分配一个2D运动向量$(u, v)$，表示该像素在连续帧之间的位移。

+

光流的基本假设是亮度恒定性： +$$I(x, y, t) = I(x + u, y + v, t + 1)$$ +然而，真实世界的运动远比简单的平移复杂。物体可能发生旋转、缩放、剪切等形变。这时需要更一般的形变场表示： +$$\mathbf{p}' = \mathbf{A}\mathbf{p} + \mathbf{t}$$ +其中$\mathbf{A}$是仿射变换矩阵，$\mathbf{t}$是平移向量。对于非刚性形变，则需要使用更复杂的变换模型，如薄板样条（Thin Plate Spline）或自由形变（Free Form Deformation）。

+
    +
  1. 对象级运动：轨迹与变换
    2. +
+

真实世界中，我们更多地感知对象而非像素的运动。对象级运动建模需要首先进行实例分割，然后跟踪每个对象的运动轨迹。

+

对象运动可以分解为几个组成部分：

+
    +
  • 平移轨迹：对象中心在空间中的路径
    • +
  • 旋转运动：围绕自身轴的旋转（如车轮转动）
    • +
  • 缩放变化：由于透视效应或真实大小改变
    • +
  • 形变运动：非刚性物体的形状变化（如行人的肢体运动）
    • +
+

这种分解允许我们使用参数化模型来紧凑地表示复杂运动。例如，一个弹跳球的运动可以用抛物线轨迹加上周期性的压缩-恢复形变来描述。

+
    +
  1. 场景级运动：相机运动与全局变换
    2. +
+

当相机移动时，整个场景会发生协调一致的运动。这种全局运动模式包括：

+
    +
  • 平移（Pan）：相机水平或垂直移动
    • +
  • 缩放（Zoom）：相机接近或远离场景
    • +
  • 旋转（Rotation）：相机围绕光轴旋转
    • +
  • 透视变换：更复杂的3D相机运动
    • +
+

理解和分离相机运动与对象运动是视频理解的关键挑战。这通常通过估计基础矩阵（Fundamental Matrix）或单应性矩阵（Homography Matrix）来实现。

+

运动表示方法

+

不同的应用场景需要不同的运动表示方法：

+
    +
  1. 显式运动表示
    2. +
+

直接编码运动信息，如光流场或轨迹： +$$\mathbf{M} = {\mathbf{v}_{x,y,t} | \mathbf{v} = (u, v) \text{ 是位置 } (x,y) \text{ 在时刻 } t \text{ 的运动向量}}$$ +优点：

+
    +
  • 可解释性强
    • +
  • 可以直接施加物理约束
    • +
  • 易于编辑和控制
    • +
+

缺点：

+
    +
  • 需要额外的运动估计步骤
    • +
  • 对遮挡和大位移处理困难
    • +
  • 离散表示可能丢失细节
    • +
+
    +
  1. 隐式运动表示
    2. +
+

通过神经网络学习运动的潜在表示： +$$\mathbf{z}_{\text{motion}} = f_{\text{encode}}(\mathbf{x}_{t-k:t+k})$$ +其中$f_{\text{encode}}$是一个神经网络，从时间窗口中提取运动特征。

+

优点：

+
    +
  • 端到端学习，无需手工特征
    • +
  • 可以捕获复杂的运动模式
    • +
  • 自然处理遮挡和复杂场景
    • +
+

缺点：

+
    +
  • 缺乏可解释性
    • +
  • 难以施加明确的约束
    • +
  • 需要大量数据学习
    • +
+
    +
  1. 混合表示
    2. +
+

结合显式和隐式方法的优点： +$$\mathbf{M}_{\text{hybrid}} = \mathbf{M}_{\text{explicit}} + g(\mathbf{z}_{\text{residual}})$$ +其中$\mathbf{M}_{\text{explicit}}$是估计的光流或轨迹，$g(\mathbf{z}_{\text{residual}})$是神经网络预测的残差运动。

+

运动先验与约束

+

有效的运动建模需要合适的先验知识：

+
    +
  1. +

    平滑性先验：自然运动通常是平滑的 +$$\mathcal{L}_{\text{smooth}} = \sum_{x,y} |\nabla u|^2 + |\nabla v|^2$$

    +
    2. +
  2. +

    刚性约束：刚体的运动保持形状不变 +$$\mathcal{L}_{\text{rigid}} = \sum_{i,j} (d_{ij}^{t+1} - d_{ij}^t)^2$$ +其中$d_{ij}$是点$i$和$j$之间的距离。

    +
    3. +
  3. +

    物理约束：运动应遵循物理定律 + - 重力影响：$a_y = -g$ + - 动量守恒：$m_1v_1 + m_2v_2 = \text{const}$ + - 能量守恒：$E_{\text{kinetic}} + E_{\text{potential}} = \text{const}$

    +
    4. +
  4. +

    因果约束：未来不应影响过去 + 这在扩散模型中通过掩码注意力机制实现，确保时刻$t$的生成只依赖于$t' \leq t$的信息。

    +
    5. +
+

11.1.4 数据集与评估指标

+

高质量的数据集和合理的评估指标是推动视频生成技术发展的基石。与图像生成相比，视频数据集的构建面临着独特的挑战：数据量巨大、标注困难、质量参差不齐。同时，如何全面评估生成视频的质量也是一个开放的研究问题。

+

主要数据集概览

+

视频生成领域的数据集经历了从小规模、特定领域到大规模、通用领域的演进：

+

| 数据集 | 规模 | 分辨率 | 特点 | 应用场景 |

+ + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +
数据集规模分辨率特点应用场景
UCF-10113K videos240p人类动作识别动作条件生成
Kinetics650K videos变化多样化人类动作通用视频生成
WebVid-10M10M videos360p文本-视频对文本到视频生成
HD-VILA-100M100M videos720p+高质量、长视频高清视频生成
Moments in Time1M videos变化3秒事件片段短视频生成
HowTo100M136M clips变化教学视频程序性视频生成
+

数据集的深度剖析

+
    +
  1. UCF-101：视频生成的MNIST
    2. +
+

尽管规模较小，UCF-101仍然是评估新方法的重要基准。它包含101类人类动作，每类约100个视频。其价值在于：

+
    +
  • 类别平衡，便于控制实验
    • +
  • 动作语义清晰，易于评估
    • +
  • 计算需求适中，适合快速迭代
    • +
+
    +
  1. Kinetics系列：规模与多样性的平衡
    2. +
+

Kinetics-400/600/700提供了更大规模和更高多样性：

+
    +
  • 覆盖日常生活的各种动作
    • +
  • 包含复杂的人-物交互
    • +
  • 视频来源多样（YouTube）
    • +
+

挑战：视频质量不一，需要仔细的预处理。

+
    +
  1. WebVid-10M：文本监督的突破
    2. +
+

第一个大规模文本-视频数据集，开启了文本到视频生成的新纪元：

+
    +
  • 自动收集的alt-text描述
    • +
  • 涵盖广泛的主题和风格
    • +
  • 弱监督但规模巨大
    • +
+

局限：文本描述质量参差，常常过于简短或不准确。

+
    +
  1. HD-VILA-100M：质量的新标准
    2. +
+

专门为高质量视频生成设计：

+
    +
  • 严格的质量筛选（运动平滑性、分辨率、美学）
    • +
  • 更长的视频片段（10-60秒）
    • +
  • 多模态标注（文本、音频、动作）
    • +
+

数据预处理的艺术

+

原始视频数据需要经过精心的预处理才能用于训练：

+
    +
  1. +

    时间采样策略： + - 固定帧率采样：保持时间一致性 + - 自适应采样：根据运动强度调整 + - 关键帧采样：捕获重要时刻

    +
    2. +
  2. +

    空间处理： + - 中心裁剪 vs. 随机裁剪 + - 保持宽高比 vs. 强制正方形 + - 多尺度训练策略

    +
    3. +
  3. +

    质量控制： + - 场景切换检测和过滤 + - 运动模糊和压缩伪影检测 + - 美学质量评分

    +
    4. +
+

评估指标的多维度视角

+

评估生成视频的质量需要从多个角度考虑：

+
    +
  1. 视觉质量指标
    2. +
+
    +
  • +

    FVD (Fréchet Video Distance)： +$$\text{FVD} = |\mu_r - \mu_g|^2 + \text{Tr}(\Sigma_r + \Sigma_g - 2(\Sigma_r\Sigma_g)^{1/2})$$ +其中$\mu_r, \Sigma_r$和$\mu_g, \Sigma_g$分别是真实和生成视频在I3D特征空间中的均值和协方差。FVD是目前最广泛使用的指标，但它主要关注分布层面的相似性。

    +
    • +
  • +

    LPIPS-T (Temporal LPIPS)： +$$\text{LPIPS-T} = \frac{1}{T-1}\sum_{t=1}^{T-1} \text{LPIPS}(x_t, x_{t+1})$$ +衡量时间一致性，值越小表示帧间变化越平滑。

    +
    • +
  • +

    PSNR/SSIM的时序扩展： + 传统图像质量指标的帧平均版本，提供像素级的质量评估。

    +
    • +
+
    +
  1. 运动质量指标
    2. +
+
    +
  • +

    Motion Consistency Score： + 通过光流估计评估运动的连贯性： +$$\text{MCS} = \exp(-\frac{1}{T-2}\sum_{t=1}^{T-2}|F_{t \to t+1} \circ F_{t+1 \to t+2} - F_{t \to t+2}|)$$ +其中$F_{i \to j}$表示从帧$i$到帧$j$的光流，$\circ$表示光流的复合。

    +
    • +
  • +

    Action Recognition Accuracy： + 使用预训练的动作识别模型评估生成视频的动作可识别性。

    +
    • +
+
    +
  1. 语义一致性指标
    2. +
+
    +
  • +

    CLIP-SIM (时序版本)： +$$\text{CLIP-SIM} = \frac{1}{T}\sum_{t=1}^{T} \cos(\text{CLIP}_\text{img}(x_t), \text{CLIP}_\text{text}(c))$$ +评估生成视频与文本条件的语义对齐。

    +
    • +
  • +

    VQA Score： + 使用视频问答模型评估生成内容的语义正确性。

    +
    • +
+
    +
  1. 人类评估
    2. +
+

尽管自动指标很有用，人类评估仍然是金标准：

+
    +
  • MOS (Mean Opinion Score)：整体质量评分
    • +
  • 时序一致性评分：专门评估时间连贯性
    • +
  • 真实度评分：与真实视频的可区分性
    • +
  • 条件一致性评分：与输入条件的匹配程度
    • +
+
+**练习 11.1：分析视频生成的挑战** +

深入理解视频生成的独特挑战。

+
    +
  1. +

    时序建模实验： + - 实现简单的帧插值基线（如线性插值、光流warp） + - 测试不同的时序一致性损失（L2、感知损失、对抗损失） + - 分析失败案例（闪烁、漂移、物体消失等） + - 提示：使用torch.nn.functional.grid_sample实现光流warp

    +
    2. +
  2. +

    内存优化探索： + - 比较不同的视频表示（RGB vs 光流 vs 潜在编码） + - 实现梯度检查点（torch.utils.checkpoint）减少内存 + - 测试混合精度训练效果（torch.cuda.amp） + - 量化不同策略的内存使用和训练速度

    +
    3. +
  3. +

    运动分析： + - 可视化不同类型的运动模式（使用光流可视化） + - 实现运动分解（全局运动估计 + 局部运动残差） + - 研究运动先验的作用（平滑性、刚性约束等） + - 尝试：使用RAFT或FlowNet2估计光流

    +
    4. +
  4. +

    数据集构建： + - 设计视频质量筛选pipeline（场景切换检测、质量评分） + - 实现高效的视频预处理（并行化、缓存策略） + - 创建专门的评测基准（定义任务、收集数据、设计指标） + - 工具推荐：ffmpeg-python、cv2、decord

    +
    5. +
+
+

11.1.5 视频扩散的独特机遇

+

1. 强大的时序先验：

+
    +
  • 物理规律（重力、惯性）
    • +
  • 因果关系
    • +
  • 周期性模式
    • +
+

2. 多模态信息：

+
    +
  • 视觉+音频同步
    • +
  • 文本描述的时序结构
    • +
  • 动作标签序列
    • +
+

3. 分层表示：

+

视频的分层结构允许我们在不同粒度上建模：

+
    +
  • +

    像素级：原始RGB值，最细粒度的表示 +$$\mathbf{V}_{\text{pixel}} \in \mathbb{R}^{T \times H \times W \times 3}$$

    +
    • +
  • +

    特征级：通过卷积或Transformer提取的中层特征 +$$\mathbf{F} = f_{\text{encoder}}(\mathbf{V}_{\text{pixel}})$$ +其中$f_{\text{encoder}}$可以是预训练的视觉编码器（如CLIP、DINO）

    +
    • +
  • +

    语义级：场景、对象、动作的高层概念 +$$\mathbf{S} = {\text{objects}, \text{actions}, \text{scenes}}$$ +通过检测器和分类器获得

    +
    • +
  • +

    结构级：视频的叙事结构、事件序列 +$$\mathbf{E} = {e_1 \to e_2 \to ... \to e_n}$$ +表示视频中的事件流

    +
    • +
+

这种分层表示允许我们在适当的抽象层次上施加约束和进行控制。例如，可以在语义级确保动作的合理性，在特征级保持视觉一致性，在像素级优化细节质量。

+

🌟 前沿思考：视频理解与生成的统一
+视频理解模型（如VideoMAE）的表示能否直接用于生成？如何设计既能理解又能生成的统一架构？

+

11.1.6 技术路线选择

+

主要技术路线对比：

+
    +
  1. +

    直接3D扩散： + - 优点：端到端建模 + - 缺点：计算量巨大

    +
    2. +
  2. +

    级联生成： + - 优点：分而治之，易于控制 + - 缺点：误差累积

    +
    3. +
  3. +

    潜在空间扩散： + - 优点：高效 + - 缺点：需要好的视频编码器

    +
    4. +
  4. +

    混合方法： + 结合多种方法的优势，根据不同阶段使用不同策略：

    +
    5. +
+
    +
  • +

    关键帧生成 + 插值：先生成稀疏的关键帧，然后通过插值或条件生成填充中间帧。这种方法可以确保长程一致性，同时降低计算负担。

    +
    • +
  • +

    低分辨率时序 + 高分辨率空间：在低分辨率下建模完整的时序动态，然后通过超分辨率网络提升每帧的质量。这利用了运动信息主要存在于低频的特性。

    +
    • +
  • +

    潜在动态 + 像素细化：在压缩的潜在空间中建模视频的主要动态，然后通过解码器恢复像素级细节。这种方法特别适合长视频生成。

    +
    • +
+

选择合适的技术路线需要考虑：

+
    +
  • 应用场景：实时 vs 离线，短视频 vs 长视频
    • +
  • 质量要求：分辨率、帧率、视觉保真度
    • +
  • 计算资源：GPU内存、推理时间限制
    • +
  • 控制需求：所需的条件类型和控制粒度
    • +
+

接下来，我们将深入探讨具体的模型架构设计...

+

11.2 时序扩散模型架构

+

11.2.1 3D U-Net与因子化卷积

+

将2D U-Net扩展到3D是最直接的方法，但需要仔细设计以控制参数量：

+

完整3D卷积：

+

完整的3D卷积同时在空间和时间维度上操作，使用三维卷积核： +$$y_{t,h,w} = \sum_{t'=-k_t}^{k_t} \sum_{h'=-k_h}^{k_h} \sum_{w'=-k_w}^{k_w} w_{t',h',w'} \cdot x_{t+t',h+h',w+w'}$$ +其中$(k_t, k_h, k_w)$分别是时间、高度和宽度方向的卷积核大小。典型配置使用$(3, 3, 3)$的卷积核。

+

3D卷积的特点：

+
    +
  • 参数量：$C_{in} \times C_{out} \times k_t \times k_h \times k_w$
    • +
  • 计算复杂度：$O(T \times H \times W \times C_{in} \times C_{out} \times k_t \times k_h \times k_w)$
    • +
  • 感受野：时空同时扩展，能够捕获复杂的时空模式
    • +
+

在实现时，通常使用torch.nn.Conv3d，并配合适当的padding策略保持时空维度。

+

因子化卷积（更高效）：

+

为了减少参数量和计算成本，可以将3D卷积分解为空间卷积和时间卷积的组合： +$$\text{Factorized3D} = \text{Conv2D}_{\text{spatial}} \circ \text{Conv1D}_{\text{temporal}}$$ +具体来说：

+
    +
  1. +

    首先应用2D空间卷积：对每个时间步独立处理 +$$h_t = \text{Conv2D}(x_t), \quad \forall t \in [1, T]$$

    +
    2. +
  2. +

    然后应用1D时间卷积：沿时间轴聚合信息 +$$y_{t,h,w} = \sum_{t'=-k_t}^{k_t} w_{t'} \cdot h_{t+t',h,w}$$ +这种分解的优势：

    +
    3. +
+
    +
  • 参数量减少：从$O(k_t k_h k_w)$降到$O(k_h k_w + k_t)$
    • +
  • 计算效率提升：可以并行处理空间维度
    • +
  • 灵活性：可以独立调整空间和时间的建模能力
    • +
+

伪3D卷积（Pseudo-3D）：

+

伪3D（P3D）进一步优化了因子化策略，通过残差连接保持信息流： +$$\text{P3D}(x) = \text{Conv1D}_t(\text{Conv2D}_s(x)) + \text{Conv2D}_s(x)$$ +这种设计的核心思想是：

+
    +
  • 空间路径：保持高分辨率的空间信息
    • +
  • 时间路径：建模时序动态
    • +
  • 残差连接：允许模型自适应地选择需要的时序建模程度
    • +
+

变体包括：

+
    +
  • P3D-A：串行结构，先空间后时间
    • +
  • P3D-B：并行结构，空间和时间分支独立处理后融合
    • +
  • P3D-C：瓶颈结构，使用1×1卷积降维
    • +
+

💡 设计权衡：计算效率 vs 表达能力

+
    +
  • 完整3D：最强表达力，计算量 O(k³)
    • +
  • 因子化：平衡选择，计算量 O(k² + k)
    • +
  • 伪3D：最高效，但时空交互受限
    • +
+

11.2.2 时空注意力机制

+

注意力在视频模型中至关重要，但需要精心设计以控制复杂度：

+

全时空注意力（计算密集）：

+

全时空注意力将所有时空位置视为一个序列，计算每个位置与所有其他位置的注意力： +$$\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$$ +其中序列长度为$L = T \times H \times W$。具体步骤：

+
    +
  1. +

    展平时空维度：将输入从$[B, T, C, H, W]$重塑为$[B, T \times H \times W, C]$

    +
    2. +
  2. +

    计算注意力： + - Query: $Q = xW_Q$，维度$[B, L, d_k]$ + - Key: $K = xW_K$，维度$[B, L, d_k]$
    + - Value: $V = xW_V$，维度$[B, L, d_v]$

    +
    3. +
  3. +

    注意力权重：$A_{ij} = \frac{\exp(q_i \cdot k_j / \sqrt{d_k})}{\sum_k \exp(q_i \cdot k_k / \sqrt{d_k})}$

    +
    4. +
+

计算复杂度为$O(L^2 \cdot d) = O((THW)^2 \cdot d)$，对于典型的视频尺寸（如16×256×256）是不可行的。

+

分解的时空注意力（高效）：

+

将时空注意力分解为独立的空间注意力和时间注意力，大幅降低计算复杂度：

+
    +
  1. +

    空间注意力（在每个时间步内）： +$$\text{SpatialAttn}(x_t) = \text{Attention}(x_t, x_t, x_t)$$ +其中$x_t \in \mathbb{R}^{H \times W \times C}$是第$t$帧

    +
    2. +
  2. +

    时间注意力（跨时间步）： +$$\text{TemporalAttn}(x_{:,h,w}) = \text{Attention}(x_{:,h,w}, x_{:,h,w}, x_{:,h,w})$$ +其中$x_{:,h,w} \in \mathbb{R}^{T \times C}$是位置$(h,w)$的时间序列

    +
    3. +
  3. +

    组合策略： + - 串行：$\text{Output} = \text{TemporalAttn}(\text{SpatialAttn}(x))$ + - 并行：$\text{Output} = \text{SpatialAttn}(x) + \text{TemporalAttn}(x)$ + - 交错：在不同层交替使用空间和时间注意力

    +
    4. +
+

计算复杂度降低到$O(T \cdot (HW)^2 + HW \cdot T^2)$，当$T \ll HW$时效率显著提升。

+

分块时空注意力（内存友好）：

+

将视频分成不重叠或部分重叠的时空块，在块内计算注意力：

+
    +
  1. +

    时空分块： + - 将视频分成大小为$(T_b, H_b, W_b)$的块 + - 块的数量：$N_b = \lceil T/T_b \rceil \times \lceil H/H_b \rceil \times \lceil W/W_b \rceil$

    +
    2. +
  2. +

    块内注意力： +$$\text{BlockAttn}(x_{\text{block}}) = \text{Attention}(x_{\text{block}}, x_{\text{block}}, x_{\text{block}})$$

    +
    3. +
  3. +

    块间信息传递： + - 重叠块：相邻块有$(T_o, H_o, W_o)$的重叠区域 + - 全局token：每个块额外包含少量全局token用于长程依赖 + - 层次化：在不同分辨率上使用不同大小的块

    +
    4. +
+

优势：

+
    +
  • 内存使用从$O(L^2)$降到$O(B_s^2 \times N_b)$，其中$B_s = T_b \times H_b \times W_b$
    • +
  • 可以并行处理不同的块
    • +
  • 通过调整块大小平衡效率和表达能力
    • +
+

🔬 研究方向：自适应注意力模式
+能否学习数据相关的注意力模式？例如，快速运动区域使用密集时间注意力，静态区域使用稀疏注意力。

+

11.2.3 帧间信息传播

+

确保信息在帧间有效流动是关键：

+

循环连接：

+

循环神经网络（RNN）风格的连接可以有效地传播时序信息：

+
    +
  1. +

    前向循环： +$$h_t = f(x_t, h_{t-1})$$ +其中$h_t$是时刻$t$的隐藏状态，$f$是循环单元（如LSTM、GRU或简单的线性层）

    +
    2. +
  2. +

    ConvLSTM/ConvGRU： + 将循环单元中的全连接操作替换为卷积，保持空间结构：

    +
    3. +
+

对于ConvLSTM： +$$\begin{align} + i_t &= \sigma(W_{xi} * x_t + W_{hi} * h_{t-1} + b_i) \ + f_t &= \sigma(W_{xf} * x_t + W_{hf} * h_{t-1} + b_f) \ + o_t &= \sigma(W_{xo} * x_t + W_{ho} * h_{t-1} + b_o) \ + g_t &= \tanh(W_{xg} * x_t + W_{hg} * h_{t-1} + b_g) \ + c_t &= f_t \odot c_{t-1} + i_t \odot g_t \ + h_t &= o_t \odot \tanh(c_t) + \end{align}$$ +其中$*$表示卷积操作，$\odot$表示逐元素乘法

+
    +
  1. 时序残差连接： +$$h_t = x_t + \alpha \cdot g(h_{t-1})$$ +其中$\alpha$是可学习的门控参数，$g$是变换函数
    2. +
+

双向传播：

+

双向处理可以利用未来帧的信息，提高生成质量：

+
    +
  1. +

    双向RNN结构： + - 前向：$\overrightarrow{h}_t = f_{\rightarrow}(x_t, \overrightarrow{h}_{t-1})$ + - 后向：$\overleftarrow{h}_t = f_{\leftarrow}(x_t, \overleftarrow{h}_{t+1})$ + - 融合：$h_t = g([\overrightarrow{h}_t; \overleftarrow{h}_t])$

    +
    2. +
  2. +

    时序自注意力（无方向性）： + 使用掩码控制信息流向：

    +
    3. +
+
    +
  • 因果掩码：只允许访问过去信息
    • +
  • 双向掩码：可以访问所有时间步
    • +
  • 局部窗口：限制在时间窗口内
    • +
+
    +
  1. 层次化双向传播： + - 低层：使用因果连接，保证生成的自回归性 + - 高层：使用双向连接，提高全局一致性 + - 通过这种设计平衡生成质量和推理效率
    2. +
+
+**练习 11.2：设计高效的视频架构** +

探索不同的架构设计选择。

+
    +
  1. +

    架构比较： + - 实现3种不同的3D卷积变体 + - 比较参数量、FLOPs和内存使用 + - 在小数据集上测试性能

    +
    2. +
  2. +

    注意力优化： + - 实现稀疏注意力模式 + - 测试不同的分解策略 + - 分析注意力图的时空模式

    +
    3. +
  3. +

    信息流分析： + - 可视化特征在时间维度的传播 + - 测量有效感受野 + - 识别信息瓶颈

    +
    4. +
  4. +

    混合架构设计： + - 结合CNN和Transformer的优势 + - 设计自适应的计算分配 + - 探索早期融合vs晚期融合

    +
    5. +
+
+

11.2.4 分层时序建模

+

不同时间尺度需要不同的处理策略。视频中的运动存在天然的层次结构：快速的局部运动（如树叶摆动）、中等速度的对象运动（如人行走）、缓慢的全局变化（如光照变化）。有效建模这种多尺度时序结构是视频生成的关键。

+

多尺度时间分解

+

视频的时序信息可以在多个尺度上分解和建模：

+
    +
  1. 金字塔时序结构： + 在不同的网络深度使用不同的时间分辨率。底层处理高时间分辨率捕获细节运动，高层处理低时间分辨率建模长程依赖。
    2. +
+

典型的金字塔结构：

+
    +
  • 第1-2层：全时间分辨率（所有帧）
    • +
  • 第3-4层：1/2时间分辨率（隔帧采样）
    • +
  • 第5-6层：1/4时间分辨率（每4帧采样）
    • +
  • 第7-8层：1/8时间分辨率（每8帧采样）
    • +
+

这种设计的优势：

+
    +
  • 计算效率：高层的计算量随时间分辨率降低而减少
    • +
  • 感受野扩展：在不增加层数的情况下扩大时间感受野
    • +
  • 多尺度特征：自然地捕获不同速度的运动模式
    • +
+
    +
  1. 时间频率分解： + 使用时间域的傅里叶变换或小波变换，将视频分解为不同频率成分： +$$x(t) = \sum_{k} a_k \cos(2\pi f_k t) + b_k \sin(2\pi f_k t)$$
    2. +
+
    +
  • 低频成分：对应缓慢的全局变化（场景光照、相机运动）
    • +
  • 中频成分：对应主要的对象运动
    • +
  • 高频成分：对应快速的局部变化（纹理振动、噪声）
    • +
+

不同频率成分可以用不同的网络容量建模，实现计算资源的优化分配。

+
    +
  1. 层次化时间注意力： + 设计多个注意力头，每个关注不同的时间尺度：
    2. +
+
    +
  • 局部头：注意力窗口为3-5帧，捕获短程运动连续性
    • +
  • 中程头：注意力窗口为8-16帧，建模动作序列
    • +
  • 全局头：覆盖整个视频，维持长程一致性
    • +
+

通过学习的门控机制自适应地组合不同尺度的信息： +$$h = \sum_{s \in {local, medium, global}} g_s \cdot h_s$$ +其中$g_s$是可学习的门控权重。

+

时序递归与跳跃连接

+

为了有效传播不同时间尺度的信息，需要设计合适的连接模式：

+
    +
  1. 多尺度跳跃连接： + 不仅在相邻时间步之间传递信息，还建立跨越多个时间步的直接连接： +$$h_t = f(x_t, h_{t-1}, h_{t-2}, h_{t-4}, h_{t-8})$$ +这种设计允许：
    2. +
+
    +
  • 快速传播长程信息
    • +
  • 减少梯度消失问题
    • +
  • 灵活建模不同速度的运动
    • +
+
    +
  1. +

    时序残差网络： + 在时间维度上应用残差连接，类似于ResNet在空间维度的设计： +$$h_t = x_t + F(x_t, {h_{t-k}}_{k=1}^K)$$ +其中$F$是时序变换函数，$K$是时间窗口大小。

    +
    2. +
  2. +

    门控时序传播： + 使用门控机制控制信息在时间维度的流动： +$$\begin{align} + r_t &= \sigma(W_r [x_t, h_{t-1}]) \quad \text{(重置门)} \ + z_t &= \sigma(W_z [x_t, h_{t-1}]) \quad \text{(更新门)} \ + \tilde{h}_t &= \tanh(W_h [x_t, r_t \odot h_{t-1}]) \ + h_t &= z_t \odot h_{t-1} + (1-z_t) \odot \tilde{h}_t + \end{align}$$ +门控机制允许模型自适应地决定保留多少历史信息。

    +
    3. +
+

自适应时间采样

+

不是所有视频片段都需要相同的时间分辨率。自适应采样可以提高效率：

+
    +
  1. +

    基于运动强度的采样： + 计算相邻帧之间的运动强度（如光流幅度），在运动剧烈的区域使用更密集的采样： +$$p(t) = \frac{\exp(\alpha \cdot m_t)}{\sum_{t'} \exp(\alpha \cdot m_{t'})}$$ +其中$m_t$是时刻$t$的运动强度，$p(t)$是采样概率。

    +
    2. +
  2. +

    学习式采样： + 训练一个轻量级网络预测每个时间位置的重要性分数，基于分数进行采样。这可以通过强化学习或可微分采样实现。

    +
    3. +
  3. +

    内容感知的时间聚合： + 对于静态或缓慢变化的区域，可以在时间维度上共享计算： +$$h_{t:t+k} = f_{shared}(x_{t:t+k}) \quad \text{if } \text{motion}(t:t+k) < \theta$$ +时间一致性保证

    +
    4. +
+

分层建模需要特别注意保持时间一致性：

+
    +
  1. +

    多尺度时序损失： + 在不同时间尺度上计算一致性损失： +$$\mathcal{L}_{temporal} = \sum_{s \in scales} \lambda_s \sum_{t} |f_s(x_t) - f_s(x_{t+s})|^2$$ +其中$f_s$是在尺度$s$上的特征提取器。

    +
    2. +
  2. +

    层次化正则化： + 对不同层施加不同强度的时序正则化，底层强调局部平滑，高层强调全局一致。

    +
    3. +
  3. +

    跨尺度特征对齐： + 确保不同时间尺度提取的特征在语义上一致，通过特征对齐损失实现： +$$\mathcal{L}_{align} = \sum_{s_1, s_2} |\mathbb{E}[f_{s_1}(x)] - \mathbb{E}[f_{s_2}(x)]|^2$$

    +
    4. +
+

11.2.5 Video DiT架构

+

将DiT扩展到视频领域代表了视频生成的最新发展方向。Video DiT继承了DiT在图像生成中展现的优异扩展性，同时需要解决视频特有的时序建模挑战。

+

从DiT到Video DiT的演进

+

DiT（Diffusion Transformer）在图像生成中的成功启发了视频领域的探索。关键的适配包括：

+
    +
  1. 时空patch化： + 将视频分解为时空patches是Video DiT的基础。不同于图像的2D patches，视频需要3D patches： +$$\text{Video} \in \mathbb{R}^{T \times H \times W \times C} \rightarrow \text{Patches} \in \mathbb{R}^{N \times D}$$ +其中$N = \frac{T}{p_t} \times \frac{H}{p_h} \times \frac{W}{p_w}$，$(p_t, p_h, p_w)$是patch大小。
    2. +
+

常见的patch策略：

+
    +
  • 立方体patches：$(p_t, p_h, p_w) = (4, 16, 16)$，每个patch包含4帧
    • +
  • 时间分解patches：$(p_t, p_h, p_w) = (1, 16, 16)$，保持时间分辨率
    • +
  • 自适应patches：根据运动强度动态调整patch大小
    • +
+
    +
  1. 位置编码的扩展： + Video DiT需要同时编码空间和时间位置： +$$PE(t, h, w) = PE_{temporal}(t) + PE_{spatial}(h, w)$$ +时间位置编码通常使用：
    2. +
+
    +
  • 绝对位置编码：为每个时间步分配固定的编码
    • +
  • 相对位置编码：编码时间步之间的相对距离
    • +
  • 周期性编码：适合处理循环或周期性运动
    • +
+
    +
  1. 注意力机制的适配： + 全时空注意力的计算复杂度是$O((T \cdot H \cdot W)^2)$，实际中需要优化：
    2. +
+
    +
  • 因子化注意力：交替进行空间和时间注意力
    • +
  • 窗口注意力：在局部时空窗口内计算注意力
    • +
  • 轴向注意力：沿着特定轴（时间、高度、宽度）计算
    • +
+

Video DiT的核心组件

+
    +
  1. +

    时空Transformer块： + 每个块包含多个子层，处理不同方面的信息： +$$\begin{align} + h^{(1)} &= h^{(0)} + \text{SpatialAttn}(\text{LN}(h^{(0)})) \ + h^{(2)} &= h^{(1)} + \text{TemporalAttn}(\text{LN}(h^{(1)})) \ + h^{(3)} &= h^{(2)} + \text{FFN}(\text{LN}(h^{(2)})) + \end{align}$$ +这种设计允许模型分别处理空间和时间关系，同时保持计算效率。

    +
    2. +
  2. +

    条件机制： + Video DiT通过多种方式注入条件信息：

    +
    3. +
+
    +
  • +

    自适应层归一化（AdaLN）：根据时间步和条件调制归一化参数 +$$\text{AdaLN}(h, c, t) = \gamma(c, t) \odot \text{Normalize}(h) + \beta(c, t)$$

    +
    • +
  • +

    交叉注意力：与文本或其他条件信息进行交叉注意力 +$$h = h + \text{CrossAttn}(h, c_{text})$$

    +
    • +
  • +

    条件偏置：直接将条件信息作为偏置项加入 +$$h = h + f_{bias}(c)$$

    +
    • +
+
    +
  1. 时间感知的前馈网络： + 标准的FFN可以扩展为时间感知版本： +$$\text{T-FFN}(x) = W_2 \cdot \text{GELU}(W_1 \cdot x + b_1) + b_2$$ +其中权重$W_1, W_2$可以是时间相关的，允许不同时间步使用不同的变换。
    2. +
+

架构变体与优化

+
    +
  1. 分层Video DiT： + 使用不同分辨率的特征图，类似U-Net的设计：
    2. +
+
    +
  • 编码器路径：逐步降低空间分辨率，增加通道数
    • +
  • 瓶颈层：在低分辨率下进行主要的时空建模
    • +
  • 解码器路径：恢复空间分辨率，保持时间一致性
    • +
+
    +
  1. 混合架构： + 结合CNN和Transformer的优势：
    2. +
+
    +
  • 底层：使用3D卷积处理局部时空模式
    • +
  • 中层：使用Transformer建模长程依赖
    • +
  • 顶层：使用轻量级卷积恢复细节
    • +
+
    +
  1. 稀疏Video DiT： + 通过稀疏化减少计算量：
    2. +
+
    +
  • Token剪枝：动态移除不重要的时空tokens
    • +
  • 注意力稀疏化：只计算最相关的注意力连接
    • +
  • 混合精度：对不同组件使用不同精度
    • +
+

扩展性分析

+

Video DiT的一个关键优势是其优异的扩展性：

+
    +
  1. +

    模型规模扩展： + 研究表明，Video DiT遵循类似图像DiT的扩展定律： +$$\text{Loss} \propto C^{-\alpha} \cdot N^{-\beta} \cdot D^{-\gamma}$$ +其中$C$是计算量，$N$是参数量，$D$是数据量，$\alpha, \beta, \gamma$是扩展指数。

    +
    2. +
  2. +

    数据扩展： + Video DiT可以有效利用大规模视频数据：

    +
    3. +
+
    +
  • 从数百万到数十亿视频片段
    • +
  • 多样化的视频源（电影、监控、用户生成内容）
    • +
  • 多模态数据（视频+文本+音频）
    • +
+
    +
  1. 计算扩展： + 通过分布式训练技术扩展到数千个GPU：
    2. +
+
    +
  • 数据并行：不同GPU处理不同批次
    • +
  • 模型并行：将模型分割到多个GPU
    • +
  • 流水线并行：将不同层分配到不同GPU
    • +
+

性能优化技术

+
    +
  1. +

    Flash Attention适配： + 将Flash Attention扩展到3D注意力，显著减少内存使用： +$$\text{Memory} = O(\sqrt{N}) \text{ instead of } O(N)$$

    +
    2. +
  2. +

    梯度累积与检查点： + - 时间维度的梯度累积，减少批次大小需求 + - 选择性激活检查点，平衡内存和计算

    +
    3. +
  3. +

    混合训练策略： + - 先在低分辨率训练，逐步增加分辨率 + - 使用知识蒸馏从大模型训练小模型 + - 课程学习：从简单到复杂的视频

    +
    4. +
+

🌟 前沿探索：视频生成的扩展定律
+DiT证明了图像生成的扩展定律。视频生成是否有类似规律？时间维度如何影响扩展？这是开放的研究问题。

+

11.2.6 轻量级视频架构

+

对于实时或移动应用，需要更轻量的设计。轻量级视频架构的目标是在保持生成质量的同时，大幅降低计算和内存需求，使视频生成能够在资源受限的环境中运行。

+

设计原则与权衡

+

轻量级架构设计需要在多个维度上进行权衡：

+
    +
  1. +

    质量vs速度： + - 降低模型容量会影响生成质量 + - 需要找到最优的质量-效率平衡点 + - 通过架构创新而非简单缩放来提升效率

    +
    2. +
  2. +

    通用性vs专用性： + - 专用模型（如只生成人脸视频）可以更高效 + - 通用模型需要更多容量处理多样化内容 + - 可以通过模块化设计实现灵活性

    +
    3. +
  3. +

    延迟vs吞吐量： + - 实时应用关注单帧延迟 + - 批处理应用关注整体吞吐量 + - 不同优化策略适用于不同场景

    +
    4. +
+

核心轻量化技术

+
    +
  1. +

    深度可分离时空卷积： + 将标准3D卷积分解为深度卷积和逐点卷积： +$$\begin{align} + \text{Standard 3D Conv}: & \quad O(k_t \cdot k_h \cdot k_w \cdot C_{in} \cdot C_{out}) \ + \text{Depthwise + Pointwise}: & \quad O(k_t \cdot k_h \cdot k_w \cdot C_{in} + C_{in} \cdot C_{out}) + \end{align}$$ +参数量减少比例：$\frac{1}{C_{out}} + \frac{1}{k_t \cdot k_h \cdot k_w}$

    +
    2. +
  2. +

    时间池化与上采样： + 在时间维度进行下采样处理，然后恢复：

    +
    3. +
+
    +
  • +

    编码阶段：时间池化降低帧率 +$$x_{pooled} = \text{MaxPool1D}(x, \text{kernel}=2, \text{stride}=2)$$

    +
    • +
  • +

    处理阶段：在低帧率下进行主要计算

    +
    • +
  • +

    解码阶段：时间上采样恢复帧率 +$$x_{upsampled} = \text{Interpolate}(x, \text{scale}=2, \text{mode}='linear')$$

    +
    • +
+
    +
  1. 动态稀疏计算： + 根据内容自适应地分配计算资源：
    2. +
+
    +
  • +

    运动检测：识别静态和动态区域 +$$M_{t,h,w} = |x_{t,h,w} - x_{t-1,h,w}| > \theta$$

    +
    • +
  • +

    稀疏处理：只在动态区域进行完整计算 +$$y_{t,h,w} = \begin{cases} + f_{full}(x_{t,h,w}) & \text{if } M_{t,h,w} = 1 \ + f_{light}(x_{t,h,w}) & \text{otherwise} + \end{cases}$$

    +
    • +
  • +

    自适应精度：动态区域使用高精度，静态区域使用低精度

    +
    • +
+

高效架构设计

+
    +
  1. 共享Backbone + 轻量时间模块：
    2. +
+

架构组成：

+
    +
  • 共享2D Backbone：处理每帧的空间特征，参数在帧间共享
    • +
  • 轻量时间模块：只处理时间维度的交互
    • +
  • 特征重用：缓存和重用静态区域的特征
    • +
+

优势：

+
    +
  • 大部分参数（2D backbone）可以重用
    • +
  • 时间模块可以很轻量（如1D卷积）
    • +
  • 易于从预训练的图像模型初始化
    • +
+
    +
  1. 渐进式生成：
    2. +
+

分阶段生成策略：

+
    +
  • 关键帧生成：先生成稀疏的关键帧（如每8帧）
    • +
  • 粗粒度插值：快速生成中间帧的低频信息
    • +
  • 细节增强：选择性地增强重要区域的细节
    • +
+

计算分配：

+
    +
  • 关键帧：60%计算资源
    • +
  • 插值：30%计算资源
    • +
  • 增强：10%计算资源
    • +
+
    +
  1. 模型压缩技术：
    2. +
+
    +
  • +

    量化：将权重和激活从FP32降到INT8或更低 +$$w_{quantized} = \text{round}(w \cdot s) / s$$ +其中$s$是量化尺度

    +
    • +
  • +

    剪枝：移除不重要的连接或通道

    +
      +
    • 结构化剪枝：移除整个通道或层
      • +
    • 非结构化剪枝：移除单个权重
      • +
    +
    • +
  • +

    知识蒸馏：从大模型学习 +$$\mathcal{L}_{distill} = \alpha \mathcal{L}_{task} + (1-\alpha) \mathcal{L}_{KD}$$ +其中$\mathcal{L}_{KD}$是与教师模型输出的匹配损失

    +
    • +
+

移动端优化

+
    +
  1. 神经架构搜索（NAS）： + 自动搜索适合特定硬件的架构：
    2. +
+
    +
  • 搜索空间：定义可能的操作和连接
    • +
  • 硬件感知：考虑实际延迟而非理论FLOPs
    • +
  • 多目标优化：同时优化质量、速度和能耗
    • +
+
    +
  1. 算子融合： + 将多个操作融合为单个kernel：
    2. +
+
    +
  • Conv-BN-ReLU融合：减少内存访问
    • +
  • 注意力融合：将Q、K、V计算融合
    • +
  • 自定义CUDA kernel：针对特定模式优化
    • +
+
    +
  1. 边缘-云协同：
    2. +
+

混合计算架构：

+
    +
  • +

    边缘设备：低延迟的轻量处理

    +
      +
    • 运动估计
      • +
    • 简单的帧插值
      • +
    • 实时预览
      • +
    +
    • +
  • +

    云端：高质量的完整生成

    +
      +
    • 复杂的扩散采样
      • +
    • 高分辨率细节
      • +
    • 多模态融合
      • +
    +
    • +
  • +

    自适应切换：根据网络条件和需求动态分配

    +
    • +
+

基准测试与评估

+

轻量级模型需要全面的评估：

+
    +
  1. +

    效率指标： + - 实际延迟：在目标硬件上的推理时间 + - 内存占用：峰值GPU/内存使用 + - 能耗：移动设备上的电池消耗 + - 模型大小：存储需求

    +
    2. +
  2. +

    质量指标： + - FVD degradation：相对于完整模型的质量下降 + - 时序一致性：是否保持流畅性 + - 用户研究：实际用户的接受度

    +
    3. +
  3. +

    应用特定指标： + - 首帧延迟：用户等待时间 + - 流畅度：帧率稳定性 + - 交互响应：用户输入的响应速度

    +
    4. +
+

💡 实践建议：架构选择指南

+
    +
  • 高质量离线生成：使用完整3D架构
    • +
  • 实时应用：使用因子化或伪3D
    • +
  • 移动设备：使用共享backbone + 轻量时间模块
    • +
  • 长视频：使用分层架构避免内存爆炸
    • +
+

11.3 条件控制与运动引导

+

11.3.1 文本到视频生成

+

文本条件是视频生成最重要的控制方式：

+

时序感知的文本编码：

+

传统的文本编码器（如CLIP）主要为静态图像设计，缺乏对时序信息的理解。为了有效地指导视频生成，需要增强文本编码器的时序感知能力：

+
    +
  1. +

    时序标记增强： + 在文本序列中引入特殊的时序标记，帮助模型理解时间关系： +$$\text{Input: "A cat [FIRST] sits, [THEN] stands up, [FINALLY] walks away"}$$ +这些标记通过专门的embedding层编码，提供明确的时序锚点。

    +
    2. +
  2. +

    动作感知的注意力机制： + 设计专门的注意力头关注动词和时序修饰词： +$$\alpha_{verb} = \text{softmax}(\frac{Q_{verb} \cdot K^T}{\sqrt{d}})$$ +其中$Q_{verb}$是专门提取动词特征的查询向量。

    +
    3. +
  3. +

    时间锚定编码： + 将文本中的时间信息映射到视频的具体时间段： +$$t_{anchor} = f_{time}(\text{"in the beginning"}) \rightarrow [0, 0.3T]$$ + $$t_{anchor} = f_{time}(\text{"halfway through"}) \rightarrow [0.4T, 0.6T]$$ +这种映射通过学习的时间解析网络实现。

    +
    4. +
+

动作词提取与对齐：

+

动作词是视频生成的核心，需要精确提取并与视频时序对齐：

+
    +
  1. 动作词识别： + 使用预训练的语言模型或词性标注器识别动作词：
    2. +
+
    +
  • 主要动词："run", "jump", "dance"
    • +
  • 动作短语："pick up", "sit down", "turn around"
    • +
  • 持续性标记："continuously", "repeatedly", "gradually"
    • +
+
    +
  1. +

    动作时序建模： + 每个动作词关联一个时间分布： +$$p(t|\text{action}) = \mathcal{N}(\mu_{action}, \sigma_{action}^2)$$ +其中$\mu_{action}$表示动作的中心时刻，$\sigma_{action}$表示持续时间。

    +
    2. +
  2. +

    动作转换序列： + 多个动作之间的转换通过转移概率建模： +$$P(a_2|a_1) = \text{TransitionNet}(\text{embed}(a_1), \text{embed}(a_2))$$ +这帮助生成流畅的动作序列。

    +
    3. +
  3. +

    动作强度调制： + 修饰词调整动作的执行方式：

    +
    4. +
+
    +
  • "slowly" → 降低运动速度，增加持续时间
    • +
  • "violently" → 增加运动幅度，添加抖动
    • +
  • "gracefully" → 平滑运动轨迹，减少突变
    • +
+

💡 关键技巧：时序提示工程
+有效的视频生成提示需要包含：

+
    +
  • 明确的时序词汇（"首先"、"然后"、"最后"）
    • +
  • 动作的持续时间（"缓慢地"、"快速地"）
    • +
  • 运动方向（"从左到右"、"向上"）
    • +
+

11.3.2 图像动画化

+

将静态图像转换为动态视频：

+

图像编码与运动预测：

+

从单张图像生成视频需要推断可能的运动模式。这涉及理解图像内容并预测合理的动态：

+
    +
  1. 深度感知编码： + 提取图像的多层次特征，包括：
    2. +
+
    +
  • +

    对象级特征：使用预训练的检测器（如DETR）识别可动对象 +$$\mathbf{f}_{obj} = \text{ObjectEncoder}(\text{image})$$

    +
    • +
  • +

    场景级特征：理解整体场景类型（室内/室外、静态/动态） +$$\mathbf{f}_{scene} = \text{SceneEncoder}(\text{image})$$

    +
    • +
  • +

    纹理级特征：捕获可能暗示运动的视觉线索（如模糊、方向性纹理） +$$\mathbf{f}_{texture} = \text{TextureEncoder}(\text{image})$$

    +
    • +
+
    +
  1. 运动可能性预测： + 基于图像内容预测可能的运动类型： +$$P(\text{motion}|\text{image}) = \text{softmax}(\text{MLP}([\mathbf{f}_{obj}; \mathbf{f}_{scene}; \mathbf{f}_{texture}]))$$ +运动类型包括：
    2. +
+
    +
  • 刚体运动（平移、旋转）
    • +
  • 形变运动（弹性、流体）
    • +
  • 关节运动（人体、动物）
    • +
  • 环境运动（风、水、光照变化）
    • +
+
    +
  1. 初始运动场估计： + 生成第一帧到第二帧的运动场： +$$\mathbf{v}_{init} = \text{FlowDecoder}(\mathbf{f}_{image}, \mathbf{z}_{motion})$$ +其中$\mathbf{z}_{motion}$是采样的运动潜变量，引入随机性。
    2. +
+

运动类型分解：

+

将复杂运动分解为基本组件，便于控制和生成：

+
    +
  1. +

    全局运动（相机运动）： + 相机运动影响整个场景： +$$\mathbf{v}_{global} = \begin{cases} + \text{pan}: & (u, v) = (\alpha, 0) \ + \text{tilt}: & (u, v) = (0, \beta) \ + \text{zoom}: & (u, v) = \gamma(x - c_x, y - c_y) \ + \text{rotate}: & (u, v) = \omega(-y + c_y, x - c_x) + \end{cases}$$ +其中$(c_x, c_y)$是图像中心，$\alpha, \beta, \gamma, \omega$是运动参数。

    +
    2. +
  2. +

    局部对象运动： + 每个对象的独立运动： +$$\mathbf{v}_{local}^{(i)} = \mathbf{v}_{translate}^{(i)} + \mathbf{v}_{rotate}^{(i)} + \mathbf{v}_{deform}^{(i)}$$

    +
    3. +
+
    +
  • 平移：对象整体移动
    • +
  • 旋转：围绕对象中心旋转
    • +
  • 形变：非刚性变化（如布料飘动）
    • +
+
    +
  1. 精细纹理运动： + 小尺度的动态细节：
    2. +
+
    +
  • 水面涟漪：周期性波动模式
    • +
  • 树叶摆动：随机但受约束的运动
    • +
  • 火焰闪烁：湍流运动模式
    • +
+

这些通过程序化生成或学习的纹理动画网络实现。

+
    +
  1. 运动合成： + 将不同层次的运动组合： +$$\mathbf{v}_{final} = \mathbf{v}_{global} + \sum_i M^{(i)} \odot \mathbf{v}_{local}^{(i)} + \lambda \cdot \mathbf{v}_{texture}$$ +其中$M^{(i)}$是第$i$个对象的掩码，$\lambda$控制纹理运动的强度。
    2. +
+

🔬 研究挑战：运动的歧义性
+同一张图像可能对应多种合理的运动。如何处理这种多模态性？可以使用变分方法或条件流匹配来建模运动分布。

+

11.3.3 运动轨迹控制

+

精确控制视频中的运动路径：

+

轨迹表示与编码：

+

运动轨迹提供了直观而精确的视频控制方式。有效的轨迹表示需要平衡灵活性和计算效率：

+
    +
  1. 参数化轨迹表示： + 使用数学曲线描述运动路径：
    2. +
+
    +
  • +

    贝塞尔曲线：灵活的曲线表示 +$$\mathbf{B}(t) = \sum_{i=0}^n \binom{n}{i} (1-t)^{n-i} t^i \mathbf{P}_i$$ +其中$\mathbf{P}_i$是控制点，$t \in [0,1]$是曲线参数

    +
    • +
  • +

    B样条曲线：局部控制的平滑曲线 +$$\mathbf{S}(t) = \sum_{i} N_{i,k}(t) \mathbf{P}_i$$ +其中$N_{i,k}$是B样条基函数

    +
    • +
  • +

    傅里叶级数：周期性运动 +$$\mathbf{F}(t) = \mathbf{a}_0 + \sum_{k=1}^N [\mathbf{a}_k \cos(k\omega t) + \mathbf{b}_k \sin(k\omega t)]$$

    +
    • +
+
    +
  1. 离散点序列表示： + 直接指定关键时刻的位置： +$$\mathcal{T} = {(t_i, \mathbf{p}_i) | i = 1, ..., K}$$ +其中$t_i$是时间戳，$\mathbf{p}_i = (x_i, y_i)$是位置。
    2. +
+

优势：

+
    +
  • 直观的用户交互（拖拽式编辑）
    • +
  • 灵活处理不规则运动
    • +
  • 易于施加约束（如避障）
    • +
+
    +
  1. 轨迹编码网络： + 将轨迹信息融入扩散模型： +$$\mathbf{h}_{traj} = \text{TrajectoryEncoder}(\mathcal{T})$$ +编码器设计：
    2. +
+
    +
  • 时间卷积：捕获轨迹的局部模式
    • +
  • 注意力机制：建模轨迹点之间的关系
    • +
  • 位置编码：保留时序信息
    • +
+

稀疏控制点插值：

+

用户通常只提供少量关键点，需要智能插值生成完整轨迹：

+
    +
  1. 物理感知插值： + 考虑物理约束的插值方法：
    2. +
+
    +
  • +

    最小加速度路径：最小化加速度变化 +$$\min \int_0^T |\ddot{\mathbf{p}}(t)|^2 dt$$

    +
    • +
  • +

    能量最小化：模拟自然运动 +$$\min \int_0^T [\frac{1}{2}m|\dot{\mathbf{p}}(t)|^2 + V(\mathbf{p}(t))] dt$$ +其中$V$是势能函数

    +
    • +
+
    +
  1. 学习式插值： + 使用神经网络预测中间点： +$$\mathbf{p}_{interp} = \text{InterpolationNet}(\mathbf{p}_{before}, \mathbf{p}_{after}, t_{relative}, \mathbf{c}_{context})$$ +其中：
    2. +
+
    +
  • $\mathbf{p}_{before}, \mathbf{p}_{after}$：前后控制点
    • +
  • $t_{relative}$：相对时间位置
    • +
  • $\mathbf{c}_{context}$：上下文信息（对象类型、场景等）
    • +
+
    +
  1. 多对象轨迹协调： + 处理多个对象的轨迹交互：
    2. +
+
    +
  • +

    碰撞避免： +$$\mathcal{L}_{collision} = \sum_{i \neq j} \max(0, r_i + r_j - |\mathbf{p}_i(t) - \mathbf{p}_j(t)|)$$ +其中$r_i, r_j$是对象半径

    +
    • +
  • +

    群体行为： +$$\mathbf{v}_i = \mathbf{v}_{desired} + \alpha \mathbf{v}_{separation} + \beta \mathbf{v}_{alignment} + \gamma \mathbf{v}_{cohesion}$$ +模拟鸟群、鱼群等集体运动

    +
    • +
+
    +
  1. 轨迹引导的扩散： + 在扩散过程中施加轨迹约束： +$$\mathbf{x}_t = \text{Denoise}(\mathbf{x}_{t+1}, t, \mathbf{c}_{text}) + \lambda_t \nabla_{\mathbf{x}} \log p(\mathcal{T}|\mathbf{x})$$ +其中第二项是轨迹一致性的梯度引导。
    2. +
+
+**练习 11.3：实现交互式视频控制** +

设计和实现各种视频控制机制。

+
    +
  1. +

    文本控制实验： + - 实现时序感知的文本编码器 + - 测试不同的动作词对齐策略 + - 评估生成视频与文本的一致性

    +
    2. +
  2. +

    运动轨迹设计： + - 实现基于贝塞尔曲线的轨迹 + - 支持多对象独立轨迹 + - 处理轨迹冲突和遮挡

    +
    3. +
  3. +

    交互式编辑： + - 实现拖拽式视频编辑 + - 支持局部区域的运动控制 + - 保持未编辑区域的稳定性

    +
    4. +
  4. +

    多模态控制： + - 结合文本、轨迹、参考视频 + - 设计控制信号的融合策略 + - 处理冲突的控制指令

    +
    5. +
+
+

11.3.4 风格与内容解耦

+

分离视频的内容（什么）和风格（如何）：

+

内容-风格分离的动机：

+

视频中的内容和风格解耦允许更灵活的创作和编辑。内容指“发生了什么”（对象、动作、场景），风格指“看起来怎么样”（视觉美学、色彩、纹理）。

+

双分支编码器架构：

+
    +
  1. 内容编码器： + 提取与风格无关的结构信息： +$$\mathbf{z}_{content} = E_{content}(\mathbf{x})$$ +内容编码器关注：
    2. +
+
    +
  • 对象身份和位置
    • +
  • 运动模式和轨迹
    • +
  • 场景布局和深度
    • +
  • 时序关系和因果
    • +
+
    +
  1. 风格编码器： + 提取视觉风格特征： +$$\mathbf{z}_{style} = E_{style}(\mathbf{x})$$ +风格编码器关注：
    2. +
+
    +
  • 颜色分布和调色板
    • +
  • 纹理模式和笔触
    • +
  • 光照氛围和对比度
    • +
  • 艺术风格（写实、卡通、油画等）
    • +
+

解耦训练策略：

+
    +
  1. +

    对抗性解耦： + 使用领域判别器确保内容编码不包含风格信息： +$$\mathcal{L}_{adv} = -\log D_{style}(\mathbf{z}_{content})$$ +其中$D_{style}$试图从内容编码中预测风格标签。

    +
    2. +
  2. +

    交叉重建： + 交换不同视频的内容和风格： +$$\mathbf{x}_{AB} = G(\mathbf{z}_{content}^A, \mathbf{z}_{style}^B)$$ +重建损失： +$$\mathcal{L}_{cross} = |\mathbf{x}_{AB} - \mathbf{x}_B|_{content} + |\mathbf{x}_{AB} - \mathbf{x}_A|_{style}$$

    +
    3. +
  3. +

    循环一致性： + 确保解耦-重组的可逆性： +$$\mathcal{L}_{cycle} = |G(E_{content}(\mathbf{x}), E_{style}(\mathbf{x})) - \mathbf{x}|$$ +时序一致的风格迁移：

    +
    4. +
+

视频风格迁移面临的最大挑战是保持时间一致性：

+
    +
  1. +

    帧间一致性约束： + 防止风格在帧间闪烁： +$$\mathcal{L}_{temporal} = \sum_t |\mathcal{W}(\mathbf{y}_t, \mathbf{y}_{t+1}) - \mathcal{W}(\mathbf{x}_t, \mathbf{x}_{t+1})|$$ +其中$\mathcal{W}$是光流弯曲函数，$\mathbf{y}$是风格化后的视频。

    +
    2. +
  2. +

    长程风格一致性： + 使用全局风格编码确保整体一致： +$$\mathbf{z}_{style}^{global} = \text{Aggregate}({\mathbf{z}_{style}^t}_{t=1}^T)$$ +聚合方式包括：

    +
    3. +
+
    +
  • 平均池化：简单但有效
    • +
  • 注意力池化：自适应加权
    • +
  • 时序卷积：捕获风格变化
    • +
+
    +
  1. +

    运动保持风格化： + 保持原始运动同时改变视觉风格： +$$\mathbf{y}_t = \mathcal{S}(\mathbf{x}_t, \mathbf{z}_{style}) + \lambda \cdot (\mathbf{x}_t - \mathbf{x}_{t-1})$$ +其中$\mathcal{S}$是风格化函数，第二项保持运动信息。

    +
    2. +
  2. +

    多尺度风格融合： + 在不同空间尺度应用风格：

    +
    3. +
+
    +
  • 全局风格：整体色调、氛围
    • +
  • 局部风格：纹理、笔触细节
    • +
  • 对象级风格：特定对象的风格化
    • +
+

应用场景：

+
    +
  1. 视频艺术化：将普通视频转换为艺术风格
    2. +
  2. 风格迁移：在保持动作的情况下改变视觉风格
    3. +
  3. 域适应：将合成数据转换为真实风格
    4. +
  4. 创意编辑：混合不同视频的内容和风格
    5. +
+

11.3.5 细粒度属性控制

+

控制视频的特定属性：

+

属性控制的层次结构：

+

视频生成中的细粒度控制需要在多个层次上操作，从全局属性到局部细节：

+
    +
  1. 全局属性控制： + 影响整个视频的属性：
    2. +
+
    +
  • +

    速度控制：调整整体播放速度 +$$\mathbf{x}'_t = \mathbf{x}_{\lfloor \alpha \cdot t \rfloor}$$ +其中$\alpha > 1$加速，$\alpha < 1$减速

    +
    • +
  • +

    亮度/对比度：全局色彩调整 +$$\mathbf{x}'_{rgb} = \gamma \cdot (\mathbf{x}_{rgb} - 0.5) + 0.5 + \beta$$ +其中$\gamma$控制对比度，$\beta$控制亮度

    +
    • +
  • +

    运动强度：全局运动幅度缩放 +$$\mathbf{v}'(t) = \lambda_{motion} \cdot \mathbf{v}(t)$$

    +
    • +
+
    +
  1. 对象级属性： + 针对特定对象的控制：
    2. +
+
    +
  • 对象速度：独立调整每个对象的运动速度
    • +
  • 对象大小：动态缩放特定对象
    • +
  • 对象可见性：控制对象的出现和消失时机
    • +
+

通过对象掩码$M^{(i)}$实现精确控制： +$$\mathbf{x}'_t = \sum_i M^{(i)}_t \odot f_i(\mathbf{x}_t, \theta^{(i)}) + (1 - \cup_i M^{(i)}_t) \odot \mathbf{x}_t$$

+
    +
  1. 局部属性编辑： + 细粒度的空间-时间区域控制：
    2. +
+
    +
  • 局部运动模糊：在高速运动区域添加模糊
    • +
  • 局部色彩变化：特定区域的颜色调整
    • +
  • 纹理动画：如水面波纹、火焰闪烁
    • +
+

属性解耦表示：

+

为了实现独立的属性控制，需要学习解耦的表示：

+
    +
  1. +

    变分属性编码： + 使用VAE框架学习解耦表示： +$$q(\mathbf{z}|\mathbf{x}) = \prod_k q(\mathbf{z}_k|\mathbf{x})$$ +其中每个$\mathbf{z}_k$对应一个可控属性（速度、颜色、形状等）。

    +
    2. +
  2. +

    信息瓶颈： + 通过信息论约束促进解耦： +$$\mathcal{L}_{IB} = \beta \cdot I(\mathbf{z}_k; \mathbf{x}) - I(\mathbf{z}_k; \mathbf{y}_k)$$ +最小化与输入的互信息，最大化与目标属性的互信息。

    +
    3. +
  3. +

    属性特定的损失函数： + 为每个属性设计专门的损失：

    +
    4. +
+
    +
  • 运动一致性损失：确保运动属性的改变是平滑的
    • +
  • 颜色恒定性损失：保持对象颜色在时间上的稳定
    • +
  • 形状保持损失：防止不期望的形变
    • +
+

交互式属性调整：

+

提供直观的用户界面进行实时调整：

+
    +
  1. +

    滑块控制： + 连续属性的实时调整（速度、大小、亮度） +$$\mathbf{x}'_t = G(\mathbf{z}_{content}, {\alpha_k \cdot \mathbf{z}_k}_{k=1}^K)$$ +其中$\alpha_k \in [0, 2]$是用户控制的缩放因子。

    +
    2. +
  2. +

    时间曲线编辑： + 属性随时间的变化曲线：

    +
    3. +
+
    +
  • 关键帧插值：在特定时刻设置属性值
    • +
  • 贝塞尔曲线：平滑的属性过渡
    • +
  • 周期函数：循环变化的属性
    • +
+
    +
  1. 语义属性映射： + 将高级语义映射到低级控制：
    2. +
+
    +
  • "更快" → 增加速度因子
    • +
  • "更亮" → 调整亮度参数
    • +
  • "更流畅" → 增强运动平滑性
    • +
+

🌟 前沿方向：可组合的视频控制
+如何设计一个统一框架，支持任意组合的控制信号（文本+轨迹+风格+属性）？这需要解决控制信号的对齐、融合和冲突解决。

+

11.3.6 物理约束与真实感

+

确保生成的运动符合物理规律：

+

物理约束的重要性：

+

真实感的视频生成需要遵循物理规律。违反物理直觉的运动会立即被观察者察觉，破坏沉浸感。将物理约束集成到扩散模型中是提高生成质量的关键。

+

基础物理定律的建模：

+
    +
  1. 牛顿运动定律： + 物体的运动应遵循基本力学原理：
    2. +
+
    +
  • +

    惯性定律：物体保持匀速直线运动或静止 +$$\mathbf{v}_{t+1} = \mathbf{v}_t \quad \text{(无外力时)}$$

    +
    • +
  • +

    力与加速度：$F = ma$ +$$\mathbf{a}_t = \frac{\mathbf{F}_t}{m}$$ + $$\mathbf{v}_{t+1} = \mathbf{v}_t + \mathbf{a}_t \cdot \Delta t$$

    +
    • +
  • +

    作用与反作用：碰撞时的动量守恒 +$$m_1\mathbf{v}_1 + m_2\mathbf{v}_2 = m_1\mathbf{v}'_1 + m_2\mathbf{v}'_2$$

    +
    • +
+
    +
  1. 重力影响： + 所有物体都受重力影响： +$$\mathbf{p}_{t+1} = \mathbf{p}_t + \mathbf{v}_t \cdot \Delta t + \frac{1}{2}\mathbf{g} \cdot \Delta t^2$$ +其中$\mathbf{g} = (0, -9.8)$ m/s²是重力加速度。
    2. +
+

不同物体的下落特性：

+
    +
  • 重物：快速下落，轨迹接近抛物线
    • +
  • 轻物（羽毛、纸片）：受空气阻力影响，飘落
    • +
  • 气球：可能上升（浮力大于重力）
    • +
+
    +
  1. 碰撞与反弹： + 物体碰撞时的行为：
    2. +
+
    +
  • +

    弹性碰撞：能量守恒 +$$e = \frac{v'_{separation}}{v_{approach}}$$ +其中$e$是恢复系数（0=完全非弹性，1=完全弹性）

    +
    • +
  • +

    摩擦力：影响滑动和滚动 +$$\mathbf{F}_{friction} = -\mu \cdot N \cdot \frac{\mathbf{v}}{|\mathbf{v}|}$$ +软体与流体动力学：

    +
    • +
+
    +
  1. 弹性形变： + 软体物体的形变遵循胡克定律： +$$\mathbf{F} = -k \cdot \Delta \mathbf{x}$$ +应用场景：
    2. +
+
    +
  • 布料模拟：悬垂、飘动、褶皱
    • +
  • 弹性物体：橡胶球的压缩和恢复
    • +
  • 肌肉运动：人体和动物的自然运动
    • +
+
    +
  1. 流体运动： + 液体和气体的运动遵循纳维-斯托克斯方程（简化版）： +$$\frac{\partial \mathbf{v}}{\partial t} + (\mathbf{v} \cdot \nabla)\mathbf{v} = -\frac{1}{\rho}\nabla p + \nu \nabla^2 \mathbf{v} + \mathbf{f}$$ +在实践中，使用简化的涡流模型：
    2. +
+
    +
  • 烟雾：上升并扩散
    • +
  • 水流：遵循容器形状
    • +
  • 火焰：湍流和闪烁
    • +
+

物理感知的损失函数：

+
    +
  1. +

    运动平滑性损失： + 惩罚不自然的加速度变化： +$$\mathcal{L}_{smooth} = \sum_t |\mathbf{a}_{t+1} - \mathbf{a}_t|^2$$

    +
    2. +
  2. +

    能量守恒损失： + 确保系统总能量合理： +$$\mathcal{L}_{energy} = \left| E_{t+1} - E_t - W_{external} \right|$$ +其中$E = E_{kinetic} + E_{potential}$，$W_{external}$是外力做功。

    +
    3. +
  3. +

    接触约束损失： + 防止物体穿透： +$$\mathcal{L}_{contact} = \sum_{i,j} \max(0, d_{min} - |\mathbf{p}_i - \mathbf{p}_j|)$$ +其中$d_{min}$是最小允许距离。

    +
    4. +
+

物理引导的采样：

+

在扩散过程中施加物理约束：

+
    +
  1. +

    梯度引导： + 在每个去噪步骤添加物理梯度： +$$\mathbf{x}_{t-1} = \mu_\theta(\mathbf{x}_t, t) + \lambda \nabla_{\mathbf{x}} \log p_{physics}(\mathbf{x}_t)$$ +其中$p_{physics}$是物理合理性的概率模型。

    +
    2. +
  2. +

    投影方法： + 将生成的运动投影到物理可行空间： +$$\mathbf{x}'_t = \text{Project}_{physics}(\mathbf{x}_t)$$

    +
    3. +
+

投影操作包括：

+
    +
  • 速度限制：限制最大速度
    • +
  • 位置修正：解决穿透问题
    • +
  • 动量调整：保持守恒
    • +
+
    +
  1. 多步预测-修正： + 交替进行扩散步骤和物理修正：
    2. +
+
    +
  • 预测步：使用扩散模型生成
    • +
  • 修正步：应用物理约束
    • +
  • 迭代直到收敛
    • +
+

学习隐式物理：

+

除了显式约束，模型可以从数据中学习隐式物理：

+
    +
  1. +

    物理增强训练： + - 使用物理仿真生成训练数据 + - 在真实数据上微调 + - 混合真实和仿真数据

    +
    2. +
  2. +

    物理感知架构： + - 在网络中嵌入物理先验 + - 使用图神经网络建模物体交互 + - 分离运动学和动力学建模

    +
    3. +
  3. +

    自监督物理学习： + - 预测未来帧作为物理理解的代理任务 + - 从视频中学习物体属性（质量、弹性） + - 发现潜在的物理规律

    +
    4. +
+

通过这些条件控制机制和物理约束，视频扩散模型可以生成高度可控和真实的动态内容。下一节将探讨如何高效地训练和部署这些模型。

+
+ + +
+
+ + \ No newline at end of file diff --git a/html/chapter12.html b/html/chapter12.html new file mode 100644 index 0000000..ed60252 --- /dev/null +++ b/html/chapter12.html @@ -0,0 +1,1156 @@ + + + + + + 第12章：文本扩散模型 + + + + + + + +
+ + +
+
+

← 返回目录 | 第12章 / 共14章 | 下一章 →

+

第12章：文本扩散模型

+

文本生成是扩散模型面临的独特挑战。与连续的图像空间不同，文本是离散的符号序列，这给扩散过程的设计带来了根本性的困难。本章将深入探讨如何将扩散模型的强大能力扩展到文本领域，包括处理离散状态空间的D3PM方法和在连续嵌入空间工作的Diffusion-LM。您将学习文本扩散的核心技术，理解离散与连续方法的权衡，掌握设计文本生成系统的关键原理。通过本章的学习，您将能够构建可控、高质量的文本生成模型，并理解其与自回归模型的本质区别。

+

章节大纲

+

12.1 文本扩散的独特挑战

+
    +
  • 离散性与连续性的鸿沟
    • +
  • 语言的结构约束
    • +
  • 评估指标的复杂性
    • +
  • 与自回归模型的比较
    • +
+

12.2 离散扩散模型（D3PM）

+
    +
  • 离散状态空间的马尔可夫链
    • +
  • 转移矩阵的设计
    • +
  • 吸收态与均匀分布
    • +
  • 训练与采样算法
    • +
+

12.3 连续嵌入空间扩散

+
    +
  • Diffusion-LM的核心思想
    • +
  • 嵌入与重建的挑战
    • +
  • 舍入策略与梯度估计
    • +
  • 语义保持的技巧
    • +
+

12.4 架构设计与条件控制

+
    +
  • Transformer在文本扩散中的应用
    • +
  • 长度控制与位置编码
    • +
  • 语义条件与风格控制
    • +
  • 多语言与跨语言生成
    • +
+

12.5 应用案例与未来方向

+
    +
  • 可控文本生成
    • +
  • 文本编辑与改写
    • +
  • 对话系统中的应用
    • +
  • 与大语言模型的结合
    • +
+

12.1 文本扩散的独特挑战

+

12.1.1 离散性与连续性的鸿沟

+

文本扩散面临的核心挑战是离散token空间与连续扩散过程之间的不匹配：

+

离散文本的特性：

+
    +
  1. 符号性质：词汇是离散符号，没有自然的距离度量
    2. +
  2. 组合爆炸：词汇表大小V通常为10K-100K
    3. +
  3. 硬边界：token之间没有"中间状态"
    4. +
  4. 语义跳跃：相邻token可能语义完全不同
    5. +
+

扩散模型的假设：

+
    +
  • 连续状态空间
    • +
  • 高斯噪声添加
    • +
  • 平滑的概率密度
    • +
  • 梯度可微分
    • +
+

这种根本性的不匹配导致了两种主要解决方案：

+
    +
  1. 离散扩散：重新设计扩散过程以适应离散空间
    2. +
  2. 嵌入空间扩散：在连续嵌入空间中进行扩散
    3. +
+

💡 关键洞察：离散与连续的桥梁
+成功的文本扩散模型必须在保持离散性约束的同时，利用连续空间的优势。这需要精心设计的映射函数和概率模型。

+

12.1.2 语言的结构约束

+

自然语言具有丰富的结构，这些约束必须在扩散过程中得到尊重：

+

1. 语法约束： +- 词性搭配规则 +- 句法树结构 +- 依存关系

+

2. 语义连贯性： +- 上下文一致性 +- 主题相关性 +- 逻辑关系

+

3. 长程依赖： +- 指代消解 +- 时态一致 +- 语篇结构

+

4. 多尺度结构：

+
字符 → 子词 → 词 → 短语 → 句子 → 段落
+
+ +

传统的逐token自回归生成自然地维护了从左到右的依赖关系，而扩散模型需要显式地建模这些约束。

+

🔬 研究线索：结构感知的噪声过程
+如何设计噪声过程，使其更多地破坏局部结构而保留全局语义？可以考虑语法树引导的噪声添加或基于依存关系的扩散核。

+

12.1.3 评估指标的复杂性

+

文本生成的评估比图像生成更加复杂：

+

自动评估指标：

+
    +
  1. 困惑度（Perplexity）：
    2. +
+

$$\text{PPL} = \exp\left(-\frac{1}{N}\sum_{i=1}^N \log p(x_i|x_{< i})\right)$$

+
    +
  1. +

    BLEU分数： +$$\text{BLEU} = \text{BP} \cdot \exp\left(\sum_{n=1}^4 w_n \log p_n\right)$$ +其中 $p_n$ 是n-gram精确率

    +
    2. +
  2. +

    语义相似度： + - BERTScore + - BLEURT + - 嵌入余弦相似度

    +
    3. +
+

人工评估维度：

+
    +
  • 流畅性（Fluency）
    • +
  • 连贯性（Coherence）
    • +
  • 相关性（Relevance）
    • +
  • 创造性（Creativity）
    • +
+

评估的挑战：

+
    +
  • 一对多映射：同一语义有多种表达
    • +
  • 主观性：质量判断因人而异
    • +
  • 任务依赖：不同应用需要不同指标
    • +
+

12.1.4 与自回归模型的比较

+

理解扩散模型与主流自回归模型的区别至关重要：

+

自回归模型（GPT类）：

+
    +
  • 优势：
    • +
  • 自然的因果结构
    • +
  • 训练稳定
    • +
  • 推理直观
    • +
  • 易于控制长度
    • +
  • 劣势：
    • +
  • 顺序生成慢
    • +
  • 错误累积
    • +
  • 难以全局编辑
    • +
  • 暴露偏差问题
    • +
+

扩散模型：

+
    +
  • 优势：
    • +
  • 并行生成
    • +
  • 全局优化
    • +
  • 灵活的编辑
    • +
  • 双向上下文
    • +
  • 劣势：
    • +
  • 多步推理
    • +
  • 长度控制困难
    • +
  • 训练复杂
    • +
  • 离散性处理
    • +
+
+**练习 12.1：对比实验设计** +

设计实验来深入理解文本扩散的特性。

+
    +
  1. +

    离散性影响分析： + - 实现简单的离散扩散过程 + - 比较不同词汇表大小的影响 + - 分析噪声过程的信息损失

    +
    2. +
  2. +

    结构保持实验： + - 设计保持句法结构的噪声方案 + - 测试不同mask策略（随机vs结构化） + - 评估生成文本的语法正确性

    +
    3. +
  3. +

    评估指标相关性： + - 收集人工评分数据 + - 计算各种自动指标 + - 分析指标间的相关性和差异

    +
    4. +
  4. +

    生成模式对比： + - 实现简化版的自回归和扩散模型 + - 比较生成速度、多样性、质量 + - 分析各自的失败模式

    +
    5. +
+
+

12.1.5 文本扩散的机遇

+

尽管面临挑战，文本扩散模型也带来了独特的机遇：

+

1. 灵活的生成控制： +- 任意位置的条件约束 +- 全局属性控制（情感、风格） +- 迭代优化过程

+

2. 更好的编辑能力： +- 局部修改不影响全局 +- 保持上下文一致性 +- 支持多轮优化

+

3. 新的应用场景： +- 填充任务（中间词预测） +- 并行翻译 +- 文本风格转换

+

4. 与其他模态的统一： +- 多模态扩散模型 +- 共享的生成框架 +- 跨模态转换

+

🌟 前沿思考：扩散与自回归的融合
+能否设计一个模型，结合自回归的因果建模能力和扩散的全局优化优势？例如，使用扩散模型生成语义骨架，然后用自回归模型填充细节。

+

12.1.6 技术路线图

+

解决文本扩散挑战的主要技术路线：

+

1. 离散状态空间方法： +- D3PM（Discrete Denoising Diffusion Probabilistic Models） +- Multinomial Diffusion +- Masked Diffusion

+

2. 连续嵌入空间方法： +- Diffusion-LM +- CDCD（Continuous Diffusion for Categorical Data） +- Latent Diffusion for Text

+

3. 混合方法： +- Analog Bits +- SUNDAE（Step-unrolled Diffusion Autoencoder） +- 离散-连续桥接

+

4. 架构创新： +- 自注意力机制的改进 +- 位置编码的设计 +- 条件机制的优化

+

💡 实践建议：选择合适的方法

+
    +
  • 短文本生成：离散方法简单有效
    • +
  • 长文本生成：嵌入空间方法更稳定
    • +
  • 可控生成：考虑混合方法
    • +
  • 实时应用：需要特殊的加速技术
    • +
+

通过理解这些挑战和机遇，我们可以更好地设计和应用文本扩散模型。接下来，我们将深入探讨具体的技术实现。

+

12.2 离散扩散模型（D3PM）

+

12.2.1 离散状态空间的马尔可夫链

+

D3PM（Discrete Denoising Diffusion Probabilistic Models）通过将连续扩散过程替换为离散马尔可夫链来处理离散数据。核心思想是定义一个从数据分布逐渐过渡到先验分布的离散随机过程。

+

前向过程定义：

+

对于离散状态 $x \in {1, 2, ..., K}$ （K是词汇表大小），前向过程定义为： +$$q(x_t|x_{t-1}) = \text{Cat}(x_t; \mathbf{Q}_t x_{t-1})$$ +其中 $\mathbf{Q}_t \in \mathbb{R}^{K \times K}$ 是转移矩阵， $\text{Cat}$ 表示分类分布。

+

转移矩阵的性质：

+
    +
  1. 行随机矩阵： $\sum_j Q_{ij} = 1$
    2. +
  2. 可逆性：早期时刻的 $\mathbf{Q}_t$ 接近单位矩阵
    3. +
  3. 收敛性： $\mathbf{Q}_T$ 使分布收敛到先验
    4. +
+

累积转移矩阵： +$$\bar{\mathbf{Q}}_t = \mathbf{Q}_1 \mathbf{Q}_2 \cdots \mathbf{Q}_t$$ +这允许我们直接从 $x_0$ 采样 $x_t$ ： +$$q(x_t|x_0) = \text{Cat}(x_t; \bar{\mathbf{Q}}_t x_0)$$ +💡 设计原则：平衡信息保留与噪声添加
+转移矩阵的设计需要在保持足够信息（用于反向去噪）和添加足够噪声（用于探索）之间取得平衡。太少的噪声导致模式崩溃，太多的噪声使去噪任务过难。

+

12.2.2 转移矩阵的设计

+

D3PM提供了几种转移矩阵的设计方案：

+

1. 均匀转移（Uniform Transition）： +$$\mathbf{Q}_t = (1-\beta_t)\mathbf{I} + \beta_t \mathbf{1}\mathbf{1}^T/K$$ +其中 $\beta_t$ 是噪声调度， $\mathbf{1}$ 是全1向量。这种设计以概率 $\beta_t$ 将状态替换为均匀随机状态。

+

2. 吸收态转移（Absorbing State）： +$$Q_{ij} = \begin{cases} +1-\beta_t & \text{if } i=j \neq m \ +\beta_t & \text{if } j=m \ +1 & \text{if } i=j=m \ +0 & \text{otherwise} +\end{cases}$$ +其中 $m$ 是特殊的MASK token。这种设计逐渐将所有token转换为MASK。

+

3. 语义感知转移： +基于词嵌入相似度设计转移概率： +$$Q_{ij} \propto \exp(-|\mathbf{e}_i - \mathbf{e}_j|^2/\tau_t)$$ +其中 $\mathbf{e}_i$ 是词嵌入， $\tau_t$ 是温度参数。

+

🔬 研究方向：自适应转移矩阵
+能否学习数据依赖的转移矩阵？例如，频繁共现的词之间有更高的转移概率。这可能需要神经网络来参数化 $\mathbf{Q}_t$ 。

+

12.2.3 反向过程与变分下界

+

反向过程参数化： +$$p_\theta(x_{t-1}|x_t) = \text{Cat}(x_{t-1}; \boldsymbol{\mu}_\theta(x_t, t))$$ +其中 $\boldsymbol{\mu}_\theta$ 是神经网络预测的分布。

+

后验分布（当 $x_0$ 已知时）： +$$q(x_{t-1}|x_t, x_0) = \frac{q(x_t|x_{t-1})q(x_{t-1}|x_0)}{q(x_t|x_0)}$$ +对于离散情况，这可以通过矩阵运算精确计算： +$$q(x_{t-1}|x_t, x_0) \propto \mathbf{Q}_t^T \odot \bar{\mathbf{Q}}_{t-1}$$ +其中 $\odot$ 表示逐元素乘积。

+

变分下界（VLB）： +$$\mathcal{L}_\text{VLB} = \mathbb{E}_q\left[\sum_{t=2}^T D_\text{KL}(q(x_{t-1}|x_t,x_0) | p_\theta(x_{t-1}|x_t)) + \log p_\theta(x_0|x_1)\right]$$ +其中KL散度对于离散分布有闭式解： +$$D_\text{KL}(p|q) = \sum_i p_i \log \frac{p_i}{q_i}$$

+

12.2.4 训练算法与实现细节

+

损失函数选择：

+
    +
  1. VLB损失：理论最优但可能不稳定
    2. +
  2. +

    交叉熵损失： +$$\mathcal{L}_\text{CE} = -\mathbb{E}_{x_0,t}\left[\log p_\theta(x_0|x_t)\right]$$

    +
    3. +
  3. +

    混合损失： +$$\mathcal{L} = \mathcal{L}_\text{CE} + \lambda \mathcal{L}_\text{VLB}$$ +训练算法：

    +
    4. +
+
输入：数据集 D，噪声调度 β，步数 T
+1. 初始化模型参数 θ
+2. repeat
+3.   采样 x_0 ~ D
+4.   采样 t ~ Uniform(1, T)
+5.   计算 x_t ~ q(x_t|x_0) 使用累积转移矩阵
+6.   计算后验 q(x_{t-1}|x_t, x_0)
+7.   预测 p_θ(x_{t-1}|x_t) = Model(x_t, t)
+8.   计算损失 L = KL(q||p_θ)
+9.   更新 θ
+10. until 收敛
+
+ +

实现技巧：

+
    +
  • 使用one-hot编码表示离散状态
    • +
  • 预计算并缓存转移矩阵
    • +
  • 使用稳定的log-space计算
    • +
  • 添加数值稳定性的small epsilon
    • +
+
+**练习 12.2：实现D3PM核心组件** +

深入理解D3PM的实现细节。

+
    +
  1. +

    转移矩阵实验： + - 实现三种转移矩阵设计 + - 可视化不同时间步的转移模式 + - 分析信息保留程度

    +
    2. +
  2. +

    后验计算： + - 推导后验分布的矩阵形式 + - 实现高效的批量计算 + - 验证概率归一化

    +
    3. +
  3. +

    损失函数比较： + - 实现VLB和CE损失 + - 在toy数据上比较收敛速度 + - 分析梯度稳定性

    +
    4. +
  4. +

    采样算法优化： + - 实现基础采样算法 + - 探索加速采样技巧 + - 比较不同温度的影响

    +
    5. +
+
+

12.2.5 采样与生成策略

+

基础采样算法：

+
输入：模型 p_θ，步数 T，温度 τ
+1. 初始化 x_T ~ Uniform(1, K)
+2. for t = T to 1:
+3.   预测分布 p = p_θ(·|x_t)
+4.   应用温度：p_i ← p_i^{1/τ}
+5.   重归一化：p ← p / Σp_i
+6.   采样 x_{t-1} ~ Cat(p)
+7. return x_0
+
+ +

高级采样技巧：

+
    +
  1. Top-k采样：只从概率最高的k个token中采样
    2. +
  2. Nucleus采样：从累积概率达到p的最小token集合中采样
    3. +
  3. 重参数化技巧：使用Gumbel-Softmax for梯度估计
    4. +
  4. 条件采样：固定部分token进行条件生成
    5. +
+

生成质量控制：

+
    +
  • 温度调节：低温度→确定性，高温度→多样性
    • +
  • 重复惩罚：降低已生成token的概率
    • +
  • 长度控制：通过特殊的结束token或长度条件
    • +
+

💡 实践技巧：平衡质量与多样性
+通常需要在生成质量和多样性之间权衡。建议从较低温度（0.7-0.8）开始，根据具体任务调整。对于创造性任务使用更高温度，对于事实性任务使用更低温度。

+

12.2.6 D3PM的优势与局限

+

优势：

+
    +
  1. 理论完备：保持了扩散模型的理论框架
    2. +
  2. 灵活性高：支持任意离散空间
    3. +
  3. 可解释性：转移矩阵有明确含义
    4. +
  4. 双向建模：自然支持填充和编辑任务
    5. +
+

局限性：

+
    +
  1. 计算开销：需要存储和计算大型转移矩阵
    2. +
  2. 扩展性：词汇表大小受限于内存
    3. +
  3. 语义鸿沟：离散转移可能破坏语义连续性
    4. +
  4. 训练不稳定：离散采样导致梯度估计困难
    5. +
+

改进方向：

+
    +
  • 稀疏转移矩阵减少计算
    • +
  • 分层词汇表处理大规模词汇
    • +
  • 结合连续嵌入改善语义
    • +
  • 使用强化学习优化离散决策
    • +
+

🌟 前沿探索：离散与连续的统一
+最新研究尝试统一离散和连续扩散，例如通过将离散token视为连续空间中的点，或使用混合离散-连续变量。这可能是未来的重要方向。

+

12.3 连续嵌入空间扩散

+

12.3.1 Diffusion-LM的核心思想

+

Diffusion-LM通过在连续嵌入空间中进行扩散来避免离散性带来的困难。基本流程是：

+
    +
  1. 嵌入：将离散token映射到连续空间
    2. +
  2. 扩散：在嵌入空间中运行标准扩散过程
    3. +
  3. 重建：将去噪后的嵌入映射回离散token
    4. +
+

数学框架：

+

设词嵌入矩阵为 $\mathbf{E} \in \mathbb{R}^{K \times d}$ ，其中K是词汇表大小，d是嵌入维度。

+
    +
  • 嵌入步骤： $\mathbf{e}_0 = \mathbf{E}[x_0]$ （索引操作）
    • +
  • 前向扩散： $q(\mathbf{e}_t|\mathbf{e}_{t-1}) = \mathcal{N}(\mathbf{e}_t; \sqrt{1-\beta_t}\mathbf{e}_{t-1}, \beta_t\mathbf{I})$
    • +
  • 反向去噪： $p_\theta(\mathbf{e}_{t-1}|\mathbf{e}_t) = \mathcal{N}(\mathbf{e}_{t-1}; \boldsymbol{\mu}_\theta(\mathbf{e}_t, t), \boldsymbol{\Sigma}_\theta(\mathbf{e}_t, t))$
    • +
+

关键挑战：如何从连续嵌入恢复离散token？

+

💡 核心洞察：嵌入空间的几何结构
+成功的关键在于学习一个具有良好几何结构的嵌入空间，使得语义相似的词在空间中接近，且去噪过程能保持这种结构。

+

12.3.2 嵌入与重建的挑战

+

挑战1：离散化误差

+

从连续嵌入 $\hat{\mathbf{e}}_0$ 恢复离散token最直接的方法是最近邻搜索： +$$\hat{x}_0 = \arg\min_{i \in [K]} |\hat{\mathbf{e}}_0 - \mathbf{E}[i]|^2$$ +但这种硬舍入会导致：

+
    +
  • 梯度无法反向传播
    • +
  • 累积误差
    • +
  • 训练不稳定
    • +
+

挑战2：嵌入崩塌

+

如果没有适当的正则化，所有词嵌入可能崩塌到一个点，使得重建变得不可能。

+

挑战3：分布不匹配

+

扩散过程假设高斯分布，但词嵌入的自然分布可能远非高斯。

+

12.3.3 舍入策略与梯度估计

+

1. 软最大值（Soft-max）重建： +$$p(x_i|\hat{\mathbf{e}}_0) = \frac{\exp(-|\hat{\mathbf{e}}_0 - \mathbf{E}[i]|^2/\tau)}{\sum_j \exp(-|\hat{\mathbf{e}}_0 - \mathbf{E}[j]|^2/\tau)}$$ +这保持了可微性，但计算开销大。

+

2. Straight-Through估计器： +- 前向：使用硬舍入 $\hat{x}_0 = \text{argmin}_i |\hat{\mathbf{e}}_0 - \mathbf{E}[i]|^2$ +- 反向：假装没有舍入，直接传递梯度

+

3. Gumbel-Softmax重参数化： +$$\hat{x}_0 = \text{softmax}((\log \pi + g)/\tau)$$ +其中 $\pi_i \propto \exp(-|\hat{\mathbf{e}}_0 - \mathbf{E}[i]|^2)$ ， $g$ 是Gumbel噪声。

+

4. 强化学习方法： +将离散化视为策略，使用REINFORCE或其他策略梯度方法。

+

🔬 研究方向：可学习的舍入
+能否学习一个神经网络来执行最优的舍入操作？这个网络可以考虑局部上下文和全局一致性。

+

12.3.4 语义保持的技巧

+

1. 嵌入正则化：

+
    +
  • +

    对比学习损失： +$$\mathcal{L}_\text{contrast} = -\log \frac{\exp(\text{sim}(\mathbf{e}_i, \mathbf{e}_j^+))}{\sum_k \exp(\text{sim}(\mathbf{e}_i, \mathbf{e}_k))}$$ +其中 $\mathbf{e}_j^+$ 是正样本（语义相似）。

    +
    • +
  • +

    均匀性损失： +$$\mathcal{L}_\text{uniform} = \log \mathbb{E}_{i,j}\left[\exp(-2|\mathbf{e}_i - \mathbf{e}_j|^2)\right]$$ +防止嵌入崩塌。

    +
    • +
+

2. 自监督预训练：

+

使用大规模文本数据预训练嵌入空间：

+
    +
  • Masked Language Modeling
    • +
  • Next Sentence Prediction
    • +
  • Contrastive Learning
    • +
+

3. 锚点嵌入：

+

固定一些高频词的嵌入作为锚点，保持空间结构： +$$\mathbf{E}_\text{anchor} = \text{frozen}, \quad \mathbf{E}_\text{rest} = \text{learnable}$$

+
+**练习 12.3：探索嵌入空间扩散** +

深入理解连续嵌入空间扩散的特性。

+
    +
  1. +

    嵌入空间可视化： + - 使用t-SNE/UMAP可视化词嵌入 + - 追踪扩散过程中的轨迹 + - 分析语义聚类的保持程度

    +
    2. +
  2. +

    舍入策略比较： + - 实现四种舍入方法 + - 比较重建准确率 + - 分析梯度流和训练稳定性

    +
    3. +
  3. +

    正则化实验： + - 测试不同正则化强度 + - 观察嵌入分布的变化 + - 找到防止崩塌的最小正则化

    +
    4. +
  4. +

    混合方法设计： + - 结合离散和连续的优势 + - 设计自适应切换机制 + - 评估计算效率和生成质量

    +
    5. +
+
+

12.3.5 训练策略与优化

+

两阶段训练：

+
    +
  1. +

    阶段1：嵌入空间学习 + - 固定扩散模型，只训练嵌入 + - 使用重建损失和正则化 + - 确保嵌入空间质量

    +
    2. +
  2. +

    阶段2：联合优化 + - 解冻所有参数 + - 端到端训练 + - 微调嵌入和扩散模型

    +
    3. +
+

损失函数设计： +$$\mathcal{L}_\text{total} = \mathcal{L}_\text{diffusion} + \lambda_1 \mathcal{L}_\text{reconstruct} + \lambda_2 \mathcal{L}_\text{regularize}$$ +其中：

+
    +
  • $\mathcal{L}_\text{diffusion}$ ：标准扩散损失
    • +
  • $\mathcal{L}_\text{reconstruct}$ ：离散重建损失
    • +
  • $\mathcal{L}_\text{regularize}$ ：嵌入正则化损失
    • +
+

优化技巧：

+
    +
  • 使用较小的学习率for嵌入矩阵
    • +
  • 梯度裁剪防止不稳定
    • +
  • 早停基于验证集困惑度
    • +
+

12.3.6 Diffusion-LM的扩展与变体

+

1. 分层Diffusion-LM： +- 字符级→子词级→词级的分层扩散 +- 不同层次使用不同的噪声调度 +- 支持可变长度生成

+

2. 潜在Diffusion-LM： +- 使用VAE学习更紧凑的潜在空间 +- 在潜在空间进行扩散 +- 类似于图像的LDM

+

3. 混合离散-连续模型： +- 高频词使用离散扩散 +- 低频词使用连续扩散 +- 自适应选择机制

+

💡 实践建议：选择合适的变体

+
    +
  • 短文本：基础Diffusion-LM足够
    • +
  • 长文本：考虑分层或潜在变体
    • +
  • 特定领域：可能需要定制嵌入空间
    • +
  • 多语言：需要特殊的嵌入对齐
    • +
+

12.3.7 与其他方法的比较

+

Diffusion-LM vs D3PM：

+

| 方面 | Diffusion-LM | D3PM |

+ + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +
方面Diffusion-LMD3PM
理论基础连续扩散离散马尔可夫链
计算效率高（矩阵乘法）低（大转移矩阵）
扩展性好（嵌入维度固定）差（随词汇表增长）
语义保持依赖嵌入质量可显式设计
训练稳定性中等较差
+

优势总结：

+
    +
  • 利用预训练嵌入
    • +
  • 计算效率更高
    • +
  • 更容易扩展到大词汇表
    • +
  • 与连续模态统一框架
    • +
+

劣势总结：

+
    +
  • 离散化误差难以避免
    • +
  • 需要高质量嵌入空间
    • +
  • 可能丢失精确的token信息
    • +
  • 训练更加复杂
    • +
+

🌟 未来展望：统一的文本生成框架
+理想的文本扩散模型应该结合离散和连续方法的优势，支持多粒度生成，并与其他模态无缝集成。这需要在理论和实践上的进一步突破。

+

12.4 架构设计与条件控制

+

12.4.1 Transformer在文本扩散中的应用

+

文本扩散模型主要使用Transformer架构，但需要特殊的适配：

+

标准Transformer的修改：

+
    +
  1. +

    时间嵌入注入： + - 将时间步 $t$ 编码为向量 $\mathbf{t}_\text{emb} = \text{MLP}(\text{sinusoidal}(t))$ + - 通过AdaLN或交叉注意力注入每层

    +
    2. +
  2. +

    双向注意力： + - 与自回归模型不同，使用完全的双向注意力 + - 所有位置可以互相看到，支持全局优化

    +
    3. +
  3. +

    位置编码选择： + - 绝对位置编码：简单但限制最大长度 + - 相对位置编码：更灵活，支持可变长度 + - RoPE（旋转位置编码）：保持相对距离信息

    +
    4. +
+

架构示例：

+
输入嵌入 → [Transformer Block × N] → 输出投影
+          ↑
+      时间条件注入
+
+ +

每个Transformer Block包含：

+
    +
  • Multi-Head Self-Attention（双向）
    • +
  • 时间条件的AdaLN或FiLM
    • +
  • Feed-Forward Network
    • +
  • 残差连接
    • +
+

💡 设计考虑：注意力模式的选择
+虽然使用全局注意力理论上最优，但对于长文本可能需要稀疏注意力模式（如局部窗口、稀疏模式）来控制计算复杂度。

+

12.4.2 长度控制与位置编码

+

文本扩散的一个独特挑战是处理可变长度序列：

+

长度预测与控制：

+
    +
  1. +

    显式长度条件： + - 将目标长度作为额外条件： $p_\theta(\mathbf{x}_{t-1}|\mathbf{x}_t, t, L)$ + - 训练时使用真实长度，推理时指定

    +
    2. +
  2. +

    特殊标记方法： + - 使用[PAD]标记填充到固定长度 + - 使用[EOS]标记表示序列结束 + - 在扩散过程中保持这些标记的语义

    +
    3. +
  3. +

    动态长度生成： + - 先生成长度： $L \sim p_\theta(L|\mathbf{c})$ + - 然后生成对应长度的内容

    +
    4. +
+

位置编码策略：

+
    +
  1. +

    固定最大长度： + PE[pos, 2i] = sin(pos/10000^(2i/d)) + PE[pos, 2i+1] = cos(pos/10000^(2i/d))

    +
    2. +
  2. +

    相对位置编码： + - T5风格：学习的相对位置偏置 + - ALiBi：线性衰减的注意力偏置

    +
    3. +
  3. +

    分段位置编码： + - 句子级 + 词级的层次化编码 + - 支持超长文本生成

    +
    4. +
+

🔬 研究挑战：长度与内容的解耦
+如何设计架构使得长度控制不影响内容质量？一种思路是使用两个独立的扩散过程，分别生成长度和内容。

+

12.4.3 语义条件与风格控制

+

多种条件机制：

+
    +
  1. +

    前缀条件（Prefix Conditioning）： + - 将条件文本作为前缀拼接 + - 简单但占用序列长度

    +
    2. +
  2. +

    交叉注意力（Cross-Attention）： + Attention(Q_content, K_condition, V_condition)

    +
    3. +
+
    +
  • 内容query，条件key/value
    • +
  • 灵活且表达力强
    • +
+
    +
  1. FiLM调制（Feature-wise Linear Modulation）： +$$\mathbf{h} = \gamma(\mathbf{c}) \odot \mathbf{h} + \beta(\mathbf{c})$$
    2. +
+
    +
  • 计算高效
    • +
  • 全局调制效果
    • +
+

风格控制技术：

+
    +
  1. +

    风格嵌入： + - 学习风格向量：formal, casual, poetic等 + - 通过插值实现风格混合

    +
    2. +
  2. +

    细粒度属性控制： + - 情感：positive/negative/neutral + - 复杂度：简单/复杂句式 + - 时态：过去/现在/将来

    +
    3. +
  3. +

    示例驱动的风格： + - 从参考文本提取风格 + - 使用对比学习对齐风格空间

    +
    4. +
+
+**练习 12.4：实现条件控制机制** +

探索不同的条件控制方法。

+
    +
  1. +

    条件机制比较： + - 实现三种条件注入方法 + - 比较对生成质量的影响 + - 分析计算开销

    +
    2. +
  2. +

    多条件融合： + - 设计同时控制内容、风格、长度的机制 + - 处理条件冲突 + - 实现条件强度调节

    +
    3. +
  3. +

    可控性评估： + - 设计自动评估指标 + - 人工评估控制精度 + - 分析失败案例

    +
    4. +
  4. +

    交互式控制： + - 实现渐进式编辑 + - 支持局部条件约束 + - 设计用户友好的接口

    +
    5. +
+
+

12.4.4 多语言与跨语言生成

+

文本扩散模型在多语言场景下的应用：

+

多语言架构设计：

+
    +
  1. +

    共享嵌入空间： + - 所有语言共享词嵌入矩阵 + - 使用语言对齐技术（如MUSE） + - 支持零样本跨语言生成

    +
    2. +
  2. +

    语言特定组件： + - 语言ID嵌入 + - 特定语言的子网络 + - 适配器（Adapter）模块

    +
    3. +
  3. +

    统一词表vs分离词表： + - 统一：简单但词表爆炸 + - 分离：需要对齐机制 + - 混合：高频词统一，低频词分离

    +
    4. +
+

跨语言应用：

+
    +
  1. +

    零样本翻译： + - 源语言→嵌入空间→目标语言 + - 不需要平行语料

    +
    2. +
  2. +

    代码切换（Code-switching）： + - 同一句子中混合多种语言 + - 自然的多语言生成

    +
    3. +
  3. +

    跨语言风格迁移： + - 保持内容，改变语言风格 + - 文化适应性调整

    +
    4. +
+

12.4.5 高效架构设计

+

模型压缩技术：

+
    +
  1. +

    知识蒸馏： + - 大模型→小模型 + - 保持生成质量 + - 加速推理

    +
    2. +
  2. +

    量化： + - INT8/INT4量化 + - 量化感知训练 + - 动态量化

    +
    3. +
  3. +

    稀疏化： + - 结构化剪枝 + - 非结构化剪枝 + - 动态稀疏

    +
    4. +
+

推理优化：

+
    +
  1. +

    缓存机制： + - KV缓存（虽然对扩散模型作用有限） + - 中间结果缓存 + - 增量更新

    +
    2. +
  2. +

    并行化策略： + - 多个去噪步骤并行 + - 批量推理 + - 模型并行

    +
    3. +
  3. +

    早停机制： + - 动态确定去噪步数 + - 基于质量的早停 + - 自适应采样

    +
    4. +
+

💡 实践建议：架构选择指南

+
    +
  • 研究原型：使用标准Transformer，关注算法创新
    • +
  • 生产部署：考虑模型压缩和推理优化
    • +
  • 特定领域：可能需要定制架构
    • +
  • 资源受限：探索轻量级变体
    • +
+

12.4.6 与大语言模型的集成

+

集成策略：

+
    +
  1. +

    串联模式： + - LLM生成草稿→扩散模型优化 + - 扩散模型生成→LLM后处理

    +
    2. +
  2. +

    并联模式： + - 同时运行，结果融合 + - 互相提供条件信号

    +
    3. +
  3. +

    嵌入模式： + - 扩散模块嵌入LLM + - 作为特殊的生成头

    +
    4. +
+

优势互补：

+
    +
  • LLM：逻辑推理、知识利用
    • +
  • 扩散：全局优化、可控编辑
    • +
  • 结合：兼具两者优势
    • +
+

🌟 前沿方向：统一的生成范式
+未来可能出现统一自回归和扩散的模型，在不同任务和场景下自适应选择生成策略。这需要新的理论框架和训练方法。

+

12.5 应用案例与未来方向

+

12.5.1 可控文本生成

+

文本扩散模型在可控生成方面展现出独特优势：

+

1. 填充任务（Text Infilling）：

+

扩散模型天然支持任意位置的条件约束：

+
    +
  • 中间词预测：给定开头和结尾，生成中间部分
    • +
  • 掩码语言建模：填充多个[MASK]位置
    • +
  • 模板填充：保持模板结构，填充内容
    • +
+

示例应用：

+
输入：The [MASK] jumped over the [MASK] fence.
+输出：The cat jumped over the wooden fence.
+
+ +

2. 文本编辑（Text Editing）：

+

通过部分去噪实现精确编辑：

+
    +
  • 局部修改：只改变指定部分
    • +
  • 保持上下文：维持整体连贯性
    • +
  • 迭代优化：多轮编辑改进
    • +
+

编辑流程：

+
    +
  1. 将原文本加噪到中间步骤 $t$
    2. +
  2. 修改需要编辑的部分
    3. +
  3. 从步骤 $t$ 开始去噪
    4. +
  4. 得到编辑后的文本
    5. +
+

3. 属性控制生成：

+

精确控制生成文本的各种属性：

+
    +
  • 情感控制：正面/负面/中性
    • +
  • 风格控制：正式/非正式/诗意
    • +
  • 复杂度控制：简单/复杂句式
    • +
  • 主题控制：指定话题领域
    • +
+

💡 应用亮点：细粒度控制
+与自回归模型相比，扩散模型可以在生成过程的任意阶段注入控制信号，实现更精细的控制。

+

12.5.2 文本改写与风格转换

+

1. 释义生成（Paraphrasing）：

+

保持语义，改变表达：

+
    +
  • 同义词替换
    • +
  • 句式变换
    • +
  • 详略调整
    • +
+

技术方法：

+
    +
  • 在语义嵌入空间约束
    • +
  • 使用对比学习保持语义
    • +
  • 多样性与忠实度平衡
    • +
+

2. 风格迁移（Style Transfer）：

+

改变文本风格而保持内容：

+
    +
  • 现代文→古文
    • +
  • 口语→书面语
    • +
  • 简单→复杂
    • +
+

实现策略：

+
    +
  • 解耦内容和风格表示
    • +
  • 使用平行语料训练
    • +
  • 无监督的循环一致性
    • +
+

3. 简化与扩展：

+
    +
  • 文本简化：复杂→简单，保持信息
    • +
  • 文本扩展：简洁→详细，添加细节
    • +
  • 摘要生成：长文→短文，提取要点
    • +
+

12.5.3 对话系统中的应用

+

1. 对话回复生成：

+

扩散模型的优势：

+
    +
  • 全局一致性：考虑整个对话历史
    • +
  • 多样性：生成多种合理回复
    • +
  • 可编辑性：根据反馈调整回复
    • +
+

2. 对话改写：

+
    +
  • 提升回复质量
    • +
  • 调整语气和风格
    • +
  • 纠正事实错误
    • +
+

3. 多轮对话规划：

+
    +
  • 生成对话策略
    • +
  • 预测对话走向
    • +
  • 优化长期目标
    • +
+
+**练习 12.5：实现文本应用** +

动手实现文本扩散的应用。

+
    +
  1. +

    填充任务实现： + - 设计掩码策略 + - 实现条件采样 + - 评估填充质量

    +
    2. +
  2. +

    编辑系统构建： + - 实现加噪-编辑-去噪流程 + - 设计编辑强度控制 + - 测试不同编辑类型

    +
    3. +
  3. +

    风格转换实验： + - 收集平行风格数据 + - 训练风格转换模型 + - 评估内容保持度

    +
    4. +
  4. +

    对话应用开发： + - 集成到对话系统 + - 实现实时编辑 + - 用户体验优化

    +
    5. +
+
+

12.5.4 与大语言模型的协同

+

1. 质量提升： +- LLM生成初稿 +- 扩散模型优化表达 +- 结合两者优势

+

2. 事实性增强： +- LLM提供事实内容 +- 扩散模型改善流畅性 +- 保持准确性

+

3. 创造性写作： +- LLM提供故事框架 +- 扩散模型丰富细节 +- 迭代改进

+

集成架构示例：

+
用户输入 → LLM（内容生成） → 扩散模型（优化） → 输出
+         ↑                              ↓
+         ← ← ← ← 反馈循环 ← ← ← ← ← ← ←
+
+ +

🔬 研究机会：最优集成策略
+如何设计LLM和扩散模型的最优集成方式？什么任务适合串联，什么适合并联？这需要系统性的实验研究。

+

12.5.5 评估方法与基准

+

自动评估指标：

+
    +
  1. +

    生成质量： + - 困惑度（Perplexity） + - BLEU/ROUGE（与参考对比） + - BERTScore（语义相似度）

    +
    2. +
  2. +

    多样性： + - Self-BLEU（生成内容间的相似度） + - Distinct-n（n-gram多样性） + - 熵度量

    +
    3. +
  3. +

    可控性： + - 属性准确率 + - 条件一致性 + - 编辑距离

    +
    4. +
+

人工评估框架：

+
    +
  • 流畅性评分
    • +
  • 相关性评分
    • +
  • 创造性评分
    • +
  • 整体质量评分
    • +
+

基准数据集：

+
    +
  • 文本填充：CLOTH、LAMBaDA
    • +
  • 风格转换：GYAFC、Shakespeare
    • +
  • 对话：PersonaChat、MultiWOZ
    • +
  • 通用生成：WikiText、BookCorpus
    • +
+

12.5.6 未来研究方向

+

1. 理论突破： +- 离散与连续的统一理论 +- 最优传输视角的文本扩散 +- 信息论分析框架

+

2. 架构创新： +- 自适应去噪步数 +- 层次化扩散模型 +- 神经架构搜索

+

3. 训练方法： +- 自监督预训练 +- 强化学习微调 +- 对抗训练提升

+

4. 应用拓展： +- 代码生成 +- 结构化数据生成 +- 多模态文本生成

+

5. 效率优化： +- 一步生成模型 +- 模型压缩技术 +- 硬件加速

+

💡 开放挑战：

+
    +
  1. 长文本生成：如何高效生成数千词的连贯文本？
    2. +
  2. 实时应用：如何将推理时间降至毫秒级？
    3. +
  3. 可解释性：如何理解扩散过程中的语义变化？
    4. +
  4. 公平性：如何避免和减少偏见？
    5. +
+

12.5.7 总结与展望

+

文本扩散模型开辟了文本生成的新范式：

+

主要贡献：

+
    +
  1. 提供了非自回归的生成方法
    2. +
  2. 实现了灵活的条件控制
    3. +
  3. 支持全局优化和编辑
    4. +
  4. 统一了离散和连续建模
    5. +
+

当前局限：

+
    +
  1. 推理速度仍需提升
    2. +
  2. 长文本生成存在挑战
    3. +
  3. 训练成本较高
    4. +
  4. 理论理解不完整
    5. +
+

未来展望： +文本扩散模型有望成为文本生成的重要范式之一，特别是在需要精细控制、全局优化和灵活编辑的场景中。随着理论和技术的进步，我们期待看到：

+
    +
  • 更快的生成速度
    • +
  • 更好的生成质量
    • +
  • 更广泛的应用场景
    • +
  • 与其他技术的深度融合
    • +
+

🌟 结语
+文本扩散模型代表了生成式AI的一个重要方向。通过本章的学习，您已经掌握了文本扩散的核心概念、技术方法和应用场景。继续探索这个充满机遇的领域，您将能够推动文本生成技术的边界，创造出更智能、更可控的文本生成系统。

+

本章小结

+

本章深入探讨了文本扩散模型的理论基础和实践技术：

+
    +
  1. 独特挑战：理解了离散文本与连续扩散之间的根本矛盾，以及语言结构带来的约束
    2. +
  2. 技术路线：掌握了D3PM的离散扩散和Diffusion-LM的嵌入空间扩散两种主要方法
    3. +
  3. 架构设计：学习了Transformer在文本扩散中的应用和各种条件控制机制
    4. +
  4. 实际应用：了解了文本编辑、风格转换、对话生成等丰富的应用场景
    5. +
  5. 未来方向：探讨了与大语言模型的集成以及领域的发展趋势
    6. +
+

下一章，我们将进入扩散模型的广阔应用领域，探索图像生成、编辑、超分辨率、3D生成等激动人心的应用。

+
+ + +
+
+ + \ No newline at end of file diff --git a/html/chapter13.html b/html/chapter13.html new file mode 100644 index 0000000..339d9b4 --- /dev/null +++ b/html/chapter13.html @@ -0,0 +1,1411 @@ + + + + + + 第13章：扩散模型的应用 + + + + + + + +
+ + +
+
+

← 返回目录 | 第13章 / 共14章 | 下一章 →

+

第13章：扩散模型的应用

+

扩散模型已经从理论研究走向广泛的实际应用，在图像生成、编辑、超分辨率、3D内容创建等领域展现出革命性的能力。本章将深入探讨扩散模型在各个领域的具体应用，包括技术实现、最佳实践和未来潜力。您将学习如何将前面章节的理论知识转化为实际的应用系统，理解不同任务的特殊需求和解决方案。通过本章的学习，您将掌握构建先进生成式AI应用的关键技术，并了解如何在实际项目中应用扩散模型。

+

章节大纲

+

13.1 图像生成的艺术与科学

+
    +
  • 文本到图像生成（Text-to-Image）
    • +
  • 艺术创作与风格化
    • +
  • 高分辨率图像合成
    • +
  • 批量生成与质量控制
    • +
+

13.2 智能图像编辑

+
    +
  • 图像修复（Inpainting）
    • +
  • 图像扩展（Outpainting）
    • +
  • 语义编辑与属性操控
    • +
  • 智能抠图与合成
    • +
+

13.3 图像增强与超分辨率

+
    +
  • 经典超分辨率方法回顾
    • +
  • 基于扩散的超分辨率
    • +
  • 老照片修复
    • +
  • 实时增强技术
    • +
+

13.4 3D内容生成

+
    +
  • 3D物体生成
    • +
  • 场景合成
    • +
  • 纹理生成
    • +
  • NeRF与扩散模型的结合
    • +
+

13.5 跨模态应用与新兴领域

+
    +
  • 音频生成与处理
    • +
  • 分子设计
    • +
  • 数据增强
    • +
  • 个性化生成
    • +
+

13.1 图像生成的艺术与科学

+

13.1.1 文本到图像生成（Text-to-Image）

+

文本到图像生成是扩散模型最成功的应用之一，以DALL-E 2、Stable Diffusion、Midjourney等为代表。这项技术的突破性进展不仅改变了创意产业的工作流程，更深刻影响了人们对AI创造力的认知。从简单的概念验证到能够生成照片级真实感图像，文本到图像生成技术在短短几年内经历了爆炸式发展。

+

核心技术栈：

+
    +
  1. 文本编码器：
    2. +
+

文本编码器是整个系统的语义理解核心，负责将人类的自然语言描述转换为机器可理解的向量表示。

+
    +
  • +

    CLIP文本编码器：OpenAI的CLIP（Contrastive Language-Image Pre-training）通过对比学习在4亿图文对上训练，能够提取丰富的视觉语义特征。其优势在于强大的零样本泛化能力和对视觉概念的深刻理解。CLIP使用Transformer架构，最大序列长度通常为77个token，这也解释了为什么很多系统的提示词有长度限制。

    +
    • +
  • +

    T5编码器：Google的T5（Text-to-Text Transfer Transformer）编码器能够处理更长的文本序列（通常可达512个token），并且在语言理解任务上表现出色。Imagen等模型选择T5作为文本编码器，充分利用其强大的语言建模能力。T5的优势在于能够理解复杂的语法结构和长距离依赖关系。

    +
    • +
  • +

    多语言支持：mCLIP（multilingual CLIP）和XLM-R（Cross-lingual Language Model - RoBERTa）等模型扩展了文本到图像生成的语言边界。这些模型在多语言数据集上训练，能够理解100+种语言的输入，使得非英语用户也能享受AI创作的便利。

    +
    • +
+
    +
  1. 条件机制：
    2. +
+

条件机制决定了文本信息如何有效地指导图像生成过程，这是实现精确控制的关键。

+
    +
  • +

    交叉注意力：这是最常用也是最有效的条件注入方式。在U-Net或DiT的多个层级中，图像特征通过交叉注意力机制与文本特征交互。具体来说，图像特征作为Query，文本特征作为Key和Value，通过注意力机制实现信息融合。这种机制允许模型在生成过程中持续参考文本描述，确保生成内容的语义一致性。

    +
    • +
  • +

    特征融合：除了交叉注意力，还可以通过其他方式注入文本信息。例如，FiLM（Feature-wise Linear Modulation）通过学习的仿射变换调制特征图；AdaIN（Adaptive Instance Normalization）通过调整归一化参数注入风格信息；通道级连接（Channel-wise Concatenation）直接将文本特征与图像特征拼接。不同的融合方式有不同的计算效率和表达能力权衡。

    +
    • +
  • +

    时间步条件：扩散模型的独特之处在于其迭代去噪过程。时间步编码（通常使用正弦位置编码）不仅告诉模型当前的噪声水平，还可以与文本条件结合，实现动态的条件强度控制。例如，在去噪初期（高噪声时），模型可能更多关注全局结构；在去噪后期（低噪声时），则更注重细节的文本对齐。

    +
    • +
+
    +
  1. 采样策略：
    2. +
+

采样策略直接影响生成图像的质量、多样性和效率，是实际应用中的关键考虑因素。

+
    +
  • +

    CFG（Classifier-Free Guidance）：这是一种优雅的条件生成增强技术。通过同时训练条件和无条件模型（通过随机dropout文本条件实现），在推理时可以通过调整guidance scale（通常记为w）来平衡生成质量与多样性。公式为： + $$\epsilon_\theta(x_t, t, c) = \epsilon_\theta(x_t, t, \emptyset) + w \cdot (\epsilon_\theta(x_t, t, c) - \epsilon_\theta(x_t, t, \emptyset))$$ +其中w>1加强条件遵循，w<1增加多样性。实践中，w=7.5-12.5常给出好结果。

    +
    • +
  • +

    负提示词（Negative Prompts）：这是一种实用的技术，允许用户明确指定不想要的元素。实现上，负提示词作为额外的条件输入，在CFG公式中替代无条件模型的输出。常见的负提示词包括："低质量"、"模糊"、"变形"、"多余的肢体"等。巧妙使用负提示词可以显著提升生成质量。

    +
    • +
  • +

    种子控制：随机种子控制初始噪声的生成，确保结果的可重复性。在创作迭代中，固定种子可以探索不同提示词的效果；而改变种子则能生成多样化的结果。专业创作者often建立种子库，记录产生优秀结果的种子值。

    +
    • +
+

提示词工程（Prompt Engineering）：

+

提示词工程已经发展成为一门独特的技能，结合了语言学、美学和对AI模型特性的深刻理解。掌握提示词工程不仅能提高生成效率，更能将创意准确转化为视觉作品。

+

有效的提示词结构：

+
[主体描述], [风格描述], [质量词], [艺术家/摄影师], [其他修饰]
+
+例如：
+"A majestic dragon perched on a mountain peak, digital art, 
+highly detailed, artstation trending, by Greg Rutkowski"
+
+ +

深入理解提示词组成：

+
    +
  1. +

    主体描述的精确性： + - 基础描述："一只猫" → 结果不可预测 + - 精确描述："一只橙色虎斑猫，绿色眼睛，坐在窗台上，阳光照射" → 结果可控 + - 动作和姿态："正在伸懒腰的猫" vs "警惕地竖起耳朵的猫" + - 情绪表达："快乐的"、"忧郁的"、"好奇的"等形容词能影响整体氛围

    +
    2. +
  2. +

    风格控制的层次： + - 媒介类型：油画（oil painting）、水彩（watercolor）、铅笔素描（pencil sketch）、数字艺术（digital art） + - 艺术流派：印象派（impressionism）、超现实主义（surrealism）、极简主义（minimalism） + - 时代风格：文艺复兴（Renaissance）、巴洛克（Baroque）、赛博朋克（cyberpunk）、蒸汽朋克（steampunk） + - 特定平台风格：ArtStation、DeviantArt、Pixiv等平台有各自的美学倾向

    +
    3. +
  3. +

    质量控制词汇： + - 细节程度：highly detailed、intricate、elaborate、fine details + - 图像质量：4K、8K、high resolution、sharp focus、crisp + - 专业术语：award-winning、masterpiece、professional、studio quality + - 渲染技术：ray tracing、octane render、unreal engine、volumetric lighting

    +
    4. +
+

提示词技巧深度解析：

+
    +
  • +

    具体性的艺术：避免模糊描述，但也要留有创意空间。比如"美丽的风景"太宽泛，"黄昏时分的托斯卡纳山谷，金色阳光穿过橄榄树"则恰到好处。

    +
    • +
  • +

    权重控制系统：

    +
    • +
  • 括号语法：(重要元素)增加1.1倍权重，((very important))增加1.21倍
    • +
  • 数字权重：(element:1.5)精确控制权重
    • +
  • 位置权重：提示词开头的元素通常获得更多注意力
    • +
  • +

    注意力竞争：过多的强调可能导致其他元素被忽略

    +
    • +
  • +

    风格标签的选择：

    +
    • +
  • 研究艺术史：了解不同艺术家和流派的特点
    • +
  • 混合风格："Studio Ghibli style mixed with Art Nouveau"
    • +
  • 避免版权问题：谨慎使用在世艺术家的名字
    • +
  • +

    创造独特组合：将看似不相关的风格元素结合

    +
    • +
  • +

    负面提示的策略：

    +
    • +
  • 通用负面提示：ugly, tiling, poorly drawn, blurry, bad anatomy
    • +
  • 特定场景负面：生成人物时排除"extra fingers, missing limbs"
    • +
  • 风格纯净：排除不想要的艺术风格污染
    • +
  • 迭代优化：根据生成结果不断调整负面提示
    • +
+

高级提示词技术：

+
    +
  1. +

    语义引导：利用模型对概念关系的理解 + - "龙"+"机械"→"机械龙" + - "森林"+"水晶"→"水晶森林" + - "古典"+"未来"→"复古未来主义"

    +
    2. +
  2. +

    构图控制： + - 视角：aerial view、close-up、wide angle、fisheye lens + - 构图规则：rule of thirds、golden ratio、symmetrical composition + - 景深：shallow depth of field、bokeh、tilt-shift

    +
    3. +
  3. +

    光照和氛围： + - 自然光：golden hour、blue hour、overcast、harsh sunlight + - 人工光：neon lights、candlelight、studio lighting、rim lighting + - 氛围营造：moody、ethereal、dramatic、serene

    +
    4. +
  4. +

    文化和地域特色： + - 建筑风格：Japanese architecture、Gothic cathedral、Art Deco building + - 服装元素：traditional kimono、Victorian dress、futuristic armor + - 环境特征：cherry blossoms、Northern lights、tropical beach

    +
    5. +
+

💡 实践洞察：提示词的艺术
+好的提示词是科学与艺术的结合。需要理解模型的训练数据分布，同时具备视觉想象力。建议建立个人提示词库，分类记录成功的组合。定期实验新的组合，探索模型的边界。记住，提示词工程是一个迭代过程，每次生成都是学习的机会。

+

13.1.2 艺术创作与风格化

+

扩散模型在艺术创作中展现出惊人的潜力，它不仅是一个工具，更像是一个富有创造力的合作伙伴。艺术家们发现，通过巧妙运用扩散模型，可以突破传统创作的界限，探索前所未有的视觉表达形式。这种人机协作的创作模式正在重新定义艺术创作的过程和可能性。

+

1. 风格迁移的深度探索：

+

风格迁移不仅仅是简单的视觉效果转换，而是对艺术本质的理解和重构。扩散模型通过学习大量艺术作品，内化了不同风格的本质特征。

+
    +
  • 艺术风格的细腻把握：
    • +
  • 油画风格：不仅是厚重的笔触，还包括色彩的层次感、光影的柔和过渡、画布纹理的体现。模型能够理解油画中的impasto技法（厚涂）、glazing（透明色层）等专业技巧。
    • +
  • 水彩风格：捕捉水彩的流动性、透明度、边缘的晕染效果。模型能够模拟wet-on-wet（湿画法）和wet-on-dry（干画法）的不同效果。
    • +
  • 素描风格：理解线条的韵律、阴影的排线方式、留白的艺术。从粗犷的炭笔到精细的铅笔素描，每种工具都有其独特的表现力。
    • +
  • +

    像素艺术：不只是低分辨率，而是对有限调色板的巧妙运用、dithering（抖动）技术的应用、像素级的精确控制。

    +
    • +
  • +

    时代风格的历史理解：

    +
    • +
  • 文艺复兴：追求完美的人体比例、透视法的精确运用、明暗对比法（chiaroscuro）的戏剧性效果
    • +
  • 印象派：捕捉瞬间的光影变化、色彩的分离与视觉混合、笔触的可见性作为表现手段
    • +
  • 现代主义：形式的简化、色彩的纯粹性、对传统透视的打破、情感的直接表达
    • +
  • +

    后现代主义：拼贴与混搭、对既定规则的质疑、多元文化的融合、观念性的强调

    +
    • +
  • +

    个人风格的学习与创新： + 模型可以学习特定艺术家的风格特征，但这带来了伦理考量。在使用时应当：

    +
    • +
  • +

    明确标注灵感来源

    +
    • +
  • 尊重在世艺术家的权益
    • +
  • 将其作为学习和致敬的工具，而非简单复制
    • +
  • 在此基础上发展个人独特风格
    • +
+

2. 概念混合的创造性实验：

+

概念混合是扩散模型最令人兴奋的能力之一，它能够将看似不相关的概念有机融合，创造出全新的视觉语言。

+
深度概念混合示例：
+"有机机械" = 生物形态 + 机械结构 → 创造出既有生命感又有工业美感的设计
+"液态建筑" = 流体动力学 + 建筑结构 → 突破传统建筑的刚性形态
+"时间雕塑" = 时间流逝 + 三维形体 → 在静态图像中表现时间维度
+
+ +

概念混合的层次：

+
    +
  • 视觉层面：形态、色彩、纹理的融合
    • +
  • 语义层面：意义、象征、文化内涵的交织
    • +
  • 情感层面：不同情绪氛围的碰撞与和谐
    • +
  • 功能层面：实用性与艺术性的结合
    • +
+

3. 抽象艺术生成的哲学思考：

+

扩散模型为抽象艺术创作提供了新的可能性，能够将难以言说的概念转化为视觉形式。

+
    +
  • 情感表达的视觉化：
    • +
  • "焦虑"可能表现为扭曲的线条、不和谐的色彩、破碎的形状
    • +
  • "宁静"可能呈现为柔和的渐变、对称的构图、流畅的曲线
    • +
  • +

    "希望"可能展现为向上的动势、明亮的色调、开放的空间

    +
    • +
  • +

    色彩实验的无限可能：

    +
    • +
  • 探索互补色的极限对比
    • +
  • 创造不存在于自然界的色彩组合
    • +
  • 研究色彩的心理效应和文化含义
    • +
  • +

    打破传统配色规则，发现新的和谐

    +
    • +
  • +

    形式探索的边界拓展：

    +
    • +
  • 非欧几里得几何的视觉表现
    • +
  • 分形艺术与自然形态的结合
    • +
  • 拓扑变换的美学探索
    • +
  • 维度折叠的想象性表达
    • +
+

4. 风格一致性的系统方法：

+

在创作系列作品时，保持风格一致性至关重要。这需要系统的方法和精细的控制。

+
    +
  • 技术层面的控制：
    • +
  • 种子管理：建立种子库，记录每个种子的特性
    • +
  • 提示词模板：创建可复用的风格描述模板
    • +
  • 参数标准化：固定关键参数如CFG scale、采样步数
    • +
  • +

    批量生成策略：同时生成多个变体，确保选择空间

    +
    • +
  • +

    艺术层面的统一：

    +
    • +
  • 色彩方案：定义主色调和辅助色
    • +
  • 构图原则：确立统一的视觉语言
    • +
  • 主题连贯：在变化中保持核心概念
    • +
  • +

    情绪基调：维持一致的情感表达

    +
    • +
  • +

    工作流程优化：

    +
    • +
  • 建立风格指南文档
    • +
  • 创建视觉参考板（mood board）
    • +
  • 定期审查和调整
    • +
  • 与其他创作者分享和交流
    • +
+

🔬 研究前沿：可控风格化
+当前研究正在探索更精细的风格控制方法：

+
    +
  • 风格强度的连续调节：从0%到100%的渐变控制
    • +
  • 局部风格化：对图像不同区域应用不同风格
    • +
  • 风格解耦：分离内容、风格、技法等不同维度
    • +
  • 风格插值：在多种风格之间创造平滑过渡
    • +
  • 时序风格演变：风格随时间动态变化的可能性
    • +
+

这些研究不仅推动技术进步，更为艺术创作开辟了新的表达维度。

+

13.1.3 高分辨率图像合成

+

生成高质量、高分辨率图像的技术：

+

1. 级联扩散模型：

+
64×64 → 256×256 → 1024×1024 → 4096×4096
+基础模型 → 超分模型1 → 超分模型2 → 细节增强
+
+ +

2. 潜在扩散的优势： +- 在压缩的潜在空间生成 +- 解码器负责高频细节 +- 计算效率更高

+

3. 分块生成（Tiling）： +- 将大图分成重叠的块 +- 独立生成每块 +- 智能混合边界

+

4. 注意力优化： +- 局部注意力窗口 +- 金字塔注意力 +- 稀疏注意力模式

+

质量控制指标：

+
    +
  • 清晰度：边缘锐利度、纹理细节
    • +
  • 一致性：全局光照、透视正确
    • +
  • 真实感：符合物理规律
    • +
  • 美感：构图、色彩和谐
    • +
+
+**练习 13.1：构建图像生成管道** +

实践图像生成的完整流程。

+
    +
  1. +

    提示词优化器： + - 实现提示词模板系统 + - 自动扩展简单描述 + - A/B测试不同提示词

    +
    2. +
  2. +

    批量生成系统： + - 参数网格搜索 + - 自动质量评估 + - 结果分类存储

    +
    3. +
  3. +

    风格探索工具： + - 风格插值实验 + - 风格强度调节 + - 风格组合矩阵

    +
    4. +
  4. +

    高分辨率管道： + - 实现级联超分 + - 优化内存使用 + - 处理边界伪影

    +
    5. +
+
+

13.1.4 批量生成与质量控制

+

在生产环境中的最佳实践：

+

1. 批量生成策略： +- 参数扫描：系统地探索参数空间 +- 多样性采样：确保结果的丰富性 +- 并行处理：利用多GPU加速

+

2. 自动质量评估： +- 美学评分模型 +- CLIP相似度 +- FID/IS等指标 +- 异常检测

+

3. 人机协作流程：

+
批量生成 → 自动筛选 → 人工精选 → 微调优化 → 最终输出
+
+ +

4. 版本管理： +- 保存所有参数 +- 追踪生成历史 +- 支持结果复现

+

13.1.5 实际应用案例

+

1. 商业设计： +- 产品概念图 +- 营销素材 +- UI/UX原型

+

2. 游戏开发： +- 概念艺术 +- 纹理生成 +- 场景原画

+

3. 影视制作： +- 故事板 +- 视觉特效概念 +- 场景设计

+

4. 教育出版： +- 教材插图 +- 科学可视化 +- 历史场景重现

+

💡 商业考虑：版权与伦理
+使用扩散模型时需要考虑：

+
    +
  • 训练数据的版权
    • +
  • 生成内容的所有权
    • +
  • 避免生成有害内容
    • +
  • 尊重艺术家权益
    • +
+

13.2 智能图像编辑

+

13.2.1 图像修复（Inpainting）

+

图像修复是扩散模型的杀手级应用，可以智能填充图像中的缺失或不需要的部分。

+

技术原理：

+
    +
  1. +

    掩码条件扩散： +$$\mathbf{x}_t = \mathbf{m} \odot \mathbf{x}_t^{\text{known}} + (1-\mathbf{m}) \odot \mathbf{x}_t^{\text{unknown}}$$ +其中 $\mathbf{m}$ 是二值掩码，1表示保留区域，0表示修复区域。

    +
    2. +
  2. +

    边界融合： + - 软掩码：使用高斯模糊避免硬边界 + - 泊松融合：保持梯度连续性 + - 多尺度混合：不同频率分别处理

    +
    3. +
  3. +

    上下文理解： + - 全局语义：理解整体场景 + - 局部纹理：匹配周围纹理 + - 光照一致：保持光影关系

    +
    4. +
+

应用场景：

+
    +
  1. +

    对象移除： + - 移除不需要的人物/物体 + - 去除水印/文字 + - 清理照片瑕疵

    +
    2. +
  2. +

    内容替换： + - 更换服装/配饰 + - 改变物体材质 + - 替换背景元素

    +
    3. +
  3. +

    创意编辑： + - 添加新元素 + - 改变表情/姿态 + - 场景扩展

    +
    4. +
+

高级技巧：

+
    +
  1. +

    多步修复： + 粗修复 → 细节增强 → 边界优化 → 色彩校正

    +
    2. +
  2. +

    引导修复： + - 文本引导：描述期望的修复结果 + - 参考图引导：提供样例 + - 草图引导：手绘大致形状

    +
    3. +
  3. +

    智能掩码生成： + - 自动检测需要修复的区域 + - 语义分割辅助 + - 交互式精修

    +
    4. +
+

💡 实践技巧：自然的修复效果

+
    +
  • 掩码边缘要足够软
    • +
  • 考虑周围环境的语义
    • +
  • 多次生成选择最佳结果
    • +
  • 必要时分步骤修复
    • +
+

13.2.2 图像扩展（Outpainting）

+

将图像边界向外扩展，生成合理的延续内容。

+

技术挑战：

+
    +
  1. +

    边界一致性： + - 纹理延续 + - 透视保持 + - 光照匹配

    +
    2. +
  2. +

    内容合理性： + - 符合场景逻辑 + - 保持风格统一 + - 避免重复模式

    +
    3. +
+

实现方法：

+
    +
  1. +

    滑动窗口法： + 原图 → [重叠区域] → 扩展区域1 + → [重叠区域] → 扩展区域2

    +
    2. +
  2. +

    多分辨率扩展： + - 先低分辨率确定布局 + - 再高分辨率添加细节

    +
    3. +
  3. +

    方向性控制： + - 指定扩展方向 + - 控制扩展内容 + - 渐进式扩展

    +
    4. +
+

应用实例：

+
    +
  • 将16:9视频转换为21:9
    • +
  • 扩展历史照片的视野
    • +
  • 创建全景图像
    • +
  • 补充画面构图
    • +
+

13.2.3 语义编辑与属性操控

+

精确控制图像的语义内容和视觉属性。

+

1. 局部编辑：

+

通过注意力机制实现精确控制：

+
    +
  • 选择性编辑：只改变特定对象
    • +
  • 属性迁移：改变颜色、材质、风格
    • +
  • 关系调整：改变对象间的相对位置
    • +
+

2. 全局调整：

+
    +
  • +

    风格转换： + 照片 → 油画/水彩/素描 + 白天 → 夜晚 + 夏天 → 冬天

    +
    • +
  • +

    情绪渲染：

    +
    • +
  • 明亮欢快 ↔ 阴暗忧郁
    • +
  • 温暖 ↔ 冷峻
    • +
  • 柔和 ↔ 锐利
    • +
+

3. 细粒度控制：

+

使用ControlNet等技术实现精确控制：

+
    +
  • 边缘图控制：保持形状改变内容
    • +
  • 深度图控制：保持3D结构
    • +
  • 姿态控制：改变人物动作
    • +
  • 语义图控制：精确指定每个区域
    • +
+
+**练习 13.2：实现智能编辑工具** +

构建实用的图像编辑应用。

+
    +
  1. +

    智能修复工具： + - 实现自动掩码生成 + - 多种修复模式 + - 批量处理功能

    +
    2. +
  2. +

    创意扩展器： + - 支持四个方向扩展 + - 智能内容预测 + - 无缝拼接算法

    +
    3. +
  3. +

    属性编辑器： + - 实现滑块式属性控制 + - 支持多属性组合 + - 实时预览效果

    +
    4. +
  4. +

    风格转换器： + - 预设多种风格 + - 风格强度调节 + - 局部风格应用

    +
    5. +
+
+

13.2.4 智能抠图与合成

+

结合扩散模型的高级图像合成技术。

+

1. 语义感知抠图：

+

不仅分离前景背景，还理解语义关系：

+
    +
  • 头发丝级别的精细抠图
    • +
  • 半透明物体处理
    • +
  • 反射和阴影保留
    • +
+

2. 智能合成：

+

将抠出的对象自然地融入新场景：

+
    +
  • 光照适配：自动调整光影
    • +
  • 色彩和谐：匹配环境色调
    • +
  • 透视校正：调整大小和角度
    • +
  • 交互生成：生成合理的接触阴影
    • +
+

3. 场景理解：

+
    +
  • 遮挡关系推理
    • +
  • 深度顺序调整
    • +
  • 反射生成
    • +
  • 环境交互
    • +
+

工作流程示例：

+
1. 智能选择对象 → 2. 精细边缘处理 → 3. 提取带alpha通道
+4. 分析目标场景 → 5. 自动调整参数 → 6. 生成合成结果
+7. 细节优化 → 8. 最终输出
+
+ +

13.2.5 批量编辑与自动化

+

1. 模板化编辑： +- 预定义编辑操作 +- 参数化控制 +- 批量应用

+

2. 智能批处理：

+

编辑管道的设计：

+
    +
  • 检测人脸 → 美化处理
    • +
  • 识别天空 → 替换天空
    • +
  • 增强细节 → 色彩校正
    • +
+

这种流水线式的处理方式可以高效地批量处理图像。

+

3. API集成： +- RESTful接口 +- 流式处理 +- 错误处理

+

4. 质量保证： +- 自动检测失败案例 +- 人工审核接口 +- 迭代优化

+

🔬 技术前沿：视频编辑
+如何将图像编辑技术扩展到视频？时间一致性是关键挑战。需要考虑帧间连续性、运动补偿和长时依赖。

+

13.2.6 实际应用案例分析

+

1. 电商应用： +- 商品图片优化 +- 背景统一化 +- 模特换装 +- 场景合成

+

2. 社交媒体： +- 滤镜效果 +- 创意贴纸 +- 背景替换 +- 美颜优化

+

3. 专业摄影： +- 瑕疵修复 +- 构图调整 +- 艺术化处理 +- 批量后期

+

4. 建筑设计： +- 效果图渲染 +- 材质替换 +- 环境模拟 +- 方案对比

+

💡 最佳实践：编辑工作流

+
    +
  1. 始终保留原图
    2. +
  2. 分层编辑，保持可逆性
    3. +
  3. 建立编辑历史
    4. +
  4. 定期保存中间结果
    5. +
  5. 使用版本控制
    6. +
+

13.3 图像增强与超分辨率

+

13.3.1 经典超分辨率方法回顾

+

在深入扩散模型之前，了解传统方法有助于理解扩散模型的优势：

+

1. 插值方法： +- 双线性插值：简单但模糊 +- 双三次插值：稍好但仍缺乏细节 +- Lanczos插值：边缘稍锐利

+

2. 基于学习的方法： +- SRCNN：开创性的CNN方法 +- ESRGAN：基于GAN的方法 +- Real-ESRGAN：针对真实场景优化

+

3. 传统方法的局限： +- 过度平滑或过度锐化 +- 缺乏语义理解 +- 难以生成真实纹理 +- 对退化类型敏感

+

13.3.2 基于扩散的超分辨率

+

扩散模型为超分辨率带来了新的可能性：

+

核心原理：

+
    +
  1. +

    条件扩散框架： +$$p_\theta(\mathbf{x}_\text{HR}|\mathbf{x}_\text{LR}) = \prod_{t=1}^T p_\theta(\mathbf{x}_{t-1}|\mathbf{x}_t, \mathbf{x}_\text{LR})$$

    +
    2. +
  2. +

    退化建模： + - 不仅是简单下采样 + - 包括模糊、噪声、压缩伪影 + - 学习真实世界的退化分布

    +
    3. +
  3. +

    渐进式细化： + 低分辨率 → 结构恢复 → 纹理生成 → 细节优化

    +
    4. +
+

技术优势：

+
    +
  1. 语义感知：理解图像内容，生成合理细节
    2. +
  2. 纹理合成：创造而非简单插值
    3. +
  3. 不确定性建模：多种合理的高分辨率对应
    4. +
  4. 稳定训练：避免GAN的训练不稳定
    5. +
+

实现架构：

+
    +
  1. +

    级联扩散： + 64×64 → 256×256 (4×) + → 512×512 (2×) + → 1024×1024 (2×)

    +
    2. +
  2. +

    潜在扩散超分： + - 在潜在空间进行超分 + - 解码器负责细节生成 + - 计算效率更高

    +
    3. +
  3. +

    条件编码器设计： + - 多尺度特征提取 + - 跳跃连接保留信息 + - 自适应特征融合

    +
    4. +
+

💡 关键洞察：创造vs重建
+传统超分追求"重建"原始图像，扩散超分则是"创造"合理的高分辨率版本。这种范式转变带来了更自然的结果。

+

13.3.3 老照片修复

+

结合多种退化处理的综合应用：

+

1. 退化类型： +- 褪色和偏色 +- 划痕和折痕 +- 噪点和颗粒 +- 模糊和失焦 +- 部分缺失

+

2. 修复流程：

+
输入分析 → 退化检测 → 分类处理 → 综合修复 → 质量提升
+    ↓           ↓           ↓           ↓           ↓
+  评估退化    识别类型    针对处理    扩散修复    超分增强
+
+ +

3. 技术组合：

+
    +
  • 预处理：
    • +
  • 色彩校正
    • +
  • 噪声抑制
    • +
  • +

    几何校正

    +
    • +
  • +

    扩散修复：

    +
    • +
  • 结构补全
    • +
  • 纹理恢复
    • +
  • +

    细节生成

    +
    • +
  • +

    后处理：

    +
    • +
  • 锐化增强
    • +
  • 色彩优化
    • +
  • 一致性检查
    • +
+

4. 特殊考虑： +- 保持历史真实性 +- 避免过度修复 +- 保留时代特征 +- 人脸优先处理

+
+**练习 13.3：实现图像增强系统** +

构建完整的图像增强管道。

+
    +
  1. +

    超分辨率模块： + - 实现多尺度超分 + - 自适应退化检测 + - 批量处理优化

    +
    2. +
  2. +

    老照片修复： + - 退化类型分类器 + - 组合修复策略 + - 交互式修复工具

    +
    3. +
  3. +

    实时增强： + - 视频流处理 + - 帧间一致性 + - 延迟优化

    +
    4. +
  4. +

    质量评估： + - 无参考质量评分 + - A/B测试框架 + - 用户反馈收集

    +
    5. +
+
+

13.3.4 实时增强技术

+

在实际应用中，速度often与质量同等重要：

+

1. 模型优化： +- 知识蒸馏：大模型→小模型 +- 量化：FP32→INT8/INT4 +- 剪枝：移除冗余参数 +- 架构搜索：自动优化结构

+

2. 推理加速： +- TensorRT优化 +- ONNX部署 +- 模型分片 +- 批处理

+

3. 分块处理：

+
大图像 → 分块 → 并行处理 → 智能拼接
+         ↓
+      重叠区域处理
+
+ +

4. 渐进式显示： +- 先显示快速预览 +- 后台继续优化 +- 增量更新显示

+

13.3.5 领域特定的增强

+

1. 人脸增强： +- 五官对齐 +- 皮肤纹理 +- 表情保持 +- 身份一致性

+

2. 文字增强： +- 笔画清晰化 +- 背景净化 +- 倾斜校正 +- OCR友好

+

3. 医学图像： +- 保真度优先 +- 噪声抑制 +- 对比度增强 +- 标准化处理

+

4. 卫星图像： +- 大气校正 +- 多光谱融合 +- 时序对齐 +- 地物识别

+

🔬 研究前沿：盲超分辨率
+真实场景中退化类型未知，如何设计通用的盲超分模型？这需要强大的退化建模和自适应处理能力。

+

13.3.6 评估指标与质量控制

+

1. 客观指标： +- PSNR：峰值信噪比（越高越好） +- SSIM：结构相似性（0-1，越高越好） +- LPIPS：感知距离（越低越好） +- FID：用于生成质量

+

2. 主观评估： +- 清晰度 +- 自然度 +- 细节丰富度 +- 无伪影

+

3. 任务相关指标： +- 人脸：身份保持度 +- 文字：OCR准确率 +- 医学：诊断一致性

+

4. 实时监控： +- 处理速度 +- 内存占用 +- 失败率 +- 用户满意度

+

💡 实践建议：平衡质量与速度

+
    +
  • 提供多个质量等级选项
    • +
  • 根据内容类型自动选择
    • +
  • 允许用户微调参数
    • +
  • 保存用户偏好设置
    • +
+

13.4 3D内容生成

+

13.4.1 3D生成的挑战与机遇

+

3D内容生成是扩散模型的新前沿，面临独特的技术挑战：

+

主要挑战：

+
    +
  1. +

    表示方法多样： + - 体素（Voxels）：3D网格，内存密集 + - 点云（Point Clouds）：稀疏但缺乏拓扑 + - 网格（Meshes）：工业标准但难以生成 + - 隐式表示（NeRF/SDF）：连续但计算密集

    +
    2. +
  2. +

    数据稀缺： + - 3D数据采集成本高 + - 标注困难 + - 质量参差不齐

    +
    3. +
  3. +

    计算复杂度： + - 维度诅咒：3D比2D计算量大幅增加 + - 多视角一致性 + - 物理约束

    +
    4. +
+

扩散模型的优势：

+
    +
  • 生成质量高
    • +
  • 训练稳定
    • +
  • 支持条件生成
    • +
  • 可以处理多种3D表示
    • +
+

13.4.2 3D物体生成

+

1. 基于体素的扩散：

+

直接在3D体素网格上应用扩散：

+
噪声体素 → 3D U-Net去噪 → 清晰3D形状
+
+ +

优点：概念简单，直接扩展2D方法 +缺点：分辨率受限，内存消耗大

+

2. 基于点云的扩散：

+

点云表示： $\mathcal{P} = {(x_i, y_i, z_i)}_{i=1}^N$

+

扩散过程：

+
    +
  • 位置扩散：添加高斯噪声到坐标
    • +
  • 数量扩散：点的增删
    • +
  • 特征扩散：颜色、法向等属性
    • +
+

3. 基于隐式表示的扩散：

+

神经隐式表示（如DeepSDF、NeRF）： +$$f_\theta(x, y, z) = \begin{cases} +\text{SDF值} & \text{(形状表示)} \ +(\mathbf{c}, \sigma) & \text{(NeRF表示)} +\end{cases}

+

$$ +扩散应用于：

+
    +
  • 潜在代码
    • +
  • 网络参数
    • +
  • 特征场
    • +
+

💡 技术洞察：多模态融合
+最新方法often结合多种表示的优势，如先生成粗糙体素，再细化为网格，最后添加纹理细节。

+

13.4.3 条件3D生成

+

1. 文本到3D（Text-to-3D）：

+

代表方法：DreamFusion、Magic3D

+

核心技术：Score Distillation Sampling (SDS) +$$\nabla_\theta \mathcal{L}_\text{SDS} = \mathbb{E}_{t,\epsilon}\left[w(t)(\epsilon_\phi(\mathbf{x}_t, t, y) - \epsilon)\frac{\partial \mathbf{x}}{\partial \theta}\right]$$ +流程：

+
    +
  1. 文本编码（CLIP）
    2. +
  2. 2D扩散模型作为先验
    3. +
  3. 优化3D表示以匹配多视角渲染
    4. +
+

2. 图像到3D（Image-to-3D）：

+

单视图重建的挑战：

+
    +
  • 深度歧义
    • +
  • 遮挡区域
    • +
  • 纹理推断
    • +
+

解决方案：

+
    +
  • 多视图扩散：生成多个一致视角
    • +
  • 几何先验：利用大规模3D数据
    • +
  • 渐进式细化：粗到细的生成
    • +
+

3. 草图到3D（Sketch-to-3D）：

+

将手绘草图转换为3D模型：

+
    +
  • 笔画解析
    • +
  • 深度推断
    • +
  • 风格保持
    • +
+

13.4.4 纹理生成与材质合成

+

1. UV映射纹理生成：

+

给定3D网格，生成2D纹理图：

+
3D网格 → UV展开 → 2D纹理生成 → 映射回3D
+
+ +

挑战：

+
    +
  • 接缝处理
    • +
  • 分辨率分配
    • +
  • 风格一致性
    • +
+

2. 直接3D纹理合成：

+

在3D表面直接生成纹理：

+
    +
  • 表面参数化
    • +
  • 3D卷积网络
    • +
  • 多尺度细节
    • +
+

3. 材质属性生成：

+

PBR（物理渲染）材质：

+
    +
  • 漫反射（Albedo）
    • +
  • 金属度（Metallic）
    • +
  • 粗糙度（Roughness）
    • +
  • 法线贴图（Normal）
    • +
+
+**练习 13.4：实现3D生成系统** +

探索3D内容创建的完整流程。

+
    +
  1. +

    基础3D生成： + - 实现简单的体素扩散 + - 点云生成与可视化 + - 网格提取算法

    +
    2. +
  2. +

    条件控制： + - 文本条件编码 + - 多视图一致性约束 + - 风格控制

    +
    3. +
  3. +

    纹理与材质： + - UV映射生成 + - PBR材质预测 + - 实时渲染集成

    +
    4. +
  4. +

    应用集成： + - 导出标准格式（OBJ、FBX） + - 游戏引擎集成 + - AR/VR预览

    +
    5. +
+
+

13.4.5 场景生成与组合

+

1. 室内场景生成：

+

生成完整的室内环境：

+
    +
  • 房间布局
    • +
  • 家具摆放
    • +
  • 光照设置
    • +
  • 材质配置
    • +
+

技术要点：

+
    +
  • 场景图表示
    • +
  • 物体关系建模
    • +
  • 物理约束（防碰撞、支撑关系）
    • +
+

2. 室外场景：

+

大规模环境生成：

+
    +
  • 地形生成
    • +
  • 植被分布
    • +
  • 建筑放置
    • +
  • 天气效果
    • +
+

3. 场景编辑：

+
    +
  • 物体增删
    • +
  • 布局调整
    • +
  • 风格转换
    • +
  • 光照编辑
    • +
+

13.4.6 NeRF与扩散模型的结合

+

1. NeRF简介：

+

神经辐射场表示3D场景： +$$F_\Theta: (x, y, z, \theta, \phi) \rightarrow (\mathbf{c}, \sigma)$$

+
    +
  • 输入：3D位置 + 观察方向
    • +
  • 输出：颜色 + 密度
    • +
+

2. 扩散增强的NeRF：

+
    +
  • 生成式NeRF：从噪声生成NeRF
    • +
  • 编辑式NeRF：修改现有NeRF
    • +
  • 超分辨率NeRF：提升渲染质量
    • +
+

3. 应用场景：

+
    +
  • 新视角合成
    • +
  • 3D场景编辑
    • +
  • 虚拟物体插入
    • +
  • 光照重打光
    • +
+

🔬 前沿研究：4D生成
+如何生成随时间变化的3D内容（4D）？这涉及运动建模、时序一致性和高效表示，是活跃的研究领域。

+

13.4.7 实际应用与工业集成

+

1. 游戏资产生成： +- 角色模型 +- 环境道具 +- 纹理变体 +- LOD生成

+

2. 建筑可视化： +- 概念设计 +- 室内布局 +- 材质方案 +- 光照模拟

+

3. 电商3D： +- 产品建模 +- 虚拟试穿 +- AR预览 +- 定制设计

+

4. 医疗应用： +- 器官重建 +- 手术规划 +- 假体设计 +- 教学模型

+

5. 工业设计： +- 原型生成 +- 参数化设计 +- 仿真准备 +- 逆向工程

+

💡 实施建议：3D生成管道

+
    +
  1. 明确目标格式和质量要求
    2. +
  2. 选择合适的3D表示
    3. +
  3. 考虑下游应用的约束
    4. +
  4. 建立质量检查流程
    5. +
  5. 优化生成速度vs质量平衡
    6. +
+

13.5 跨模态应用与新兴领域

+

13.5.1 音频生成与处理

+

扩散模型在音频领域展现出巨大潜力：

+

1. 音乐生成：

+
    +
  • 波形级生成：直接生成原始音频波形
    • +
  • 谱图生成：在梅尔谱图空间应用扩散
    • +
  • 符号音乐：生成MIDI或乐谱
    • +
+

技术特点：

+
    +
  • 时序建模：处理长程依赖
    • +
  • 多轨生成：不同乐器的协调
    • +
  • 风格控制：流派、情绪、节奏
    • +
+

2. 语音合成：

+

文本到语音（TTS）的扩散方法：

+
文本 → 音素序列 → 声学特征 → 波形生成
+
+ +

优势：

+
    +
  • 自然度高
    • +
  • 韵律控制精细
    • +
  • 说话人适应快速
    • +
+

3. 音频修复与增强：

+
    +
  • 去噪：消除背景噪音
    • +
  • 带宽扩展：提升音质
    • +
  • 缺失补全：修复损坏音频
    • +
  • 源分离：分离混合音源
    • +
+

4. 音效生成：

+
    +
  • 环境音：风、雨、海浪
    • +
  • 动作音效：脚步、碰撞
    • +
  • 抽象音效：科幻、魔法
    • +
+

🔬 研究前沿：多模态音频
+如何生成与视觉内容同步的音频？这需要理解视听对应关系，是多模态学习的重要方向。

+

13.5.2 分子设计与药物发现

+

扩散模型在分子生成中的革命性应用：

+

1. 分子表示：

+
    +
  • 2D分子图：原子为节点，键为边
    • +
  • 3D构象：空间坐标 + 原子类型
    • +
  • SMILES字符串：线性表示
    • +
+

2. 药物分子生成：

+

条件生成目标分子：

+
    +
  • 靶点结合亲和力
    • +
  • ADMET性质
    • +
  • 合成可行性
    • +
  • 新颖性
    • +
+

3. 蛋白质设计：

+
    +
  • 序列设计：氨基酸序列优化
    • +
  • 结构预测：3D折叠预测
    • +
  • 功能设计：特定功能的蛋白
    • +
+

4. 材料发现：

+
    +
  • 晶体结构生成
    • +
  • 聚合物设计
    • +
  • 催化剂优化
    • +
+

应用流程：

+
目标属性 → 条件扩散生成 → 候选分子 → 虚拟筛选 → 实验验证
+
+ +

💡 应用价值：加速创新
+传统药物发现需要10-15年，AI辅助可以大幅缩短前期筛选时间，降低研发成本。

+

13.5.3 数据增强与合成数据

+

1. 计算机视觉数据增强：

+

超越传统增强的生成式方法：

+
    +
  • 语义保持的变换
    • +
  • 罕见场景生成
    • +
  • 对抗样本生成
    • +
  • 领域适应
    • +
+

2. 医学影像增强：

+
    +
  • 病变合成：生成罕见病例
    • +
  • 模态转换：CT→MRI
    • +
  • 分辨率提升
    • +
  • 标注生成
    • +
+

3. 自动驾驶数据：

+
    +
  • 极端天气场景
    • +
  • 事故场景模拟
    • +
  • 传感器数据合成
    • +
  • 边缘案例生成
    • +
+

4. 隐私保护合成：

+

生成不含个人信息的数据：

+
    +
  • 人脸匿名化
    • +
  • 医疗记录合成
    • +
  • 行为数据生成
    • +
+
+**练习 13.5：实现跨模态应用** +

探索扩散模型的创新应用。

+
    +
  1. +

    音频实验： + - 实现简单的音效生成 + - 尝试音频修复任务 + - 探索音视频同步

    +
    2. +
  2. +

    分子生成： + - 使用开源工具生成分子 + - 可视化分子结构 + - 评估分子性质

    +
    3. +
  3. +

    数据增强： + - 为特定任务设计增强策略 + - 评估增强效果 + - 平衡真实性与多样性

    +
    4. +
  4. +

    创新应用： + - 识别新的应用领域 + - 设计原型系统 + - 评估可行性

    +
    5. +
+
+

13.5.4 个性化生成

+

1. 少样本个性化：

+

从少量样本学习个人特征：

+
    +
  • 人脸个性化：3-5张照片
    • +
  • 风格学习：艺术家风格
    • +
  • 声音克隆：短音频样本
    • +
+

2. 概念学习：

+

DreamBooth类方法：

+
    +
  • 学习新概念/物体
    • +
  • 保持生成能力
    • +
  • 避免过拟合
    • +
+

3. 用户偏好适应：

+
    +
  • 交互式优化
    • +
  • 隐式反馈学习
    • +
  • 个性化推荐
    • +
+

4. 定制化生成：

+
    +
  • 品牌视觉设计
    • +
  • 个人虚拟形象
    • +
  • 定制产品设计
    • +
+

13.5.5 实时交互应用

+

1. 创意工具：

+
    +
  • 实时绘画辅助
    • +
  • 交互式编辑
    • +
  • 协作创作
    • +
  • 版本控制
    • +
+

2. 游戏应用：

+
    +
  • 程序化内容生成
    • +
  • 玩家定制内容
    • +
  • 动态场景生成
    • +
  • NPC外观生成
    • +
+

3. 虚拟现实：

+
    +
  • 沉浸式环境
    • +
  • 手势交互生成
    • +
  • 实时场景编辑
    • +
  • 社交虚拟空间
    • +
+

4. 直播与视频：

+
    +
  • 实时滤镜
    • +
  • 虚拟背景
    • +
  • 表情迁移
    • +
  • 实时翻译配音
    • +
+

13.5.6 边缘计算与移动应用

+

1. 模型压缩：

+
    +
  • 量化：INT8/INT4
    • +
  • 剪枝：稀疏化
    • +
  • 蒸馏：大模型→小模型
    • +
  • NAS：架构搜索
    • +
+

2. 移动优化：

+
    +
  • 分片计算
    • +
  • 云端协同
    • +
  • 缓存策略
    • +
  • 功耗优化
    • +
+

3. 隐私保护：

+
    +
  • 端侧处理
    • +
  • 联邦学习
    • +
  • 差分隐私
    • +
  • 安全计算
    • +
+

4. 典型应用：

+
    +
  • 手机摄影增强
    • +
  • AR滤镜
    • +
  • 离线翻译
    • +
  • 健康监测
    • +
+

🌟 未来展望：普及化AI创作
+随着模型效率提升和硬件发展，每个人都将拥有强大的AI创作工具，创意表达的门槛将大幅降低。

+

13.5.7 伦理考虑与负责任的AI

+

1. 内容真实性： +- 深度伪造检测 +- 水印技术 +- 来源追溯 +- 真实性验证

+

2. 版权保护： +- 训练数据版权 +- 生成内容归属 +- 创作者权益 +- 使用许可

+

3. 偏见与公平： +- 数据偏见识别 +- 公平性度量 +- 去偏见技术 +- 包容性设计

+

4. 社会影响： +- 就业影响评估 +- 创意产业变革 +- 教育需求演变 +- 监管框架建立

+

💡 行动指南：负责任的开发

+
    +
  1. 透明度：公开模型能力和局限
    2. +
  2. 可控性：提供用户控制选项
    3. +
  3. 安全性：实施内容过滤机制
    4. +
  4. 包容性：确保多元群体受益
    5. +
  5. 可持续：考虑环境影响
    6. +
+

本章小结

+

本章全面探讨了扩散模型的实际应用：

+
    +
  1. 图像生成：从艺术创作到商业设计，扩散模型展现了惊人的创造力
    2. +
  2. 智能编辑：修复、扩展、语义编辑等功能revolutionize了图像处理
    3. +
  3. 超分辨率：不仅提升分辨率，更是创造性地生成细节
    4. +
  4. 3D生成：开启了三维内容创作的新纪元
    5. +
  5. 跨模态应用：音频、分子、数据增强等展示了技术的普适性
    6. +
+

扩散模型正在改变创意产业、科学研究和日常生活。随着技术不断进步，我们期待看到更多创新应用，同时也需要认真对待伦理挑战，确保技术发展造福人类。

+

下一章，我们将展望扩散模型的未来发展方向，探讨前沿研究和潜在突破。

+
+ + +
+
+ + \ No newline at end of file diff --git a/html/chapter14.html b/html/chapter14.html new file mode 100644 index 0000000..9c4518d --- /dev/null +++ b/html/chapter14.html @@ -0,0 +1,1560 @@ + + + + + + 第14章：前沿研究与未来方向 + + + + + + + +
+ + +
+
+

← 返回目录 | 第14章 / 共14章

+

第14章：前沿研究与未来方向

+

我们即将结束这段扩散模型的学习之旅。在最后一章，让我们将目光投向未来，探索这个快速发展领域的前沿研究和潜在突破。本章将介绍最新的理论进展、架构创新和应用拓展，帮助您把握扩散模型的发展脉络，激发您参与到这个激动人心的研究领域中。通过学习本章，您将了解一致性模型等新范式，理解理论研究的最新进展，掌握架构设计的创新方向，并对扩散模型的未来发展有清晰的认识。

+

章节大纲

+

14.1 一致性模型：超越扩散的新范式

+
    +
  • 一致性模型的基本原理
    • +
  • 一步生成的实现
    • +
  • 与扩散模型的关系
    • +
  • 性能对比与应用前景
    • +
+

14.2 理论前沿与数学创新

+
    +
  • 最优传输视角
    • +
  • 流匹配与概率流
    • +
  • 信息论分析
    • +
  • 统一生成模型理论
    • +
+

14.3 架构创新与效率突破

+
    +
  • 新型神经网络架构
    • +
  • 计算效率优化
    • +
  • 模型压缩技术
    • +
  • 硬件协同设计
    • +
+

14.4 应用拓展与社会影响

+
    +
  • 科学计算应用
    • +
  • 多智能体生成系统
    • +
  • 人机协作创新
    • +
  • 伦理与监管框架
    • +
+

14.5 研究方向与开放问题

+
    +
  • 基础理论挑战
    • +
  • 技术瓶颈突破
    • +
  • 跨学科融合
    • +
  • 长期发展愿景
    • +
+

14.1 一致性模型：超越扩散的新范式

+

14.1.1 一致性模型的基本原理

+

一致性模型（Consistency Models）是2023年提出的新一代生成模型，代表了生成模型研究的一个重要转折点。它的出现不仅仅是为了解决扩散模型的采样效率问题，更是对生成过程本质的重新思考。让我们深入理解这个革命性的创新。

+

问题的起源：

+

扩散模型虽然在生成质量上取得了巨大成功，但其多步采样过程始终是一个瓶颈。想象一下，DDPM需要1000步才能生成一张高质量图像，即使是加速版的DDIM也需要50-100步。这种计算开销严重限制了扩散模型在实时应用中的部署。研究者们一直在思考：是否存在一种方法，既能保持扩散模型的生成质量，又能大幅提升采样速度？

+

一致性模型给出了一个优雅的答案。它的核心洞察是：扩散过程中的所有中间状态实际上都包含了足够的信息来重建原始数据。如果我们能够直接学习这种映射关系，就可以跳过逐步去噪的过程。

+

核心思想的深层理解：

+

与扩散模型逐步去噪不同，一致性模型学习一个函数 $f_\theta$ ，直接将任意时刻的噪声数据映射到干净数据：

+

$$f_\theta(\mathbf{x}_t, t) = \mathbf{x}_0, \quad \forall t \in [0, T]$$ +这个看似简单的公式背后蕴含着深刻的含义。在扩散模型中，我们学习的是每一步的去噪方向（score function或noise prediction），而一致性模型直接学习整个轨迹的终点。这就像是GPS导航的两种模式：扩散模型告诉你每个路口怎么转弯，而一致性模型直接告诉你目的地在哪里。

+

自一致性属性的哲学意义：

+

关键约束是自一致性（self-consistency）： +$$f_\theta(\mathbf{x}_t, t) = f_\theta(\mathbf{x}_s, s), \quad \forall t, s \in [0, T]$$ +这个性质不仅是数学约束，更体现了一种哲学思想：同一个数据点的不同噪声版本应该指向同一个原点。这就像不同的河流最终汇入同一片海洋。自一致性确保了模型学习的是数据的本质特征，而不是噪声的表面模式。

+

从概率论的角度看，这个约束确保了概率流ODE的解的唯一性。每条从数据到噪声的轨迹都是确定的，反向轨迹也应该是唯一的。一致性模型正是利用了这个数学性质。

+

训练目标的巧妙设计：

+

一致性损失通过强制相邻时间步的输出一致来训练： +$$\mathcal{L}(\theta) = \mathbb{E}_{t,\mathbf{x}_0,\boldsymbol{\epsilon}}\left[|f_\theta(\mathbf{x}_{t+\Delta t}, t+\Delta t) - f_{\theta^-}(\mathbf{x}_t, t)|^2\right]$$ +其中 $\theta^-$ 是目标网络参数（类似于强化学习中的目标网络）。

+

这个损失函数的设计极其巧妙。它不直接强制 $f_\theta(\mathbf{x}_t, t) = \mathbf{x}_0$ （这需要知道配对的干净数据），而是通过相邻时间步的一致性间接学习映射。这种"局部一致性导致全局一致性"的思想，类似于微分方程通过局部斜率确定全局曲线。

+

目标网络的使用借鉴了深度强化学习的经验，能够稳定训练过程。没有目标网络，模型会陷入"追逐自己尾巴"的困境，导致训练不稳定。

+

💡 革命性创新：一步生成
+一致性模型最吸引人的特性是能够一步生成高质量样本，同时保持多步细化的能力。这打破了质量与速度的传统权衡。更深层的意义在于，它证明了高质量生成不一定需要迭代细化，直接映射也可以达到相同效果。这可能改变我们对生成过程的根本理解。

+

14.1.2 一步生成的实现

+

一步生成是一致性模型最激动人心的特性。让我们深入探讨这个看似不可能的任务是如何实现的。

+

生成过程的革命性简化：

+
    +
  1. 一步生成的魔法： + z ~ N(0, I) # 采样噪声 + x_0 = f_θ(z, T) # 一步生成
    2. +
+

这两行简单的过程背后隐藏着深刻的变革。传统扩散模型需要模拟整个反向扩散过程，就像倒放一部电影，需要经历每一帧。而一致性模型直接跳到结局，这种"时间旅行"般的能力来自于对整个轨迹的深度理解。

+

从信息论角度看，纯噪声 $z$ 实际上编码了生成样本的所有随机性。一致性模型学会了如何解码这种随机性，直接映射到有意义的数据分布。这个过程类似于密码学中的一次性密码本（one-time pad），噪声就是密钥，模型就是解码器。

+
    +
  1. 多步细化的灵活性（可选）： + x_T ~ N(0, I) + for t in [T-1, ..., 1]: + x_t = 采样过程(x_{t+1}, t) + x_0 = f_θ(x_t, t) # 细化
    2. +
+

尽管一步生成已经很强大，一致性模型仍然保留了多步细化的能力。这种设计哲学体现了"最好的系统是灵活的系统"。用户可以根据质量要求和计算预算，在速度和质量之间自由权衡。

+

多步细化过程中，每一步都在纠正前一步可能的误差，逐渐逼近真实分布。这个过程类似于数值分析中的迭代求精（iterative refinement），初始的粗略解通过反复迭代变得越来越精确。

+

技术细节的深度解析：

+
    +
  1. 参数化技巧的艺术：
    2. +
+

一致性模型采用了精心设计的参数化方式： +$$f_\theta(\mathbf{x}_t, t) = c_\text{skip}(t)\mathbf{x}_t + c_\text{out}(t)F_\theta(\mathbf{x}_t, t)$$ +这个设计并非随意为之，而是包含了多重考虑：

+
    +
  • +

    Skip connection的作用：$c_\text{skip}(t)$ 项确保了模型能够保留输入中的有用信息。在 $t$ 接近0时（噪声很小），这个系数接近1，意味着输入已经很接近目标，只需要微调。

    +
    • +
  • +

    网络输出的缩放：$c_\text{out}(t)$ 控制神经网络预测的贡献。在 $t$ 较大时（噪声很大），网络需要做更多工作，这个系数相应增大。

    +
    • +
  • +

    边界条件的满足：当 $t=0$ 时，必须有 $f_\theta(\mathbf{x}_0, 0) = \mathbf{x}_0$。这个恒等映射条件通过设置 $c_\text{skip}(0)=1$ 和 $c_\text{out}(0)=0$ 自然满足。

    +
    • +
+

这种参数化方式的深层含义是：模型学习的不是绝对的映射，而是相对于当前状态的修正量。这降低了学习难度，提高了训练稳定性。

+
    +
  1. 训练策略的系统工程：
    2. +
+
    +
  • +

    课程学习的哲学：从小 $\Delta t$ 开始训练，逐渐增大时间间隔。这模仿了人类学习的过程——先掌握简单任务，再挑战困难任务。小的 $\Delta t$ 意味着相邻时间步差异很小，一致性约束容易满足。随着训练进行，模型逐渐学会处理更大的时间跨度。

    +
    • +
  • +

    EMA的稳定作用：指数移动平均（EMA）更新目标网络是深度学习中的经典技巧。目标网络参数更新公式为：$\theta^- \leftarrow \mu\theta^- + (1-\mu)\theta$，其中 $\mu$ 通常设为0.999。这种缓慢更新避免了训练过程中的震荡，类似于物理系统中的阻尼器。

    +
    • +
  • +

    数据增强的必要性：与分类任务不同，生成模型的数据增强需要格外小心。常用的增强包括：随机裁剪、轻微的颜色抖动、水平翻转等。这些增强不仅增加了训练数据的多样性，还提高了模型对输入扰动的鲁棒性。

    +
    • +
+
    +
  1. 架构选择的考量：
    2. +
+

一致性模型在架构选择上具有很大的灵活性，但不同选择各有优劣：

+
    +
  • +

    U-Net的优势：多尺度特征处理能力强，在图像生成任务中表现优秀。其跳跃连接自然地与一致性模型的skip connection相呼应。计算效率高，适合实时应用。

    +
    • +
  • +

    DiT的潜力：Transformer架构带来了更强的全局建模能力。自注意力机制能够捕获长程依赖，这对于复杂场景的生成至关重要。随着规模增大，性能提升更明显。

    +
    • +
  • +

    时间编码的关键性：时间信息的注入方式直接影响模型性能。常见方法包括：

    +
      +
    • Sinusoidal编码：借鉴Transformer的位置编码
      • +
    • 可学习的嵌入：为每个时间步学习独特表示
      • +
    • 连续时间编码：使用神经网络将连续时间映射到高维表示
      • +
    +
    • +
+

时间编码不仅告诉模型当前的噪声水平，更重要的是指导模型采用合适的去噪策略。不同时间步需要不同的处理方式：早期主要是结构恢复，后期主要是细节优化。

+

14.1.3 与扩散模型的关系

+

理解一致性模型与扩散模型的关系，对于把握生成模型的发展脉络至关重要。这种关系不仅是技术上的联系，更是思想上的传承与突破。

+
    +
  1. 蒸馏视角：站在巨人的肩膀上
    2. +
+

一致性模型的一个重要训练方式是通过蒸馏预训练的扩散模型：

+
    +
  • +

    教师模型的智慧：预训练的扩散模型已经学会了如何逐步去噪，掌握了数据分布的精细结构。它就像一位经验丰富的画家，知道如何一笔一笔地创作出完美的作品。

    +
    • +
  • +

    学生模型的效率：一致性模型作为学生，不需要学习整个绘画过程，只需要学习"看到轮廓就知道最终画作"的能力。这种知识蒸馏不是简单的模仿，而是对本质规律的提炼。

    +
    • +
  • +

    ODE轨迹的传承：扩散模型的概率流ODE定义了从噪声到数据的确定性轨迹。一致性模型学习的正是这些轨迹的"高速公路"——直接连接起点和终点的映射。

    +
    • +
+

蒸馏过程的数学本质是：给定教师模型的ODE轨迹 ${\mathbf{x}_t}_{t=0}^T$，一致性模型学习满足 $f_\theta(\mathbf{x}_t, t) = \mathbf{x}_0$ 的映射。这个过程保留了扩散模型的生成质量，同时获得了巨大的速度提升。

+
    +
  1. 独立训练：开辟新天地
    2. +
+

更令人兴奋的是，一致性模型也可以从头训练，完全不依赖预训练的扩散模型：

+
    +
  • +

    直接学习的挑战：从原始数据直接学习一致性映射更加困难，因为没有教师模型提供的轨迹指导。这就像让一个学生直接学会速写，而不是先学素描基础。

    +
    • +
  • +

    训练时间的权衡：独立训练通常需要更长的时间才能收敛，因为模型需要自己发现数据分布的结构。但这种方法的优势是不受教师模型质量的限制，可能发现新的生成模式。

    +
    • +
  • +

    理论意义的深远：独立训练证明了一致性模型不仅仅是扩散模型的"快速版本"，而是一种全新的生成范式。它表明直接学习点到点的映射是可行的，这为生成模型的理论研究开辟了新方向。

    +
    • +
+
    +
  1. 理论联系：同源而异流
    2. +
+

两者都基于相同的概率流ODE： +$$\frac{d\mathbf{x}_t}{dt} = f(t)\mathbf{x}_t + \frac{g^2(t)}{2\sigma_t}\nabla_{\mathbf{x}_t} \log p_t(\mathbf{x}_t)$$ +这个ODE是连接两种模型的数学桥梁：

+
    +
  • +

    扩散模型的视角：学习score function $\nabla_{\mathbf{x}_t} \log p_t(\mathbf{x}_t)$，然后通过数值积分求解ODE。这是一种"微分"的思想——通过局部信息重建整体。

    +
    • +
  • +

    一致性模型的视角：直接学习ODE的解映射 $\mathbf{x}_0 = \Phi_t(\mathbf{x}_t)$，其中 $\Phi_t$ 是从时刻 $t$ 到时刻0的流映射。这是一种"积分"的思想——直接得到全局解。

    +
    • +
+

这种对偶关系类似于物理学中的拉格朗日力学和哈密顿力学——描述同一系统的不同方式，各有其优势和适用场景。

+

深层含义：从过程到结果的范式转变

+

一致性模型代表了生成建模思维的重要转变：

+
    +
  1. +

    从过程导向到结果导向：扩散模型关注"如何一步步生成"，一致性模型关注"最终生成什么"。

    +
    2. +
  2. +

    从模拟到映射：扩散模型模拟物理过程，一致性模型学习数学映射。

    +
    3. +
  3. +

    从迭代到直达：这种转变类似于从迭代算法到闭式解的飞跃。

    +
    4. +
+

🔬 研究洞察：统一框架
+一致性模型揭示了生成模型的更深层结构。它暗示可能存在一个统一框架，涵盖扩散、流、VAE等多种生成范式。这个框架的核心可能是：所有生成模型都在学习某种形式的概率测度之间的传输映射。一致性模型通过其优雅的formulation，为这种统一理论提供了重要线索。

+

14.1.4 性能对比与优势

+

速度优势：

+

| 模型 | 生成步数 | FID@1步 | FID@最优 |

+ + + + + + + + + + + + + + + + + + + + + + + + + + + + + +
模型生成步数FID@1步FID@最优
DDPM1000>1003.17
DDIM5013.364.04
一致性模型13.552.93
+

质量保持：

+
    +
  • 一步生成质量接近多步扩散
    • +
  • 保留细节和多样性
    • +
  • 支持各种条件生成任务
    • +
+

灵活性：

+
    +
  • 可在速度和质量间权衡
    • +
  • 支持zero-shot编辑
    • +
  • 易于部署和扩展
    • +
+
+**练习 14.1：实现简化版一致性模型** +

深入理解一致性模型的核心概念。

+
    +
  1. +

    基础实现： + - 实现一致性损失函数 + - 设计简单的玩具实验 + - 比较与扩散模型的差异

    +
    2. +
  2. +

    蒸馏实验： + - 从预训练扩散模型蒸馏 + - 分析不同蒸馏策略 + - 评估加速效果

    +
    3. +
  3. +

    架构探索： + - 尝试不同的网络架构 + - 研究时间编码的影响 + - 优化推理效率

    +
    4. +
  4. +

    应用开发： + - 实现实时生成demo + - 探索新的应用场景 + - 集成到现有系统

    +
    5. +
+
+

14.1.5 一致性模型的扩展

+

1. 潜在一致性模型（LCM）： +- 在潜在空间应用一致性训练 +- 结合预训练的VAE +- 进一步提升效率

+

2. 条件一致性模型： +- 文本条件：保持扩散模型的可控性 +- 图像条件：支持各种图像任务 +- 多模态条件：灵活的控制机制

+

3. 级联一致性模型：

+
低分辨率CM → 中分辨率CM → 高分辨率CM
+    (1步)         (1步)         (1步)
+
+ +

4. 一致性编辑： +- 利用一致性属性进行图像编辑 +- 保持未编辑区域不变 +- 实现精确的局部控制

+

14.1.6 局限性与挑战

+

当前局限：

+
    +
  1. 训练不稳定性：需要精心调参
    2. +
  2. 模式覆盖：可能丢失一些细节模式
    3. +
  3. 理论理解：数学基础仍在发展
    4. +
  4. 泛化能力：在某些复杂任务上表现不如扩散
    5. +
+

研究方向：

+
    +
  • 改进训练算法
    • +
  • 理论分析和保证
    • +
  • 与其他方法结合
    • +
  • 新的应用探索
    • +
+

🌟 未来展望：生成模型的新纪元
+一致性模型可能开启生成模型的新纪元，where高质量生成不再需要昂贵的多步推理。这将极大扩展生成模型的应用范围。

+

14.2 理论前沿与数学创新

+

14.2.1 最优传输视角

+

最优传输（Optimal Transport, OT）理论为理解扩散模型提供了优美而深刻的数学框架。这个起源于18世纪的数学理论，在21世纪的AI时代焕发了新的生机。

+

理论的历史渊源与现代意义：

+

最优传输理论最初由法国数学家Monge在1781年提出，用于解决如何以最小成本将土堆移动到指定位置的问题。两个世纪后，这个看似简单的问题成为理解生成模型的关键。在生成模型的语境下，我们要解决的是如何以最小"成本"将数据分布变换到噪声分布，以及反向过程。

+

核心概念的深入解读：

+
    +
  1. Wasserstein距离：分布之间的"真实距离" +$$W_2(\mu, \nu) = \inf_{\pi \in \Pi(\mu, \nu)} \left(\int |\mathbf{x} - \mathbf{y}|^2 d\pi(\mathbf{x}, \mathbf{y})\right)^{1/2}$$ +这个公式的直观理解：
    2. +
+
    +
  • $\pi$ 是联合分布，描述了如何将质量从分布 $\mu$ 搬运到分布 $\nu$
    • +
  • $|\mathbf{x} - \mathbf{y}|^2$ 是将一个点从 $\mathbf{x}$ 移动到 $\mathbf{y}$ 的成本
    • +
  • 整个积分计算总搬运成本，inf表示寻找最优搬运方案
    • +
+

Wasserstein距离相比KL散度的优势在于：即使两个分布的支撑集不重叠，它仍然能给出有意义的距离度量。这对于生成模型尤其重要，因为数据分布和噪声分布通常是不相交的。

+
    +
  1. 最优传输映射：寻找最佳路径 +$$T^* = \arg\min_{T: T_#\mu = \nu} \int |\mathbf{x} - T(\mathbf{x})|^2 d\mu(\mathbf{x})$$ +这里的 $T_#\mu = \nu$ 表示通过映射 $T$ 将分布 $\mu$ 推前（push-forward）到分布 $\nu$。
    2. +
+

在生成模型中的含义：

+
    +
  • 前向过程：$T$ 将数据点映射到对应的噪声点
    • +
  • 反向过程：$T^{-1}$ 将噪声映射回数据
    • +
  • 最优性：在所有可能的映射中，$T^*$ 使得平均移动距离最小
    • +
+

这个最优映射的存在性和唯一性在某些条件下（如分布的凸性）是有保证的，这为理论分析提供了坚实基础。

+
    +
  1. 动态最优传输：时间演化的视角 +$$\inf_{\rho_t, \mathbf{v}_t} \int_0^1 \int |\mathbf{v}_t(\mathbf{x})|^2 \rho_t(\mathbf{x}) d\mathbf{x} dt$$ +这个公式描述了随时间变化的最优传输问题：
    2. +
+
    +
  • $\rho_t$ 是时刻 $t$ 的概率密度
    • +
  • $\mathbf{v}_t$ 是速度场，描述粒子如何移动
    • +
  • 目标是最小化整个过程的"动能"
    • +
+

这正是Benamou-Brenier公式，它将静态的最优传输问题转化为动态的流体力学问题。在扩散模型中，这个速度场 $\mathbf{v}_t$ 正对应于概率流ODE的漂移项。

+

与扩散模型的深层联系：

+
    +
  1. 概率流ODE的最优传输解释：
    2. +
+

扩散模型的概率流ODE实际上定义了一种特殊的传输方案。虽然它不是严格意义上的最优传输（因为加入了随机性），但可以看作是熵正则化后的近似最优传输。

+

具体来说，扩散过程选择的路径是在"传输成本"和"路径多样性"之间的平衡。这种平衡由扩散系数 $g(t)$ 控制——更大的扩散带来更多随机性，但也可能增加传输成本。

+
    +
  1. Schrödinger桥：随机性与最优性的统一 +$$\min_{\mathbb{P}} \mathbb{E}_\mathbb{P}[\mathcal{A}] + \epsilon \text{KL}(\mathbb{P} | \mathbb{Q})$$ +这个公式展示了扩散过程的本质：
    2. +
+
    +
  • $\mathcal{A}$ 是作用量（action），衡量路径的"成本"
    • +
  • $\text{KL}(\mathbb{P} | \mathbb{Q})$ 是相对于参考测度 $\mathbb{Q}$（通常是布朗运动）的相对熵
    • +
  • $\epsilon$ 控制随机性的程度
    • +
+

当 $\epsilon \to 0$ 时，我们得到确定性的最优传输；当 $\epsilon > 0$ 时，我们得到随机的扩散过程。扩散模型正是在这个框架下，通过选择合适的 $\epsilon$（对应于噪声调度）来平衡生成质量和多样性。

+
    +
  1. 计算和理论优势：
    2. +
+

最优传输视角带来的不仅是理论上的优雅，更有实际的好处：

+
    +
  • 新的损失函数：基于Wasserstein距离的损失函数对mode collapse更鲁棒
    • +
  • 更好的插值：最优传输提供了在数据流形上的自然插值方式
    • +
  • 理论保证：收敛性、稳定性等都有严格的数学证明
    • +
  • 几何直觉：将抽象的概率问题转化为直观的几何问题
    • +
+

实际应用中的创新：

+
    +
  1. +

    OT-ODE：直接使用最优传输映射定义ODE，避免了score function的估计误差

    +
    2. +
  2. +

    Wasserstein自编码器：将VAE的KL项替换为Wasserstein距离，获得更好的生成质量

    +
    3. +
  3. +

    流匹配与OT：最新的流匹配方法直接利用最优传输理论设计训练目标

    +
    4. +
+

💡 理论洞察：几何视角
+最优传输揭示了生成模型的几何本质：我们在学习数据流形上的测地线。这个视角的深远意义在于：

+
    +
  1. 数据不是孤立的点，而是流形上的分布
    2. +
  2. 生成过程是在这个流形上的"运输"
    3. +
  3. 最优性原则指导我们找到最自然的生成路径
    4. +
+

这种几何理解为设计新算法提供了直觉：好的生成模型应该尊重数据的内在几何结构，沿着流形的自然路径进行变换。

+

14.2.2 流匹配与连续正则化流

+

流匹配（Flow Matching）：

+

新的训练范式，直接学习向量场：

+
    +
  1. +

    目标函数： +$$\mathcal{L}_\text{FM}(\theta) = \mathbb{E}_{t,\mathbf{x}_t}\left[|\mathbf{v}_\theta(\mathbf{x}_t, t) - \mathbf{u}_t(\mathbf{x}_t)|^2\right]$$ +其中 $\mathbf{u}_t$ 是目标向量场。

    +
    2. +
  2. +

    条件流匹配： +$$\mathbf{u}_t(\mathbf{x}_t|\mathbf{x}_0, \mathbf{x}_1) = \frac{\mathbf{x}_1 - \mathbf{x}_0}{1 - 0} = \mathbf{x}_1 - \mathbf{x}_0$$ +提供了简单的训练目标。

    +
    3. +
  3. +

    优势： + - 训练更稳定 + - 理论更清晰 + - 可以使用任意路径

    +
    4. +
+

连续正则化流（CNF）的新发展：

+
    +
  1. +

    神经ODE的改进： + - 自适应求解器 + - 增广动力学 + - 正则化技术

    +
    2. +
  2. +

    FFJORD扩展： + - 更高效的迹估计 + - 条件生成支持 + - 多尺度架构

    +
    3. +
  3. +

    与扩散的统一： + 扩散模型可以看作特殊的CNF，这促进了方法融合。

    +
    4. +
+

14.2.3 信息论分析

+

1. 率失真理论视角：

+

生成模型as信息压缩： +$$R(D) = \inf_{p(\hat{\mathbf{x}}|\mathbf{x}): \mathbb{E}[d(\mathbf{x}, \hat{\mathbf{x}})] \leq D} I(\mathbf{x}; \hat{\mathbf{x}})$$ +扩散模型在压缩和重建之间寻找最优平衡。

+

2. 互信息分析：

+

扩散过程中的信息流： +$$I(\mathbf{x}_0; \mathbf{x}_t) = H(\mathbf{x}_0) - H(\mathbf{x}_0|\mathbf{x}_t)$$ +随着 $t$ 增加，互信息减少，直到达到独立。

+

3. 信息瓶颈原理：

+

去噪网络学习压缩表示： +$$\max_{p(\mathbf{z}|\mathbf{x}_t)} I(\mathbf{z}; \mathbf{x}_0) - \beta I(\mathbf{z}; \mathbf{x}_t)$$ +这解释了为什么扩散模型能学习有意义的特征。

+

🔬 研究前沿：信息几何
+将信息几何应用于扩散模型，研究概率分布流形上的自然梯度、测地线等，可能带来新的算法突破。

+

14.2.4 统一生成模型理论

+

寻找大统一理论：

+
    +
  1. +

    变分框架统一： + - VAE：KL散度正则化 + - 扩散：时间连续的VAE + - 流模型：可逆变换 + - GAN：隐式变分界

    +
    2. +
  2. +

    SDE/ODE统一： +$$d\mathbf{x}_t = f(t)\mathbf{x}_t dt + g(t)d\mathbf{w}_t$$ +通过调整 $f$ 和 $g$ ，可以得到不同的生成模型。

    +
    3. +
  3. +

    能量视角统一： + 所有生成模型都在学习能量函数： +$$p(\mathbf{x}) \propto \exp(-E_\theta(\mathbf{x}))$$ +新兴统一框架：

    +
    4. +
  4. +

    扩散薛定谔桥（DSB）： + 统一扩散和最优传输

    +
    5. +
  5. +

    去噪扩散GAN： + 结合对抗训练和扩散

    +
    6. +
  6. +

    变分扩散模型： + 统一VAE和扩散的优势

    +
    7. +
+
+**练习 14.2：探索理论创新** +

深入理解理论前沿。

+
    +
  1. +

    最优传输实验： + - 实现简单的OT算法 + - 比较与扩散的路径 + - 可视化传输映射

    +
    2. +
  2. +

    流匹配实践： + - 实现条件流匹配 + - 设计新的路径 + - 评估训练效率

    +
    3. +
  3. +

    信息论分析： + - 计算扩散过程的互信息 + - 分析信息瓶颈 + - 设计信息论损失

    +
    4. +
  4. +

    统一框架探索： + - 实现混合模型 + - 比较不同范式 + - 提出新的统一视角

    +
    5. +
+
+

14.2.5 数学工具的创新应用

+

1. 微分几何： +- 流形上的扩散 +- 黎曼度量优化 +- 测地线采样

+

2. 随机分析： +- Itô积分的推广 +- 跳跃扩散过程 +- 分数布朗运动

+

3. 泛函分析： +- 无限维扩散 +- 算子理论应用 +- 谱分析方法

+

4. 代数拓扑： +- 持续同调分析 +- 拓扑数据分析 +- 流形学习

+

14.2.6 计算复杂性与理论界限

+

基础问题：

+
    +
  1. +

    样本复杂度： + 生成 $\epsilon$ -近似分布需要多少样本？ +$$n = \Omega\left(\frac{d}{\epsilon^2}\right) ?$$

    +
    2. +
  2. +

    计算复杂度： + - 训练复杂度 + - 推理复杂度 + - 空间复杂度

    +
    3. +
  3. +

    逼近能力： + 扩散模型的表达能力边界在哪里？

    +
    4. +
+

理论保证：

+
    +
  1. +

    收敛速度： +$$\text{KL}(p_\theta | p_\text{data}) \leq O(1/\sqrt{n})$$

    +
    2. +
  2. +

    泛化界： +$$\mathbb{E}[\mathcal{L}(\theta)] - \hat{\mathcal{L}}(\theta) \leq O(\sqrt{d/n})$$

    +
    3. +
  3. +

    鲁棒性保证： + 对抗扰动下的稳定性分析

    +
    4. +
+

🌟 开放问题：理论完备性
+扩散模型的理论仍有许多开放问题：最优性？必要条件？计算下界？这些基础问题的解答将指导未来发展。

+

14.3 架构创新与效率突破

+

14.3.1 新型神经网络架构

+

1. 状态空间模型（SSM）在扩散中的应用：

+

Mamba等架构带来的新可能：

+
    +
  • 线性复杂度： $O(L)$ vs Transformer的 $O(L^2)$
    • +
  • 长序列建模：处理超长序列（>100k tokens）
    • +
  • 选择性机制：动态调整信息流
    • +
+

在扩散模型中的应用：

+
输入序列 → SSM编码器 → 时间条件融合 → SSM解码器 → 去噪输出
+
+ +

2. 图神经网络（GNN）扩散：

+

处理非欧几里得数据：

+
    +
  • 分子生成：原子作为节点，化学键作为边
    • +
  • 社交网络：用户和关系的生成
    • +
  • 3D场景图：物体和空间关系
    • +
+

创新架构：

+
    +
  • E(3)等变GNN：保持旋转平移不变性
    • +
  • 层次化GNN：多尺度图表示
    • +
  • 注意力GNN：结合图结构和注意力机制
    • +
+

3. 神经场（Neural Fields）与扩散：

+

连续表示的优势：

+
    +
  • 分辨率无关：可以在任意分辨率采样
    • +
  • 内存高效：隐式表示大规模数据
    • +
  • 平滑插值：自然的连续性
    • +
+

架构设计：

+
坐标 → 傅里叶特征 → MLP → 局部特征 → 扩散去噪 → 输出值
+
+ +

💡 架构选择原则
+选择架构时考虑：数据模态、计算预算、质量要求、部署环境。没有通用最优架构，需要根据具体任务定制。

+

14.3.2 计算效率的根本性突破

+

1. 稀疏化技术：

+
    +
  • +

    动态稀疏注意力： + 只计算重要的注意力连接 + 稀疏度随时间步动态调整 + 早期步骤更稀疏，后期更密集

    +
    • +
  • +

    结构化稀疏：

    +
    • +
  • 块稀疏：以块为单位的稀疏模式
    • +
  • 低秩分解：注意力矩阵的低秩近似
    • +
  • 蝶形变换： $O(N\log N)$ 复杂度
    • +
+

2. 混合精度与量化：

+
    +
  • 自适应精度：
    • +
  • 关键层：FP32/FP16
    • +
  • 非关键层：INT8/INT4
    • +
  • +

    动态调整：根据时间步调整精度

    +
    • +
  • +

    量化感知训练： + 训练时模拟量化效果 + 学习量化友好的权重分布 + 保持生成质量

    +
    • +
+

3. 并行化策略：

+
    +
  • 模型并行：
    • +
  • 层间并行：不同层在不同设备
    • +
  • 张量并行：单层跨设备分割
    • +
  • +

    流水线并行：批次在设备间流动

    +
    • +
  • +

    数据并行2.0：

    +
    • +
  • 梯度压缩通信
    • +
  • 异步更新
    • +
  • 局部SGD
    • +
+

🔬 效率前沿：亚线性扩散
+能否设计计算复杂度亚线性于数据维度的扩散模型？这需要巧妙利用数据结构和近似算法。

+

14.3.3 模型压缩的新范式

+

1. 神经架构搜索（NAS）for扩散：

+

自动发现高效架构：

+
搜索空间定义 → 超网络训练 → 架构采样 → 性能评估 → 最优选择
+
+ +

特殊考虑：

+
    +
  • 多时间步性能
    • +
  • 条件生成能力
    • +
  • 硬件适配性
    • +
+

2. 动态网络：

+
    +
  • +

    早退机制： + 简单样本提前退出

    +
    • +
  • +

    自适应深度： + 根据时间步调整网络深度

    +
    • +
  • +

    专家混合（MoE）： + 不同专家处理不同类型数据

    +
    • +
+

3. 蒸馏新方法：

+
    +
  • +

    渐进式蒸馏： + 1000步教师 → 100步学生 → 10步学生 → 1步学生

    +
    • +
  • +

    特征蒸馏： + 不仅蒸馏输出，还蒸馏中间特征

    +
    • +
  • +

    对抗蒸馏： + 使用判别器确保质量

    +
    • +
+
+**练习 14.3：实现高效架构** +

探索架构创新和效率优化。

+
    +
  1. +

    新架构实验： + - 实现简化版Mamba扩散 + - 尝试GNN用于结构化数据 + - 探索神经场表示

    +
    2. +
  2. +

    效率优化： + - 实现动态稀疏注意力 + - 测试混合精度训练 + - 评估不同并行策略

    +
    3. +
  3. +

    模型压缩： + - 设计蒸馏pipeline + - 实现量化感知训练 + - 比较压缩前后质量

    +
    4. +
  4. +

    硬件适配： + - 针对特定硬件优化 + - 实现自定义算子 + - 评估端到端延迟

    +
    5. +
+
+

14.3.4 硬件协同设计

+

1. AI芯片优化：

+
    +
  • 专用加速器：
    • +
  • Attention加速单元
    • +
  • 稀疏计算单元
    • +
  • +

    混合精度单元

    +
    • +
  • +

    近数据计算： + 减少数据移动开销

    +
    • +
  • +

    可重构架构： + 适应不同网络结构

    +
    • +
+

2. 编译器优化：

+
    +
  • 图优化：
    • +
  • 算子融合
    • +
  • 内存规划
    • +
  • +

    并行调度

    +
    • +
  • +

    自动调优： + 搜索最优实现参数

    +
    • +
  • +

    跨平台部署： + 统一的部署框架

    +
    • +
+

3. 系统级优化：

+
    +
  • +

    分布式推理： + 多机协同生成

    +
    • +
  • +

    缓存策略： + 重用中间结果

    +
    • +
  • +

    流式处理： + 降低延迟

    +
    • +
+

14.3.5 新型训练方法

+

1. 自监督预训练：

+

无需标注数据的预训练：

+
    +
  • 掩码扩散建模：类似MAE的方法
    • +
  • 对比扩散学习：学习不变表示
    • +
  • 自回归扩散：结合两种范式
    • +
+

2. 持续学习：

+
    +
  • +

    弹性权重巩固（EWC）： + 保持旧任务性能

    +
    • +
  • +

    动态架构： + 为新任务扩展网络

    +
    • +
  • +

    记忆重放： + 保留关键样本

    +
    • +
+

3. 元学习：

+

快速适应新任务：

+
元训练 → 任务采样 → 快速适应 → 少样本生成
+
+ +

应用场景：

+
    +
  • 个性化生成
    • +
  • 领域适应
    • +
  • 新概念学习
    • +
+

14.3.6 实时生成技术

+

1. 缓存与预计算：

+
    +
  • +

    特征缓存： + 重用计算结果

    +
    • +
  • +

    查找表： + 预计算常见模式

    +
    • +
  • +

    增量更新： + 只计算变化部分

    +
    • +
+

2. 流式生成：

+

逐步输出结果：

+
粗糙预览 → 基本形状 → 主要细节 → 精细纹理
+(10ms)      (50ms)      (200ms)     (1000ms)
+
+ +

3. 端云协同：

+
    +
  • 端侧：快速预览
    • +
  • 云端：高质量生成
    • +
  • 智能切换：根据网络和需求
    • +
+

💡 未来展望：无处不在的生成
+随着效率提升，生成模型将嵌入各种设备和应用，实现真正的普适计算。从手机到IoT设备，AI生成将无处不在。

+

14.3.7 架构创新的未来方向

+

短期（1-2年）：

+
    +
  • 更高效的注意力机制
    • +
  • 更好的稀疏化方法
    • +
  • 自动化架构设计
    • +
+

中期（3-5年）：

+
    +
  • 神经形态计算
    • +
  • 量子加速
    • +
  • 生物启发架构
    • +
+

长期（5-10年）：

+
    +
  • 通用生成架构
    • +
  • 自适应智能系统
    • +
  • 超人类创造力
    • +
+

🌟 架构哲学：少即是多
+最好的架构often是最简单的。在追求创新时，不要忘记简洁性、可解释性和可维护性的价值。

+

14.4 应用拓展与社会影响

+

14.4.1 科学计算中的扩散模型

+

1. 气候建模与天气预报：

+

扩散模型在地球科学中的革命性应用：

+
    +
  • +

    高分辨率气候模拟： + 低分辨率物理模型 → 扩散超分辨率 → 高分辨率预测

    +
    • +
  • +

    极端天气事件预测：

    +
    • +
  • 生成罕见事件样本
    • +
  • 不确定性量化
    • +
  • +

    多模态预测

    +
    • +
  • +

    数据同化： + 融合观测数据和模型预测

    +
    • +
+

2. 蛋白质折叠与药物设计：

+

生命科学的新工具：

+
    +
  • 蛋白质结构预测：
    • +
  • 序列到结构的扩散
    • +
  • 构象采样
    • +
  • +

    动力学模拟

    +
    • +
  • +

    分子生成：

    +
    • +
  • 目标导向的药物设计
    • +
  • 副作用预测
    • +
  • +

    合成路径规划

    +
    • +
  • +

    蛋白质设计： + 从功能需求生成新蛋白质

    +
    • +
+

3. 材料科学：

+
    +
  • 晶体结构预测
    • +
  • 新材料发现
    • +
  • 性质优化
    • +
  • 缺陷模拟
    • +
+

💡 科学影响：加速发现
+扩散模型正在改变科学研究范式，从"理论→实验"到"AI生成→验证"，大幅加速科学发现过程。

+

14.4.2 多智能体生成系统

+

1. 协作式创作：

+

多个AI智能体协同工作：

+
文本智能体 → 场景描述
+图像智能体 → 视觉生成     → 融合优化 → 最终作品
+音频智能体 → 配乐音效
+
+ +

2. 对抗式改进：

+
    +
  • +

    生成器vs评判器： + 迭代改进质量

    +
    • +
  • +

    多样性vs一致性： + 平衡探索和收敛

    +
    • +
  • +

    专家委员会： + 不同专长的模型投票

    +
    • +
+

3. 分布式生成：

+
    +
  • 任务分解：大任务分割为子任务
    • +
  • 并行处理：多智能体并行工作
    • +
  • 结果聚合：智能合并结果
    • +
+

4. 涌现行为：

+

多智能体交互产生的新特性：

+
    +
  • 创意涌现
    • +
  • 风格融合
    • +
  • 集体智慧
    • +
+

🔬 研究方向：群体智能
+如何设计多智能体系统，使其展现超越单一模型的创造力？这涉及博弈论、涌现理论和分布式AI。

+

14.4.3 人机协作的新模式

+

1. 创意放大器：

+

AI作为人类创意的增强工具：

+
    +
  • +

    灵感生成： + 粗略想法 → AI扩展 → 人类筛选 → AI细化 → 最终作品

    +
    • +
  • +

    风格探索： + 一个想法的多种表现

    +
    • +
  • +

    快速原型： + 加速创意迭代

    +
    • +
+

2. 教育辅助：

+

个性化学习体验：

+
    +
  • +

    定制教材： + 根据学生水平生成内容

    +
    • +
  • +

    交互式学习： + 实时生成练习和反馈

    +
    • +
  • +

    可视化解释： + 抽象概念的直观呈现

    +
    • +
+

3. 专业增强：

+

各行业的AI辅助：

+
    +
  • 建筑设计：概念可视化
    • +
  • 医疗诊断：影像增强和分析
    • +
  • 法律文书：文件生成和审查
    • +
  • 金融分析：数据可视化
    • +
+

4. 无障碍技术：

+
    +
  • 视觉辅助：为盲人生成场景描述
    • +
  • 听力辅助：语音到视觉转换
    • +
  • 认知辅助：简化复杂信息
    • +
+
+**练习 14.4：设计人机协作系统** +

探索人机协作的可能性。

+
    +
  1. +

    创意工具设计： + - 选择一个创意领域 + - 设计协作流程 + - 实现原型系统

    +
    2. +
  2. +

    多智能体实验： + - 实现简单的多智能体系统 + - 测试不同协作策略 + - 分析涌现行为

    +
    3. +
  3. +

    用户研究： + - 设计用户实验 + - 收集反馈数据 + - 迭代改进界面

    +
    4. +
  4. +

    影响评估： + - 评估对创作过程的影响 + - 分析效率提升 + - 考虑伦理因素

    +
    5. +
+
+

14.4.4 伦理框架与负责任创新

+

1. 技术伦理原则：

+
    +
  • 透明性：
    • +
  • 公开模型能力和限制
    • +
  • 标注AI生成内容
    • +
  • +

    解释决策过程

    +
    • +
  • +

    公平性：

    +
    • +
  • 减少偏见
    • +
  • 确保多元代表性
    • +
  • +

    普惠访问

    +
    • +
  • +

    隐私保护：

    +
    • +
  • 数据最小化
    • +
  • 本地处理优先
    • +
  • +

    用户控制权

    +
    • +
  • +

    安全性：

    +
    • +
  • 内容过滤
    • +
  • 防止恶意使用
    • +
  • 鲁棒性保证
    • +
+

2. 监管与治理：

+
    +
  • +

    行业标准： + 制定技术规范和最佳实践

    +
    • +
  • +

    认证机制： + 模型和应用的安全认证

    +
    • +
  • +

    国际合作： + 跨国协调监管框架

    +
    • +
  • +

    动态调整： + 随技术发展更新规则

    +
    • +
+

3. 社会影响评估：

+
    +
  • 就业影响：
    • +
  • 工作转型而非替代
    • +
  • 新职业机会
    • +
  • +

    技能培训需求

    +
    • +
  • +

    创意产业：

    +
    • +
  • 版权新框架
    • +
  • 创作者权益
    • +
  • +

    价值分配

    +
    • +
  • +

    信息生态：

    +
    • +
  • 真假难辨
    • +
  • 信息过载
    • +
  • 认知影响
    • +
+

💡 行动呼吁：共建未来
+技术发展需要全社会参与。研究者、企业、政府和公众需要共同努力，确保AI技术造福人类。

+

14.4.5 经济与商业模式创新

+

1. 新商业模式：

+
    +
  • +

    生成即服务（GaaS）： + API经济的扩展

    +
    • +
  • +

    个性化定制： + 大规模定制成为可能

    +
    • +
  • +

    创意市场： + AI辅助创作的交易平台

    +
    • +
  • +

    订阅模式： + 持续更新的AI能力

    +
    • +
+

2. 价值链重构：

+
传统：创意 → 制作 → 分发 → 消费
+AI时代：想法 → AI生成 → 人工优化 → 个性化分发
+
+ +

3. 成本结构变化：

+
    +
  • +

    边际成本趋零： + 数字内容生成成本大幅下降

    +
    • +
  • +

    质量民主化： + 专业级质量普及化

    +
    • +
  • +

    时间成本降低： + 创作周期大幅缩短

    +
    • +
+

14.4.6 文化与艺术的转型

+

1. 新艺术形式：

+
    +
  • +

    AI协作艺术： + 人机共创的新流派

    +
    • +
  • +

    生成艺术： + 算法美学的探索

    +
    • +
  • +

    交互艺术： + 观众参与的动态作品

    +
    • +
  • +

    跨媒体艺术： + 多模态融合创作

    +
    • +
+

2. 文化保护与传承：

+
    +
  • +

    数字修复： + 文物和艺术品修复

    +
    • +
  • +

    风格保存： + 传统艺术形式数字化

    +
    • +
  • +

    语言保护： + 濒危语言的AI保存

    +
    • +
  • +

    文化翻译： + 跨文化理解桥梁

    +
    • +
+

3. 创作民主化：

+
    +
  • 降低创作门槛
    • +
  • 激发大众创造力
    • +
  • 新的表达方式
    • +
  • 文化多样性增强
    • +
+

🌟 文化愿景：增强而非替代
+AI应该增强人类创造力，而不是替代人类创作。技术是工具，创意和情感仍然是人类独有的财富。

+

14.4.7 长期社会愿景

+

近期（2024-2026）：

+
    +
  • AI工具普及化
    • +
  • 创作效率大幅提升
    • +
  • 初步监管框架建立
    • +
  • 商业模式探索
    • +
+

中期（2027-2030）：

+
    +
  • 人机协作成熟
    • +
  • 新职业大量涌现
    • +
  • 教育体系转型
    • +
  • 文化范式转变
    • +
+

远期（2030+）：

+
    +
  • 创意爆发时代
    • +
  • 个性化极致体验
    • +
  • 全新社会形态
    • +
  • 人类潜能释放
    • +
+

💡 终极问题：人类的独特价值
+在AI越来越强大的时代，什么是人类独有的价值？创造力、情感、意识、道德判断——这些将定义我们的未来。

+

14.5 研究方向与开放问题

+

14.5.1 基础理论的深层挑战

+

1. 扩散过程的本质理解：

+

尽管扩散模型取得了巨大成功，但许多基础问题仍未解答：

+
    +
  • 为什么扩散有效？
    • +
  • 去噪与生成的深层联系
    • +
  • 最优噪声调度的理论依据
    • +
  • +

    与其他生成范式的本质区别

    +
    • +
  • +

    信息理论视角：

    +
    • +
  • 扩散过程的信息瓶颈
    • +
  • 最小描述长度原理
    • +
  • +

    压缩与生成的对偶性

    +
    • +
  • +

    统计物理联系：

    +
    • +
  • 非平衡态统计力学
    • +
  • 自由能最小化
    • +
  • 相变与临界现象
    • +
+

2. 数学基础的完善：

+
    +
  • +

    存在性与唯一性： + SDE解的严格数学证明

    +
    • +
  • +

    收敛性保证： + 有限步采样的误差界

    +
    • +
  • +

    最优性条件： + 什么时候扩散是最优生成策略？

    +
    • +
+

3. 计算复杂性理论：

+
    +
  • +

    下界证明： + 生成特定分布的最小计算量

    +
    • +
  • +

    近似算法： + 快速近似的理论保证

    +
    • +
  • +

    量子加速可能性： + 量子计算能否加速扩散？

    +
    • +
+

🔬 开放问题1：统一场论
+是否存在一个统一的数学框架，能够涵盖所有生成模型（VAE、GAN、Flow、Diffusion）？这个框架的核心原理是什么？

+

14.5.2 技术瓶颈与突破方向

+

1. 采样速度的极限：

+

当前挑战：

+
    +
  • 高质量生成仍需多步
    • +
  • 一步生成质量下降
    • +
  • 实时应用受限
    • +
+

研究方向：

+
    +
  • 隐式采样：避免显式迭代
    • +
  • 神经ODE加速：更高效的求解器
    • +
  • 并行采样：打破顺序依赖
    • +
+

2. 超高分辨率生成：

+

技术瓶颈：

+
    +
  • 内存限制
    • +
  • 计算复杂度
    • +
  • 全局一致性
    • +
+

突破思路：

+
    +
  • 层次化生成：多尺度协同
    • +
  • 隐式神经表示：连续分辨率
    • +
  • 分布式架构：跨设备协作
    • +
+

3. 长序列建模：

+

挑战：

+
    +
  • 时间复杂度平方增长
    • +
  • 长程依赖捕获
    • +
  • 记忆效率
    • +
+

解决方案：

+
    +
  • 线性注意力：降低复杂度
    • +
  • 压缩记忆：高效存储
    • +
  • 分段处理：局部全局结合
    • +
+

💡 开放问题2：生成的物理极限
+给定计算资源，能生成的最复杂分布是什么？是否存在"生成复杂度"的普适定律？

+

14.5.3 跨学科融合机遇

+

1. 神经科学启发：

+

大脑中的"扩散"机制：

+
    +
  • 预测编码：大脑的生成模型
    • +
  • 噪声的作用：随机共振现象
    • +
  • 分层处理：皮层的层次结构
    • +
+

研究方向：

+
    +
  • 生物可信的扩散算法
    • +
  • 脉冲神经网络实现
    • +
  • 能量效率优化
    • +
+

2. 物理学原理应用：

+
    +
  • 量子扩散：
    • +
  • 量子隧穿效应
    • +
  • 叠加态采样
    • +
  • +

    纠缠加速

    +
    • +
  • +

    统计力学：

    +
    • +
  • 玻尔兹曼机联系
    • +
  • 退火算法改进
    • +
  • +

    临界现象利用

    +
    • +
  • +

    动力系统：

    +
    • +
  • 混沌理论应用
    • +
  • 分岔分析
    • +
  • 吸引子设计
    • +
+

3. 认知科学融合：

+
    +
  • +

    创造力模型： + 人类创造过程的计算模型

    +
    • +
  • +

    美学理论： + 计算美学的形式化

    +
    • +
  • +

    意识与生成： + 意识在生成中的作用

    +
    • +
+
+**练习 14.5：探索跨学科研究** +

开展跨学科的创新研究。

+
    +
  1. +

    生物启发实验： + - 研究视觉皮层的层次结构 + - 设计仿生扩散架构 + - 比较生物与人工系统

    +
    2. +
  2. +

    物理原理验证： + - 实现基于统计力学的生成模型 + - 探索量子启发的算法 + - 分析能量景观

    +
    3. +
  3. +

    认知模型构建： + - 设计创造力的计算模型 + - 实现美学评价系统 + - 研究生成与理解的关系

    +
    4. +
  4. +

    跨界应用： + - 将扩散应用于新领域 + - 寻找意外的联系 + - 提出新的研究问题

    +
    5. +
+
+

14.5.4 长期研究议程

+

1. 通用人工智能（AGI）中的角色：

+

扩散模型在AGI中的定位：

+
    +
  • 世界模型：环境的生成模型
    • +
  • 想象力引擎：规划和推理
    • +
  • 知识表示：概率化知识
    • +
+

研究问题：

+
    +
  • 如何整合感知、推理和生成？
    • +
  • 扩散模型能否学习因果关系？
    • +
  • 与强化学习的深度结合
    • +
+

2. 意识与主观体验：

+

深层哲学问题：

+
    +
  • 生成模型是否具有某种"体验"？
    • +
  • 创造力的本质是什么？
    • +
  • 机器能否真正"理解"其生成内容？
    • +
+

3. 超人类创造力：

+

未来可能：

+
    +
  • 生成人类无法想象的内容
    • +
  • 发现新的科学规律
    • +
  • 创造全新的艺术形式
    • +
+

🌟 开放问题3：创造力的极限
+AI的创造力是否有上限？如果有，这个上限由什么决定？如果没有，意味着什么？

+

14.5.5 具体研究建议

+

给博士生的建议：

+
    +
  1. +

    选题策略： + - 结合理论与应用 + - 寻找跨学科机会 + - 关注长期影响

    +
    2. +
  2. +

    研究方法： + - 理论先行，实验验证 + - 开源贡献，社区合作 + - 持续学习，保持好奇

    +
    3. +
  3. +

    职业发展： + - 建立独特视角 + - 培养多元技能 + - 构建学术网络

    +
    4. +
+

给产业研究者的建议：

+
    +
  1. +

    创新平衡： + - 短期产品vs长期研究 + - 开放研究vs专有技术 + - 效率优化vs质量提升

    +
    2. +
  2. +

    合作模式： + - 产学研结合 + - 开源社区参与 + - 标准制定贡献

    +
    3. +
+

给独立研究者的建议：

+
    +
  1. +

    资源利用： + - 开源工具和数据 + - 云计算平台 + - 社区协作

    +
    2. +
  2. +

    影响力建设： + - 博客和教程 + - 开源项目 + - 学术发表

    +
    3. +
+

14.5.6 结语：未来已来

+

扩散模型的故事才刚刚开始。从2020年的DDPM到今天的一致性模型，短短几年间，这个领域经历了爆炸式发展。但这可能只是冰山一角。

+

我们站在什么位置？

+
    +
  • 理论理解：初步建立，仍有深层奥秘
    • +
  • 技术能力：快速进步，接近实用门槛
    • +
  • 应用范围：不断扩展，超出想象
    • +
  • 社会影响：刚刚开始，未来深远
    • +
+

下一个突破在哪里？

+

也许是一个优雅的数学理论，统一所有生成模型； +也许是一个巧妙的算法，实现真正的实时生成； +也许是一个意外的应用，改变整个行业； +也许是一个哲学洞察，重新定义创造力。

+

给读者的寄语：

+

恭喜您完成了这段扩散模型的学习之旅！但这不是结束，而是开始。扩散模型领域充满机遇，等待着您的贡献。无论您是理论研究者、工程实践者，还是应用开发者，都能在这个领域找到自己的位置。

+

记住，最好的研究往往来自于：

+
    +
  • 深入的理解
    • +
  • 大胆的想象
    • +
  • 持续的努力
    • +
  • 开放的合作
    • +
+

愿您在扩散模型的研究道路上，既仰望星空，又脚踏实地。期待看到您的创新成果！

+

🌟 最后的思考
+扩散模型教会我们：从噪声到结构，从混沌到秩序，这不仅是算法的原理，也是创新的隐喻。在研究的道路上，拥抱不确定性，相信过程，美好的结果终将涌现。

+
+

感谢您的阅读。愿扩散模型的优雅激发您的创造力，愿您的研究如扩散过程般，从随机中诞生秩序，从噪声中创造美好。

+
+ + +
+
+ + \ No newline at end of file diff --git a/html/chapter2.html b/html/chapter2.html new file mode 100644 index 0000000..5b16132 --- /dev/null +++ b/html/chapter2.html @@ -0,0 +1,611 @@ + + + + + + 第2章：神经网络架构：U-Net与ViT + + + + + + + +
+ + +
+
+

← 上一章 | 第2章 / 共14章 | 下一章 →

+

第2章：神经网络架构：U-Net与ViT

+

扩散模型的成功离不开强大的神经网络架构。有趣的是，扩散模型并没有发明全新的网络结构，而是巧妙地借用了计算机视觉领域的两个里程碑式架构：U-Net和Vision Transformer (ViT)。本章将追溯这两种架构的历史发展，理解它们的设计初衷，并剖析它们为何能与扩散模型的去噪任务完美契合。这种“历史的巧合”不仅展示了深度学习领域知识迁移的魅力，也为我们设计未来更高效的生成模型提供了深刻的启示。

+

2.1 从图像分割到去噪：U-Net的历史演变

+

2.1.1 生物医学图像的挑战与U-Net的诞生

+

2015年，深度学习正在快速改变计算机视觉的格局。然而，在医学图像分析领域，研究者们面临着独特的挑战：标注数据极其稀缺（医学专家的时间宝贵），图像分辨率高，细节至关重要，且分割边界往往模糊不清。当时流行的全卷积网络（FCN）虽然在自然图像分割上取得了成功，但在医学图像上的表现并不理想。

+

正是在这样的背景下，来自弗莱堡大学的Olaf Ronneberger、Philipp Fischer和Thomas Brox提出了U-Net。他们的灵感来自一个朴素但深刻的观察：医学图像分割需要两种看似矛盾的能力——既要理解全局的语义信息（这是什么器官？），又要精确定位每个像素（边界在哪里？）。传统的编码器-解码器架构在解码过程中丢失了太多空间信息，而U-Net通过引入跳跃连接，优雅地解决了这个问题。

+
+

定义：历史脉络的详细时间线

+
    +
  • 2012-2014年：全卷积网络（FCN）的兴起，Long等人证明了CNN可以进行像素级预测，但在细节保留上存在不足。
    • +
  • 2015年5月：U-Net在ISBI细胞追踪挑战赛中首次亮相，以大幅领先的成绩震撼了医学图像界。原始论文展示了仅用30张训练图像就能达到出色性能的能力。
    • +
  • 2016-2017年：U-Net的变体开始涌现——3D U-Net用于体积数据、V-Net引入残差连接、Attention U-Net加入注意力机制。每个变体都针对特定应用场景进行了优化。
    • +
  • 2017-2019年：U-Net架构被广泛应用于各种像素级预测任务，从卫星图像分析到自动驾驶的道路分割，成为该领域的事实标准。其PyTorch和TensorFlow实现成为GitHub上最受欢迎的开源项目之一。
    • +
  • 2020年6月：Ho等人发表DDPM论文，首次将U-Net用作扩散模型的去噪网络。他们的关键洞察是：去噪本质上也是一个像素到像素的映射问题。
    • +
  • 2021年：Dhariwal和Nichol在论文《Diffusion Models Beat GANs on Image Synthesis》中提出了改进的U-Net架构（ADM），加入了自注意力层和自适应归一化，将扩散模型的生成质量推向新高度。
    • +
  • 2022年：Stable Diffusion的发布让U-Net架构走向大众。其高效的潜在空间U-Net设计使得高质量图像生成首次可以在消费级GPU上运行。
    • +
  • 2023年至今：U-Net继续演进，如加入更多的条件机制（ControlNet）、与Transformer混合（U-ViT）、针对视频生成的时空U-Net等。
    • +
+
+

2.1.2 从分割到去噪：任务的本质相似性

+

为什么一个为医学图像分割设计的架构能够如此完美地适用于扩散模型？答案隐藏在这两个看似不同的任务的数学本质中。

+

图像分割的数学表述：给定输入图像 $\mathbf{x} \in \mathbb{R}^{H \times W \times 3}$，预测每个像素的类别标签 $\mathbf{y} \in {0,1,...,C-1}^{H \times W}$。这是一个确定性的映射：$f_{\text{seg}}: \mathbb{R}^{H \times W \times 3} \rightarrow {0,1,...,C-1}^{H \times W}$。

+

扩散模型去噪的数学表述：给定带噪声的图像 $\mathbf{x}_t = \sqrt{\bar{\alpha}_t}\mathbf{x}_0 + \sqrt{1-\bar{\alpha}_t}\boldsymbol{\epsilon}$，预测噪声 $\boldsymbol{\epsilon} \in \mathbb{R}^{H \times W \times 3}$。这同样是一个确定性的映射：$f_{\text{denoise}}: \mathbb{R}^{H \times W \times 3} \times \mathbb{R} \rightarrow \mathbb{R}^{H \times W \times 3}$（额外的输入是时间步$t$）。

+

两者的共同点在于：

+
    +
  1. 像素级预测：两个任务都需要为输入的每个空间位置产生一个输出。
    2. +
  2. 多尺度信息融合：分割需要结合局部纹理（判断边界）和全局语义（识别对象）；去噪需要结合局部细节（保留纹理）和全局结构（理解内容）。
    3. +
  3. 空间对应关系：输出的空间结构必须与输入严格对应，这正是跳跃连接所保证的。
    4. +
+

2.1.3 U-Net设计哲学的深层洞察

+

U-Net的成功不仅仅是技术上的胜利，更体现了深刻的设计哲学。让我们深入剖析其核心设计原则：

+
    +
  1. +

    对称性的美学与功能 +U-Net的U形结构不仅在视觉上优雅，更重要的是体现了信息处理的对称性。编码器逐步压缩空间维度、提取抽象特征的过程，与解码器逐步恢复空间维度、重建具体细节的过程，形成了完美的镜像。这种对称性在扩散模型中获得了新的诠释：编码器理解"现在有什么噪声"，解码器决定"如何去除这些噪声"。

    +
    2. +
  2. +

    跳跃连接：信息高速公路 +原始的编码器-解码器架构存在一个致命弱点：信息瓶颈。当特征图被压缩到最小尺寸时（如原始尺寸的1/32），大量的空间信息已经无可挽回地丢失了。U-Net的跳跃连接就像在山谷两侧架起的桥梁，让高分辨率的信息可以直接"跳过"瓶颈，到达需要它的地方。

    +
    3. +
+

在扩散模型的语境下，这一点尤为关键。考虑去噪过程的两个极端情况：

+
    +
  • 当噪声很大时（$t$接近$T$），模型主要依赖瓶颈处的全局信息来重建大致结构。
    • +
  • 当噪声很小时（$t$接近0），模型主要依赖跳跃连接传递的局部信息来恢复细节。
    • +
+
    +
  1. 计算效率的权衡艺术 +U-Net的金字塔结构带来了计算上的巨大优势。大部分的计算（自注意力、复杂的卷积）发生在低分辨率的特征图上，而高分辨率层只进行相对简单的操作。这种设计使得U-Net可以在有限的计算资源下处理高分辨率图像，这也是为什么Stable Diffusion能够在个人电脑上运行的关键因素之一。
    2. +
+

2.1.4 U-Net变体的百花齐放

+

U-Net的基本思想激发了无数的变体和改进。每一个成功的变体都代表了对特定问题的深刻理解：

+
    +
  • +

    3D U-Net (2016)：将2D卷积替换为3D卷积，用于处理CT、MRI等体积数据。关键创新是各向异性的卷积核（如3×3×1），以处理医学图像中常见的各向异性分辨率。

    +
    • +
  • +

    Attention U-Net (2018)：在跳跃连接中加入注意力门控（attention gates），让模型学习"哪些跳跃连接的信息是重要的"。这在医学图像中特别有用，因为病变区域往往只占整个图像的一小部分。

    +
    • +
  • +

    U-Net++ (2018)：通过密集的跳跃连接创建了一个"嵌套"的U-Net结构，让解码器可以从多个尺度的编码特征中选择信息。这种设计虽然增加了计算量，但在某些任务上显著提升了性能。

    +
    • +
  • +

    TransUNet (2021)：将CNN编码器的瓶颈部分替换为Transformer，结合了CNN的局部特征提取能力和Transformer的全局建模能力。这为后来的混合架构铺平了道路。

    +
    • +
+

2.1.5 为什么是U-Net？扩散模型的架构选择

+

当Ho等人在2020年为DDPM选择网络架构时，他们面临着多种选择：ResNet、VGG、甚至当时新兴的Vision Transformer。为什么最终选择了U-Net？

+
    +
  1. +

    归纳偏置的匹配 +扩散模型的去噪任务具有特殊的性质：输出必须与输入在空间上严格对齐。U-Net的架构天然地保证了这一点，而其他架构（如将图像展平后输入全连接网络）则会破坏这种空间结构。

    +
    2. +
  2. +

    多时间尺度的处理能力 +在扩散过程的不同阶段，去噪的重点是不同的：

    +
    3. +
+
    +
  • 早期（高噪声）：需要重建全局结构和语义内容
    • +
  • 中期：需要恢复中等尺度的形状和纹理
    • +
  • 后期（低噪声）：需要精修局部细节和清晰度
    • +
+

U-Net的多尺度特性完美匹配了这种需求，不同的层级自然地专注于不同尺度的特征。

+
    +
  1. 实践中的鲁棒性 +医学图像分割领域的严苛要求（小数据集、高精度需求）锻造了U-Net的鲁棒性。这种鲁棒性在扩散模型的训练中同样重要，因为去噪网络需要处理从纯噪声到清晰图像的整个谱系。
    2. +
+
+深入研究：U-Net的理论基础与未来方向 +
    +
  1. 信息论视角 +从信息论的角度，U-Net的跳跃连接可以被理解为创建了多个信息传输通道，每个通道具有不同的"带宽"（分辨率）。这种设计最小化了信息在网络中传输时的损失。研究方向：
    2. +
+
    +
  • 如何定量分析不同跳跃连接的信息流量？
    • +
  • 是否存在最优的跳跃连接模式？
    • +
  • 能否设计自适应的跳跃连接，根据输入内容动态调整？
    • +
+
    +
  1. 神经架构搜索（NAS）在U-Net的应用 +虽然U-Net的基本结构已经被证明非常有效，但其具体的配置（深度、宽度、跳跃连接的位置等）仍有优化空间。研究方向：
    2. +
+
    +
  • 如何为特定的数据集自动搜索最优的U-Net配置？
    • +
  • 能否设计一个"元U-Net"，根据输入动态调整其结构？
    • +
  • 如何在保持U-Net核心思想的同时，探索更激进的架构创新？
    • +
+
    +
  1. U-Net与其他范式的融合 +U-Net代表了一种特定的归纳偏置，但它并非唯一的选择。研究方向：
    2. +
+
    +
  • 如何将U-Net与图神经网络（GNN）结合，处理非规则的空间结构？
    • +
  • 能否设计一个统一的框架，在U-Net和Transformer之间平滑过渡？
    • +
  • 如何将物理约束（如守恒定律）直接编码到U-Net的架构中？
    • +
+
+

2.2 U-Net架构详解

+

2.2.1 现代U-Net：为扩散模型重新设计

+

当DDPM的作者们在2020年选择U-Net作为去噪网络时，他们面临着与原始分割任务完全不同的需求。因此，一个为扩散模型“现代化”的U-Net诞生了，它融合了自2015年以来深度学习架构的诸多进展。

+
+

定义：扩散U-Net的关键改进 +| 组件 | 原始U-Net (2015) | 扩散U-Net (2020+) |

+ + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +
组件原始U-Net (2015)扩散U-Net (2020+)
卷积类型Valid卷积 (无padding)Same卷积 (保持尺寸)
归一化无 (或后期加入BatchNorm)GroupNorm (小批量稳定)
激活函数ReLUSiLU / Swish (更平滑)
残差连接无每个块内部都有 (类ResNet)
注意力机制无多分辨率自注意力
条件机制无需条件时间嵌入 (必需)
+
+

让我们深入理解几个关键改进：

+

1. 残差块 (ResNet Block)

+

现代U-Net的基本构建单元不再是简单的卷积层，而是借鉴了ResNet的残差块。一个典型的块流程如下：

+
    +
  1. 输入 x 首先通过 GroupNorm 和 SiLU 激活函数。
    2. +
  2. 经过一个3x3的 Conv2d 层。
    3. +
  3. 再次通过 GroupNorm 和 SiLU。
    4. +
  4. 经过第二个3x3的 Conv2d 层。
    5. +
  5. 将处理后的结果与原始输入 x 相加（残差连接）。
    6. +
+

2. 时间嵌入注入 (Time Embedding)

+

时间步 t 的信息至关重要。它通常通过一个小型MLP从正弦编码转换为嵌入向量，然后通过自适应归一化层（Adaptive Group Normalization, AdaGN）注入到每个残差块中。其核心思想是调制残差块的统计特性： +h_out = GroupNorm(h_in) * (1 + scale(t)) + shift(t) +其中 scale(t) 和 shift(t) 是从时间嵌入向量线性变换得到的。

+

3. 自注意力 (Self-Attention)

+

为了捕获长程依赖关系，自注意力机制被引入到U-Net中。但由于其计算复杂度与像素数的平方成正比，它通常只在特征图分辨率较低的层级（如16x16或8x8）使用，以在计算效率和全局建模能力之间取得平衡。

+

2.2.2 采样方式的演进：从池化到可学习的卷积

+

"如何正确地降低和恢复分辨率"是U-Net设计的核心问题之一，其演进过程反映了深度学习架构设计的范式转变。这个问题看似简单，实则深刻影响着模型的表现力和生成质量。

+

下采样的哲学：信息压缩的艺术

+

下采样不仅仅是减少计算量的技术手段，更是一种信息抽象的过程。每次下采样，我们都在回答一个问题：如何用更少的数字表示更大的区域？

+
    +
  1. 最大池化时代（2012-2015） +最大池化（nn.MaxPool2d）曾是卷积神经网络的标配。其背后的假设是：在一个局部区域内，最强的激活值代表了最重要的特征。这种假设在分类任务中很合理——我们关心的是"是否存在某个特征"，而不是"特征在哪里"。
    2. +
+
输入: [[1, 2],    MaxPool2d    输出: [4]
+       [3, 4]]    (2x2)
+
+ +

然而，对于生成任务，这种"赢者通吃"的策略是灾难性的：

+
    +
  • 位置信息丢失：我们不知道最大值来自哪个位置
    • +
  • 梯度稀疏：只有最大值位置有梯度，其他位置梯度为零
    • +
  • 不可逆性：无法从池化后的结果准确重建原始信息
    • +
+
    +
  1. 步进卷积革命（2015-2018） +DCGAN论文提出了一个革命性的想法：让网络自己学习如何下采样。步进卷积（stride=2的nn.Conv2d）将下采样和特征提取合二为一：
    2. +
+
# 传统方法：先卷积，后池化
+conv = nn.Conv2d(in_channels, out_channels, kernel_size=3, padding=1)
+pool = nn.MaxPool2d(2)
+output = pool(conv(input))  # 两步操作
+
+# 现代方法：步进卷积一步到位
+strided_conv = nn.Conv2d(in_channels, out_channels, kernel_size=3, stride=2, padding=1)
+output = strided_conv(input)  # 一步操作，可学习
+
+ +

这种方法的优势在于：

+
    +
  • 完全可学习：网络可以学习最适合任务的下采样方式
    • +
  • 保留更多信息：不是简单地选择最大值，而是学习加权组合
    • +
  • 梯度流畅：所有位置都参与计算，梯度流动更健康
    • +
+
    +
  1. 现代最佳实践：分而治之（2018至今） +随着模型规模的增长，训练稳定性成为关键考虑。现代架构倾向于将"改变分辨率"和"提取特征"解耦：
    2. +
+
# 第一步：在当前分辨率提取特征
+conv1 = nn.Conv2d(in_channels, out_channels, kernel_size=3, padding=1)
+# 第二步：专门的下采样层
+downsample = nn.Conv2d(out_channels, out_channels, kernel_size=3, stride=2, padding=1)
+
+ +

这种设计的智慧在于：

+
    +
  • 功能解耦：每层专注于一个任务，更容易优化
    • +
  • 灵活性：可以在两步之间插入归一化、激活函数等
    • +
  • 数值稳定：避免在一个操作中进行过于剧烈的变换
    • +
+

上采样的挑战：从低分辨率重建细节

+

如果说下采样是"压缩"，那么上采样就是"解压缩"。但与信息压缩不同，神经网络的上采样需要"创造"原本不存在的细节。

+
    +
  1. 转置卷积的诱惑与陷阱 +转置卷积（nn.ConvTranspose2d）在数学上是步进卷积的精确逆操作。它通过在输入之间插入零值，然后进行常规卷积来实现上采样：
    2. +
+
输入: [a, b]  →  插零: [a, 0, b]  →  卷积: 生成更大的输出
+
+ +

然而，这种方法存在一个致命问题：棋盘效应（Checkerboard Artifacts）。当kernel_size不能被stride整除时，输出像素接收到的"贡献"不均匀：

+
kernel_size=3, stride=2 的情况：
+某些输出像素被1个输入像素影响
+某些输出像素被2个输入像素影响
+→ 产生棋盘状的明暗模式
+
+ +

这个问题在2016年被Odena等人系统分析后，引发了社区的广泛讨论。

+
    +
  1. 插值+卷积：简单但有效的解决方案 +为了避免棋盘效应，现代架构采用了一个看似"倒退"但实际上更稳健的方法：
    2. +
+
# 方法1：最近邻插值 + 卷积
+upsample = nn.Upsample(scale_factor=2, mode='nearest')
+conv = nn.Conv2d(in_channels, out_channels, kernel_size=3, padding=1)
+output = conv(upsample(input))
+
+# 方法2：双线性插值 + 卷积
+upsample = nn.Upsample(scale_factor=2, mode='bilinear', align_corners=False)
+conv = nn.Conv2d(in_channels, out_channels, kernel_size=3, padding=1)
+output = conv(upsample(input))
+
+ +

这种方法的优势：

+
    +
  • 无棋盘效应：插值保证了空间均匀性
    • +
  • 计算效率高：插值操作很快，卷积是标准操作
    • +
  • 易于理解和调试：两步操作各司其职
    • +
+
    +
  1. 亚像素卷积：另一种优雅的方案 +亚像素卷积（Pixel Shuffle）提供了另一种思路：先在低分辨率空间生成多个通道，然后重新排列成高分辨率输出：
    2. +
+
# 输入: [B, C, H, W]
+# 先扩展通道: [B, C*r², H, W]
+conv = nn.Conv2d(in_channels, out_channels * scale_factor**2, kernel_size=3, padding=1)
+# 然后重排: [B, C, H*r, W*r]
+pixel_shuffle = nn.PixelShuffle(scale_factor)
+output = pixel_shuffle(conv(input))
+
+ +

这种方法在超分辨率任务中特别流行，因为它允许网络在低分辨率空间进行大部分计算。

+

采样策略对扩散模型的特殊意义

+

在扩散模型中，采样方式的选择有着特殊的重要性：

+
    +
  1. +

    信息保真度 +扩散模型需要在多个时间步之间传递信息。任何信息损失都会在迭代过程中被放大。因此，可逆或近似可逆的采样方式（如步进卷积配合适当的上采样）特别重要。

    +
    2. +
  2. +

    多尺度一致性 +去噪过程需要在不同尺度上保持一致性。粗糙的采样方式可能导致不同分辨率层之间的特征不匹配，影响最终的生成质量。

    +
    3. +
  3. +

    计算效率的关键 +U-Net的大部分计算发生在低分辨率层。高效的采样策略可以显著减少计算量，这是Stable Diffusion能够在消费级硬件上运行的关键因素之一。

    +
    4. +
+

2.2.3 归一化技术：从BatchNorm到AdaGN的演进

+

归一化技术的演进史，是深度学习社区对"如何让深层网络稳定训练"这一核心问题不断探索的历史。在扩散模型中，归一化不仅影响训练稳定性，更成为了注入条件信息的关键机制。

+

归一化的本质：对抗内部协变量偏移

+

2015年，Ioffe和Szegedy提出BatchNorm时，他们的核心观察是：深层网络训练困难的一个重要原因是内部协变量偏移（Internal Covariate Shift）——即每层的输入分布在训练过程中不断变化，导致后续层需要不断适应新的输入分布。

+

归一化的基本思想很简单：

+
归一化输出 = γ × (输入 - 均值) / 标准差 + β
+
+ +

其中γ和β是可学习的缩放和偏移参数。关键在于：如何计算均值和标准差？

+

BatchNorm的局限：为什么它不适合扩散模型

+

BatchNorm在许多任务上取得了巨大成功，但在扩散模型中却遇到了前所未有的挑战：

+
    +
  1. 批次依赖性带来的不一致 +BatchNorm在训练时使用当前批次的统计量，在推理时使用移动平均。这导致：
    2. +
+
# 训练时：使用批次统计
+mean = x.mean(dim=[0, 2, 3])  # 跨批次维度计算
+var = x.var(dim=[0, 2, 3])
+x_norm = (x - mean) / sqrt(var + eps)
+
+# 推理时：使用移动平均
+x_norm = (x - running_mean) / sqrt(running_var + eps)
+
+ +

对于扩散模型，这种不一致是致命的：

+
    +
  • 生成时通常batch_size=1，统计量毫无意义
    • +
  • 训练和推理的行为差异会累积放大
    • +
+
    +
  1. 时间步混淆问题 +扩散模型的一个批次中，不同样本可能处于不同的时间步：
    2. +
+
批次 = [x_t1, x_t2, x_t3, x_t4]  # t1, t2, t3, t4可能完全不同
+
+ +

BatchNorm会将这些处于不同噪声水平的样本混合计算统计量，这就像把苹果和橙子混在一起求平均——毫无意义。

+
    +
  1. 小批量训练的灾难 +高分辨率的扩散模型因为内存限制，批次大小通常很小（如2或4）。在如此小的批次上估计统计量，方差极大，训练极不稳定。
    2. +
+

GroupNorm：优雅的解决方案

+

2018年，何恺明等人提出的GroupNorm巧妙地解决了这些问题。其核心思想是：不跨样本计算统计量，而是在每个样本内部，将通道分组后计算。

+
# GroupNorm的计算方式
+# 假设输入 x 的形状为 [B, C, H, W]
+# 将 C 个通道分成 G 组
+x = x.view(B, G, C//G, H, W)
+mean = x.mean(dim=[2, 3, 4])  # 在每组内计算
+var = x.var(dim=[2, 3, 4])
+x = (x - mean) / sqrt(var + eps)
+x = x.view(B, C, H, W)
+
+ +

GroupNorm的优势：

+
    +
  • 批次无关：每个样本独立计算，batch_size=1也能正常工作
    • +
  • 时间步隔离：不同时间步的样本互不影响
    • +
  • 稳定性好：不依赖批次大小，小批量训练也稳定
    • +
+

GroupNorm实际上是一个统一框架：

+
    +
  • 当 G = 1 时，退化为 LayerNorm（跨所有通道归一化）
    • +
  • 当 G = C 时，退化为 InstanceNorm（每个通道独立归一化）
    • +
  • 当 G = 32 时（常用设置），在两者之间取得平衡
    • +
+

自适应归一化：从固定到动态的飞跃

+

传统的归一化使用固定的γ和β参数。但StyleGAN的成功启发了一个革命性的想法：让这些参数根据外部条件动态变化。

+

AdaGN（Adaptive Group Normalization）的工作原理：

+
class AdaGN(nn.Module):
+    def __init__(self, num_features, num_groups=32, time_emb_dim=128):
+        super().__init__()
+        self.norm = nn.GroupNorm(num_groups, num_features)
+        # 从时间嵌入预测 scale 和 shift
+        self.time_mlp = nn.Sequential(
+            nn.SiLU(),
+            nn.Linear(time_emb_dim, num_features * 2)
+        )
+
+    def forward(self, x, time_emb):
+        # 计算动态的 scale 和 shift
+        scale_shift = self.time_mlp(time_emb)
+        scale, shift = scale_shift.chunk(2, dim=1)
+
+        # 应用 GroupNorm
+        x = self.norm(x)
+
+        # 应用动态调制
+        x = x * (1 + scale[:, :, None, None]) + shift[:, :, None, None]
+        return x
+
+ +

为什么AdaGN对扩散模型如此有效？

+
    +
  1. +

    时间感知的去噪：不同时间步需要不同的去噪策略。早期（高噪声）可能需要更强的归一化来稳定训练，后期（低噪声）可能需要更弱的归一化来保留细节。

    +
    2. +
  2. +

    高效的条件注入：相比于将条件信息拼接到特征图（增加计算量），AdaGN通过调制现有特征实现条件控制，几乎不增加计算成本。

    +
    3. +
  3. +

    分层的控制粒度：每一层可以根据时间步独立调整其行为，这种细粒度的控制对于处理不同尺度的噪声至关重要。

    +
    4. +
+

归一化位置的艺术：前置还是后置？

+

在Transformer的发展过程中，Layer Normalization的位置引发了激烈讨论。这个讨论同样适用于U-Net：

+

Post-Norm（传统方式）：

+
x → Conv → ReLU → Norm → + → 输出
+                         ↑
+                         x (残差连接)
+
+ +

Pre-Norm（现代方式）：

+
x → Norm → Conv → ReLU → + → 输出
+                         ↑
+                         x (残差连接)
+
+ +

Pre-Norm的优势：

+
    +
  • 梯度流更稳定：残差连接直接连接输入输出，梯度可以无障碍地流过
    • +
  • 训练更容易：特别是对于非常深的网络
    • +
  • 与AdaGN配合更好：在块的开始就进行条件调制，影响整个块的计算
    • +
+

这就是为什么现代扩散模型普遍采用Pre-Norm设计。

+

RMSNorm：更简单的未来？

+

最近，RMSNorm作为LayerNorm的简化版本引起了关注：

+
# LayerNorm: 减均值，除标准差
+x_norm = (x - mean) / std
+
+# RMSNorm: 只除以均方根，不减均值
+x_norm = x / sqrt(mean(x²))
+
+ +

RMSNorm的优势：

+
    +
  • 计算更简单：少了减均值的操作
    • +
  • 某些情况下效果相当：特别是当激活函数本身有中心化效果时
    • +
+

虽然RMSNorm在扩散模型中的应用还不广泛，但它代表了一个重要趋势：不断简化和优化基础组件。

+
+练习 2.1：U-Net架构的权衡分析 +
    +
  1. 深度 vs. 宽度：分析U-Net的深度（下采样次数）和宽度（基础通道数）对模型性能和计算成本的影响。对于一个固定计算预算的模型，是更深好还是更宽好？
    2. +
  2. 注意力位置：讨论在U-Net的不同层级（高、中、低分辨率）插入自注意力模块的利弊。为什么大多数模型选择在中低分辨率层插入？
    3. +
  3. 跳跃连接：标准的跳跃连接使用拼接（concatenation）。分析如果改为逐元素相加（addition）会对信息流产生什么影响。在什么情况下相加可能是更好的选择？
    4. +
  4. 开放探索：设计一种“动态U-Net”，其深度或宽度可以根据输入的时间步t自适应调整。例如，在噪声水平高时使用更深的网络来捕捉全局结构，在噪声水平低时使用更浅的网络来关注细节。
    5. +
  5. 研究思路：
      +
    • 查阅有关神经架构搜索（NAS）在生成模型中应用的研究。
      • +
    • 从信息论角度分析跳跃连接，将其视为信息瓶颈的旁路。
      • +
    • 研究不同归一化层（如RMSNorm）与自适应调制结合的可能性。
      • +
    +
    6. +
+
+

2.3 从NLP到CV：Vision Transformer的跨界之旅

+

2.3.1 Transformer的视觉革命

+

Transformer架构由Vaswani等人在2017年的论文《Attention Is All You Need》中为自然语言处理提出。2020年，Dosovitskiy等人的ViT论文证明了纯Transformer架构在图像分类上可以达到甚至超越顶尖的CNN，开启了Transformer在计算机视觉领域的革命。

+

ViT的核心思想极其简洁：

+
    +
  1. 将输入图像分割成固定大小的patches（例如16×16像素）。
    2. +
  2. 将每个patch线性投影（embedding）为一个向量（token）。
    3. +
  3. 将这些tokens序列以及一个可学习的[CLS] token输入到标准的Transformer编码器中。
    4. +
  4. 使用Transformer输出的[CLS] token进行分类。
    5. +
+

这种设计的优雅之处在于它为视觉问题引入了新的归纳偏置：世界是由可组合的“部件”构成的。

+

2.3.2 扩散Transformer (DiT)

+

2022年，Peebles和Xie在论文《Scalable Diffusion Models with Transformers》中提出了DiT，成功将ViT架构应用于扩散模型。DiT对ViT进行了关键改造以适应去噪任务：

+
    +
  1. 输入处理：输入不再是清晰图像，而是带噪声的图像patches。
    2. +
  2. 无[CLS] Token：生成任务需要对每个patch进行预测，因此去除了分类任务专用的[CLS] token。
    3. +
  3. 条件注入：时间步t和类别标签c的嵌入向量被视为额外的条件tokens，通过自适应LayerNorm（AdaLN）或交叉注意力（cross-attention）注入到模型中。
    4. +
  4. 输出处理：Transformer的输出tokens被重新排列，并通过一个线性解码器预测每个patch对应的噪声。
    5. +
+

DiT的成功，特别是其卓越的可扩展性（scaling law），使其迅速成为SOTA文生图模型（如Sora, Stable Diffusion 3）的首选架构。

+
+练习 2.2：比较U-Net和DiT的归纳偏置与复杂度 +
    +
  1. 归纳偏置：对比CNN（U-Net的基础）和Transformer（DiT的基础）的核心归纳偏置。CNN的“局部性”和“平移等变性”与Transformer的“全局关系”和“排列不变性”分别如何影响它们作为去噪网络的性能？
    2. +
  2. 计算复杂度：对于一个分辨率为H x W的输入，推导U-Net和DiT的主要计算瓶颈。U-Net的复杂度与什么成正比？DiT的复杂度与什么成正比？（提示：考虑卷积操作和自注意力操作的复杂度）
    3. +
  3. 开放探索：U-Net和DiT代表了两种不同的架构范式。近年来，出现了许多试图结合两者优点的混合架构（如U-ViT）。分析这种混合设计的动机，并提出一种你自己的混合块（hybrid block）设计。
    4. +
  4. 研究思路：
      +
    • 阅读ViT和DiT的原文，关注作者关于模型扩展性（scaling）的实验部分。
      • +
    • 探索卷积操作和自注意力在数学上的联系（例如，卷积可以被看作是一种特殊的、带强位置偏置的局部注意力）。
      • +
    • 研究最新的SOTA生成模型（如Sora的技术报告），分析其架构选择。
      • +
    +
    5. +
+
+

2.4 性能优化与实用技巧

+

理论架构和实际部署之间往往存在巨大鸿沟。本节分享一些在实践中积累的优化技巧。

+

2.4.1 内存优化：在GPU上塞下更大的模型

+

训练扩散模型时，内存的最大消耗通常来自激活值，特别是U-Net中为跳跃连接而保存的各层特征图。

+
    +
  • +

    梯度检查点 (Gradient Checkpointing)：核心思想是“用计算换内存”。通过torch.utils.checkpoint.checkpoint包裹模型的一部分（如一个ResBlock），在前向传播时不保存其内部的激活值，而在反向传播时重新计算它们。这可以显著降低内存占用（约30-50%），但会增加训练时间（约20-30%）。

    +
    • +
  • +

    混合精度训练 (Mixed Precision)：使用torch.cuda.amp（自动混合精度）可以利用现代GPU的Tensor Cores，将大部分计算从FP32转为FP16或BF16，内存减半，速度翻倍。关键是使用GradScaler来防止FP16梯度下溢。

    +
    • +
  • +

    注意力优化：标准自注意力的内存和计算复杂度与序列长度的平方成正比。对于高分辨率图像，这很快会成为瓶颈。FlashAttention等库通过融合内核操作，避免将巨大的注意力矩阵写入和读出GPU内存，从而实现显著的加速和内存节省。

    +
    • +
+

2.4.2 训练稳定性：让大模型稳定收敛

+
    +
  • +

    初始化策略：一个关键技巧是将输出层的权重和偏置初始化为零。这确保模型在训练开始时输出为零，即预测的噪声为零。这是一种“无为而治”的初始化，使得模型在学习初期不会对输入造成巨大扰动，有助于稳定训练。

    +
    • +
  • +

    数值稳定性：

    +
      +
    • 梯度裁剪：通过torch.nn.utils.clip_grad_norm_来防止梯度爆炸，是训练大模型的标配。
      • +
    • 学习率调度：使用预热（warmup）和余弦退火（cosine decay）的学习率调度器通常比固定学习率效果更好。
      • +
    • AdamW优化器：AdamW通过解耦权重衰减和梯度更新，通常比标准Adam更稳定。
      • +
    +
    • +
+
+综合练习：为特定任务设计去噪网络 +

假设你要为以下两种不同的任务设计去噪网络架构，你会如何选择和修改U-Net或DiT？请详细说明理由。

+

任务A：移动端实时人像风格化

+
    +
  • 约束：模型大小 < 50MB，在手机GPU上推理延迟 < 100ms。
    • +
  • 数据：512x512的人像图片。
    • +
+

任务B：生成具有复杂物理规律的科学模拟数据（如流体动力学）

+
    +
  • 约束：追求最高的物理保真度，计算资源几乎无限。
    • +
  • 数据：256x256x256的3D体数据，需要尊重物理守恒定律。
    • +
+

设计分析与研究方向：

+
    +
  1. 架构选择：为每个任务选择基础架构（U-Net, DiT, 或混合架构），并论证你的选择。
    2. +
  2. 关键修改：针对每个任务的约束和数据特性，你会对所选架构进行哪些关键修改？（例如，对于任务A，如何修改通道数、深度、注意力机制？对于任务B，如何处理3D数据、如何引入物理约束？）
    3. +
  3. 理论空白：在任务B中，如何设计一个能内建物理不变量（如散度为零）的神经网络架构？这被称为物理信息神经网络（PINN）与生成模型的交叉领域，是一个活跃的研究方向。
    4. +
  4. 研究思路：
      +
    • 查阅有关模型量化、剪枝和知识蒸馏的文献，以满足任务A的部署要求。
      • +
    • 研究傅里叶神经算子（Fourier Neural Operator）等将物理方程求解器与神经网络结合的工作，以获取任务B的灵感。
      • +
    • 探索等变神经网络（Equivariant Neural Networks），它们被设计用来尊重数据的内在对称性（如旋转不变性）。
      • +
    +
    5. +
+
+

本章小结

+

本章我们追溯了扩散模型中两种主流架构的历史渊源，并深入分析了它们的设计细节和演进过程。

+
    +
  • U-Net：从2015年的医学图像分割任务，到2020年成为DDPM的核心架构，其多尺度特征融合能力是成功的关键。
    • +
  • Vision Transformer (DiT)：从2017年的NLP革命，经2020年的CV突破，到2022年成为可扩展扩散模型的主流选择，其全局关系建模能力和卓越的扩展性是其优势所在。
    • +
+

这两种架构能够成功应用于扩散模型并非偶然，而是经过了精心的改造和适配：

+
    +
  • 共同的改造：都引入了时间嵌入作为关键的条件信息，并发展出如AdaGN/AdaLN等高效的注入机制。
    • +
  • 不同的演进：U-Net在卷积、采样和归一化等模块上不断优化；DiT则专注于如何将Transformer范式更好地应用于像素级的生成任务。
    • +
+

扩散模型的架构演进史启示我们：创新并不总是需要“从零开始”。善于发现和利用已有技术的潜力，通过巧妙的改造和组合，往往能产生意想不到的突破。

+

下一章，我们将深入DDPM的数学原理，看看这些强大的架构是如何在一个清晰的概率框架下进行训练和优化的。

+
+ + +
+
+ + \ No newline at end of file diff --git a/html/chapter3.html b/html/chapter3.html new file mode 100644 index 0000000..2fa0496 --- /dev/null +++ b/html/chapter3.html @@ -0,0 +1,404 @@ + + + + + + 第3章：去噪扩散概率模型 (DDPM) + + + + + + + +
+ + +
+
+

← 上一章 | 第3章 / 共14章 | 下一章 →

+

第3章：去噪扩散概率模型 (DDPM)

+

2020年，Ho等人的论文《Denoising Diffusion Probabilistic Models》是扩散模型发展史上的一个分水岭，它不仅极大地简化了模型的训练过程，更是在多个图像生成基准上达到了与GAN相媲美的生成质量。本章将深入剖析DDPM的数学原理、训练算法和实现细节。通过本章学习，你将掌握DDPM的核心思想，并理解其背后的概率论基础是如何被巧妙地简化为一个优雅的去噪目标的。

+

3.1 DDPM的核心思想：简化与统一

+

在DDPM之前，扩散模型虽然理论优雅，但实践起来却充满挑战。早期的扩散模型需要精心设计的推断过程、复杂的变分边界优化，以及难以调试的训练流程。研究者们被困在理论与实践之间的鸿沟中：一方面，扩散模型在理论上具有诸多优势——可解释的概率框架、精确的似然计算、稳定的训练过程；另一方面，实际训练时却面临着收敛慢、生成质量差、超参数敏感等问题。

+

DDPM的出现改变了这一切。它的革命性贡献在于：将复杂的变分推断问题简化为了一个简单直观的去噪任务。这种简化不是以牺牲理论严谨性为代价的——恰恰相反，DDPM展示了如何通过巧妙的数学变换和参数化选择，在保持理论完整性的同时，获得一个极其简洁的实践框架。

+

要理解DDPM的突破性，我们需要回顾一下早期扩散模型面临的具体困难。在Sohl-Dickstein等人2015年的开创性工作中，训练一个扩散模型需要同时优化多个相互耦合的组件：前向过程的扩散率、反向过程的参数化、以及连接两者的变分边界。这种复杂性不仅使得模型难以训练，更重要的是，它掩盖了扩散模型的核心洞察——生成的本质是去噪。

+

DDPM的作者们意识到，如果我们愿意做一些合理的假设和简化，整个框架可以变得异常优雅。这些简化并非随意为之，而是基于对问题本质的深刻理解。让我们详细看看这些关键的设计决策：

+
+

定义：DDPM的三个关键简化

+
    +
  1. 固定前向过程：前向加噪过程使用一个预先设定的、固定的方差调度 $\beta_t$ ，无需学习。这避免了早期扩散模型中需要同时学习前向和反向过程的复杂性。
    2. +
  2. 简化反向过程：假设反向去噪过程也是高斯分布，且其方差也是固定的。因此，模型只需要学习高斯分布的均值，将学习目标从整个分布简化为单一参数。
    3. +
  3. 重参数化目标：将学习"去噪后的图像均值"这一困难任务，巧妙地转换为学习"添加到图像中的噪声"，极大地稳定了训练过程。
    4. +
+
+

这三个简化看似独立，实际上形成了一个相互支撑的体系。固定的前向过程提供了稳定的训练目标，简化的反向过程减少了模型的负担，而噪声预测的参数化则确保了训练的稳定性。它们共同将一个原本复杂的生成建模问题转化为了一个标准的监督学习问题。

+

让我们通过一个直观的比喻来理解这种转化的威力。想象你是一位艺术品修复师，面对一幅被时间侵蚀的古画。传统的方法是试图直接画出缺失的部分——这需要你理解画家的风格、时代背景、绘画技法等复杂知识。而DDPM的方法则是先理解"侵蚀"本身的模式——哪些地方容易褪色、裂纹如何形成、灰尘如何堆积。一旦你理解了破坏的过程，修复就变成了简单地"逆转"这个过程。

+

这种思路的转变带来了实际的好处。在DDPM之前，训练一个高质量的扩散模型可能需要数周的时间和大量的超参数调整。而使用DDPM框架，研究者们发现他们可以用相对简单的设置获得令人惊叹的结果。更重要的是，这种简化并没有限制模型的表达能力——相反，通过让模型专注于学习去噪这一核心任务，DDPM实际上提高了生成质量。

+

3.1.1 为什么预测噪声更好？

+

在理解DDPM之前，我们需要先回答一个根本性的问题：为什么预测噪声比预测清晰图像更有效？这个问题的答案涉及深度学习中的一个核心洞察：匹配简单分布比匹配复杂分布容易得多。

+

考虑这样一个类比：假设你要训练一个神经网络来完成两个任务之一：(1) 给定一幅被墨水污染的名画，预测原始画作的样子；(2) 给定同样的污染画作，预测墨水的形状和位置。虽然这两个任务在信息论上是等价的（知道其中一个就能推出另一个），但从学习的角度来看，它们的难度截然不同。预测原画需要网络理解艺术风格、构图规则、色彩理论等复杂知识，而预测墨水只需要识别那些不符合画作整体风格的异常模式。

+

这个看似简单的改变是DDPM成功的关键。预测原始图像 $x_0$ 意味着网络需要输出一个具有复杂结构和特定分布的物体，而预测噪声 $\epsilon$ 意味着网络只需要输出一个来自标准正态分布的样本。更深层的原因在于，噪声预测任务具有某种"局部性"——网络可以通过识别局部的不一致性来判断噪声，而无需理解整体的全局结构。

+

让我们从多个角度深入理解这个设计选择的智慧。首先，从统计学角度看，标准正态分布是所有分布中最"无信息"的——它的熵最大，没有任何特殊的结构或模式。这意味着预测噪声时，网络不需要记忆或重建任何特定的模式，只需要识别哪些部分偏离了原始数据的统计规律。这种任务的普适性使得网络能够学习到更加通用的去噪原理，而不是过拟合到特定的数据模式。

+

其次，从优化角度看，预测噪声提供了更加稳定的梯度信号。当我们训练网络预测 $x_0$ 时，特别是在高噪声水平（大的 $t$ 值）下，网络需要从几乎纯粹的噪声中重建出完整的图像。这就像要求一个人仅凭一片模糊的色块就画出蒙娜丽莎——即使对于强大的神经网络，这也是一个极其困难的任务。网络可能会产生多种合理的预测，导致训练信号混乱，梯度方向不稳定。相反，预测噪声时，网络的任务始终是明确的：识别并提取那些不属于原始数据的成分。

+

第三，从信息论角度看，这种参数化方式更好地利用了不同时间步的信息。在前向过程的早期（小的 $t$ ），图像中保留了大量原始信息，噪声相对较少，此时预测噪声相对容易。在前向过程的后期（大的 $t$ ），虽然图像已经高度退化，但噪声占主导地位，预测"大部分都是噪声"仍然是一个合理的策略。这种自然的难度曲线使得网络在所有时间步上都能获得有意义的学习信号。

+
+

定义：预测噪声的优势 +| 方面 | 预测均值 $\mu_\theta$ | 预测噪声 $\epsilon_\theta$ |

+ + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +
方面预测均值 $\mu_\theta$预测噪声 $\epsilon_\theta$
输出范围需要匹配数据的复杂分布目标是标准高斯分布（已归一化）
训练信号随时间步 $t$ 变化剧烈各时间步的训练目标相对一致
梯度流在高噪声时可能梯度消失梯度传播更稳定
物理意义预测去噪后的图像预测被添加的噪声
优化景观多模态、非凸，容易陷入局部最优相对平滑，更容易优化
泛化能力需要记忆训练数据的具体模式学习更通用的去噪原理
+
+

让我们从数学角度更深入地理解这种差异。当网络预测 $x_0$ 时，在时间步 $t$ 较大（噪声较多）的情况下，输入 $x_t$ 几乎是纯噪声，网络需要从几乎没有信息的输入中"凭空"生成一个有意义的图像。这就像要求网络成为一个"记忆机器"，记住所有可能的图像。相反，当预测噪声 $\epsilon$ 时，网络的任务是识别和分离信号与噪声，这是一个更加well-defined的问题。

+

为了更具体地理解这一点，让我们考虑一个极端情况：当 $t = T$（最后一个时间步）时，$x_T$ 几乎完全是噪声。如果网络需要预测 $x_0$，它面临的是一个一对多的映射问题——同一个噪声输入可能对应无数个可能的原始图像。这种歧义性使得训练信号非常嘈杂，网络很难收敛到一个稳定的解。而如果预测噪声，网络只需要输出"这基本上都是噪声"，这是一个明确且合理的答案。

+

更有趣的是，这种参数化选择还影响了网络的归纳偏置（inductive bias）。当网络学习预测噪声时，它实际上在学习数据的"负空间"——那些不应该出现在真实数据中的模式。这促使网络发展出对数据结构的隐式理解：平滑的区域不应该有高频噪声，边缘应该是锐利的而不是模糊的，纹理应该具有某种规律性等等。这种通过"排除法"学习的方式，恰好与人类视觉系统处理噪声的方式相似。

+

🔬 研究线索：DDPM预测噪声 $\epsilon$ ，而一些后续工作（如Cold Diffusion）则探索直接预测 $x_0$ 。这两种参数化方式的优劣在不同场景下仍有争议。例如，在处理视频时，预测帧间差（类似于噪声）可能比预测完整帧更有效。另一个有趣的研究方向是"v-prediction"（预测 $v = \alpha_t \epsilon - \sigma_t x_0$），它试图在两种参数化之间找到平衡点。Progressive Distillation等工作也展示了在不同的训练阶段切换参数化方式可能带来好处。

+

3.1.2 DDPM训练算法概览

+

得益于上述简化，DDPM的训练过程变得异常简洁。这种简洁性不仅体现在代码实现上，更重要的是概念上的清晰：整个训练过程可以被理解为学习一个"通用去噪器"。

+

DDPM训练伪代码

+
    +
  1. 从数据集中随机抽取一批原始图像 $x_0$ 。
    2. +
  2. 为该批次中的每个图像随机选择一个时间步 $t$ (从1到T)。
    3. +
  3. 从标准正态分布中采样一个噪声 $\epsilon$ 。
    4. +
  4. 使用闭式解计算 $t$ 时刻的噪声图像 $x_t$ ： $x_t = \sqrt{\bar{\alpha}_t} x_0 + \sqrt{1 - \bar{\alpha}_t} \epsilon$ 。
    5. +
  5. 将 $x_t$ 和 $t$ 输入到神经网络 $\epsilon_\theta$ 中，得到预测的噪声 $\epsilon_{pred}$ 。
    6. +
  6. 计算损失： $loss = \text{MSE}(\epsilon, \epsilon_{pred})$ 。
    7. +
  7. 使用梯度下降更新模型参数 $\theta$ 。
    8. +
+

这个算法的优雅之处在于它的自监督性质。与需要配对数据的监督学习不同，DDPM只需要原始数据本身。噪声是我们人为添加的，因此我们知道"正确答案"。这使得DDPM可以充分利用大规模无标注数据集，这是其能够扩展到数十亿参数规模的关键因素之一。

+

这种端到端的去噪训练方式，是DDPM易于实现和训练稳定的核心原因。让我们深入理解这个算法的几个关键设计选择：

+

时间步的随机采样：为什么要随机选择时间步 $t$，而不是按顺序训练？这个设计确保了网络在所有噪声水平上都能均匀地学习。如果按顺序训练，网络可能会"遗忘"早期学到的知识。随机采样还带来了另一个好处：每个批次中的样本具有不同的噪声水平，这种多样性有助于网络学习更鲁棒的特征表示。

+

更深层的原因涉及到课程学习（curriculum learning）的概念。直觉上，我们可能认为应该先让网络学习简单的任务（去除少量噪声），然后逐渐增加难度。然而，实践表明，这种策略在扩散模型中往往适得其反。原因是不同噪声水平的去噪任务需要不同的策略：低噪声时需要精细的局部调整，高噪声时需要全局的结构重建。随机采样迫使网络同时学习所有这些策略，反而产生了更好的泛化能力。

+

闭式解的重要性：能够直接从 $x_0$ 计算 $x_t$ 是DDPM的一个关键优势。这避免了需要迭代地应用前向过程，大大提高了训练效率。在PyTorch中，这个操作可以通过简单的张量运算实现，如 torch.randn_like() 生成噪声，然后进行线性组合。

+

从计算的角度看，这个闭式解将原本的 $O(T)$ 复杂度降低到了 $O(1)$。但更重要的是，它避免了数值误差的累积。如果我们通过迭代应用前向过程来计算 $x_t$，每一步的浮点运算误差都会累积，最终可能导致 $x_t$ 偏离理论分布。闭式解保证了我们始终在正确的分布上进行训练。

+

MSE损失的简单性：使用均方误差作为损失函数看似平凡，但它恰好对应于高斯分布下的最大似然估计。这种对应关系不是巧合，而是DDPM理论框架的自然结果。更重要的是，MSE损失在所有像素上均匀加权，这促使网络学习全局一致的去噪策略。

+

然而，MSE损失的选择也引发了一些有趣的讨论。在计算机视觉中，我们知道MSE往往不是感知质量的最佳度量——它倾向于产生模糊的结果。但在DDPM的框架下，这个"缺点"反而成了优点。因为网络预测的是噪声而不是图像，模糊性实际上反映了噪声的不确定性。当存在多个合理的去噪方案时，预测它们的平均值（这正是MSE损失所鼓励的）是一个合理的策略。

+

💡 实践洞察：在实际实现中，时间步 $t$ 的编码方式对模型性能有显著影响。DDPM使用正弦位置编码（类似于Transformer），将离散的时间步映射到连续的高维表示。这种编码方式不仅提供了时间信息，还隐含地编码了当前的信噪比，帮助网络理解需要去除多少噪声。

+

具体来说，时间编码通常采用如下形式：

+
    +
  • 首先将时间步 $t$ 归一化到 $[0, 1]$ 区间
    • +
  • 然后应用一组不同频率的正弦和余弦函数
    • +
  • 最后通过一个小型MLP将编码映射到与特征维度匹配的表示
    • +
+

这种编码的好处是它能够表示时间的绝对位置和相对关系，使得网络能够学习到"在时间步200时应该去除中等强度的噪声"这样的模式，同时也能泛化到训练时未见过的时间步（例如在使用DDIM等快速采样方法时）。

+

3.2 前向过程：从数据到噪声

+

前向过程是扩散模型的基础，它定义了数据如何逐渐转变为噪声的数学过程。理解前向过程不仅是掌握DDPM的前提，更是洞察扩散模型本质的关键。在这一节中，我们将深入探讨前向过程的数学结构、物理直觉，以及它如何为后续的反向学习奠定基础。

+

从概念上讲，前向过程模拟了一个自然界中普遍存在的现象：信息的逐渐丢失。想象一滴墨水落入清水中，起初我们能清晰地看到墨滴的形状和位置，但随着时间推移，墨水逐渐扩散，最终与水完全混合，原始的结构信息完全消失。扩散模型的前向过程正是这个物理过程的数学抽象。

+

前向过程定义了一个固定的马尔可夫链，它逐步将数据分布 $q(x_0)$ 转换为一个已知的先验分布（通常是标准正态分布 $\mathcal{N}(0, I)$ ）。数学上，每一步的转移概率定义为：

+

$q(\mathbf{x}_t|\mathbf{x}_{t-1}) = \mathcal{N}(\mathbf{x}_t; \sqrt{1-\beta_t}\mathbf{x}_{t-1}, \beta_t\mathbf{I})$

+

这个看似简单的公式蕴含着深刻的设计智慧。让我们逐一分析其组成部分：

+

均值项 $\sqrt{1-\beta_t}\mathbf{x}_{t-1}$：这个缩放因子确保了信号在传播过程中的能量守恒。如果没有这个缩放，随着噪声的不断添加，数据的总能量会无限增长。$\sqrt{1-\beta_t}$ 的选择保证了在添加方差为 $\beta_t$ 的噪声后，总方差保持在合理范围内。

+

为了更深入地理解这一点，让我们考虑方差的传播。假设 $x_{t-1}$ 的方差是 $\sigma^2$，那么经过一步前向过程后：

+
    +
  • 缩放后的信号方差：$(1-\beta_t) \cdot \sigma^2$
    • +
  • 添加的噪声方差：$\beta_t$
    • +
  • 总方差：$(1-\beta_t) \cdot \sigma^2 + \beta_t$
    • +
+

当 $\sigma^2 = 1$（标准化的数据）时，输出的方差仍然是1。这种方差保持（variance preserving）的性质不仅使得数学推导更加优雅，也避免了数值计算中的溢出或下溢问题。

+

方差项 $\beta_t\mathbf{I}$：各向同性的噪声假设简化了理论分析，但也限制了模型的表达能力。这是一个经典的"简单有效"vs"复杂精确"的权衡。后续研究探索了各向异性噪声、结构化噪声等更复杂的前向过程。

+

各向同性噪声的假设意味着我们对图像的每个像素、每个通道添加相同强度的独立噪声。这在某种程度上是不符合真实世界的——例如，图像的边缘区域可能比平滑区域对噪声更敏感，不同颜色通道的噪声特性也可能不同。然而，这种简化带来的好处远大于其局限性：它使得我们可以用单一参数 $\beta_t$ 控制整个加噪过程，极大地简化了超参数调优。

+

马尔可夫性质：$x_t$ 只依赖于 $x_{t-1}$，而不依赖于更早的历史。这个性质极大地简化了理论推导，使得我们可以使用动态规划的思想来分析整个过程。

+

马尔可夫假设的一个重要含义是：信息的丢失是单调的。一旦某些细节在时间步 $t$ 被噪声掩盖，它们就永远无法在后续步骤中恢复（在前向过程中）。这种不可逆性正是我们需要学习反向过程的根本原因——如果前向过程是可逆的，我们就不需要神经网络了。

+

3.2.1 重参数化技巧

+

DDPM的一个关键数学技巧是，我们可以直接从 $x_0$ 采样任意时刻的 $x_t$ ，而无需迭代计算。这个技巧不仅是计算效率的关键，更揭示了扩散过程的一个深刻性质：整个前向过程可以被视为一个线性高斯系统。

+
+

定理：闭式采样公式 +定义 $\alpha_t = 1 - \beta_t$ 和 $\bar{\alpha}_t = \prod_{s=1}^{t} \alpha_s$ ，则： +$q(\mathbf{x}_t|\mathbf{x}_0) = \mathcal{N}(\mathbf{x}_t; \sqrt{\bar{\alpha}_t}\mathbf{x}_0, (1-\bar{\alpha}_t)\mathbf{I})$

+

这个公式可以等价地写成重参数化形式： +$\mathbf{x}_t = \sqrt{\bar{\alpha}_t}\mathbf{x}_0 + \sqrt{1-\bar{\alpha}_t}\boldsymbol{\epsilon}, \quad \boldsymbol{\epsilon} \sim \mathcal{N}(0, \mathbf{I})$

+
+

这个闭式公式的推导虽然基于简单的高斯分布性质，但其意义深远。让我们通过一个具体的推导来理解这个过程：

+

推导过程：从 $x_0$ 到 $x_1$：$x_1 = \sqrt{\alpha_1}x_0 + \sqrt{\beta_1}\epsilon_1$。从 $x_1$ 到 $x_2$：$x_2 = \sqrt{\alpha_2}x_1 + \sqrt{\beta_2}\epsilon_2 = \sqrt{\alpha_2}(\sqrt{\alpha_1}x_0 + \sqrt{\beta_1}\epsilon_1) + \sqrt{\beta_2}\epsilon_2$。

+

关键洞察是，两个独立高斯噪声的线性组合仍然是高斯噪声。通过仔细计算方差，我们可以证明：$x_2 = \sqrt{\alpha_1\alpha_2}x_0 + \sqrt{1-\alpha_1\alpha_2}\tilde{\epsilon}$，其中 $\tilde{\epsilon}$ 是一个新的标准高斯噪声。

+

这个推导过程揭示了一个更深层的数学结构。让我们详细展开 $x_2$ 的表达式： +$x_2 = \sqrt{\alpha_2}\sqrt{\alpha_1}x_0 + \sqrt{\alpha_2}\sqrt{\beta_1}\epsilon_1 + \sqrt{\beta_2}\epsilon_2$

+

由于 $\epsilon_1$ 和 $\epsilon_2$ 是独立的标准正态随机变量，我们需要找到一个等价的表示。关键是认识到：

+
    +
  • 系数 $\sqrt{\alpha_2}\sqrt{\beta_1}$ 和 $\sqrt{\beta_2}$ 定义了两个正交方向上的噪声强度
    • +
  • 这两个独立噪声的组合等价于一个具有适当方差的单一噪声
    • +
+

通过计算总方差： +$\text{Var}(x_2|x_0) = \alpha_2\beta_1 + \beta_2 = \alpha_2(1-\alpha_1) + (1-\alpha_2) = 1 - \alpha_1\alpha_2$

+

这正好等于 $1 - \bar{\alpha}_2$，验证了我们的闭式公式。

+

物理直觉：这个公式告诉我们，无论经过多少步扩散，$x_t$ 始终可以表示为原始信号 $x_0$ 的衰减版本加上一个适当强度的噪声。衰减因子 $\sqrt{\bar{\alpha}_t}$ 描述了信号的保留程度，而 $\sqrt{1-\bar{\alpha}_t}$ 描述了噪声的强度。当 $t \to T$ 时，$\bar{\alpha}_t \to 0$，信号完全消失，只剩下纯噪声。

+

从信号处理的角度看，这个过程可以理解为一个低通滤波器加上白噪声。随着时间推移，高频细节（如纹理、边缘）首先被破坏，而低频信息（如整体形状、颜色分布）保留得更久。这解释了为什么在中等噪声水平下，我们仍然能够隐约看出图像的大致轮廓。

+

计算优势：在实际训练中，这个闭式公式允许我们：

+
    +
  • 并行处理不同时间步的样本
    • +
  • 避免数值误差的累积
    • +
  • 实现高效的GPU向量化计算
    • +
+

更重要的是，这个公式使得训练过程具有极好的可扩展性。无论我们选择 $T=1000$ 还是 $T=4000$，计算任意 $x_t$ 的成本都是恒定的。这与许多其他生成模型形成鲜明对比，后者的计算成本往往随着模型复杂度呈超线性增长。

+

3.2.2 噪声调度 (Noise Schedule)

+

噪声调度 ${\beta_t}$ 的选择对模型性能有重要影响。它决定了信息在前向过程中的衰减速度，直接影响到反向过程的学习难度。一个好的噪声调度应该在以下几个方面取得平衡：

+
    +
  1. 信息保留：早期步骤应该保留足够的原始信息，使得反向过程有据可依
    2. +
  2. 充分扩散：最终应该充分接近先验分布，确保生成的多样性
    3. +
  3. 平滑过渡：相邻时间步之间的变化应该适度，避免学习任务的突变
    4. +
+
+

定义：调度策略对比 +| 调度类型 | 特点 | 优势 | 劣势 |

+ + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +
调度类型特点优势劣势
线性 (Linear)$\beta_t$ 从 $\beta_1 = 10^{-4}$ 线性增长到 $\beta_T = 0.02$简单直观，DDPM原始选择，易于实现和调试过程早期破坏信息过快，后期变化又太慢，导致生成质量次优
余弦 (Cosine)基于信噪比(SNR)的余弦曲线设计：$\bar{\alpha}_t = \frac{f(t)}{f(0)}$，其中 $f(t) = \cos\left(\frac{t/T + s}{1+s} \cdot \frac{\pi}{2}\right)^2$过程早期缓慢加噪，保留更多结构信息，感知质量显著更好，特别适合高分辨率图像理论相对复杂，超参数 $s$ 需要调整，末期可能收敛过慢
二次 (Quadratic)$\beta_t$ 呈二次方增长：$\beta_t = \beta_{\min} + (\beta_{\max} - \beta_{\min}) \cdot (t/T)^2$在线性的基础上，进一步减缓早期加噪，中期过渡更平滑后期加噪可能过于激进，需要仔细选择 $\beta_{\max}$
对数 (Logarithmic)$\beta_t$ 按对数规律增长极其缓慢的早期加噪，适合保留细节丰富的数据可能需要更多的扩散步数才能充分混合
+
+

让我们深入理解为什么余弦调度在实践中表现优异。关键在于信噪比（SNR）的概念：

+

$\text{SNR}(t) = \frac{\bar{\alpha}_t}{1 - \bar{\alpha}_t}$

+

线性调度下，log-SNR几乎是线性下降的，这意味着在对数空间中，信息的丢失速度是恒定的。然而，人类的感知系统对信息的敏感度并非线性——我们对高SNR区域（图像清晰时）的变化更敏感。余弦调度通过在高SNR区域放慢变化速度，更好地匹配了这种感知特性。

+

实践经验：

+
    +
  • 对于64×64的低分辨率图像，线性调度通常足够
    • +
  • 对于256×256及以上的高分辨率图像，余弦调度几乎总是更好
    • +
  • 对于特殊数据（如医学图像），可能需要定制调度
    • +
+

💡 开放问题：是否存在一个"最优"的噪声调度？理论上，最优调度应与数据的内在属性（如维度、复杂度）相关。目前，设计数据自适应的噪声调度或在训练中学习调度本身，仍然是一个活跃的研究领域。一些有趣的方向包括：

+
    +
  • 学习型调度：让网络自己学习最优的 $\beta_t$
    • +
  • 内容感知调度：根据图像的局部特征（纹理、边缘等）使用不同的噪声强度
    • +
  • 任务特定调度：为不同的下游任务（生成、修复、超分）设计专门的调度
    • +
+
+练习 3.1：设计与分析噪声调度 +
    +
  1. S形调度设计：设计一个“S形”的噪声调度，使得加噪过程满足：a) 前期缓慢；b) 中期快速；c) 后期再次放缓。写出其数学表达式。
    2. +
  2. 信噪比(SNR)分析：对于线性和余弦调度，推导并绘制其信噪比 $\text{SNR}(t) = \bar{\alpha}_t / (1 - \bar{\alpha}_t)$ 的对数曲线。从曲线形状解释为什么余弦调度通常能取得更好的生成质量。
    3. +
  3. 研究思路：
      +
    • 从信息论的角度出发，将前向过程视为一个信息通道，分析不同调度下的信道容量变化。
      • +
    • 探索噪声调度与最优传输理论（Optimal Transport）的联系。前向过程可以看作是从数据分布到噪声分布的一条路径，最优调度是否对应着某种“最短”路径？
      • +
    +
    4. +
+
+

3.3 反向过程：从噪声到数据

+

如果说前向过程是将数据逐渐模糊化的过程，那么反向过程就是扩散模型的"魔法"所在——它要学习如何从纯噪声 $x_T$ 逐步恢复出清晰的数据 $x_0$ 。这个过程的优雅之处在于，虽然看似是在"逆转时间"，但实际上我们是在学习一个条件概率分布，这个分布告诉我们：给定当前的噪声图像，上一个时间步的图像应该是什么样子。

+

反向过程的核心挑战在于：我们需要学习 $p_\theta(x_{t-1}|x_t)$ ，但这个条件分布是极其复杂的——它需要理解图像的所有可能结构，并能够推断出哪些部分是噪声，哪些部分是信号。DDPM的天才之处在于，通过巧妙的数学推导，将这个看似不可能的任务转化为一个简单的噪声预测问题。

+

3.3.1 反向条件概率的推导

+

这是DDPM论文中最重要的数学推导之一，也是理解整个框架的关键。我们将通过贝叶斯定理，证明在已知 $x_0$ 的条件下，反向的条件概率 $q(x_{t-1}|x_t, x_0)$ 也是一个高斯分布。这个结果不仅优雅，更重要的是它为我们的学习任务提供了明确的目标。

+

让我们从贝叶斯定理开始： +$q(x_{t-1}|x_t, x_0) = \frac{q(x_t|x_{t-1}, x_0) q(x_{t-1}|x_0)}{q(x_t|x_0)}$

+

由于前向过程的马尔可夫性质，$q(x_t|x_{t-1}, x_0) = q(x_t|x_{t-1})$。现在，所有三个项都是已知的高斯分布：

+
    +
  • $q(x_t|x_{t-1}) = \mathcal{N}(x_t; \sqrt{\alpha_t}x_{t-1}, \beta_t I)$
    • +
  • $q(x_{t-1}|x_0) = \mathcal{N}(x_{t-1}; \sqrt{\bar{\alpha}_{t-1}}x_0, (1-\bar{\alpha}_{t-1})I)$
    • +
  • $q(x_t|x_0) = \mathcal{N}(x_t; \sqrt{\bar{\alpha}_t}x_0, (1-\bar{\alpha}_t)I)$
    • +
+

高斯分布的一个美妙性质是：高斯分布的乘积和除法（在指数空间中）仍然是高斯分布。通过仔细的代数运算，我们可以得出：

+
+

定理：反向过程的后验分布 +$q(\mathbf{x}_{t-1}|\mathbf{x}_t, \mathbf{x}_0) = \mathcal{N}(\mathbf{x}_{t-1}; \tilde{\boldsymbol{\mu}}_t(\mathbf{x}_t, \mathbf{x}_0), \tilde{\beta}_t\mathbf{I})$

+

其中：

+
    +
  • 后验均值：$\tilde{\boldsymbol{\mu}}_t(\mathbf{x}_t, \mathbf{x}_0) = \frac{\sqrt{\bar{\alpha}_{t-1}}\beta_t}{1-\bar{\alpha}_t}\mathbf{x}_0 + \frac{\sqrt{\alpha_t}(1-\bar{\alpha}_{t-1})}{1-\bar{\alpha}_t}\mathbf{x}_t$
    • +
  • 后验方差：$\tilde{\beta}_t = \frac{1-\bar{\alpha}_{t-1}}{1-\bar{\alpha}_t} \cdot \beta_t$
    • +
+
+

这个结果的深刻之处在于几个方面：

+
    +
  1. 线性组合：后验均值是 $x_t$ 和 $x_0$ 的线性组合，权重只依赖于噪声调度
    2. +
  2. 确定性方差：后验方差 $\tilde{\beta}_t$ 完全由前向过程决定，不依赖于数据
    3. +
  3. 信息融合：这个公式可以理解为在 $x_t$（当前观察）和 $x_0$（先验知识）之间的最优贝叶斯融合
    4. +
+

这个定理的关键洞察在于：如果我们能以某种方式从 $x_t$ 中估计出 $x_0$ ，我们就能近似真实的反向过程。这正是神经网络需要做的事情。但是，直接预测 $x_0$ 并不是最优的选择。

+

从 $x_0$ 到 $\epsilon$ 的重参数化

+

利用前向过程的重参数化公式 $x_t = \sqrt{\bar{\alpha}_t}x_0 + \sqrt{1-\bar{\alpha}_t}\epsilon$，我们可以解出： +$x_0 = \frac{x_t - \sqrt{1 - \bar{\alpha}_t} \epsilon}{\sqrt{\bar{\alpha}_t}}$

+

将这个表达式代入后验均值公式，经过一番代数运算，我们得到： +$\tilde{\boldsymbol{\mu}}_t(\mathbf{x}_t, \boldsymbol{\epsilon}) = \frac{1}{\sqrt{\alpha_t}}\left(\mathbf{x}_t - \frac{\beta_t}{\sqrt{1-\bar{\alpha}_t}}\boldsymbol{\epsilon}\right)$

+

这个表达式优雅地揭示了：学习反向过程等价于学习预测噪声 $\epsilon$。这不仅是一个数学上的等价变换，更是一个概念上的突破——它将"预测去噪后的图像"这个复杂任务转化为"识别添加的噪声"这个相对简单的任务。

+

3.3.2 方差的处理：固定 vs 可学习

+

在确定了均值的参数化后，还有一个重要问题：如何处理反向过程的方差？DDPM采用了一个大胆的简化：固定方差。这个决定背后有深刻的理论和实践考量。

+

理论考量：后验方差 $\tilde{\beta}_t$ 有一个精确的公式，它是前向过程参数的函数。然而，在实际的反向过程中，我们并不知道真实的 $x_0$，因此无法使用精确的后验方差。DDPM提出了两种近似方案：

+
    +
  1. 方案一：$\sigma_t^2 = \tilde{\beta}_t = \frac{1-\bar{\alpha}_{t-1}}{1-\bar{\alpha}_t} \cdot \beta_t$ （后验方差的精确值）
    2. +
  2. 方案二：$\sigma_t^2 = \beta_t$ （更简单的选择）
    3. +
+

有趣的是，虽然方案一在理论上更精确，但实验表明两种方案的生成质量非常接近。这暗示着反向过程对方差的选择相对不敏感，均值的准确预测才是关键。

+

实践考量：固定方差大大简化了训练和实现：

+
    +
  • 训练时只需要优化一个目标（预测噪声）
    • +
  • 避免了多任务学习的复杂性
    • +
  • 减少了模型的参数量和计算开销
    • +
+

后续工作（如Improved DDPM）探索了让网络同时预测均值和方差： +$p_\theta(x_{t-1}|x_t) = \mathcal{N}(x_{t-1}; \mu_\theta(x_t, t), \sigma_\theta^2(x_t, t))$

+

这种方法可以提高模型的对数似然，但对感知质量的提升往往有限。更重要的是，学习方差引入了新的挑战：

+
    +
  • 需要仔细设计方差的参数化方式（如预测对数方差）
    • +
  • 需要平衡均值和方差预测的损失权重
    • +
  • 可能导致训练不稳定
    • +
+

对于大多数应用，固定方差是一个优秀的选择，它在简单性和性能之间达到了极好的平衡。

+
+练习 3.2：参数化的等价性与差异 +
    +
  1. 数学推导：从后验均值 $\tilde{\mu}_t(x_t, x_0)$ 的表达式出发，代入 $x_0$ 与 $x_t, \epsilon$ 的关系式，推导出 $\tilde{\mu}_t(x_t, \epsilon)$ 的表达式，从而证明“预测 $x_0$ ”和“预测 $\epsilon$ ”在数学上是等价的。
    2. +
  2. 稳定性分析：从优化的角度，分析为什么预测一个目标为 $\mathcal{N}(0, I)$ 的噪声 $\epsilon$ ，比预测一个目标为复杂数据分布 $q(x_0)$ 的 $x_0$ 更稳定？（提示：考虑不同时间步 $t$ 下目标函数的尺度和梯度。）
    3. +
  3. 开放探索：DDPM选择固定方差。但在某些情况下，让方差可学习可能很重要。设想一个场景（例如，生成具有不同纹理区域的图像），其中自适应的去噪方差可能带来优势，并解释原因。
    4. +
+
+

3.4 训练目标：从变分下界到简单均方误差

+

DDPM的最终妙笔是将复杂的变分下界（Variational Lower Bound, VLB）损失函数简化为一个简单的均方误差（MSE）。

+

完整的VLB损失可以写成三项之和： $L_{\text{VLB}} = L_T + \sum_{t>1} L_{t-1} + L_0$ 。其中 $L_{t-1}$ 是主要的去噪匹配项，可以表示为两个高斯分布（真实后验 $q$ 和模型预测 $p_\theta$ ）之间的KL散度。通过我们上面的推导，这一项可以简化为对两个均值 $\tilde{\mu}_t$ 和 $\mu_\theta$ 差值的L2损失。

+
+

🎯 DDPM的简化训练目标 +Ho等人发现，如果忽略VLB损失中复杂的加权系数，直接优化一个更简单的目标函数，效果反而更好： +$L_{\text{simple}} = \mathbb{E}_{t,\mathbf{x}_0,\boldsymbol{\epsilon}}\left[|\boldsymbol{\epsilon} - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t)|^2\right]$ +这就是DDPM最终的训练目标：在随机的时间步 $t$ ，让神经网络 $\epsilon_\theta$ 预测出添加到 $x_0$ 上的原始噪声 $\epsilon$ 。

+
+

⚡ 实现挑战与研究前沿：虽然简单损失效果很好，但它对所有时间步 $t$ 的误差一视同仁。后续研究（如Min-SNR- $\gamma$ 加权策略）表明，对不同 $t$ 的损失进行加权（例如，降低高信噪比、即低噪声区域的损失权重）可以显著提高生成质量，尤其是在高分辨率生成任务中。

+

3.5 采样算法：从理论到实践

+

训练完成后，我们就可以从随机噪声中生成图像了。采样过程是反向过程的实际执行。

+

DDPM标准采样算法

+
    +
  1. 从标准正态分布中采样一个初始噪声图像 $x_T$ 。
    2. +
  2. +

    从 $t = T$ 循环到 $t = 1$ ： + a. 将当前的 $x_t$ 和时间步 $t$ 输入模型，得到噪声预测 $\epsilon_\theta(x_t, t)$ 。 + b. 使用 $\epsilon_\theta$ 和 $x_t$ 计算去噪后的均值 $\mu_\theta(x_t, t)$ 。 + c. 从标准正态分布中采样一个随机噪声 $z$ 。 + d. 计算 $x_{t-1} = \mu_\theta(x_t, t) + \sigma_t z$ 。（其中 $\sigma_t$ 是固定的方差）

    +
    3. +
  3. +

    最终得到的 $x_0$ 就是生成的图像。

    +
    4. +
+

这个迭代过程通常需要1000步，因此速度较慢，这是DDPM的主要缺点之一，也催生了后续大量的快速采样算法研究（将在第8章讨论）。

+
+综合练习：DDPM的局限性与改进方向 +

DDPM虽然强大，但并非完美。请分析其潜在的局限性，并为每个局限性提出一个可能的研究方向或改进思路。

+
    +
  1. 局限一：采样速度慢。标准DDPM需要上千步迭代。
      +
    • 改进思路：？（提示：反向过程是否必须是马尔可夫的？）
      • +
    +
    2. +
  2. 局限二：高斯假设。整个框架基于高斯噪声和高斯转移核。
      +
    • 改进思路：？（提示：对于某些具有特定结构噪声的数据，如JPEG压缩伪影，非高斯噪声是否更合适？）
      • +
    +
    3. +
  3. 局限三：固定的前向过程。前向过程与数据无关。
      +
    • 改进思路：？（提示：能否设计一个依赖于数据内容的前向过程，例如，在图像的平滑区域加更多噪声，在纹理区域加更少噪声？）
      • +
    +
    4. +
  4. 研究思路：
      +
    • 阅读DDIM、DEIS等快速采样算法的论文。
      • +
    • 查阅关于非高斯扩散或泊松流生成模型（PFGM）的研究。
      • +
    • 探索将扩散模型与自编码器结合（如LDM）或与最优传输理论结合的工作。
      • +
    +
    5. +
+
+

本章小结

+

在本章中，我们深入剖析了DDPM的内部工作原理：

+
    +
  • 核心思想：通过将复杂的变分下界目标简化为预测噪声的均方误差，DDPM极大地简化了扩散模型的训练。
    • +
  • 数学推导：我们理解了前向过程的闭式解、反向过程的后验分布，以及它们如何共同导出了最终的简化损失函数。
    • +
  • 关键组件：我们分析了噪声调度、网络参数化（预测噪声vs预测图像）、方差选择等关键设计决策的重要性。
    • +
  • 训练与采样：我们掌握了DDPM的完整训练和采样算法流程。
    • +
+

DDPM为后续扩散模型的发展奠定了坚实的基础。下一章，我们将从另一个角度——分数匹配（Score Matching）——来理解扩散过程，并看到这两个看似不同的框架如何最终在统一的SDE/PDE视角下完美融合。

+
+ + +
+
+ + \ No newline at end of file diff --git a/html/chapter4.html b/html/chapter4.html new file mode 100644 index 0000000..53e3fb1 --- /dev/null +++ b/html/chapter4.html @@ -0,0 +1,683 @@ + + + + + + 第4章：基于分数的生成模型 + + + + + + + +
+ + +
+
+

← 上一章 | 第4章 / 共14章 | 下一章 →

+

第4章：基于分数的生成模型

+

基于分数的生成模型（Score-based Generative Models）提供了理解扩散模型的另一个重要视角。通过直接学习数据分布的分数函数（score function，即对数概率密度的梯度），我们可以构建强大的生成模型。本章将深入探讨分数匹配、Langevin动力学以及它们与扩散模型的深层联系。从NCSN到Score SDE，我们将看到分数模型如何与DDPM统一在同一框架下。

+

4.1 分数函数的直觉与重要性

+

4.1.1 什么是分数函数？

+

分数函数（score function）是概率论和统计学中的一个基本概念，它定义为对数概率密度函数关于数据的梯度：

+

$$\nabla_x \log p(x) = \frac{\nabla_x p(x)}{p(x)}$$ +这个看似简单的定义蕴含着深刻的意义。为了真正理解分数函数的本质，让我们从多个角度来剖析它。

+

直观理解：概率景观的"指南针"

+

想象概率分布 $p(x)$ 是一个山地地形，其中高度代表概率密度。分数函数就像是站在任意一点时的"最陡上升方向"——它指向概率密度增长最快的方向。这个比喻虽然简单，却揭示了分数函数的核心作用：它告诉我们如何在概率空间中"导航"。

+

更具体地说，分数函数回答了一个关键问题：从当前位置出发，应该向哪个方向移动才能最快地到达高概率区域？这种局部信息看似有限，但当我们知道整个空间中每一点的分数函数时，就能完整地重构出整个概率分布。

+

数学视角：从概率到对数概率的转换

+

为什么我们要考虑对数概率的梯度，而不是概率本身的梯度？这里有几个深层原因：

+
    +
  1. +

    数值稳定性：概率值通常很小（尤其在高维空间），直接计算梯度容易产生数值下溢。对数变换将乘法转为加法，大大提高了数值稳定性。

    +
    2. +
  2. +

    归一化的优雅处理：对数变换将归一化常数变成了加法常数，在求梯度时自然消失。这是分数函数最优美的性质之一。

    +
    3. +
  3. +

    与信息论的联系：对数概率与信息量直接相关，分数函数因此与Fisher信息矩阵等信息论概念有着自然的联系。

    +
    4. +
+

让我们通过几个例子来深入理解这些概念。

+

例1：一维高斯分布的深入分析

+

对于标准正态分布 $p(x) = \frac{1}{\sqrt{2\pi}} e^{-\frac{x^2}{2}}$ ： +$$\log p(x) = -\frac{x^2}{2} - \frac{1}{2}\log(2\pi)$$ +分数函数为： +$$\nabla_x \log p(x) = -x$$ +这个简单的结果蕴含着丰富的信息：

+
    +
  1. +

    线性性质：分数函数是 $x$ 的线性函数，这意味着"拉力"与偏离中心的距离成正比。这就像弹簧的胡克定律——偏离越远，恢复力越大。

    +
    2. +
  2. +

    方向性： + - 当 $x > 0$ 时，分数为负，指向原点（概率更高的方向） + - 当 $x < 0$ 时，分数为正，同样指向原点 + - 在原点处，分数为零——这是概率密度的极值点

    +
    3. +
  3. +

    尺度不变性：对于一般的高斯分布 $\mathcal{N}(\mu, \sigma^2)$，分数函数为 $-\frac{x-\mu}{\sigma^2}$。注意分母是方差而非标准差，这反映了分数函数对尺度的敏感性。

    +
    4. +
+

例2：多峰分布的复杂性

+

考虑一个双峰高斯混合分布： +$$p(x) = \frac{1}{2}\mathcal{N}(x; -2, 0.5) + \frac{1}{2}\mathcal{N}(x; 2, 0.5)$$ +其分数函数为： +$$\nabla_x \log p(x) = \frac{\frac{1}{2}e^{-\frac{(x+2)^2}{1}} \cdot \frac{-(x+2)}{0.5} + \frac{1}{2}e^{-\frac{(x-2)^2}{1}} \cdot \frac{-(x-2)}{0.5}}{\frac{1}{2}e^{-\frac{(x+2)^2}{1}} + \frac{1}{2}e^{-\frac{(x-2)^2}{1}}}$$ +这个复杂的表达式展现了多峰分布的几个关键特征：

+
    +
  1. +

    非线性动力学：不同于单峰高斯的线性分数函数，多峰分布的分数函数是高度非线性的。

    +
    2. +
  2. +

    吸引域：存在一个分界点（鞍点），将空间分为两个吸引域。每个域内的点都会被"拉向"相应的峰。

    +
    3. +
  3. +

    临界行为：在两峰之间的鞍点处，分数函数为零，但这是一个不稳定平衡点。微小的扰动会导致系统流向某一个峰。

    +
    4. +
+

🔬 研究线索： 分数函数的这种"指向高概率区域"的性质是否总是成立？考虑多峰分布的情况，分数函数在鞍点附近的行为如何？这涉及到动力系统理论中的稳定性分析。

+

4.1.2 为什么分数函数重要？

+

分数函数在机器学习和统计学中扮演着核心角色，其重要性远超其简单的数学定义。让我们深入探讨为什么分数函数如此关键。

+

1. 无需归一化常数：绕过计算瓶颈

+

在实际应用中，我们经常遇到只知道未归一化密度的情况。许多复杂的概率模型（如马尔可夫随机场、能量模型）可以写成： +$$p(x) = \frac{1}{Z} \exp(-E(x)), \quad Z = \int \exp(-E(x)) dx$$ +这里的配分函数 $Z$ 通常是计算瓶颈——在高维空间中，这个积分往往是不可解的。但神奇的是，分数函数完全绕过了这个问题： +$$\nabla_x \log p(x) = \nabla_x \log \frac{1}{Z} + \nabla_x \log \exp(-E(x)) = 0 - \nabla_x E(x) = -\nabla_x E(x)$$ +这意味着：

+
    +
  • 计算效率：即使不知道 $Z$，我们仍然可以计算分数函数
    • +
  • 模型灵活性：可以使用任意复杂的能量函数，不用担心归一化
    • +
  • 理论优雅：分数函数自然地处理了概率模型中最困难的部分
    • +
+

实例：Ising模型的深入分析

+

在统计物理中的Ising模型中，系统能量为： +$$E(x) = -J \sum_{\langle i,j \rangle} x_i x_j - h \sum_i x_i$$ +其中 $x_i \in {-1, +1}$ 表示自旋状态，$J$ 是耦合强度，$h$ 是外场。

+

配分函数 $Z = \sum_{{x}} \exp(-\beta E(x))$ 的计算是 #P-hard 问题——对于 $n$ 个自旋，需要求和 $2^n$ 项。但在连续松弛下，能量的梯度却很容易计算： +$$\nabla_{x_i} E(x) = -J \sum_{j \in \mathcal{N}(i)} x_j - h$$ +这个例子完美展示了分数函数方法的威力：即使在配分函数不可计算的情况下，我们仍然可以进行有意义的推断和采样。

+

💡 开放问题： 如何设计高效的分数函数估计器，使其在高维空间中仍然准确？当前的神经网络架构是否最优？考虑引入物理约束或对称性。

+

2. 采样算法的基础：从静态到动态

+

分数函数不仅描述了概率分布的静态性质，更重要的是它定义了一个动态系统。通过分数函数，我们可以构造各种采样算法。

+

Langevin动力学：最基本的分数驱动采样 +$$x_{t+1} = x_t + \epsilon \nabla_x \log p(x_t) + \sqrt{2\epsilon} \xi_t$$ +其中 $\xi_t \sim \mathcal{N}(0, I)$ 。这个更新规则有着深刻的物理意义：

+
    +
  • 第一项（$x_t$）：当前位置
    • +
  • 第二项（$\epsilon \nabla_x \log p(x_t)$）：确定性漂移，指向高概率方向
    • +
  • 第三项（$\sqrt{2\epsilon} \xi_t$）：随机扰动，保证遍历性
    • +
+

这三项的平衡确保了算法最终收敛到目标分布 $p(x)$。更深入地说，这个过程满足细致平衡条件（detailed balance），这是MCMC方法正确性的关键。

+

从离散到连续：随机微分方程视角

+

当步长 $\epsilon \to 0$ 时，我们得到连续时间的Langevin SDE： +$$dX_t = \nabla \log p(X_t)dt + \sqrt{2}dW_t$$ +这个方程揭示了分数函数与扩散过程的深层联系——这正是后续章节将要探讨的核心内容。

+

⚡ 实现挑战： Langevin采样在高维空间收敛极慢。关键挑战包括：

+
    +
  • 多尺度问题：不同维度可能有截然不同的尺度
    • +
  • 局部陷阱：多峰分布中的metastable states
    • +
  • 数值稳定性：步长选择的微妙平衡
    • +
+

可能的解决方案包括预条件器（借鉴 torch.optim.LBFGS 的思想）、自适应步长、和并行tempering等技术。

+

4.1.3 分数函数的几何意义

+

从几何角度看，分数函数定义了数据流形上的一个向量场。这个视角不仅优美，而且为理解和设计算法提供了强大的工具。

+

向量场的直观理解

+

想象在概率密度定义的"地形"上，每一点都有一个箭头，指示着"上山"的方向。这些箭头的集合就是分数函数定义的向量场。这个向量场告诉我们：

+
    +
  • 从任意点出发，如何找到最近的高概率区域
    • +
  • 概率质量是如何在空间中分布的
    • +
  • 不同区域之间是如何连接的
    • +
+

性质1：梯度流的不动点与临界点分析 +$$\nabla_x \log p(x^) = 0 \Leftrightarrow x^ \text{ 是 } p(x) \text{ 的局部极值点}$$ +但这只是故事的开始。通过分析Hessian矩阵 $\nabla^2 \log p(x^*)$，我们可以进一步分类这些临界点：

+
    +
  • 局部极大值：所有特征值为负，对应概率密度的峰
    • +
  • 局部极小值：所有特征值为正，在概率分布中极少出现
    • +
  • 鞍点：既有正特征值又有负特征值，连接不同的峰
    • +
+

鞍点在高维空间中尤其重要——它们形成了连接不同模式的"山脊"和"山谷"。理解这些结构对于设计高效的采样算法至关重要。

+

性质2：体积收缩与概率流

+

分数函数的散度具有深刻的几何意义： +$$\nabla \cdot (\nabla \log p(x)) = \nabla^2 \log p(x) + |\nabla \log p(x)|^2$$ +让我们拆解这个公式：

+
    +
  • 第一项 $\nabla^2 \log p(x)$：Laplacian，衡量局部的"凹凸性"
    • +
  • 第二项 $|\nabla \log p(x)|^2$：分数的模长平方，总是非负的
    • +
+

这个散度告诉我们向量场的"源"和"汇"：

+
    +
  • 负散度区域：概率流入，对应高概率区域
    • +
  • 正散度区域：概率流出，对应低概率区域
    • +
+

性质3：与信息几何的联系

+

分数函数与Fisher信息矩阵有着自然的联系： +$$I(\theta) = \mathbb{E}_{p(x|\theta)}[\nabla_\theta \log p(x|\theta) \nabla_\theta \log p(x|\theta)^T]$$ +这建立了概率模型的参数空间与数据空间之间的桥梁。Fisher信息定义了参数空间的自然度量，而分数函数则描述了数据空间的几何结构。

+

流形上的推广

+

当数据位于低维流形上时，欧几里德空间的分数函数需要推广。设数据位于 $d$ 维流形 $\mathcal{M} \subset \mathbb{R}^n$ 上，则需要考虑：

+
    +
  1. 切空间投影：分数函数应该位于流形的切空间内
    2. +
  2. 黎曼度量：距离和梯度的定义需要考虑流形的内在几何
    3. +
  3. 测地线vs直线：最优路径不再是直线而是测地线
    4. +
+

这些考虑导致了流形分数函数的定义： +$$\nabla_\mathcal{M} \log p(x) = \text{Proj}_{T_x\mathcal{M}}(\nabla \log p(x))$$ +其中 $\text{Proj}_{T_x\mathcal{M}}$ 是到切空间的投影算子。

+

🌟 理论缺口： 分数函数的全局几何性质还未被完全理解。特别是：

+
    +
  1. 在流形上的分数函数理论仍在发展中
    2. +
  2. 与最优传输理论的具体联系需要进一步探索
    3. +
  3. 高维空间中的"浓度现象"如何影响分数函数的行为
    4. +
+
+练习 4.1：探索分数函数的性质 +
    +
  1. +

    证明对于指数族分布 $p(x) = h(x)\exp(\eta^T T(x) - A(\eta))$ ，分数函数具有特殊形式。

    +
    2. +
  2. +

    开放探索：考虑混合高斯分布 $p(x) = \sum_i \pi_i \mathcal{N}(x; \mu_i, \Sigma_i)$ 。 + - 分析分数函数在不同区域的行为 + - 什么条件下会出现"分数坍塌"（score collapse）？ + - 如何设计对这种现象鲁棒的学习算法？

    +
    3. +
+

研究思路：

+
    +
  • 从动力系统角度分析相空间的结构
    • +
  • 考虑引入正则化项来避免数值不稳定
    • +
  • 探索与最优传输的联系
    • +
+
+

4.2 分数匹配：学习未知分布的分数

+

学习分数函数是基于分数的生成模型的核心。但我们面临一个根本性挑战：如何从有限的数据样本中学习连续的分数函数？本节将探讨这个问题的优雅解决方案。

+

4.2.1 经典分数匹配

+

给定数据分布 $p_{data}(x)$ 的样本，如何学习其分数函数？这个问题看似循环：要学习分数函数，似乎需要知道真实的概率密度，但这正是我们想要避免的。Hyvärinen (2005) 的分数匹配（Score Matching）方法提供了一个巧妙的解决方案。

+

朴素想法与其问题

+

最直接的想法是最小化模型分数与真实分数的差异： +$$\mathcal{L}_{naive} = \mathbb{E}_{p_{data}}\left[\frac{1}{2}|\nabla_x \log p_{model}(x) - \nabla_x \log p_{data}(x)|^2\right]$$ +但这里有个致命问题：我们不知道 $\nabla_x \log p_{data}(x)$ ！如果知道真实分数，我们就已经解决了问题。这似乎是个死胡同。

+

Hyvärinen的天才洞察：分部积分的魔法

+

Hyvärinen的关键洞察是：通过巧妙的数学变换，可以将不可计算的目标函数转换为可计算的形式。让我们详细推导这个过程。

+

首先，展开平方项： +$$\mathcal{L}_{naive} = \mathbb{E}_{p_{data}}\left[\frac{1}{2}|\nabla_x \log p_{model}(x)|^2 - \nabla_x \log p_{model}(x)^T \nabla_x \log p_{data}(x) + \frac{1}{2}|\nabla_x \log p_{data}(x)|^2\right]$$ +最后一项与模型无关，可以忽略。关键是如何处理中间的交叉项。这里就是分部积分发挥作用的地方： +$$\mathbb{E}_{p_{data}}[\nabla_x \log p_{model}(x)^T \nabla_x \log p_{data}(x)]$$ +利用 $\nabla_x \log p_{data}(x) = \frac{\nabla_x p_{data}(x)}{p_{data}(x)}$，我们有： +$$= \int p_{data}(x) \nabla_x \log p_{model}(x)^T \frac{\nabla_x p_{data}(x)}{p_{data}(x)} dx = \int \nabla_x \log p_{model}(x)^T \nabla_x p_{data}(x) dx$$ +现在应用分部积分（假设边界条件合适）： +$$= -\int p_{data}(x) \cdot \text{tr}(\nabla_x^2 \log p_{model}(x)) dx = -\mathbb{E}_{p_{data}}[\text{tr}(\nabla_x^2 \log p_{model}(x))]$$ +因此，我们得到了可计算的目标函数： +$$\mathcal{L}_{SM} = \mathbb{E}_{p_{data}}\left[\text{tr}(\nabla_x^2 \log p_{model}(x)) + \frac{1}{2}|\nabla_x \log p_{model}(x)|^2\right] + \text{const}$$ +这个结果的美妙之处在于：

+
    +
  • 不需要真实分数：目标函数只依赖于模型和数据样本
    • +
  • 理论优雅：分部积分自然地消除了未知量
    • +
  • 计算可行：虽然需要计算Hessian的迹，但这是可以做到的
    • +
+

深入理解：几何解释

+

从几何角度看，分数匹配在做什么？它实际上在最小化两个向量场之间的"能量"：

+
    +
  • 模型定义的向量场（分数函数）
    • +
  • 数据隐含的真实向量场
    • +
+

但巧妙的是，我们不需要显式地知道第二个向量场，而是通过数据分布的"形状"（通过Hessian的迹体现）来间接地约束模型。

+

🔬 研究线索： 分数匹配的这种"隐式"特性是否可以推广到其他问题？考虑：

+
    +
  1. 在因果推断中，能否类似地避免直接估计因果效应？
    2. +
  2. 在强化学习中，能否避免显式的值函数估计？
    3. +
  3. 这种隐式方法的一般理论框架是什么？
    4. +
+

4.2.2 去噪分数匹配（Denoising Score Matching）

+

经典分数匹配虽然理论优雅，但在实践中面临严重的计算挑战。计算Hessian矩阵的迹需要 $O(d)$ 次反向传播（其中 $d$ 是数据维度），在高维情况下代价高昂。Vincent (2011) 提出的去噪分数匹配（Denoising Score Matching, DSM）提供了一个巧妙且高效的替代方案。

+

核心思想：从去噪中学习分数

+

DSM的核心洞察是：如果我们知道如何去噪，就知道了分数函数。这个联系初看并不明显，让我们深入探讨其中的原理。

+

考虑向干净数据添加已知噪声的过程： +$$\tilde{x} = x + \sigma \epsilon, \quad \epsilon \sim \mathcal{N}(0, I)$$ +加噪后的数据分布为： +$$p_\sigma(\tilde{x}) = \int p_{data}(x) \mathcal{N}(\tilde{x}; x, \sigma^2 I) dx$$ +这是原始分布与高斯核的卷积。关键的数学结果是，加噪数据的分数函数可以表示为： +$$\nabla_{\tilde{x}} \log p_\sigma(\tilde{x}) = \frac{\mathbb{E}_{p(x|\tilde{x})}[x] - \tilde{x}}{\sigma^2} = -\frac{\mathbb{E}_{p(\epsilon|\tilde{x})}[\epsilon]}{\sigma}$$ +这个公式揭示了深刻的联系：

+
    +
  • 分数函数指向去噪方向：从噪声数据到干净数据的期望位移
    • +
  • 噪声估计等价于分数估计：如果能预测添加的噪声，就能计算分数
    • +
+

去噪分数匹配目标函数

+

基于上述洞察，DSM的目标函数为： +$$\mathcal{L}_{DSM} = \mathbb{E}_{p_{data}(x)}\mathbb{E}_{\epsilon}\left[\frac{1}{2}|s_\theta(\tilde{x}, \sigma) + \frac{\epsilon}{\sigma}|^2\right]$$ +其中 $s_\theta(\tilde{x}, \sigma)$ 是我们要学习的分数函数模型。这个目标函数的优美之处在于：

+
    +
  • 计算高效：不需要计算Hessian，只需要前向传播
    • +
  • 直观明确：模型在学习预测噪声的负方向
    • +
  • 与DDPM的联系：这正是DDPM训练目标的核心！
    • +
+

理论保证：DSM的一致性

+

一个自然的问题是：学习加噪数据的分数函数如何帮助我们学习原始数据的分数？关键在于噪声水平 $\sigma$ 的选择。

+

当 $\sigma \to 0$ 时，有： +$$\nabla_{\tilde{x}} \log p_\sigma(\tilde{x}) \to \nabla_x \log p_{data}(x)$$ +这意味着，在小噪声极限下，加噪数据的分数收敛到原始数据的分数。但这里有个权衡：

+
    +
  • 小噪声：更接近真实分数，但训练不稳定（分数可能很大）
    • +
  • 大噪声：训练稳定，但偏离真实分数
    • +
+

这种权衡直接导致了多尺度方法的发展（见下一节的NCSN）。

+

DSM的变体与扩展

+
    +
  1. +

    加权去噪分数匹配：不同噪声水平使用不同权重 +$$\mathcal{L}_{weighted} = \mathbb{E}_{\sigma \sim p(\sigma)} \lambda(\sigma) \mathcal{L}_{DSM}(\sigma)$$

    +
    2. +
  2. +

    条件去噪分数匹配：学习条件分布的分数 +$$s_\theta(\tilde{x}, y, \sigma) \approx \nabla_{\tilde{x}} \log p(\tilde{x}|y)$$

    +
    3. +
  3. +

    流形去噪分数匹配：当数据位于低维流形时的适配

    +
    4. +
+

💡 开放问题：

+
    +
  1. 最优噪声调度：如何选择噪声水平序列？当前的几何序列 $\sigma_i = \sigma_0 \cdot \alpha^i$ 是否最优？
    2. +
  2. 自适应噪声：能否根据数据的局部几何自动调整噪声水平？高曲率区域可能需要更小的噪声。
    3. +
  3. 非高斯噪声：使用Laplace噪声、Student-t噪声或其他重尾分布会带来什么优势？这可能提供更好的鲁棒性。
    4. +
  4. 理论界限：DSM估计的样本复杂度和逼近误差的精确界限是什么？
    5. +
+

4.2.3 基于切片的分数匹配（Sliced Score Matching）

+

除了去噪方法，还有另一种巧妙的方式来避免计算完整的Hessian矩阵：使用随机投影。Song et al. (2020) 提出的切片分数匹配（Sliced Score Matching, SSM）提供了一种在计算效率和估计精度之间的优雅平衡。

+

核心思想：从高维到一维

+

计算 $d \times d$ Hessian矩阵的迹需要 $O(d)$ 次反向传播。SSM的关键洞察是：我们可以通过随机投影将这个高维问题转化为一系列一维问题。

+

对于随机方向 $v \sim \mathcal{N}(0, I)$，考虑分数函数在该方向上的投影： +$$s_v(x) = v^T \nabla_x \log p(x)$$ +这个一维函数的导数是： +$$\frac{\partial s_v}{\partial v^T x} = v^T \nabla_x^2 \log p(x) v$$ +神奇的是，Hessian矩阵的迹可以表示为这些方向导数的期望： +$$\text{tr}(\nabla_x^2 \log p(x)) = \mathbb{E}_{v \sim \mathcal{N}(0,I)}[v^T \nabla_x^2 \log p(x) v]$$ +切片分数匹配目标函数

+

基于这个洞察，SSM的目标函数为： +$$\mathcal{L}_{SSM} = \mathbb{E}_{p_{data}}\mathbb{E}_{v \sim \mathcal{N}(0,I)}\left[v^T\nabla_x^2 \log p_{model}(x)v + \frac{1}{2}(v^T\nabla_x \log p_{model}(x))^2\right]$$ +这个目标函数的计算只需要：

+
    +
  1. 计算分数函数 $s_\theta(x) = \nabla_x \log p_{model}(x)$（一次前向传播）
    2. +
  2. 计算方向导数 $v^T \nabla_x s_\theta(x)$（一次向量-Jacobian乘积）
    3. +
+

使用 torch.autograd.grad 可以高效地计算这些量，避免了构造完整的Hessian矩阵。

+

理论分析：方差与偏差的权衡

+

SSM通过蒙特卡洛估计Hessian的迹，这引入了额外的方差。关键问题是：需要多少个随机投影才能得到准确的估计？

+

理论结果表明，估计误差的方差为： +$$\text{Var}[\hat{\mathcal{L}}_{SSM}] \propto \frac{1}{K} |\nabla_x^2 \log p(x)|_F^2$$ +其中 $K$ 是使用的随机投影数量，$|\cdot|_F$ 是Frobenius范数。这意味着：

+
    +
  • 低秩结构：如果Hessian近似低秩，少量投影就足够
    • +
  • 高维诅咒：在高维空间中，可能需要很多投影
    • +
  • 自适应策略：可以根据估计的方差动态调整投影数量
    • +
+

实现技巧与优化

+
    +
  1. +

    高效的向量-Jacobian乘积： + python + # 使用 torch.autograd.grad 计算 v^T ∇s(x) + vjp = torch.autograd.grad(s, x, v, retain_graph=True)[0]

    +
    2. +
  2. +

    批量投影：同时处理多个随机方向可以提高GPU利用率

    +
    3. +
  3. +

    重要性采样：不使用标准高斯，而是根据数据的协方差结构选择投影方向

    +
    4. +
+

SSM vs DSM：如何选择？

+

两种方法各有优劣：

+
    +
  • SSM优势：
    • +
  • 不需要添加噪声，保持数据的原始分布
    • +
  • 理论上是无偏估计
    • +
  • +

    适合低噪声或精确建模场景

    +
    • +
  • +

    DSM优势：

    +
    • +
  • 计算更简单，不需要二阶导数
    • +
  • 与扩散模型有自然联系
    • +
  • 在高维空间中通常更稳定
    • +
+

⚡ 实现挑战与开放问题：

+
    +
  1. 最优投影选择：如何选择投影方向以最小化估计方差？当前的各向同性高斯是否最优？
    2. +
  2. 自适应投影数：能否在线估计所需的投影数量？
    3. +
  3. 结构化投影：利用数据的已知结构（如图像的空间局部性）设计更好的投影
    4. +
  4. 与其他方法的结合：能否结合SSM和DSM的优点？
    5. +
+
+练习 4.2：实现与分析不同的分数匹配方法 +
    +
  1. +

    实现三种分数匹配方法，比较它们在2D数据上的表现。

    +
    2. +
  2. +

    开放探索：设计新的分数匹配方法 + - 考虑使用对抗训练来匹配分数 + - 探索基于最优传输的分数匹配 + - 研究在流形上的分数匹配

    +
    3. +
+

研究思路：

+
    +
  • 分析不同方法的方差-偏差权衡
    • +
  • 考虑计算效率与估计精度的平衡
    • +
  • 探索与其他无监督学习方法的联系
    • +
+
+

4.3 噪声条件分数网络（NCSN）

+

4.3.1 多尺度去噪分数匹配

+

Song & Ermon (2019) 的关键创新是引入多个噪声尺度： +$${\sigma_i}_{i=1}^L, \quad \sigma_1 > \sigma_2 > \cdots > \sigma_L$$ +动机：

+
    +
  • 大噪声帮助覆盖整个空间，避免模式遗漏
    • +
  • 小噪声帮助精确建模细节
    • +
  • 不同尺度提供了"课程学习"效果
    • +
+

🌟 理论缺口： 噪声尺度的选择缺乏严格的理论指导。当前主要依赖经验和网格搜索。能否从信息论或最优控制角度推导最优调度？

+

4.3.2 退火Langevin动力学

+

NCSN使用退火策略进行采样：

+
对于每个噪声级别 σ_i:
+    运行 T 步 Langevin 动力学
+    逐渐减小步长
+
+ +

💡 开放问题：

+
    +
  1. 如何自动确定每个噪声级别的迭代次数？
    2. +
  2. 能否设计连续的退火过程而非离散级别？
    3. +
  3. 如何处理采样过程中的metastability？
    4. +
+

4.3.3 架构设计考虑

+

NCSN使用带条件的U-Net架构：

+
    +
  • 输入：带噪声的数据 + 噪声级别
    • +
  • 输出：该噪声级别下的分数估计
    • +
+

⚡ 实现挑战：

+
    +
  • 不同噪声级别的分数尺度差异巨大，如何归一化？
    • +
  • 是否应该为不同噪声级别使用不同的网络？
    • +
  • 如何在网络中有效编码噪声级别信息？使用 torch.nn.Embedding 还是连续编码？
    • +
+
+练习 4.3：探索NCSN的改进 +
    +
  1. +

    实现基础NCSN并分析其在不同数据分布上的表现。

    +
    2. +
  2. +

    开放探索：改进NCSN + - 设计自适应的噪声调度算法 + - 探索非欧几里德空间（如球面、双曲空间）上的NCSN + - 研究NCSN与谱方法的结合

    +
    3. +
+

研究思路：

+
    +
  • 从优化理论角度分析收敛性
    • +
  • 考虑引入物理先验（如能量守恒）
    • +
  • 探索与神经ODE的联系
    • +
+
+

4.4 Langevin动力学与采样

+

4.4.1 连续时间Langevin动力学

+

Langevin方程描述了布朗粒子在势场中的运动： +$$dX_t = \nabla \log p(X_t)dt + \sqrt{2}dW_t$$ +这个SDE的平稳分布正是 $p(x)$ 。

+

🔬 研究线索： Langevin动力学与物理学中的涨落-耗散定理有深刻联系。能否利用这种联系设计更高效的采样算法？考虑引入"记忆"效应或非马尔可夫动力学。

+

4.4.2 离散化与误差分析

+

Euler-Maruyama离散化： +$$x_{k+1} = x_k + \epsilon s_\theta(x_k) + \sqrt{2\epsilon}\xi_k$$ +关键问题：

+
    +
  • 离散化误差如何累积？
    • +
  • 如何选择步长 $\epsilon$ ？
    • +
  • 何时停止迭代？
    • +
+

🌟 理论缺口： 非凸情况下的收敛性分析仍不完整。特别是：

+
    +
  1. 有限时间内的混合时间界
    2. +
  2. 非光滑分数函数的影响
    3. +
  3. 离散化对不变测度的影响
    4. +
+

4.4.3 加速采样技术

+

标准Langevin采样很慢，几种加速技术：

+
    +
  1. +

    预条件Langevin动力学 +$$dX_t = G(X_t)\nabla \log p(X_t)dt + \sqrt{2G(X_t)}dW_t$$ +其中 $G(x)$ 是预条件矩阵。

    +
    2. +
  2. +

    动量方法（Hamiltonian Monte Carlo） + 引入动量变量，利用哈密顿动力学。

    +
    3. +
  3. +

    并行链 + 运行多个温度的Markov链，交换状态。

    +
    4. +
+

💡 开放问题：

+
    +
  • 如何自动设计最优预条件器？
    • +
  • 能否利用神经网络学习加速采样？
    • +
  • 如何在保持正确性的同时最大化并行效率？
    • +
+
+练习 4.4：Langevin采样的深入研究 +
    +
  1. +

    实现不同的Langevin采样变体，比较效率。

    +
    2. +
  2. +

    开放探索：新型采样算法 + - 设计基于最优传输的采样路径 + - 探索量子启发的采样算法 + - 研究在离散空间上的"Langevin"动力学

    +
    3. +
+

研究思路：

+
    +
  • 分析不同算法的偏差-方差权衡
    • +
  • 考虑自适应和在线学习策略
    • +
  • 探索与强化学习的联系（采样作为决策过程）
    • +
+
+

4.5 统一视角：Score-Based Models与Diffusion Models

+

4.5.1 DDPM作为特殊的分数模型

+

关键发现：DDPM的去噪目标等价于分数匹配！

+

DDPM学习： +$$\mathbb{E}[|\epsilon - \epsilon_\theta(x_t, t)|^2]$$ +而加噪数据的分数函数： +$$\nabla_{x_t} \log p_t(x_t) = -\frac{\epsilon}{\sqrt{1-\bar{\alpha}_t}}$$ +因此DDPM实际上在学习（重新缩放的）分数函数。

+

🔬 研究线索： 这种等价性是巧合还是有更深层的原因？考虑从信息几何或最优传输角度理解这种联系。

+

4.5.2 连续时间框架

+

Song et al. (2021) 提出了统一的SDE框架：

+

前向SDE： +$$dx = f(x,t)dt + g(t)dW_t$$ +对应的反向SDE： +$$dx = [f(x,t) - g(t)^2\nabla_x \log p_t(x)]dt + g(t)d\bar{W}_t$$ +不同选择的 $f$ 和 $g$ 对应不同的模型：

+
    +
  • VP-SDE (Variance Preserving)
    • +
  • VE-SDE (Variance Exploding)
    • +
  • sub-VP-SDE
    • +
+

💡 开放问题：

+
    +
  1. 什么样的SDE选择是最优的？
    2. +
  2. 能否自适应地学习SDE系数？
    3. +
  3. 非线性SDE会带来什么优势？
    4. +
+

4.5.3 概率流ODE

+

每个SDE都有对应的概率流ODE： +$$dx = [f(x,t) - \frac{1}{2}g(t)^2\nabla_x \log p_t(x)]dt$$ +这个ODE：

+
    +
  • 具有相同的边际分布
    • +
  • 但是确定性的
    • +
  • 可以用于精确似然计算
    • +
+

⚡ 实现挑战：

+
    +
  • ODE求解器的选择（torchdiffeq.odeint 的不同方法）
    • +
  • 如何权衡精度与速度？
    • +
  • 如何处理刚性ODE？
    • +
+
+练习 4.5：探索统一框架 +
    +
  1. +

    实现不同的SDE并比较它们的特性。

    +
    2. +
  2. +

    开放探索：扩展统一框架 + - 设计新的SDE族 + - 探索非欧几里德空间上的扩散 + - 研究带约束的扩散过程

    +
    3. +
+

研究思路：

+
    +
  • 从几何角度理解不同SDE的含义
    • +
  • 考虑引入自适应或学习的SDE系数
    • +
  • 探索与最优控制的联系
    • +
+
+

4.6 高级主题与前沿研究

+

4.6.1 条件分数模型

+

给定条件 $y$ ，如何建模 $p(x|y)$ 的分数？

+

方法1：直接建模 +$$s_\theta(x, y, t) \approx \nabla_x \log p_t(x|y)$$ +方法2：分类器引导 +$$\nabla_x \log p(x|y) = \nabla_x \log p(x) + \nabla_x \log p(y|x)$$

+

🌟 理论缺口：

+
    +
  • 两种方法的理论比较尚不完整
    • +
  • 如何处理高维或结构化的条件？
    • +
  • 组合性条件生成仍是挑战
    • +
+

4.6.2 流形上的分数模型

+

现实数据常位于低维流形上，如何在流形上定义分数函数？

+

挑战：

+
    +
  • 需要流形的局部坐标系
    • +
  • 切空间上的分数函数定义
    • +
  • 测地线vs欧氏距离
    • +
+

💡 开放问题：

+
    +
  • 如何学习未知流形的几何？
    • +
  • 能否设计流形感知的神经网络架构？
    • +
  • 如何处理拓扑变化？
    • +
+

4.6.3 分数模型的理论基础

+

未解决的理论问题：

+
    +
  1. 样本复杂度：需要多少样本才能学好分数函数？
    2. +
  2. 逼近误差：神经网络的表达能力限制
    3. +
  3. 优化景观：分数匹配的优化是否是良性的？
    4. +
+

🔬 研究线索： 这些问题与统计学习理论、逼近理论和优化理论都有联系。特别是与神经切线核(NTK)理论的联系值得探索。

+
+综合练习：设计你的分数生成模型 +

基于本章所学，设计一个新的分数生成模型：

+
    +
  1. +

    问题设定：选择一个具有挑战性的生成任务 + - 如：图上的分子生成、3D点云生成、时间序列生成

    +
    2. +
  2. +

    方法设计： + - 如何定义合适的分数函数？ + - 采用什么训练策略？ + - 如何设计高效的采样算法？

    +
    3. +
  3. +

    理论分析： + - 你的方法有什么理论保证？ + - 与现有方法相比有什么优势？

    +
    4. +
  4. +

    开放研究方向： + - 识别你的方法中的理论缺口 + - 提出可能的改进方向 + - 设计验证实验

    +
    5. +
+

研究思路：

+
    +
  • 从应用需求出发，识别现有方法的不足
    • +
  • 考虑跨学科的思想借鉴
    • +
  • 注重理论与实践的结合
    • +
+
+

本章小结

+

在本章中，我们深入探讨了基于分数的生成模型：

+

核心概念：

+
    +
  • 分数函数作为概率分布的局部几何信息
    • +
  • 分数匹配技术绕过归一化常数的计算
    • +
  • Langevin动力学提供原理性的采样方法
    • +
  • 与扩散模型的深刻联系
    • +
+

关键洞察：

+
    +
  • 去噪与分数估计的等价性
    • +
  • 多尺度建模的重要性
    • +
  • 连续时间框架的统一视角
    • +
+

开放问题与研究方向：

+
    +
  • 高效的分数函数学习与采样
    • +
  • 非欧几里德空间的扩展
    • +
  • 理论基础的完善
    • +
  • 与其他机器学习范式的结合
    • +
+

分数模型不仅是强大的生成模型，更提供了理解概率分布的新视角。随着理论的发展和计算能力的提升，我们期待看到更多突破性的进展。

+

下一章，我们将进入连续时间的世界，探讨PDE/SDE视角下的扩散模型，看看微分方程如何为生成建模提供新的工具。

+
+ + +
+
+ + \ No newline at end of file diff --git a/html/chapter5.html b/html/chapter5.html new file mode 100644 index 0000000..b5ee605 --- /dev/null +++ b/html/chapter5.html @@ -0,0 +1,825 @@ + + + + + + 第5章：连续时间扩散模型 (PDE/SDE) + + + + + + + +
+ + +
+
+

← 上一章 | 第5章 / 共14章 | 下一章 →

+

第5章：连续时间扩散模型 (PDE/SDE)

+

到目前为止，我们学习的扩散模型都是在离散时间步上定义的。但如果我们让时间步数趋于无穷，会发生什么？答案是：我们得到了一个更强大、更灵活的数学框架——随机微分方程（Stochastic Differential Equations, SDEs）。Song等人在2021年的工作《Score-Based Generative Modeling through Stochastic Differential Equations》中，将DDPM和NCSN等模型统一在SDE的视角下，开启了连续时间生成建模的新纪元。本章将深入探讨SDE框架，理解其与离散模型的联系，并介绍其对应的反向SDE、概率流ODE和Fokker-Planck方程等核心概念。

+

5.1 从离散到连续：SDE的极限之美

+

5.1.1 离散过程的极限

+

想象你在拍摄一个物体从清晰逐渐模糊的过程。如果你每秒拍一张照片，得到的是一个离散的序列；但如果拍摄速度越来越快，最终你会得到一个连续的视频。扩散模型从离散到连续的转变正是这样一个过程。

+

让我们回顾DDPM的离散前向过程： +$x_k = \sqrt{1-\beta_k} x_{k-1} + \sqrt{\beta_k} z_{k-1}, \quad z_{k-1} \sim \mathcal{N}(0, I)$

+

这个过程有一个美妙的物理类比：想象一滴墨水在水中扩散。每一个时间步，墨水分子都会：

+
    +
  1. 保持一部分原位置：这对应 $\sqrt{1-\beta_k} x_{k-1}$ 项，表示墨水的"惯性"
    2. +
  2. 加入随机扰动：这对应 $\sqrt{\beta_k} z_{k-1}$ 项，表示分子的布朗运动
    3. +
+

系数的深层含义

+

为什么选择 $\sqrt{1-\beta_k}$ 和 $\sqrt{\beta_k}$ 这样的系数？这不是随意的，而是基于深刻的数学考虑：

+

方差守恒原理：假设 $x_{k-1}$ 的方差为 $\sigma^2$，而 $z_{k-1}$ 是标准正态分布（方差为1）。那么 $x_k$ 的方差为： +$$\text{Var}(x_k) = (1-\beta_k)\text{Var}(x_{k-1}) + \beta_k \cdot 1 = (1-\beta_k)\sigma^2 + \beta_k$$ +当 $\sigma^2 = 1$ 时，我们得到 $\text{Var}(x_k) = 1$，方差保持不变！这种设计避免了数值不稳定：如果方差不断增长，最终会导致数值溢出；如果方差不断衰减，信号会消失在数值精度中。

+

信噪比的渐进衰减：定义信噪比（Signal-to-Noise Ratio, SNR）为： +$$\text{SNR}_k = \frac{\text{信号强度}}{\text{噪声强度}} = \frac{\bar{\alpha}_k}{1-\bar{\alpha}_k}$$ +其中 $\bar{\alpha}_k = \prod_{i=1}^k (1-\beta_i)$。随着 $k$ 增加，SNR单调递减，最终趋近于0，这意味着数据信号逐渐被噪声淹没。

+

泰勒展开与连续化

+

当 $\beta_k$ 很小时，过程变化缓慢，我们可以用泰勒展开来近似： +$\sqrt{1 - \beta_k} \approx 1 - \frac{\beta_k}{2} - \frac{\beta_k^2}{8} + O(\beta_k^3)$

+

保留一阶项，更新步骤变为： +$x_k - x_{k-1} \approx -\frac{\beta_k}{2} x_{k-1} + \sqrt{\beta_k} z_{k-1}$

+

💡 直觉理解：左边是位置的变化量，右边第一项是一个"向原点的拉力"（因为系数为负），第二项是随机扰动。这就像一个被橡皮筋拴在原点的粒子，在随机力的作用下运动。

+

这个近似的精度如何？让我们分析误差项：

+
    +
  • 二阶误差：$O(\beta_k^2)$ 项在实际应用中通常很小。例如，如果 $\beta_k = 0.0001$（典型值），则二阶误差约为 $10^{-8}$
    • +
  • 累积误差：虽然单步误差很小，但经过 $N$ 步后，累积误差可能达到 $O(N\beta_k^2)$。这解释了为什么需要足够小的 $\beta_k$
    • +
+

现在进行时间的连续化。将时间区间 $[0, T]$ 分成 $N$ 份，令 $\Delta t = T/N$，并设 $\beta_k = b(t_k)\Delta t$，其中 $b(t)$ 是噪声调度函数。代入后： +$\frac{x(t_k) - x(t_{k-1})}{\Delta t} \approx -\frac{b(t_{k-1})}{2} x(t_{k-1}) + \sqrt{b(t_{k-1})} \frac{z_{k-1}}{\sqrt{\Delta t}}$

+

白噪声的涌现

+

这里的关键洞察是：当 $\Delta t \to 0$ 时，

+
    +
  • 左边收敛到导数 $\frac{dx}{dt}$
    • +
  • 右边第一项保持不变
    • +
  • 右边第二项 $\frac{z_{k-1}}{\sqrt{\Delta t}}$ 看起来会爆炸！
    • +
+

但奇妙的是，这个"爆炸"的项正是白噪声的正确缩放。让我们深入理解这一点：

+

布朗运动的构造：考虑随机游走 $S_n = \sum_{i=1}^n X_i$，其中 $X_i$ 是独立同分布的随机变量，满足 $\mathbb{E}[X_i] = 0$，$\text{Var}(X_i) = 1$。根据中心极限定理： +$$\frac{S_n}{\sqrt{n}} \xrightarrow{d} \mathcal{N}(0, 1)$$ +在我们的设定中，$z_i \sim \mathcal{N}(0, 1)$ 是独立的，时间步长为 $\Delta t = T/N$。定义： +$$W(t) = \sum_{i=1}^{\lfloor t/\Delta t \rfloor} \sqrt{\Delta t} \cdot z_i$$ +当 $\Delta t \to 0$ 时，这个过程收敛到标准布朗运动！

+

白噪声的数学含义：形式上，白噪声 $\xi(t) = dW_t/dt$ 是布朗运动的"导数"。虽然布朗运动几乎处处不可导，但我们可以在分布意义下理解这个导数：

+
    +
  • $\mathbb{E}[\xi(t)] = 0$（零均值）
    • +
  • $\mathbb{E}[\xi(t)\xi(s)] = \delta(t-s)$（瞬时相关）
    • +
  • 在任意有限时间区间上的积分是高斯分布
    • +
+

因此，$z_k / \sqrt{\Delta t}$ 的极限正是白噪声 $\xi(t)$！

+

SDE的诞生

+

最终，我们得到了随机微分方程（SDE）： +$dx_t = -\frac{b(t)}{2} x_t dt + \sqrt{b(t)} dW_t$

+

这就是DDPM在连续时间下的极限形式，被称为方差保持（Variance Preserving, VP）SDE。

+

🎯 为什么叫"方差保持"？ 让我们计算方差的演化。使用Itô公式，对于 $V(t) = \mathbb{E}[||x_t||^2]$： +$$\frac{dV}{dt} = -b(t)V(t) + d \cdot b(t)$$ +其中 $d$ 是数据维度。当 $V(0) = d$（标准化数据）时，稳态解为 $V(\infty) = d$，即方差保持不变！这避免了数值不稳定，是VP-SDE的一大优势。

+

噪声调度函数 $b(t)$ 的选择：

+
    +
  • 线性调度：$b(t) = \beta_{\min} + t(\beta_{\max} - \beta_{\min})/T$
    • +
  • 余弦调度：$b(t) = \pi \sin(\pi t/T) / T$（更平滑的过渡）
    • +
  • 对数调度：针对高分辨率图像设计，在早期阶段噪声增长更慢
    • +
+

每种调度都对应着不同的扩散速度和生成质量权衡。

+
+深入探索：从离散到连续的数学严格性 +

上述推导虽然直观，但数学上需要更严格的处理：

+
    +
  1. 收敛性：需要证明离散过程 ${x_k}$ 在某种意义下（如弱收敛）收敛到连续过程 ${x_t}$
    2. +
  2. 唯一性：需要证明极限SDE有唯一解
    3. +
  3. 正则性：需要保证系数函数 $b(t)$ 满足某些条件（如Lipschitz连续性）
    4. +
+

相关定理包括：

+
    +
  • Donsker不变原理：随机游走收敛到布朗运动
    • +
  • Stroock-Varadhan定理：离散马尔可夫链收敛到扩散过程
    • +
  • Wong-Zakai逼近：光滑随机过程逼近白噪声驱动的SDE
    • +
+

研究方向：

+
    +
  • 探索非标准缩放下的极限行为（如重尾噪声）
    • +
  • 研究时间非均匀离散化的极限
    • +
  • 分析数值误差的传播和累积
    • +
+
+

5.1.2 SDE的统一框架

+

SDE为我们提供了一个统一的语言来描述各种扩散模型。一个通用的前向SDE可以写成： +$dx_t = f(x_t, t) dt + g(t) dW_t$

+

这个方程包含两个关键组件：

+
    +
  • 漂移系数 $f(x_t, t)$：描述了数据演化的确定性趋势，像是一个"力场"在引导数据的运动
    • +
  • 扩散系数 $g(t)$：控制着随机噪声的强度，决定了过程的随机性程度
    • +
+

三大SDE家族的深入理解

+
+

定义：SDE家族

+

1. VP-SDE (Variance Preserving) - 方差保持型

+

对应DDPM，其形式为： +$dx_t = -\frac{1}{2} \beta(t) x_t dt + \sqrt{\beta(t)} dW_t$

+

其中 $\beta(t)$ 是噪声调度函数。VP-SDE的精妙之处在于：

+
    +
  • 物理直觉：像是一个弹簧振子在粘性介质中的运动，既有回复力（$-\frac{1}{2}\beta(t)x_t$），又有随机扰动
    • +
  • 方差特性：如果 $\mathbb{E}[x_0^Tx_0] = d$（$d$ 是数据维度），那么对于适当的 $\beta(t)$，有 $\mathbb{E}[x_t^Tx_t] \approx d$
    • +
  • 数值稳定性：避免了数值爆炸或消失，特别适合深度网络训练
    • +
+

2. VE-SDE (Variance Exploding) - 方差爆炸型

+

对应NCSN，其形式为： +$dx_t = \sqrt{\frac{d[\sigma^2(t)]}{dt}} dW_t$

+

注意没有漂移项！这意味着：

+
    +
  • 物理直觉：纯粹的扩散过程，像是热传导或分子扩散
    • +
  • 方差演化：$\mathbb{E}[||x_t||^2] = \mathbb{E}[||x_0||^2] + d\sigma^2(t)$，方差单调增长
    • +
  • 多尺度特性：通过选择 $\sigma(t) = \sigma_{\min} \left(\frac{\sigma_{\max}}{\sigma_{\min}}\right)^t$，可以覆盖多个噪声尺度
    • +
+

3. sub-VP-SDE - 次方差保持型

+

这是VP-SDE的改进版本： +$dx_t = -\frac{1}{2} \beta(t) x_t dt + \sqrt{\beta(t)(1-e^{-2\int_0^t \beta(s)ds})} dW_t$

+
    +
  • 理论优势：保证了精确的方差守恒，而不是近似
    • +
  • 实践意义：在长时间演化中更稳定
    • +
+
+

SDE选择的艺术

+

选择哪种SDE并非随意，而是要考虑数据特性和计算效率：

+
    +
  1. +

    数据分布的考虑： + - 如果数据天然具有单位方差（如标准化后的图像），VP-SDE是自然选择 + - 如果数据分布在多个尺度上（如自然图像的多分辨率结构），VE-SDE可能更合适

    +
    2. +
  2. +

    训练稳定性： + - VP-SDE通常更稳定，因为方差有界 + - VE-SDE需要仔细设计 $\sigma(t)$ 的增长速度

    +
    3. +
  3. +

    采样效率： + - VP-SDE的轨迹更"直"，可能需要更少的采样步数 + - VE-SDE的轨迹更"曲"，但可能探索空间更充分

    +
    4. +
+

实践经验分享：

+

在实际应用中，选择SDE类型往往需要实验验证。以下是一些经验法则：

+
    +
  • 图像生成：VP-SDE在大多数情况下表现良好，特别是配合余弦噪声调度
    • +
  • 音频生成：由于音频信号的动态范围大，VE-SDE可能更合适
    • +
  • 3D点云：数据分布不均匀，可以考虑自适应的SDE设计
    • +
  • 分子生成：需要保持物理约束，可能需要特殊设计的SDE
    • +
+

SDE的数值求解：

+

在实践中，我们需要离散化SDE来进行数值求解。最简单的是Euler-Maruyama方法： +$$x_{t+\Delta t} = x_t + f(x_t, t)\Delta t + g(t)\sqrt{\Delta t} \cdot z_t$$ +其中 $z_t \sim \mathcal{N}(0, I)$。PyTorch中的实现通常使用：

+
    +
  • torch.randn_like() 生成噪声
    • +
  • torch.sqrt() 计算平方根
    • +
  • 自适应步长控制提高精度
    • +
+
+高级话题：设计新的SDE +

SDE的设计空间远不止VP和VE。一些前沿研究方向包括：

+
    +
  1. +

    数据适应型SDE： + - 根据数据的局部几何结构调整 $f$ 和 $g$ + - 例如：$f(x,t) = -\nabla U(x,t)$，其中 $U$ 是学习到的势能函数

    +
    2. +
  2. +

    流形上的SDE： + - 当数据位于低维流形上时，标准SDE可能效率低下 + - 可以设计保持在流形上的SDE：$dx_t = P_x f(x,t)dt + P_x g(t)dW_t$ + - 其中 $P_x$ 是投影到切空间的算子

    +
    3. +
  3. +

    各向异性SDE： + - 让扩散系数依赖于方向：$g(t) \to G(x,t)$（矩阵值函数） + - 可以更好地适应数据的协方差结构

    +
    4. +
  4. +

    时间反演对称性： + - 设计满足某种对称性的SDE，使得前向和反向过程更相似 + - 可能导致更高效的采样

    +
    5. +
+

PyTorch中相关的工具：

+
    +
  • torch.nn.functional.normalize - 用于方差归一化
    • +
  • torch.autograd - 计算分数函数
    • +
  • torchdiffeq - 求解SDE/ODE
    • +
+
+

💡 开放问题：

+
    +
  1. 最优SDE设计：给定数据分布，是否存在某种意义下"最优"的SDE？优化目标可能包括采样效率、训练稳定性、生成质量等。
    2. +
  2. SDE的组合：能否在不同时间段使用不同的SDE（如开始用VE探索，后期用VP精调）？
    3. +
  3. 离散数据的SDE：如何为文本、图等离散数据设计合适的"连续化"SDE？
    4. +
+
+练习 5.1：理解SDE的极限过程 +
    +
  1. 验证方差保持性质： + 对于VP-SDE $dx_t = -\frac{1}{2}b(t)x_t dt + \sqrt{b(t)}dW_t$，证明当 $x_0$ 满足 $\mathbb{E}[||x_0||^2] = d$ 时，存在合适的 $b(t)$ 使得 $\mathbb{E}[||x_t||^2] \approx d$ 对所有 $t$ 成立。
    2. +
+

提示：使用Itô公式计算 $d\mathbb{E}[||x_t||^2]$。

+
    +
  1. 比较不同的噪声调度： + 实现并比较三种噪声调度函数：
    2. +
+
    +
  • 线性：$b(t) = \beta_{\min} + t(\beta_{\max} - \beta_{\min})/T$
    • +
  • 余弦：$b(t) = \pi \sin(\pi t/T) / T$
    • +
  • 指数：$b(t) = \beta_{\min} e^{t \log(\beta_{\max}/\beta_{\min})/T}$
    • +
+

分析它们对应的信噪比 $\text{SNR}(t)$ 的衰减曲线。

+
    +
  1. 探索极限行为： + 考虑离散过程 $x_{k+1} = \sqrt{1-\beta}x_k + \sqrt{\beta}z_k$，其中 $\beta = b\Delta t$。
    2. +
+
    +
  • 当 $\Delta t \to 0$ 时，证明这个过程收敛到VP-SDE
    • +
  • 数值实验：对于不同的 $\Delta t$，比较离散过程和连续SDE的轨迹
    • +
  • 分析收敛速度：误差如何随 $\Delta t$ 变化？
    • +
+
    +
  1. 研究扩展： + - 如果噪声不是高斯的（如Lévy噪声），极限过程会是什么？ + - 对于非马尔可夫过程（有记忆），如何推导连续时间极限？ + - 探索分数布朗运动（fractional Brownian motion）在扩散模型中的应用
    2. +
+
+

5.2 反向时间SDE：学习去噪

+

如果前向SDE描述了数据如何被噪声破坏，那么我们如何构建一个反向的过程来从噪声中恢复数据呢？这个问题的答案揭示了扩散模型的深刻数学结构。

+

5.2.1 时间反演的魔法

+

想象你在看一段视频：墨水在清水中扩散，从一个集中的墨滴逐渐弥漫开来。现在，如果你倒放这段视频，会看到什么？分散的墨水神奇地聚集回原点！这正是反向SDE要实现的：时间的反演。

+

但这里有一个关键问题：在物理世界中，扩散是不可逆的（热力学第二定律）。那么数学上如何实现这种"反熵"过程呢？答案是：我们需要额外的信息——分数函数。

+
+

定理：Anderson反向时间SDE (1982)

+

对于前向SDE： +$dx = f(x, t)dt + g(t)dW_t, \quad t \in [0, T]$

+

其对应的反向时间SDE（从时间 $T$ 到 $0$）为： +$dx_t = [f(x_t, t) - g(t)^2 \nabla_{x_t} \log p_t(x_t)] dt + g(t) d\bar{W}_t$

+

其中：

+
    +
  • $d\bar{W}_t$ 是反向时间的布朗运动（独立于前向的 $dW_t$）
    • +
  • $\nabla_{x_t} \log p_t(x_t)$ 是时刻 $t$ 的分数函数
    • +
  • $p_t(x)$ 是前向过程在时刻 $t$ 的边缘概率密度
    • +
+
+

5.2.2 直觉理解：为什么需要分数？

+

反向SDE的漂移项可以分解为两部分： +$$\underbrace{f(x_t, t)}_{\text{原始漂移}} - \underbrace{g(t)^2 \nabla_{x_t} \log p_t(x_t)}_{\text{分数修正项}}$$

+
    +
  1. +

    原始漂移项：如果只有这一项，时间反演后的过程仍会向同一方向演化（想象一个向下流的河流，倒放视频它还是向下流）

    +
    2. +
  2. +

    分数修正项：这是使过程真正反向的关键！ + - 分数 $\nabla \log p_t$ 指向概率密度增加最快的方向 + - 系数 $g(t)^2$ 确保修正强度与噪声强度匹配 + - 负号使得过程向高概率区域移动

    +
    3. +
+

🎯 物理类比：想象粒子在一个势能场中运动：

+
    +
  • 前向过程：粒子从势能低处（数据）滚向高处（噪声），同时受到随机扰动
    • +
  • 反向过程：粒子需要知道"哪里是下坡"（分数函数），才能滚回原处
    • +
+

5.2.3 分数函数的核心地位

+

Anderson定理揭示了一个深刻的事实：扩散模型的本质是学习分数函数。这统一了看似不同的两种方法：

+
    +
  1. DDPM视角：训练网络预测噪声 $\epsilon_\theta(x_t, t)$
    2. +
  2. Score Matching视角：训练网络预测分数 $s_\theta(x_t, t) \approx \nabla \log p_t(x_t)$
    3. +
+

它们之间的关系是： +$$s_\theta(x_t, t) = -\frac{\epsilon_\theta(x_t, t)}{\sqrt{1 - \bar{\alpha}_t}}$$

+

推导这个关键关系

+

这个关系的推导基于一个关键观察：在VP-SDE下，$x_t = \sqrt{\bar{\alpha}_t} x_0 + \sqrt{1-\bar{\alpha}_t} \epsilon$，因此：

+

步骤1：条件分布的分数 +给定 $x_0$，$x_t$ 的条件分布是高斯分布： +$$p(x_t|x_0) = \mathcal{N}(x_t; \sqrt{\bar{\alpha}_t} x_0, (1-\bar{\alpha}_t)I)$$ +其对数和分数为： +$$\log p(x_t|x_0) = -\frac{||x_t - \sqrt{\bar{\alpha}_t} x_0||^2}{2(1-\bar{\alpha}_t)} + \text{const}$$ +$$\nabla_{x_t} \log p(x_t|x_0) = -\frac{x_t - \sqrt{\bar{\alpha}_t} x_0}{1-\bar{\alpha}_t} = -\frac{\epsilon}{\sqrt{1-\bar{\alpha}_t}}$$ +步骤2：边缘分数与条件分数的关系 +利用贝叶斯定理和分数的性质： +$$\nabla_{x_t} \log p(x_t) = \nabla_{x_t} \log \int p(x_t|x_0) p(x_0) dx_0$$ +使用重参数化技巧和 denoising score matching 的结果，可以证明： +$$\nabla_{x_t} \log p(x_t) = \mathbb{E}_{x_0 \sim p(x_0|x_t)}[\nabla_{x_t} \log p(x_t|x_0)]$$ +当神经网络 $\epsilon_\theta$ 能够准确预测噪声时，上述期望可以近似为单点估计，从而得到了DDPM和Score Matching的等价性。

+

分数函数的几何意义

+

分数函数 $\nabla \log p(x)$ 有着深刻的几何含义：

+
    +
  1. 梯度场视角：分数定义了一个向量场，每一点的向量指向概率密度增加最快的方向
    2. +
  2. 能量视角：如果定义能量 $E(x) = -\log p(x)$，则分数 $\nabla \log p(x) = -\nabla E(x)$ 是负能量梯度
    3. +
  3. 最优传输视角：分数场定义了将任意分布传输到数据分布的最优路径
    4. +
+

可视化理解：

+
低概率区域 ←←←← 分数场 →→→→ 高概率区域
+    噪声                        数据
+
+ +

分数函数的性质与挑战

+

理论性质：

+
    +
  1. +

    Stein恒等式：对于光滑函数 $\phi$ 满足一定衰减条件，有 +$$\mathbb{E}_{x \sim p}[\nabla \cdot \phi(x) + \phi(x) \cdot \nabla \log p(x)] = 0$$ +这是score matching的理论基础。

    +
    2. +
  2. +

    分数的奇异性：在数据分布的支撑集边界，分数可能不连续甚至无穷大。这解释了为什么需要添加噪声来"平滑"分布。

    +
    3. +
  3. +

    维度诅咒：在高维空间中，分数函数的估计变得极其困难。扩散模型通过多尺度噪声巧妙地缓解了这个问题。

    +
    4. +
+

实践挑战：

+
    +
  1. 数值稳定性：当 $t \to 0$ 时，$1-\bar{\alpha}_t \to 0$，分数可能爆炸
    2. +
  2. 边界效应：真实数据往往位于低维流形上，在流形外分数定义不明确
    3. +
  3. 多模态分布：分数在模态之间的低密度区域可能指向错误方向
    4. +
+

5.2.4 实现细节与挑战

+

⚡ 实现挑战：

+
    +
  1. +

    分数函数的参数化： + - 直接参数化：$s_\theta(x_t, t)$ 直接输出分数 + - 噪声参数化：$\epsilon_\theta(x_t, t)$ 预测噪声，然后转换为分数 + - 实践中噪声参数化通常更稳定

    +
    2. +
  2. +

    时间编码： + - 网络需要知道当前时间 $t$ 以给出正确的分数 + - 常用方法：正弦编码、可学习的嵌入、FiLM层

    +
    3. +
  3. +

    数值稳定性： + - 在 $t \approx 0$ 时，分数可能很大（概率集中） + - 在 $t \approx T$ 时，分数接近零（接近标准正态） + - 需要合适的归一化和数值技巧

    +
    4. +
+
+深入探索：反向SDE的推导思路 +

Anderson定理的证明涉及高深的随机分析，但核心思想可以这样理解：

+
    +
  1. Girsanov定理：描述了如何通过改变漂移项来改变概率测度
    2. +
  2. 时间反演公式：对于马尔可夫过程，存在时间反演的一般理论
    3. +
  3. Doob's h-transform：通过乘以一个正函数来构造新的马尔可夫过程
    4. +
+

关键步骤：

+
    +
  • 定义反向时间过程 $\hat{x}_s = x_{T-s}$
    • +
  • 使用Bayes定理计算反向转移概率
    • +
  • 应用Girsanov定理得到反向SDE的形式
    • +
+

这个推导的美妙之处在于，它将看似不可能的任务（时间反演）转化为一个可学习的问题（估计分数函数）。

+
+
+练习 5.2：推导反向SDE +
    +
  1. VP-SDE的反向过程： + 给定前向VP-SDE：$dx = -\frac{1}{2} \beta(t) x dt + \sqrt{\beta(t)} dW_t$
    2. +
+

应用Anderson定理，写出反向SDE： + $dx_t = [-\frac{1}{2} \beta(t) x_t - \beta(t) \nabla_{x_t} \log p_t(x_t)] dt + \sqrt{\beta(t)} d\bar{W}_t$

+

简化为：$dx_t = \frac{1}{2} \beta(t) [x_t + 2\nabla_{x_t} \log p_t(x_t)] dt + \sqrt{\beta(t)} d\bar{W}_t$

+
    +
  1. 与DDPM的联系： + 在DDPM框架下，$x_t = \sqrt{\bar{\alpha}_t} x_0 + \sqrt{1-\bar{\alpha}_t} \epsilon$，其中 $\epsilon \sim \mathcal{N}(0, I)$。
    2. +
+

利用这个重参数化，证明：

+
    +
  • $\nabla_{x_t} \log p_t(x_t|x_0) = -\frac{\epsilon}{\sqrt{1-\bar{\alpha}_t}}$
    • +
  • 因此，如果 $\epsilon_\theta(x_t, t) \approx \epsilon$，则 $s_\theta(x_t, t) = -\frac{\epsilon_\theta(x_t, t)}{\sqrt{1-\bar{\alpha}_t}}$
    • +
+
    +
  1. 研究思路： + - 光滑性要求：Anderson定理要求 $p_t$ 足够光滑。探索什么条件保证这一点 + - 各向异性扩散：当 $g(t) = G(x,t)$ 是矩阵时，反向SDE变为： + $dx_t = [f(x_t,t) - \nabla \cdot (G(x_t,t)G(x_t,t)^T) - G(x_t,t)G(x_t,t)^T \nabla \log p_t(x_t)]dt + G(x_t,t)d\bar{W}_t$
    2. +
+
    +
  • 非马尔可夫情况：如果前向过程有记忆，反向过程会如何变化？
    • +
+
+
+练习 5.3：分数函数的性质探索 +
    +
  1. +

    验证Stein恒等式： + 对于标准正态分布 $p(x) = \mathcal{N}(0, I)$，验证Stein恒等式： +$$\mathbb{E}_{x \sim p}[x \cdot \phi(x) - \nabla \cdot \phi(x)] = 0$$ +其中 $\phi$ 是任意光滑且增长不太快的向量场。

    +
    2. +
  2. +

    分数函数的估计误差： + 假设我们有分数的近似 $s_\theta(x) \approx \nabla \log p(x)$，定义Fisher散度： +$$D_F(p_\theta || p) = \mathbb{E}_{x \sim p}[||s_\theta(x) - \nabla \log p(x)||^2]$$ +证明：当使用这个近似分数进行Langevin采样时，稳态分布与真实分布的KL散度受Fisher散度控制。

    +
    3. +
  3. +

    多尺度分数匹配： + 考虑不同噪声水平 ${\sigma_i}_{i=1}^L$ 下的加噪数据分布 $p_{\sigma_i}(x) = \int p(y) \mathcal{N}(x; y, \sigma_i^2 I) dy$。

    +
    4. +
+
    +
  • 推导 $\nabla \log p_{\sigma_i}(x)$ 与原始分布的关系
    • +
  • 解释为什么需要多个噪声尺度
    • +
  • 设计一个加权方案来组合不同尺度的分数
    • +
+
    +
  1. 流形上的分数： + 如果数据位于 $d$ 维空间中的 $k$ 维流形 $\mathcal{M}$ 上（$k < d$），分析：
    2. +
+
    +
  • 分数函数在流形上和流形外的行为
    • +
  • 如何修改分数匹配目标以适应流形结构
    • +
  • 探索"投影分数"：$P_{T_x\mathcal{M}} \nabla \log p(x)$ 的性质
    • +
+
+

5.3 概率流ODE：确定性的生成路径

+

SDE的采样过程是随机的，意味着从同一个噪声 $x_T$ 出发，每次得到的 $x_0$ 都会略有不同。这种随机性有时是优点（增加多样性），有时是缺点（难以复现、调试困难）。是否存在一种确定性的路径，也能将噪声映射到数据呢？

+

5.3.1 从随机到确定：概率流的发现

+

想象一条河流中的叶子。每片叶子的轨迹都是随机的（受到涡流影响），但整体的流动模式是确定的。概率流ODE捕捉的正是这种"平均流动"。

+
+

定义：概率流ODE

+

对于SDE：$dx_t = f(x_t, t) dt + g(t) dW_t$

+

存在唯一的ODE，使得其解的分布与SDE相同： +$dx_t = \left[f(x_t, t) - \frac{1}{2} g(t)^2 \nabla_{x_t} \log p_t(x_t)\right] dt$

+

这个ODE被称为概率流（Probability Flow）ODE。注意：

+
    +
  • 没有随机项 $dW_t$，完全确定性
    • +
  • 漂移项 = 原始漂移 - (1/2) × 扩散强度 × 分数
    • +
  • 边缘分布 $p_t(x)$ 与原SDE完全相同
    • +
+
+

5.3.2 为什么概率流ODE有效？

+

这个结果初看令人惊讶：随机过程和确定性过程怎么会有相同的分布演化？关键在于理解两种不同的视角：

+
    +
  1. +

    粒子视角（SDE）： + - 跟踪单个粒子的随机轨迹 + - 每个粒子受到随机力的影响 + - 多次运行得到不同结果

    +
    2. +
  2. +

    流体视角（ODE）： + - 跟踪概率密度的演化 + - 描述"概率流体"的速度场 + - 确定性的演化规律

    +
    3. +
+

数学上，这两种视角通过Fokker-Planck方程联系起来。SDE和其对应的概率流ODE都满足同一个Fokker-Planck方程，因此具有相同的密度演化。

+

🎨 可视化理解：

+
SDE轨迹（多条随机路径）：        概率流ODE（确定性流线）：
+    噪声                              噪声
+     ↓ ～～～                          ↓
+     ↓   ～～                          ↓
+     ↓ ～～～                          ↓
+     ↓   ～～                          ↓
+    数据                             数据
+
+ +

5.3.3 概率流ODE的推导直觉

+

概率流ODE中的修正项 $-\frac{1}{2}g(t)^2\nabla\log p_t$ 从何而来？这里有一个优美的解释：

+

从Fokker-Planck方程出发

+

考虑前向SDE：$dx_t = f(x_t, t)dt + g(t)dW_t$

+

其对应的Fokker-Planck方程描述了概率密度的演化： +$$\frac{\partial p_t}{\partial t} = -\nabla \cdot (f p_t) + \frac{1}{2}g(t)^2 \Delta p_t$$ +现在，我们寻找一个ODE $dx_t = v(x_t, t)dt$，使得其密度演化也满足同样的Fokker-Planck方程。对于ODE，密度演化由连续性方程描述： +$$\frac{\partial p_t}{\partial t} + \nabla \cdot (v p_t) = 0$$ +比较两个方程，我们需要： +$$-\nabla \cdot (v p_t) = -\nabla \cdot (f p_t) + \frac{1}{2}g(t)^2 \Delta p_t$$ +使用恒等式 $\Delta p_t = \nabla \cdot (\nabla p_t) = \nabla \cdot (p_t \nabla \log p_t)$，得到： +$$v p_t = f p_t - \frac{1}{2}g(t)^2 p_t \nabla \log p_t$$ +因此： +$$v(x_t, t) = f(x_t, t) - \frac{1}{2}g(t)^2 \nabla \log p_t(x_t)$$ +这就是概率流ODE的速度场！

+

物理直觉：扩散引起的漂移

+

在SDE中，随机项 $g(t)dW_t$ 造成了两种效应：

+
    +
  1. 扩散效应：使分布变宽
    2. +
  2. 漂移效应：由于扩散的不均匀性产生的净流动
    3. +
+

让我们通过一个具体例子理解漂移效应：

+

例子：一维高斯分布 +考虑密度 $p(x) = \frac{1}{\sqrt{2\pi\sigma^2}} e^{-x^2/(2\sigma^2)}$，其分数为： +$$\nabla \log p(x) = -\frac{x}{\sigma^2}$$ +在 $x > 0$ 区域：

+
    +
  • 左边（靠近原点）的密度更高
    • +
  • 扩散使粒子向两边随机移动
    • +
  • 但由于左边密度高，更多粒子从左边扩散过来
    • +
  • 净效果：粒子向右漂移
    • +
+

这个净漂移正是由 $-\frac{1}{2}g^2 \nabla \log p$ 项描述的！当 $x > 0$ 时，$\nabla \log p < 0$，所以漂移方向为正，与直觉一致。

+

概率流ODE的深层含义

+

概率流ODE揭示了一个深刻的事实：随机性可以被确定性的向量场完全捕捉。这个向量场不仅包含了原始的漂移，还包含了由于随机扩散的不均匀性产生的"有效漂移"。

+

数学视角：概率流ODE定义了一个保测度的流（measure-preserving flow），将初始分布 $p_0$ 传输到最终分布 $p_T$。这与最优传输理论有深刻联系。

+

计算视角：概率流ODE提供了一种确定性的采样方法，这带来了许多优势：

+
    +
  1. +

    确定性采样：从一个 $x_T$ 出发，总能得到完全相同的 $x_0$。这对于需要可复现生成的任务非常有用。

    +
    2. +
  2. +

    更快的采样：作为ODE，我们可以使用各种现成的高阶数值求解器： + - Euler法：一阶精度，最简单 + - Heun法：二阶精度，需要两次函数评估 + - RK4：四阶精度，经典选择 + - 自适应求解器：如Dormand-Prince，自动调整步长

    +
    3. +
+

使用高阶求解器，可以用比SDE求解器少得多的步数（例如20-50步 vs 1000步）得到高质量的样本。

+
    +
  1. 精确的似然计算：通过瞬时变量变换公式（instantaneous change of variables），可以精确计算对数似然： +$$\log p_0(x_0) = \log p_T(x_T) - \int_0^T \nabla \cdot v(x_t, t) dt$$ +其中轨迹 ${x_t}$ 由概率流ODE生成。
    2. +
+

概率流ODE与神经ODE的联系

+

概率流ODE可以看作是一种特殊的神经ODE（Neural ODE），其中：

+
    +
  • 速度场 $v(x,t)$ 由神经网络参数化
    • +
  • 网络通过预测分数函数来隐式定义速度场
    • +
  • 整个系统可以端到端训练
    • +
+

这建立了扩散模型与连续归一化流（Continuous Normalizing Flows）的桥梁，开启了许多研究方向。

+

🌟 理论空白：SDE和ODE提供了两种不同的采样路径。SDE路径是随机的、高维的，而ODE路径是确定性的、低维的。这两种路径的几何性质有何不同？它们在数据流形上是如何移动的？理解这一点可能有助于设计出更优的采样算法。

+
+练习 5.4：概率流ODE的性质与应用 +
    +
  1. 验证概率流ODE保持边缘分布： + 对于VP-SDE和其对应的概率流ODE，验证它们在任意时刻 $t$ 的边缘分布 $p_t(x)$ 相同。
    2. +
+

提示：证明两者满足相同的Fokker-Planck方程。

+
    +
  1. 似然计算的实现： + 使用概率流ODE的瞬时变量变换公式： +$$\log p_0(x_0) = \log p_T(x_T) - \int_0^T \nabla \cdot v(x_t, t) dt$$
    2. +
+

其中 $v(x,t) = f(x,t) - \frac{1}{2}g(t)^2 \nabla \log p_t(x)$。

+
    +
  • 推导 $\nabla \cdot v(x,t)$ 的表达式
    • +
  • 说明如何使用神经网络计算这个散度
    • +
  • 讨论计算复杂度和数值稳定性
    • +
+
    +
  1. 比较不同的ODE求解器： + 实现并比较以下求解器在概率流ODE上的表现：
    2. +
+
    +
  • Euler法（一阶）
    • +
  • Heun法（二阶）
    • +
  • RK4（四阶）
    • +
+

分析：

+
    +
  • 不同步数下的生成质量
    • +
  • 计算时间 vs 质量的权衡
    • +
  • 数值误差的累积
    • +
+
    +
  1. SDE与ODE路径的几何分析： + 对于简单的2D数据分布（如双模态高斯混合），可视化并分析：
    2. +
+
    +
  • SDE的多条随机轨迹
    • +
  • ODE的确定性流线
    • +
  • 两者在穿越低密度区域时的行为差异
    • +
  • 轨迹的曲率和长度统计
    • +
+
    +
  1. 研究扩展：最优传输视角： + 概率流ODE定义了一个传输映射 $T: x_T \mapsto x_0$。探索：
    2. +
+
    +
  • 这个映射是否是某种意义下的"最优"？
    • +
  • 与Monge-Kantorovich最优传输问题的联系
    • +
  • 如何设计具有最优传输性质的新型ODE？
    • +
+
+

5.4 Fokker-Planck方程：从粒子到密度的演化

+

SDE和ODE描述了单个数据点（粒子）的轨迹。如果我们想从宏观上描述整个概率密度 $p_t(x)$ 的演化，就需要偏微分方程（Partial Differential Equation, PDE）的语言，这就是Fokker-Planck方程。

+

5.4.1 Fokker-Planck方程的物理直觉

+

想象一大群粒子在流体中运动。每个粒子既受到确定性的流动（漂移），又受到随机的分子碰撞（扩散）。Fokker-Planck方程描述的正是这群粒子的密度如何随时间演化。

+
+

定义：Fokker-Planck方程 +对于一个SDE $dx = f(x,t)dt + g(t)dW_t$，其概率密度 $p_t(x)$ 的演化遵循Fokker-Planck方程： +$$\frac{\partial p_t(x)}{\partial t} = -\nabla \cdot (f(x,t)p_t(x)) + \frac{1}{2} g(t)^2 \Delta p_t(x)$$ +其中 $\nabla \cdot$ 是散度算子，$\Delta$ 是拉普拉斯算子。

+
+

让我们深入理解这个方程的每一项：

+

第一项：漂移输运 $-\nabla \cdot (f(x,t)p_t(x))$

+

这项描述了由确定性漂移 $f(x,t)$ 引起的概率流动：

+
    +
  • $f(x,t)p_t(x)$ 是概率流密度（probability flux）
    • +
  • $\nabla \cdot$ 计算流的散度，即净流出量
    • +
  • 负号表示：流出导致密度减少
    • +
+

物理类比：想象河流中的染料。水流（$f$）携带染料（$p$）移动，某处的染料浓度变化取决于流入和流出的差额。

+

第二项：扩散平滑 $\frac{1}{2}g(t)^2 \Delta p_t(x)$

+

这项描述了随机扩散对密度的影响：

+
    +
  • $\Delta p_t = \sum_i \frac{\partial^2 p_t}{\partial x_i^2}$ 衡量密度的"曲率"
    • +
  • 在密度峰值处，$\Delta p < 0$，密度减少
    • +
  • 在密度谷底处，$\Delta p > 0$，密度增加
    • +
  • 总效果：密度被"抹平"
    • +
+

物理类比：墨水在静水中扩散，从高浓度区域向低浓度区域自发流动，最终趋于均匀。

+

5.4.2 Fokker-Planck方程的推导

+

从SDE到Fokker-Planck方程的推导基于一个关键思想：粒子守恒。

+

考虑任意测试函数 $\phi(x)$（光滑且紧支撑），其期望值的演化： +$$\frac{d}{dt}\mathbb{E}[\phi(x_t)] = \mathbb{E}\left[\frac{d\phi(x_t)}{dt}\right]$$ +使用Itô公式： +$$d\phi(x_t) = \nabla\phi \cdot dx_t + \frac{1}{2}\text{tr}(gg^T \nabla^2\phi) dt$$ +$$= \nabla\phi \cdot f dt + \nabla\phi \cdot g dW_t + \frac{1}{2}g^2 \Delta\phi dt$$ +取期望（注意 $\mathbb{E}[dW_t] = 0$）： +$$\frac{d}{dt}\mathbb{E}[\phi(x_t)] = \mathbb{E}[f \cdot \nabla\phi + \frac{1}{2}g^2 \Delta\phi]$$ +另一方面，用密度表示期望： +$$\frac{d}{dt}\int \phi(x) p_t(x) dx = \int \phi(x) \frac{\partial p_t}{\partial t} dx$$ +因此： +$$\int \phi(x) \frac{\partial p_t}{\partial t} dx = \int [f \cdot \nabla\phi + \frac{1}{2}g^2 \Delta\phi] p_t dx$$ +使用分部积分（将导数从 $\phi$ 转移到 $p_t$）： +$$\int \phi \frac{\partial p_t}{\partial t} dx = \int \phi [-\nabla \cdot (fp_t) + \frac{1}{2}g^2 \Delta p_t] dx$$ +由于 $\phi$ 是任意的，我们得到Fokker-Planck方程！

+

5.4.3 特殊情况与解析解

+

例1：纯扩散（Ornstein-Uhlenbeck过程）

+

考虑VP-SDE：$dx = -\frac{1}{2}\beta x dt + \sqrt{\beta} dW$

+

Fokker-Planck方程变为： +$$\frac{\partial p}{\partial t} = \frac{\beta}{2}\nabla \cdot (xp) + \frac{\beta}{2}\Delta p$$ +对于初始条件 $p_0(x) = \delta(x-x_0)$，解为： +$$p_t(x) = \mathcal{N}(x; x_0 e^{-\beta t/2}, \frac{1-e^{-\beta t}}{1}I)$$ +这正是DDPM中的前向过程！

+

例2：稳态分布

+

当 $\frac{\partial p}{\partial t} = 0$ 时，得到稳态Fokker-Planck方程： +$$\nabla \cdot (fp_{\infty}) = \frac{1}{2}g^2 \Delta p_{\infty}$$ +对于VP-SDE，稳态分布是标准正态分布 $p_{\infty}(x) = \mathcal{N}(0, I)$。

+

5.4.4 Fokker-Planck方程的数值方法

+

虽然我们通常不直接求解Fokker-Planck方程来训练扩散模型，但理解其数值方法有助于深入理解模型行为：

+
    +
  1. 有限差分法：将空间离散化为网格，用差分近似导数
    2. +
  2. 有限元法：使用基函数展开密度，转化为ODE系统
    3. +
  3. 粒子方法：用大量粒子的经验分布近似连续密度
    4. +
  4. 谱方法：在频域求解，利用快速傅里叶变换
    5. +
+

每种方法都有其优缺点，选择取决于问题的维度、边界条件和精度要求。

+

5.4.5 PDE视角的深刻洞察

+

Fokker-Planck方程揭示了扩散模型的几个深刻性质：

+
    +
  1. +

    最大熵原理：扩散过程增加系统的熵，最终达到最大熵分布（高斯分布）

    +
    2. +
  2. +

    可逆性：知道分数函数 $\nabla \log p_t$ 后，可以反向求解Fokker-Planck方程，实现时间反演

    +
    3. +
  3. +

    变分原理：Fokker-Planck方程可以看作某个自由能泛函的梯度流： +$$\frac{\partial p}{\partial t} = \nabla \cdot \left(p \nabla \frac{\delta \mathcal{F}[p]}{\delta p}\right)$$ +其中 $\mathcal{F}[p]$ 是自由能，包含熵和势能项。

    +
    4. +
  4. +

    与量子力学的联系：通过Wick旋转，Fokker-Planck方程与薛定谔方程相关联，开启了量子-经典对应的研究

    +
    5. +
+

🔬 研究线索：Fokker-Planck方程与最优传输理论中的Wasserstein梯度流有深刻联系。扩散模型可以被看作是在概率分布空间中，沿着某种能量泛函的梯度方向进行演化。探索这种几何观点是当前理论研究的一大热点。

+
+练习 5.5：Fokker-Planck方程的理解与应用 +
    +
  1. 验证解析解： + 对于Ornstein-Uhlenbeck过程 $dx = -\gamma x dt + \sigma dW$：
    2. +
+
    +
  • 写出对应的Fokker-Planck方程
    • +
  • 验证 $p_t(x) = \mathcal{N}(x; x_0 e^{-\gamma t}, \frac{\sigma^2}{2\gamma}(1-e^{-2\gamma t}))$ 是其解
    • +
  • 讨论 $t \to \infty$ 时的稳态分布
    • +
+
    +
  1. 数值求解Fokker-Planck方程： + 实现一维Fokker-Planck方程的有限差分求解器：
    2. +
+
    +
  • 使用中心差分近似空间导数
    • +
  • 使用显式或隐式时间步进
    • +
  • 与粒子模拟（求解对应SDE）的结果比较
    • +
+

考虑的测试案例：

+
    +
  • 双井势能：$f(x) = -\nabla U(x)$，其中 $U(x) = (x^2-1)^2$
    • +
  • 验证稳态分布 $p_\infty(x) \propto e^{-2U(x)/g^2}$
    • +
+
    +
  1. 熵的演化： + 定义Shannon熵 $H[p] = -\int p \log p dx$。
    2. +
+
    +
  • 证明：对于Fokker-Planck方程，$\frac{dH}{dt} \geq 0$（熵增原理）
    • +
  • 什么时候等号成立？
    • +
  • 计算VP-SDE过程中熵的演化曲线
    • +
+
    +
  1. 反向Fokker-Planck方程： + 推导反向时间SDE对应的Fokker-Planck方程：
    2. +
+
    +
  • 从反向SDE出发，应用标准推导
    • +
  • 验证它与前向Fokker-Planck方程的关系
    • +
  • 解释为什么需要知道分数函数
    • +
+
    +
  1. 研究扩展：Wasserstein梯度流： + Fokker-Planck方程可以写成Wasserstein梯度流的形式： +$$\frac{\partial p}{\partial t} = \nabla \cdot \left(p \nabla \frac{\delta \mathcal{F}[p]}{\delta p}\right)$$
    2. +
+

探索：

+
    +
  • 对于不同的自由能 $\mathcal{F}[p]$，得到什么样的演化方程？
    • +
  • 扩散模型对应的自由能是什么？
    • +
  • 如何设计新的自由能来得到更好的生成模型？
    • +
+
+
+练习 5.6：SDE, ODE, PDE的统一视角 +

综合本章所学，分析三种数学框架的联系：

+
    +
  1. 统一框架： + 给定前向VP-SDE：$dx = -\frac{1}{2}\beta(t)x dt + \sqrt{\beta(t)}dW$
    2. +
+
    +
  • 写出对应的概率流ODE
    • +
  • 写出对应的Fokker-Planck方程
    • +
  • 验证三者描述同一个概率演化过程
    • +
+
    +
  1. 计算复杂度分析： + 比较三种方法在以下任务上的计算复杂度：
    2. +
+
    +
  • 生成单个样本
    • +
  • 计算似然 $p(x)$
    • +
  • 训练模型参数
    • +
+

考虑维度 $d$、时间步数 $N$、样本数 $M$ 的影响。

+
    +
  1. 选择指南： + 为以下应用场景选择最合适的框架（SDE/ODE/PDE）：
    2. +
+
    +
  • 需要快速生成大量样本
    • +
  • 需要精确计算似然进行模型选择
    • +
  • 需要理论分析收敛性
    • +
  • 需要可解释的生成过程
    • +
  • 需要编辑已有样本
    • +
+
    +
  1. 创新思考： + - 能否设计一个在不同阶段使用不同框架的混合算法？ + - 如何利用PDE的理论洞察改进SDE/ODE的数值算法？ + - 是否存在其他数学框架可以描述扩散过程？
    2. +
+
+

本章小结

+

本章将我们对扩散模型的理解从离散时间步提升到了连续时间的SDE/PDE框架，这是一个更深刻、更统一的视角。

+
    +
  • 从离散到连续：我们展示了当时间步数趋于无穷时，离散的DDPM和NCSN过程如何自然地收敛到连续的SDE。
    • +
  • 反向时间SDE：我们学习了Anderson定理，它揭示了反向去噪过程的核心是学习分数函数 $\nabla_{x_t} \log p_t(x)$ ，从而将DDPM和分数匹配统一起来。
    • +
  • 概率流ODE：我们发现每个SDE都对应一个确定性的ODE，它不仅能实现更快的采样，还能进行精确的似然计算。
    • +
  • Fokker-Planck方程：我们引入了描述概率密度演化的PDE，为宏观理论分析提供了工具。
    • +
+

这个连续时间框架不仅统一了现有的模型，更为未来的创新（如设计新的SDE、开发更快的求解器）提供了无限可能。下一章，我们将探讨另一个优雅的连续时间框架——流匹配（Flow Matching），它从最优传输的视角为生成建模提供了新的思路。

+
+ + +
+
+ + \ No newline at end of file diff --git a/html/chapter6.html b/html/chapter6.html new file mode 100644 index 0000000..8b27cd4 --- /dev/null +++ b/html/chapter6.html @@ -0,0 +1,568 @@ + + + + + + 第6章：流匹配 (Flow Matching) + + + + + + + +
+ + +
+
+

← 返回目录 | 第6章 / 共14章 | 下一章 →

+

第6章：流匹配 (Flow Matching)

+

流匹配是生成建模领域的一个新兴范式，它巧妙地结合了连续正则化流（Continuous Normalizing Flows）的理论优雅性和扩散模型的实践有效性。本章将深入探讨流匹配的核心思想：如何通过学习简单的向量场来构建复杂分布之间的最优传输路径。您将理解流匹配如何统一了看似不同的生成模型框架，以及它在计算效率和理论保证方面的独特优势。通过本章的学习，您将掌握设计和训练流匹配模型的关键技术，并理解其与扩散模型、最优传输理论的深刻联系。

+

章节大纲

+

6.1 从正则化流到流匹配

+
    +
  • 连续正则化流（CNF）的基本概念
    • +
  • 流匹配的动机：避免似然计算的计算瓶颈
    • +
  • 条件流匹配（Conditional Flow Matching）框架
    • +
+

6.2 最优传输视角

+
    +
  • Monge-Kantorovich问题与Wasserstein距离
    • +
  • 动态最优传输与Benamou-Brenier公式
    • +
  • 流匹配作为最优传输的实现
    • +
+

6.3 流匹配的数学基础

+
    +
  • 概率路径与边缘保持性质
    • +
  • 向量场的参数化与学习
    • +
  • 流匹配目标函数的推导
    • +
+

6.4 与扩散模型的联系

+
    +
  • 概率流ODE的统一视角
    • +
  • 从score matching到flow matching
    • +
  • 计算效率的比较分析
    • +
+

6.5 实践中的流匹配

+
    +
  • 路径选择：线性插值vs最优传输
    • +
  • 采样算法与ODE求解器选择
    • +
  • 条件生成与引导技术
    • +
+

6.1 从正则化流到流匹配

+

6.1.1 连续正则化流的回顾

+

连续正则化流（Continuous Normalizing Flows, CNF）提供了一种优雅的方式来建模复杂概率分布之间的变换。与离散的正则化流不同，CNF通过一个连续时间的动力系统来定义变换。想象一下，数据点像是河流中的叶子，随着时间的推移被向量场推动——这就是CNF的核心思想。

+

在离散正则化流中，我们通过一系列精心设计的可逆变换层（如耦合层、自回归流等）来构建从简单分布到复杂分布的映射。每一层都必须满足严格的可逆性约束，这极大地限制了模型的设计空间。而CNF则采用了一种截然不同的方法：它将这种离散的层叠结构替换为一个连续的动力系统，让数据点在向量场的引导下平滑地流动。

+

具体来说，CNF定义了一个时间相关的常微分方程（ODE）：

+

$\frac{d\mathbf{x}_t}{dt} = v_t(\mathbf{x}_t), \quad t \in [0,1]$

+

其中 $v_t: \mathbb{R}^d \to \mathbb{R}^d$ 是时间相关的向量场，它告诉我们在时刻 $t$ ，位于 $\mathbf{x}_t$ 的点应该以什么速度和方向移动。这个向量场就像是一个随时间变化的"风场"，推动着数据点从简单分布（如标准高斯）流向复杂的目标分布。

+

要真正理解CNF的力量，让我们深入探讨向量场的含义。在物理学中，向量场描述了空间中每一点的某种矢量量——比如流体的速度场、电磁场等。在CNF中，向量场 $v_t(\mathbf{x}_t)$ 描述了概率质量的"流速"。如果我们将概率分布想象成一种"概率流体"，那么向量场就告诉我们这种流体在每个位置、每个时刻应该如何流动。

+

给定初始分布 $p_0$ （通常是简单的高斯分布），通过求解这个ODE，我们可以得到任意时刻 $t$ 的分布 $p_t$ 。这个过程是完全可逆的——如果我们知道向量场，就可以从任意时刻的分布推导出其他时刻的分布，这种双向性是CNF的一个重要特征。

+

数学上，这种可逆性通过ODE的存在唯一性定理来保证。只要向量场 $v_t$ 满足适当的光滑性条件（如Lipschitz连续），ODE的解就是唯一的，并且可以反向求解。这意味着：

+
    +
  • 前向过程：从 $\mathbf{x}_0$ 出发，沿着向量场积分到时刻 $t$ ，得到 $\mathbf{x}_t$
    • +
  • 反向过程：从 $\mathbf{x}_t$ 出发，沿着 $-v_t$ 积分回到时刻 $0$ ，恢复 $\mathbf{x}_0$
    • +
+

这种双向性使得CNF既可以用于生成（从噪声到数据），也可以用于推断（从数据到潜在表示）。

+

CNF的关键优势在于其理论的优雅性。变换的雅可比行列式——它告诉我们变换如何改变体积元素——可以通过以下公式计算：

+

$\log p_1(\mathbf{x}_1) = \log p_0(\mathbf{x}_0) - \int_0^1 \nabla \cdot v_t(\mathbf{x}_t) dt$

+

这里 $\nabla \cdot v_t$ 是向量场的散度，可以使用 torch.autograd 高效计算。这个公式的直观理解是：如果向量场在某个区域是发散的（散度为正），那么该区域的概率密度会降低；反之，如果向量场是收敛的（散度为负），概率密度会增加。

+

让我们通过一个具体的例子来理解这个公式。考虑一个二维的情况，其中向量场在某个圆形区域内是向外发散的（像一个源），而在区域外是向内收敛的（像一个汇）。随着时间的推移：

+
    +
  • 圆内的概率质量会被"推出"，导致该区域的密度降低
    • +
  • 圆外的概率质量会被"吸入"特定区域，导致那里的密度增加
    • +
  • 散度正好量化了这种局部的"膨胀"或"收缩"效应
    • +
+

这个密度变化公式实际上是流体力学中连续性方程的一个特例。在流体力学中，连续性方程描述了质量守恒；在概率论中，它描述了概率守恒。这种跨学科的联系使得我们可以借用流体力学的直觉和工具来理解和设计生成模型。

+

这种连续性带来了几个重要优势：

+
    +
  • 灵活性：不需要像离散流那样精心设计每一层的可逆变换。我们只需要参数化一个向量场，而神经网络可以轻松地表示任意复杂的向量场。
    • +
  • 表达能力：理论上，任何两个分布都可以通过某个CNF连接。这是因为对于任意两个概率分布，总存在一个向量场可以将一个变换为另一个（尽管找到这个向量场可能很困难）。
    • +
  • 数值稳定性：使用现代ODE求解器可以获得高精度的数值解。与离散流中可能出现的数值不稳定性（如雅可比行列式的爆炸）相比，CNF的连续性质使得数值计算更加稳定。
    • +
  • 内存效率：在反向传播时，我们可以使用伴随敏感度方法（adjoint sensitivity method），避免存储整个前向轨迹，大大减少内存使用。
    • +
+

CNF还与许多其他数学概念有着深刻的联系。例如：

+
    +
  • 动力系统理论：CNF本质上是一个时变动力系统，我们可以借用动力系统的工具来分析其行为，如稳定性、吸引子、分岔等。
    • +
  • 最优控制理论：学习最优的向量场可以被视为一个最优控制问题，其中向量场是控制输入，目标是最小化某种成本函数。
    • +
  • 黎曼几何：在概率分布的流形上，CNF定义了一种几何流，类似于黎曼几何中的测地流或Ricci流。
    • +
+

🔬 研究线索：向量场的几何性质
+CNF中向量场的几何性质（如旋度、散度）如何影响生成质量？是否可以通过约束向量场的几何特性（例如无旋场、保体积变换）来获得更好的生成模型？这涉及到微分几何和李群理论的深刻应用。例如：

+
    +
  • 无旋场（梯度场）：如果向量场是某个势函数的梯度，那么流动路径是否会更加"直接"？
    • +
  • 保体积变换：如果约束散度为零（不可压缩流），是否可以获得更稳定的训练？
    • +
  • 辛结构保持：在某些应用中（如哈密顿系统），保持辛结构可能很重要。
    • +
+

6.1.2 传统CNF的计算瓶颈

+

尽管CNF在理论上优雅，但在实践中面临严重的计算挑战。让我们深入理解为什么这些挑战会成为实际应用的障碍。

+

要理解这些挑战的严重性，让我们首先回顾CNF的训练目标。在最大似然估计框架下，我们希望最大化观测数据的对数似然：

+

$\mathcal{L}(\theta) = \mathbb{E}_{\mathbf{x}_1 \sim p_{data}}[\log p_\theta(\mathbf{x}_1)]$

+

其中 $p_\theta$ 是由参数化向量场 $v_\theta$ 定义的模型分布。看起来简单，但计算这个目标函数却异常复杂。

+
    +
  1. 似然计算的开销：计算 $\log p_1(\mathbf{x}_1)$ 需要执行一个复杂的计算流程：
    2. +
+
    +
  • +

    反向ODE求解：给定一个数据点 $\mathbf{x}_1$ ，我们需要反向求解ODE从 $t=1$ 到 $t=0$ ，找到对应的初始点 $\mathbf{x}_0$ 。这就像是逆着河流追溯叶子的起点，计算上需要多步数值积分。

    +

    具体来说，我们需要求解： + $\frac{d\mathbf{x}_t}{dt} = -v_{1-t}(\mathbf{x}_t), \quad \mathbf{x}_{t=0} = \mathbf{x}_1$

    +

    这个反向积分过程通常需要使用数值ODE求解器，如Runge-Kutta方法。每一步都需要评估向量场，而在深度学习中，这意味着一次神经网络的前向传播。

    +
    • +
  • +

    轨迹积分：沿着整个轨迹，我们需要累积散度项 $\int_0^1 \nabla \cdot v_t(\mathbf{x}_t) dt$ 。这要求在每个积分步骤都计算向量场的散度。

    +

    这个积分必须与ODE求解同步进行，因为我们需要知道每个时刻的位置 $\mathbf{x}_t$ 才能计算该点的散度。这创造了一个耦合的计算过程： + ``` + 对于每个ODE求解步骤：

    +
      +
    1. 计算当前位置的向量场 v_t(x_t)
      2. +
    2. 计算向量场的散度 ∇·v_t(x_t)
      3. +
    3. 更新位置 x_t
      4. +
    4. 累积散度贡献到总积分 + ```
      5. +
    +
      +
    • +

      神经网络调用：每个ODE求解步骤都需要调用神经网络来评估向量场 $v_t(\mathbf{x}_t)$ ，在训练过程中这意味着大量的前向和反向传播。

      +

      让我们量化这个开销：假设我们使用一个相对简单的ODE求解器，需要20步来获得足够的精度。那么：

      +
        +
      • 每个数据点需要20次神经网络前向传播
        • +
      • 在反向传播时，梯度需要通过这20步传回，导致计算图极深
        • +
      • 内存需求随着步数线性增长
        • +
      +
      • +
    +

    想象一下，对于一张 $256 \times 256$ 的RGB图像（196,608维），每个训练样本可能需要数十次神经网络评估，这使得训练变得极其缓慢。在实践中，训练一个高质量的CNF模型可能需要数周时间，即使在强大的GPU集群上。

    +
    • +
+
    +
  1. +

    训练的不稳定性：直接最大化似然需要精确的ODE求解，但这在高维空间中充满挑战：

    +
      +
    • +

      数值误差累积：ODE求解器的每一步都会引入小的数值误差，这些误差会沿着轨迹累积，特别是在高维空间中。

      +

      考虑一个简单的例子：假设每步的相对误差是 $\epsilon = 10^{-6}$ （这已经是相当高的精度）。经过 $n$ 步后，最坏情况下的误差可能达到 $n\epsilon$ 。对于需要100步的复杂流，累积误差可能达到 $10^{-4}$ ，这在高维空间中可能导致完全错误的结果。

      +

      更糟糕的是，这些误差在反向传播时会被放大。如果前向过程有误差，那么计算的梯度也会有误差，导致参数更新不准确。

      +
      • +
    • +

      梯度爆炸/消失：反向传播通过整个ODE轨迹时，梯度可能会指数级地增长或衰减，导致训练不稳定。

      +

      这个问题的根源在于链式法则。考虑简化的情况，梯度的传播大致遵循： +$\frac{\partial \mathcal{L}}{\partial \theta} \approx \prod_{i=1}^n \frac{\partial \mathbf{x}_{t_i}}{\partial \mathbf{x}_{t_{i-1}}} \cdot \frac{\partial \mathcal{L}}{\partial \mathbf{x}_T}$

      +

      如果每个雅可比矩阵 $\frac{\partial \mathbf{x}_{t_i}}{\partial \mathbf{x}_{t_{i-1}}}$ 的谱范数大于1，梯度会指数增长；如果小于1，梯度会指数衰减。在深度ODE中控制这些谱范数是一个未解决的难题。

      +
      • +
    • +

      步长选择困境：使用较大步长会降低精度，使用较小步长会大幅增加计算成本。

      +

      这是一个典型的精度-效率权衡：

      +
        +
      • 大步长（如 $\Delta t = 0.1$ ）：快速但不准确，可能导致训练不收敛
        • +
      • 小步长（如 $\Delta t = 0.001$ ）：准确但极其缓慢，一个epoch可能需要数天
        • +
      • 自适应步长：理论上最优，但实现复杂，且在反向传播时带来额外挑战
        • +
      +
      • +
    +
    2. +
  2. +

    散度计算的复杂度：散度 $\nabla \cdot v_t = \sum_{i=1}^d \frac{\partial v_{t,i}}{\partial x_i}$ 的计算是一个关键瓶颈：

    +
      +
    • +

      精确计算：对于 $d$ 维数据，需要计算 $d$ 个偏导数。使用自动微分，这需要 $O(d)$ 次反向传播，每次计算一个维度的导数。

      +

      让我们详细分析这个计算过程。假设向量场网络的前向传播成本是 $C$ ，那么：

      +
        +
      • 计算一个偏导数 $\frac{\partial v_{t,i}}{\partial x_i}$ 需要一次反向传播，成本约为 $C$
        • +
      • 计算完整散度需要 $d$ 次这样的计算，总成本为 $dC$
        • +
      • 对于图像（$d \sim 10^5$），这意味着计算散度比计算向量场本身慢10万倍！
        • +
      +
      • +
    • +

      Hutchinson迹估计：虽然可以使用随机估计方法将复杂度降到 $O(1)$ ，但代价是引入方差： + $$\nabla \cdot v_t \approx \mathbb{E}_{\epsilon \sim \mathcal{N}(0, I)}[\epsilon^T \nabla_x (v_t \cdot \epsilon)]$$

      +

      这种方法的原理是利用了迹的随机估计。具体来说：

      +
        +
      • 采样一个随机向量 $\epsilon \sim \mathcal{N}(0, I)$
        • +
      • 计算 $v_t \cdot \epsilon$ （向量场与随机向量的内积）
        • +
      • 对这个标量函数关于 $x$ 求梯度
        • +
      • 计算结果与 $\epsilon$ 的内积
        • +
      +

      虽然计算复杂度降低了，但这种估计是有偏的，需要多个样本来降低方差。在实践中，可能需要5-10个样本才能获得可靠的估计，这部分抵消了计算节省。

      +
      • +
    • +

      方差-偏差权衡：使用更多的Hutchinson样本可以降低方差，但会增加计算成本。这创造了另一个困难的超参数选择问题。研究表明，不当的方差会严重影响模型的最终性能。

      +
      • +
    +

    对于图像等高维数据，即使是 $O(1)$ 的估计也需要仔细调节以平衡方差和计算成本。

    +
    3. +
+

实际影响：这些计算瓶颈的综合效应是灾难性的。一个在CIFAR-10这样的小数据集上训练的CNF模型，可能需要：

+
    +
  • 数百个GPU小时的训练时间
    • +
  • 精心调节的数值求解器设置
    • +
  • 大量的工程努力来稳定训练
    • +
  • 仍然可能无法达到其他生成模型的性能
    • +
+

这解释了为什么尽管CNF在理论上优雅，在实践中却很少被采用——直到流匹配的出现改变了这一局面。

+

### 6.1.3 流匹配：回避似然计算的巧妙方案

+

流匹配（Flow Matching）的核心洞察是一个范式转换：与其费力地通过似然优化来间接学习向量场，不如直接学习连接两个分布的向量场本身。这个想法既简单又深刻，它彻底改变了我们训练连续流模型的方式。

+

要理解这个范式转换的重要性，让我们回顾一下传统CNF和流匹配的根本区别：

+

传统CNF的间接学习：

+
    +
  • 目标：最大化数据的似然 $p_\theta(\mathbf{x})$
    • +
  • 方法：通过复杂的ODE求解和散度计算来评估似然
    • +
  • 问题：计算成本高昂，训练不稳定
    • +
+

流匹配的直接学习：

+
    +
  • 目标：学习正确的向量场 $v_\theta \approx u_t$
    • +
  • 方法：直接监督向量场的预测
    • +
  • 优势：避免了ODE求解和散度计算
    • +
+

让我们用一个类比来理解：假设你想教一个机器人从A点走到B点。传统CNF的方法就像是：让机器人尝试各种路径，然后根据到达B点的概率来调整。这需要机器人完整地走完路径，记录轨迹，计算到达的可能性——整个过程繁琐且容易出错。

+

而流匹配的方法是：直接告诉机器人在每个位置应该朝哪个方向走，走多快。我们不需要让机器人真的走完全程才能评估它的表现，只需要检查它在每个位置的"速度向量"是否正确。这种方法更直接、更高效。

+

具体来说，给定源分布 $p_0$ （如标准高斯）和目标分布 $p_1$ （数据分布），流匹配的目标是学习一个向量场 $v_\theta$ ，使得：

+

$\min_\theta \mathbb{E}_{t \sim \mathcal{U}[0,1], \mathbf{x}_t \sim p_t} |v_\theta(t, \mathbf{x}_t) - u_t(\mathbf{x}_t)|^2$

+

这个目标函数的含义是：

+
    +
  • 在任意时刻 $t \in [0,1]$
    • +
  • 对于该时刻分布 $p_t$ 中的任意点 $\mathbf{x}_t$
    • +
  • 我们希望模型预测的向量场 $v_\theta(t, \mathbf{x}_t)$ 尽可能接近真实的向量场 $u_t(\mathbf{x}_t)$
    • +
+

其中 $u_t$ 是生成概率路径 $p_t$ 的"真实"向量场——它定义了粒子应该如何移动才能实现从 $p_0$ 到 $p_1$ 的变换。

+

流匹配的理论基础

+

流匹配的有效性基于一个重要的理论结果：如果我们能够准确地学习向量场 $v_\theta \approx u_t$ ，那么通过求解ODE：

+

$\frac{d\mathbf{x}_t}{dt} = v_\theta(t, \mathbf{x}_t), \quad \mathbf{x}_0 \sim p_0$

+

得到的分布 $\mathbf{x}_1$ 将近似于目标分布 $p_1$ 。这个结果的直观理解是：如果我们知道了正确的"流速"，那么跟随这个流动就能到达正确的目的地。

+

数学上，这可以通过以下方式理解。设 $p_t^\theta$ 是由学习到的向量场 $v_\theta$ 生成的概率路径，$p_t$ 是真实的概率路径。如果 $v_\theta \approx u_t$ ，那么：

+

$\frac{\partial p_t^\theta}{\partial t} + \nabla \cdot (p_t^\theta v_\theta) \approx \frac{\partial p_t}{\partial t} + \nabla \cdot (p_t u_t) = 0$

+

这意味着 $p_t^\theta \approx p_t$ ，特别是 $p_1^\theta \approx p_1$ 。

+

流匹配的优势

+
    +
  1. +

    计算效率：

    +
      +
    • 不需要在训练时求解ODE
      • +
    • 不需要计算散度或雅可比行列式
      • +
    • 每个训练步骤只需要一次神经网络前向传播
      • +
    +
    2. +
  2. +

    训练稳定性：

    +
      +
    • 避免了通过长ODE轨迹的梯度传播
      • +
    • 没有数值误差的累积
      • +
    • 梯度计算简单明了
      • +
    +
    3. +
  3. +

    实现简单：

    +
      +
    • 训练循环与标准的监督学习相同
      • +
    • 不需要复杂的ODE求解器或伴随方法
      • +
    • 易于调试和优化
      • +
    +
    4. +
+

但这里有一个关键挑战：如何获得训练样本 $(t, \mathbf{x}_t, u_t(\mathbf{x}_t))$ ？

+

这个挑战的本质是一个"循环依赖"问题：

+
    +
  • 我们不知道中间分布 $p_t$ 的具体形式，如何从中采样 $\mathbf{x}_t$ ？
    • +
  • 我们不知道真实向量场 $u_t$ ，如何获得监督信号？
    • +
+

更具体地说，考虑以下困难：

+
    +
  1. +

    中间分布的未知性：给定 $p_0$ 和 $p_1$ ，存在无穷多种可能的概率路径 ${p_t}_{t \in [0,1]}$ 连接它们。每种路径对应不同的向量场。我们应该选择哪一种？

    +
    2. +
  2. +

    向量场的隐式定义：即使我们选定了一种概率路径，对应的向量场 $u_t$ 通常也没有解析形式。它是通过连续性方程隐式定义的： + $\frac{\partial p_t}{\partial t} + \nabla \cdot (p_t u_t) = 0$ + 从这个方程解出 $u_t$ 是非平凡的。

    +
    3. +
  3. +

    采样的困难：即使我们知道了 $u_t$ ，从中间分布 $p_t$ 采样通常也需要求解从 $p_0$ 出发的ODE——这正是我们想要避免的！

    +
    4. +
+

这看起来是一个"鸡生蛋"的问题：要学习向量场，需要知道中间分布；要知道中间分布，需要知道向量场。传统的解决方案可能会陷入迭代优化的复杂过程中。

+

条件流匹配正是为了打破这个循环而设计的。它的关键洞察是：与其试图直接处理复杂的边缘分布和向量场，不如构造简单的条件分布，然后利用边缘化的性质来恢复我们需要的目标。这种方法既优雅又实用，让流匹配从一个理论上有趣但实践上困难的想法，变成了一个强大的实用工具。

+

### 6.1.4 条件流匹配框架

+

条件流匹配（Conditional Flow Matching, CFM）通过构造条件概率路径巧妙地解决了采样问题。这个方法的优雅之处在于，它将一个复杂的全局问题分解为许多简单的局部问题。

+

核心思想可以分为三个关键步骤：

+
    +
  1. +

    定义条件路径：与其试图直接构造从整个分布 $p_0$ 到 $p_1$ 的复杂路径，CFM为每一对点构造简单的条件路径。对每个数据点 $\mathbf{x}_1 \sim p_1$ 和对应的噪声点 $\mathbf{x}_0 \sim p_0$ ，定义一个简单的路径连接它们。最常用的是线性插值：

    +

    $\mathbf{x}_t = (1-t)\mathbf{x}_0 + t\mathbf{x}_1$

    +

    这就像是为每对起点和终点画一条直线。虽然单条直线很简单，但所有直线的集合可以形成复杂的流场。

    +
    2. +
  2. +

    条件向量场：对于线性路径，计算对应的向量场非常简单。如果粒子沿着直线从 $\mathbf{x}_0$ 移动到 $\mathbf{x}_1$ ，它的速度是恒定的：

    +

    $u_t(\mathbf{x}_t | \mathbf{x}_0, \mathbf{x}_1) = \frac{d\mathbf{x}_t}{dt} = \mathbf{x}_1 - \mathbf{x}_0$

    +

    注意这个向量场不依赖于时间 $t$ ——粒子始终以相同的速度沿直线移动。这种简单性是线性插值的一大优势。

    +
    3. +
  3. +

    边缘化的魔法：CFM的关键洞察是一个深刻的数学事实：如果我们对所有可能的 $(\mathbf{x}_0, \mathbf{x}_1)$ 对进行平均（边缘化），得到的边缘向量场 $u_t(\mathbf{x}_t)$ 正好生成了从 $p_0$ 到 $p_1$ 的有效流。

    +

    直观地说，虽然每条单独的路径只连接一对点，但当我们考虑所有可能的路径时，它们的集体效应创造了一个将整个分布 $p_0$ 变换到 $p_1$ 的向量场。

    +
    4. +
+

这种方法的美妙之处在于，它将一个困难的问题（学习复杂的全局向量场）转化为一个简单的问题（匹配条件向量场）。更重要的是，这种转化使得训练变得极其高效。

+

💡 实现技巧：高效采样
+ CFM的训练算法惊人地简单：

+
    +
  1. 采样时间 $t \sim \mathcal{U}[0,1]$
    2. +
  2. 采样噪声 $\mathbf{x}_0 \sim p_0$ 和数据 $\mathbf{x}_1 \sim p_1$
    3. +
  3. 计算插值点 $\mathbf{x}_t = (1-t)\mathbf{x}_0 + t\mathbf{x}_1$
    4. +
  4. 训练网络最小化 $|v_\theta(t, \mathbf{x}_t) - (\mathbf{x}_1 - \mathbf{x}_0)|^2$
    5. +
+

整个过程完全避免了ODE求解、似然计算和复杂的采样过程！每个训练步骤的计算成本与训练一个简单的回归网络相当。

+

🔬 研究线索：非线性路径设计
+ 虽然线性路径简单有效，但它们可能不是最优的。研究问题包括：如何设计更好的条件路径？例如，可以考虑测地线路径（在某种度量下的最短路径）、避开低密度区域的路径、或者学习数据依赖的路径。这是一个活跃的研究领域，涉及最优传输理论和流形学习。

+

## 6.2 最优传输视角

+

流匹配与最优传输（Optimal Transport, OT）理论有着深刻的联系。要理解这种联系，让我们先从一个直观的例子开始：想象你是一个物流公司的经理，需要将仓库中的货物运送到各个商店。OT理论研究的正是如何以"最低成本"完成这种分配任务——只不过在我们的情况中，"货物"是概率质量，"运输"是从一个分布到另一个分布的变换。

+

### 6.2.1 Monge-Kantorovich问题与Wasserstein距离

+

最优传输理论有着悠久的历史，可以追溯到18世纪法国数学家Gaspard Monge的工作。Monge最初研究的问题非常实际：如何以最小的工作量将一堆沙土搬运到另一个地方来建造防御工事。这个看似简单的问题，实际上蕴含着深刻的数学结构。

+

Monge问题的现代表述是：寻找一个映射 $T: \mathbb{R}^d \to \mathbb{R}^d$ ，使得：

+
    +
  1. 质量守恒：如果 $\mathbf{x}_0 \sim p_0$ ，则 $T(\mathbf{x}_0) \sim p_1$ 。这意味着映射 $T$ 将源分布 $p_0$ 完全变换为目标分布 $p_1$ 。
    2. +
  2. 成本最小：总的"运输成本"最小化：
    3. +
+

$\inf_T \int_{\mathbb{R}^d} c(\mathbf{x}_0, T(\mathbf{x}_0)) p_0(\mathbf{x}_0) d\mathbf{x}_0$

+

其中 $c(\mathbf{x}, \mathbf{y})$ 是成本函数，它衡量将单位质量从 $\mathbf{x}$ 运送到 $\mathbf{y}$ 的代价。

+

成本函数的选择至关重要：

+
    +
  • 欧氏距离平方 $c(\mathbf{x}, \mathbf{y}) = |\mathbf{x} - \mathbf{y}|^2$ ：这是最常用的选择，它鼓励短距离运输，具有良好的数学性质。
    • +
  • 欧氏距离 $c(\mathbf{x}, \mathbf{y}) = |\mathbf{x} - \mathbf{y}|$ ：更直观但数学处理上稍复杂。
    • +
  • 其他度量：可以根据具体问题设计，如考虑地形的运输成本。
    • +
+

然而，Monge问题有一个根本性的限制：它要求每个源点必须整体地映射到一个目标点。这在某些情况下可能没有解。例如，如果源分布是一个点质量，而目标分布是均匀分布，那么没有办法通过一个确定性映射来实现这种变换。

+

Kantorovich的松弛解决了这个问题。与其寻找确定性映射，Kantorovich允许"分割"质量——一个源点的质量可以被分配到多个目标点。数学上，这通过引入联合分布（或称"传输计划"）$\pi(\mathbf{x}, \mathbf{y})$ 来实现：

+

$\inf_\pi \int_{\mathbb{R}^d \times \mathbb{R}^d} c(\mathbf{x}, \mathbf{y}) d\pi(\mathbf{x}, \mathbf{y})$

+

其中 $\pi$ 的边缘分布必须分别是 $p_0$ 和 $p_1$ 。

+

Wasserstein距离是当成本函数为距离的幂次时，最优传输成本的特殊情况：

+
    +
  • $W_p(p_0, p_1) = \left(\inf_\pi \int |\mathbf{x} - \mathbf{y}|^p d\pi(\mathbf{x}, \mathbf{y})\right)^{1/p}$
    • +
+

特别地，$W_2$ （使用平方欧氏距离）在理论和应用中最为重要，因为它与许多几何和物理概念自然地联系在一起。

+

### 6.2.2 动态最优传输与Benamou-Brenier公式

+

静态的Monge-Kantorovich问题告诉我们最优的"配对方案"，但没有告诉我们质量是如何从源移动到目标的。Benamou和Brenier在2000年提出了一个革命性的想法：与其只关注起点和终点，不如研究整个运输过程的动力学。

+

想象一下密度分布的演化就像流体的流动。在每个时刻 $t \in [0,1]$ ，我们有一个概率分布 $p_t$ ，它从 $p_0$ 开始，最终到达 $p_1$ 。这个演化由一个速度场 $v_t$ 驱动，满足连续性方程：

+

$\frac{\partial p_t}{\partial t} + \nabla \cdot (p_t v_t) = 0$

+

这个方程有着深刻的物理含义：

+
    +
  • $\frac{\partial p_t}{\partial t}$ 是密度的时间变化率
    • +
  • $\nabla \cdot (p_t v_t)$ 是概率流的散度
    • +
  • 方程表达了质量守恒：密度的增加等于流入减去流出
    • +
+

Benamou-Brenier公式将最优传输问题重新表述为一个变分问题：

+

$W_2^2(p_0, p_1) = \inf_{p_t, v_t} \int_0^1 \int_{\mathbb{R}^d} |v_t(\mathbf{x})|^2 p_t(\mathbf{x}) d\mathbf{x} dt$

+

这个公式的美妙之处在于它的物理直觉：

+
    +
  • 被积函数 $|v_t(\mathbf{x})|^2 p_t(\mathbf{x})$ 可以理解为"动能密度"
    • +
  • 整个积分是路径的总"动能"
    • +
  • 最优传输路径是使总动能最小的路径
    • +
+

这种动态视角带来了几个重要洞察：

+
    +
  1. +

    最短路径原理：在Wasserstein-2几何中，最优传输路径是连接两个分布的"测地线"（最短路径）。就像在曲面上两点之间的最短路径是测地线一样。

    +
    2. +
  2. +

    位移插值：最优传输路径提供了一种在分布之间进行插值的自然方式。对于时刻 $t$ 的分布 $p_t$ ，它是 $p_0$ 和 $p_1$ 的"位移插值"（displacement interpolation），保持了分布的几何结构。

    +
    3. +
  3. +

    速度场的特性：最优传输的速度场有一个重要性质——它是某个势函数的梯度（至少在适当的正则性条件下）： + $v_t(\mathbf{x}) = \nabla \phi_t(\mathbf{x})$

    +

    这意味着最优传输的流动是"无旋的"，没有涡流或循环。

    +
    4. +
+

### 6.2.3 流匹配作为最优传输的实现

+

现在我们可以理解流匹配与最优传输之间的深刻联系了。流匹配可以被视为一种实用的方法来近似求解最优传输问题，而不需要直接处理其计算复杂性。

+

理论联系： + 流匹配的目标函数——最小化模型向量场 $v_\theta$ 与真实向量场 $u_t$ 之间的L2距离——与Benamou-Brenier公式有着密切的关系。让我们仔细分析这种联系：

+
    +
  1. +

    当使用最优传输路径时：如果我们在条件流匹配中使用的概率路径 $p_t$ 正好是最优传输路径（即Wasserstein测地线），那么：

    +
      +
    • 对应的向量场 $u_t$ 就是最优传输的速度场
      • +
    • 学习到的 $v_\theta$ 将逼近最优传输映射
      • +
    • 生成的样本将沿着最优路径从噪声移动到数据
      • +
    +
    2. +
  2. +

    线性插值的情况：在实践中，我们通常使用简单的线性插值路径：

    +
      +
    • 条件路径：$\mathbf{x}_t = (1-t)\mathbf{x}_0 + t\mathbf{x}_1$
      • +
    • 这不是最优传输路径（除非在非常特殊的情况下）
      • +
    • 但它仍然定义了一个有效的传输方案
      • +
    +
    3. +
+

为什么线性插值也有效？

+

虽然线性插值不是最优的，但它有几个实际优势：

+
    +
  1. 计算简单：目标向量场是常数 $\mathbf{x}_1 - \mathbf{x}_0$ ，极易计算
    2. +
  2. 稳定性：线性路径避免了复杂的曲线运动，减少了数值不稳定性
    3. +
  3. 足够好：对于许多应用，线性插值提供的路径质量已经足够
    4. +
+

最优传输引导的改进：

+

研究者们提出了多种方法来结合最优传输的理论优势和流匹配的实践效率：

+
    +
  1. +

    OT-CFM（Optimal Transport Conditional Flow Matching）：

    +
      +
    • 使用最优传输理论来设计更好的条件路径
      • +
    • 例如，使用mini-batch最优传输来估计更好的配对
      • +
    • 在保持计算效率的同时提高生成质量
      • +
    +
    2. +
  2. +

    动态最优传输正则化：

    +
      +
    • 在流匹配损失中加入鼓励"直线"路径的正则项
      • +
    • 这隐式地鼓励学习接近最优传输的解
      • +
    +
    3. +
  3. +

    多尺度最优传输：

    +
      +
    • 在不同的特征尺度上应用最优传输原理
      • +
    • 特别适用于具有层次结构的数据（如图像）
      • +
    +
    4. +
+

实践意义：

+

流匹配作为最优传输的实现，为我们提供了：

+
    +
  • 理论基础：最优传输理论提供了坚实的数学基础
    • +
  • 实用算法：避免了直接求解OT问题的计算困难
    • +
  • 灵活性：可以在效率和最优性之间进行权衡
    • +
+

🔬 研究线索：最优传输与生成质量
+ 一个开放的研究问题是：在什么条件下，使用更接近最优传输的路径会显著提高生成质量？这涉及到数据流形的几何性质、噪声分布的选择、以及具体应用场景的需求。特别是在高维空间中，"最优"的含义本身就需要仔细定义。

+

## 6.3 流匹配的数学基础

+

流匹配的有效性依赖于一个优雅的数学性质：直接匹配条件向量场可以正确地学习到边缘向量场。

+

### 6.3.1 概率路径与边缘保持性质

+

让我们更正式地定义这个思想。

+
    +
  1. 联合分布：我们首先定义一个源分布 $p_0$ 和目标分布 $p_1$ 的联合分布（或称“耦合”） $q(\mathbf{x}_0, \mathbf{x}_1)$ 。最简单的选择是独立耦合 $q(\mathbf{x}_0, \mathbf{x}_1) = p_0(\mathbf{x}_0) p_1(\mathbf{x}_1)$ 。
    2. +
  2. 条件概率路径：给定一对样本 $(\mathbf{x}_0, \mathbf{x}_1) \sim q$ ，我们定义一个条件概率路径 $p_t(\mathbf{x} | \mathbf{x}_0, \mathbf{x}_1)$ 。这是一个随时间 $t$ 演化的分布，满足 $p_0(\mathbf{x} | \mathbf{x}_0, \mathbf{x}_1) = \delta(\mathbf{x} - \mathbf{x}_0)$ 和 $p_1(\mathbf{x} | \mathbf{x}_0, \mathbf{x}_1) = \delta(\mathbf{x} - \mathbf{x}_1)$ 。
    3. +
  3. 边缘概率路径：通过对联合分布 $q$ 进行积分，我们可以得到边缘概率路径： + $p_t(\mathbf{x}) = \int p_t(\mathbf{x} | \mathbf{x}_0, \mathbf{x}_1) q(\mathbf{x}_0, \mathbf{x}_1) d\mathbf{x}_0 d\mathbf{x}_1$ + 这个边缘路径 $p_t$ 描述了从 $p_0$ 到 $p_1$ 的连续变换。
    4. +
+

### 6.3.2 向量场的推导

+

与概率路径对应，我们也有条件向量场 $u_t(\mathbf{x} | \mathbf{x}_0, \mathbf{x}_1)$ 和边缘向量场 $u_t(\mathbf{x})$ 。它们通过连续性方程联系在一起。一个关键的数学结论是，边缘向量场是条件向量场在后验分布 $q(\mathbf{x}_0, \mathbf{x}_1 | \mathbf{x}_t)$ 下的期望：

+

$u_t(\mathbf{x}_t) = \mathbb{E}_{q(\mathbf{x}_0, \mathbf{x}_1 | \mathbf{x}_t)}[u_t(\mathbf{x}_t | \mathbf{x}_0, \mathbf{x}_1)]$

+

### 6.3.3 流匹配目标函数

+

我们的目标是让模型 $v_\theta(t, \mathbf{x})$ 学习边缘向量场 $u_t(\mathbf{x})$ 。损失函数为： + $L_{FM}(\theta) = \int_0^1 \mathbb{E}_{p_t(\mathbf{x}_t)}[|v_\theta(t, \mathbf{x}_t) - u_t(\mathbf{x}_t)|^2] dt$ + 直接优化这个损失函数是困难的，因为我们无法轻易地从 $p_t$ 或 $u_t$ 中采样。

+

然而，通过巧妙的数学变换，可以证明这个损失函数等价于一个更容易处理的条件流匹配（CFM）损失： + $L_{CFM}(\theta) = \int_0^1 \mathbb{E}_{q(\mathbf{x}_0, \mathbf{x}_1)} \mathbb{E}_{p_t(\mathbf{x}_t|\mathbf{x}_0, \mathbf{x}_1)} [|v_\theta(t, \mathbf{x}_t) - u_t(\mathbf{x}_t|\mathbf{x}_0, \mathbf{x}_1)|^2] dt$

+

这个形式的妙处在于，我们可以通过以下方式简单地获得训练样本：

+
    +
  1. 采样 $t \sim \mathcal{U}[0,1]$ 。
    2. +
  2. 采样一对 $(\mathbf{x}_0, \mathbf{x}_1) \sim q$ 。
    3. +
  3. 采样 $\mathbf{x}_t \sim p_t(\cdot|\mathbf{x}_0, \mathbf{x}_1)$ 。
    4. +
  4. 计算条件向量场 $u_t(\mathbf{x}_t|\mathbf{x}_0, \mathbf{x}_1)$ 。
    5. +
  5. 用梯度下降优化 $|v_\theta(t, \mathbf{x}_t) - u_t(\mathbf{x}_t|\mathbf{x}_0, \mathbf{x}_1)|^2$ 。
    6. +
+

对于线性插值路径 $\mathbf{x}_t = (1-t)\mathbf{x}_0 + t\mathbf{x}_1$ ，后两步变得极其简单： $\mathbf{x}_t$ 是确定的，向量场就是 $\mathbf{x}_1 - \mathbf{x}_0$ 。这使得训练过程完全“模拟免费”（simulation-free）。

+

## 6.4 与扩散模型的联系

+

流匹配框架与我们在前几章学习的扩散模型有着深刻的统一性。

+

### 6.4.1 概率流ODE的统一视角

+

回想一下，任何扩散SDE都对应一个概率流ODE： + $dx_t = [f(x_t, t) - \frac{1}{2} g(t)^2 \nabla_{x_t} \log p_t(x_t)] dt$ + 这个ODE描述了一个确定性的从噪声到数据的变换路径，它本身就是一个连续正则化流！它的向量场是 $v_t(x_t) = f(x_t, t) - \frac{1}{2} g(t)^2 s_\theta(x_t, t)$ 。

+
    +
  • 扩散模型通过学习分数函数 $s_\theta(x_t, t) \approx \nabla_{x_t} \log p_t(x_t)$ 来间接定义这个向量场。
    • +
  • 流匹配则直接学习这个向量场 $v_\theta(t, \mathbf{x}_t)$ 。
    • +
+

### 6.4.2 从分数匹配到流匹配

+

分数匹配的目标是： + $L_{SM}(\theta) = \int_0^T \mathbb{E}_{p_t(\mathbf{x}_t)}[|\mathbf{s}_\theta(t, \mathbf{x}_t) - \nabla_{\mathbf{x}_t} \log p_t(\mathbf{x}_t)|^2] dt$ + 流匹配的目标是： + $L_{FM}(\theta) = \int_0^1 \mathbb{E}_{p_t(\mathbf{x}_t)}[|\mathbf{v}_\theta(t, \mathbf{x}_t) - \mathbf{u}_t(\mathbf{x}_t)|^2] dt$ + 两者都在学习一个与时间相关的函数（分数或向量场），以定义一个从噪声到数据的ODE。流匹配可以看作是更广义的框架，而扩散模型的概率流ODE是其中的一个特例。

+

### 6.4.3 计算效率的比较分析

+

流匹配在训练效率上通常优于传统的扩散模型：

+
    +
  • 模拟免费：流匹配的训练不需要像扩散模型那样前向模拟SDE来产生带噪声的样本 $x_t$ 。它通过简单的插值直接构造训练对，避免了数值误差和计算开销。
    • +
  • 路径灵活性：扩散模型被锁定在由SDE定义的特定概率路径上。流匹配可以选择任意（通常更简单）的路径，如线性插值，这简化了目标向量场的计算（例如，对于线性路径，目标是常数 $\mathbf{x}_1 - \mathbf{x}_0$ ）。
    • +
  • 一步到位：扩散模型通常需要先学习分数，然后构建ODE。流匹配直接学习ODE的向量场，更加直接。
    • +
+

## 6.5 实践中的流匹配

+

### 6.5.1 路径选择：线性插值 vs 最优传输

+

在实践中，如何选择条件概率路径 $p_t(\mathbf{x}|\mathbf{x}_0, \mathbf{x}_1)$ 是一个关键的设计决策。

+
    +
  • 线性插值：这是最简单和最常用的选择。路径是确定的直线： $\mathbf{x}_t = (1-t)\mathbf{x}_0 + t\mathbf{x}_1$ 。对应的条件向量场是常数 $\mathbf{u}_t = \mathbf{x}_1 - \mathbf{x}_0$ 。这种方法的优点是极其简单高效。
    • +
  • 最优传输引导：虽然线性插值不是最优传输路径，但研究表明，使用更接近真实OT路径的插值方案可以提高生成质量。例如，"Optimal Transport-Guided Conditional Flow Matching" (OT-CFM) 提出了一种修正线性插值的方法，使其更好地匹配数据流形。
    • +
  • 扩散路径：我们也可以使用扩散SDE本身定义的路径。这表明流匹配可以被用来重新推导和训练扩散模型，突显了其框架的统一性。
    • +
+

### 6.5.2 采样算法与ODE求解器选择

+

训练完成后，我们得到了一个向量场 $v_\theta(t, \mathbf{x})$ 。生成新样本的过程就是求解从 $t=0$ 到 $t=1$ 的ODE：

+
    +
  1. 从先验分布中采样一个噪声点 $\mathbf{x}_0 \sim p_0$ 。
    2. +
  2. 使用数值ODE求解器求解 $\frac{d\mathbf{x}_t}{dt} = v_\theta(t, \mathbf{x}_t)$ ，从 $\mathbf{x}_0$ 开始，积分到 $t=1$ 。
    3. +
  3. 最终得到的 $\mathbf{x}_1$ 就是一个生成的样本。
    4. +
+

由于这是一个标准的ODE，我们可以利用数值分析领域的各种高效求解器：

+
    +
  • 简单求解器：如欧拉法或改进欧拉法（Heun法），需要较多的评估步数（NFE）。
    • +
  • 高阶求解器：如经典的四阶龙格-库塔法（RK45）。
    • +
  • 自适应求解器：如Dopri5，可以根据解的局部复杂度自动调整步长，通常能以更少的NFE达到高精度。
    • +
+

### 6.5.3 条件生成与引导技术

+

在流匹配中实现条件生成非常自然。如果我们要生成以条件 $c$ 为指导的样本，只需将 $c$ 作为额外输入提供给神经网络即可： + $v_\theta(t, \mathbf{x}, c)$ + 训练目标也相应地变为条件期望： + $\min_\theta \mathbb{E}_{p(c)} \mathbb{E}_{t, q(\mathbf{x}_0, \mathbf{x}_1|c)} [|v_\theta(t, \mathbf{x}_t, c) - u_t(\mathbf{x}_t|\mathbf{x}_0, \mathbf{x}_1)|^2]$ + 这使得流匹配可以轻松地应用于文本到图像、类别条件生成等任务。

+
+ **练习 6.2：设计一个流匹配模型** + + 假设你的任务是学习一个从二维标准高斯分布 $p\_0$ 到一个“月牙”形状的二维分布 $p\_1$ 的生成模型。 + + 1. **网络架构**：你会如何设计向量场网络 $v\_\theta(t, \mathbf{x})$ ？输入和输出应该是什么维度？时间 $t$ 应该如何编码并输入到网络中？（提示：参考Transformer中的位置编码思想） + + 2. **训练流程**：写出使用线性插值的CFM训练该模型的伪代码。 + + 3. **采样比较**： + - 使用欧拉法编写采样过程的伪代码。 + - 如果使用自适应步长的RK45求解器，你期望在采样速度和质量上看到什么变化？ + + 4. **研究拓展**： + - “月牙”分布具有非平凡的拓扑结构。线性插值路径是否会遇到问题？（提示：考虑路径是否会穿过低密度区域） + - 你能否设计一种简单的非线性路径，可能更适合这个任务？例如，在插值中加入一个与 $t(1-t)$ 成正比的垂直于 $(\mathbf{x}\_1 - \mathbf{x}\_0)$ 的项，来模拟曲线路径。 + +
+
+ + +
+
+ + \ No newline at end of file diff --git a/html/chapter7.html b/html/chapter7.html new file mode 100644 index 0000000..7b5bc15 --- /dev/null +++ b/html/chapter7.html @@ -0,0 +1,1238 @@ + + + + + + 第7章：扩散Transformer (DiT) + + + + + + + +
+ + +
+
+

← 返回目录 | 第7章 / 共14章 | 下一章 →

+

第7章：扩散Transformer (DiT)

+

扩散Transformer（Diffusion Transformer, DiT）标志着扩散模型架构的范式转变。本章将深入探讨DiT如何将Transformer的强大表达能力和优秀的扩展性引入扩散模型，实现了从卷积架构到注意力架构的飞跃。您将理解DiT的核心设计原则，学习其与传统U-Net的关键差异，并掌握如何利用Transformer的缩放定律来构建更强大的生成模型。通过本章的学习，您将获得设计和训练大规模扩散模型的关键洞察，为理解Sora、Stable Diffusion 3等前沿模型打下基础。

+

章节大纲

+

7.1 DiT架构详解

+
    +
  • 从Vision Transformer到Diffusion Transformer
    • +
  • DiT的核心组件：patchify、位置编码、时间条件
    • +
  • 架构变体：DiT-S/B/L/XL的设计选择
    • +
+

7.2 与U-Net的对比分析

+
    +
  • 归纳偏置：卷积vs注意力
    • +
  • 计算复杂度与内存效率
    • +
  • 特征表示的差异
    • +
+

7.3 可扩展性分析

+
    +
  • 缩放定律在扩散模型中的体现
    • +
  • 模型大小、数据量与性能的关系
    • +
  • 训练效率与推理优化
    • +
+

7.4 条件机制与灵活性

+
    +
  • 自适应层归一化（AdaLN）
    • +
  • 交叉注意力vs AdaLN-Zero
    • +
  • 多模态条件的统一处理
    • +
+

7.5 实践考虑与未来方向

+
    +
  • 训练策略与超参数选择
    • +
  • 混合精度训练与分布式训练
    • +
  • 架构创新的研究方向
    • +
+

7.1 DiT架构详解

+

7.1.1 从Vision Transformer到Diffusion Transformer

+

DiT的核心思想是将Vision Transformer (ViT)的成功经验迁移到扩散模型中。回顾ViT的基本原理：将图像分割成固定大小的patches，将每个patch线性投影为token，然后通过Transformer处理这些tokens。DiT继承了这一思想，但需要解决扩散模型特有的挑战：

+
    +
  1. 噪声级别的条件化：模型需要知道当前的去噪步骤 $t$
    2. +
  2. 类别条件：支持条件生成（如特定类别的图像）
    3. +
  3. 保持空间结构：虽然使用了序列模型，但需要保留图像的空间信息
    4. +
+

DiT通过精心设计的架构组件优雅地解决了这些挑战。

+

7.1.2 DiT的核心组件

+
    +
  1. Patchify层
    2. +
+

将输入图像 $\mathbf{x} \in \mathbb{R}^{H \times W \times C}$ 分割成非重叠的patches：

+
Input: x ∈ R^(H×W×C)
+Patches: p×p×C (typically p=2,4,8,16)
+Tokens: (H/p)×(W/p) tokens, each ∈ R^d
+
+ +

线性投影使用 nn.Conv2d(C, d, kernel_size=p, stride=p)，其中 $d$ 是隐藏维度。

+

🔬 研究线索：自适应patch大小
+固定的patch大小可能不适合所有图像区域。是否可以设计自适应的patchify策略，在细节丰富的区域使用小patches，在平滑区域使用大patches？这涉及到视觉显著性检测和动态网络架构。

+
    +
  1. 位置编码
    2. +
+

DiT使用标准的正弦位置编码，但应用于2D网格：

+

$$\text{PE}_{(i,j,2k)} = \sin\left(\frac{i}{10000^{2k/d}}\right), \quad \text{PE}_{(i,j,2k+1)} = \cos\left(\frac{j}{10000^{2k/d}}\right)$$ +这保留了patches的空间关系。可以使用 torch.meshgrid 和 torch.sin/cos 实现。

+
    +
  1. 时间和类别条件机制
    2. +
+

DiT提出了几种条件化方案，其中最有效的是AdaLN-Zero（Adaptive Layer Normalization with Zero initialization）：

+
    +
  • 将时间步 $t$ 和类别标签 $c$ 编码为向量
    • +
  • 通过MLP预测每个DiT block的缩放和偏移参数
    • +
  • 初始化为零，确保训练初期行为类似无条件模型
    • +
+
γ, β = MLP(t_emb + c_emb)  # 每个block独立的参数
+h = LayerNorm(h)
+h = γ * h + β               # AdaLN
+
+ +

💡 实现细节：为什么是Zero初始化？
+Zero初始化确保模型在训练初期表现得像一个恒等函数，这对训练稳定性至关重要。使用 nn.init.zeros_ 初始化最后一层。

+

7.1.3 DiT Block的设计

+

每个DiT block包含：

+
    +
  1. +

    多头自注意力（Multi-Head Self-Attention） +$$\text{Attention}(Q,K,V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$$

    +
    2. +
  2. +

    逐点前馈网络（Pointwise Feedforward） +$$\text{FFN}(x) = \text{GELU}(xW_1 + b_1)W_2 + b_2$$

    +
    3. +
  3. +

    AdaLN调制 + - 在每个子层前应用AdaLN + - 在残差连接前应用额外的缩放（通过学习的参数）

    +
    4. +
+
+**练习 7.1：理解DiT的计算复杂度** +

考虑一个256×256的图像，使用不同的patch大小。

+
    +
  1. +

    Token数量计算：对于patch大小 p∈{2,4,8,16}，计算产生的token数量。这如何影响内存使用和计算量？

    +
    2. +
  2. +

    注意力复杂度：自注意力的复杂度是 $O(n^2d)$ ，其中 $n$ 是token数。对比不同patch大小下的FLOPS。

    +
    3. +
  3. +

    与U-Net对比：U-Net在不同分辨率处理特征。估算U-Net和DiT在相同输入下的计算量差异。

    +
    4. +
  4. +

    优化策略： + - 探索局部注意力（如Swin Transformer的窗口注意力）在DiT中的应用 + - 研究稀疏注意力模式对生成质量的影响 + - 设计分层的DiT架构，在不同尺度使用不同的patch大小

    +
    5. +
+
+

7.1.4 架构变体与设计选择

+

DiT提供了多种模型规模：

+

| 模型 | 隐藏维度 | 深度 | 注意力头数 | 参数量 |

+ + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +
模型隐藏维度深度注意力头数参数量
DiT-S38412633M
DiT-B7681212130M
DiT-L10242416458M
DiT-XL11522816675M
+

这些配置遵循ViT的设计原则，但针对扩散模型进行了调整。

+

🌟 开放问题：最优架构搜索
+当前的DiT配置主要借鉴ViT的经验。是否存在专门为扩散任务优化的架构配置？如何自动搜索最优的深度/宽度/注意力头配置？这需要考虑扩散模型特有的信噪比变化和多步去噪特性。

+

7.1.5 训练与推理优化

+

高效注意力实现：

+
    +
  • 使用 torch.nn.functional.scaled_dot_product_attention 获得融合的注意力计算
    • +
  • 支持FlashAttention等优化实现
    • +
  • 考虑使用 torch.compile 进行图优化
    • +
+

混合精度训练：

+

混合精度训练对DiT尤其重要，因为注意力计算的内存占用很大。基本策略包括：

+
    +
  1. +

    前向传播使用FP16：大部分矩阵乘法和注意力计算可以安全地使用半精度，显著减少内存占用和加速计算。使用 torch.cuda.amp.autocast() 上下文管理器自动处理精度转换。

    +
    2. +
  2. +

    损失计算保持FP32：均方误差损失对数值精度敏感，应确保在全精度下计算。这避免了数值不稳定和梯度消失问题。

    +
    3. +
  3. +

    梯度缩放防止下溢：FP16的数值范围较小，梯度可能下溢为零。使用 GradScaler 动态缩放损失值，确保梯度在FP16的表示范围内。典型的初始缩放因子为2^16，并根据梯度溢出情况自动调整。

    +
    4. +
  4. +

    主权重保持FP32：优化器状态和主模型权重保持在FP32精度，只在前向和反向传播时转换为FP16。这确保了参数更新的精度。

    +
    5. +
+

推理加速技巧：

+
    +
  • KV-cache在自回归生成中很有用，但在扩散模型中作用有限
    • +
  • 可以探索蒸馏和剪枝技术
    • +
  • 使用更少的去噪步骤（如DDIM）是最直接的加速方法
    • +
+

7.2 与U-Net的对比分析

+

7.2.1 架构哲学的根本差异

+

U-Net和DiT代表了两种截然不同的架构哲学：

+

U-Net：层次化的局部处理

+
    +
  • 基于卷积的局部感受野，逐层扩大
    • +
  • 通过下采样和上采样构建多尺度表示
    • +
  • Skip connections保留细节信息
    • +
  • 天然的归纳偏置：空间局部性和平移等变性
    • +
+

DiT：全局交互的并行处理

+
    +
  • 基于注意力的全局感受野，从第一层就能看到整个图像
    • +
  • 所有patches在同一分辨率下处理
    • +
  • 通过位置编码保持空间信息
    • +
  • 最小的归纳偏置：更依赖数据学习
    • +
+

7.2.2 归纳偏置的影响

+

卷积的归纳偏置：

+
    +
  1. 局部性：相邻像素更相关
    2. +
  2. 平移等变性：特征检测不受位置影响
    3. +
  3. 参数共享：同一卷积核在整个图像上滑动
    4. +
+

这些偏置在小数据集上是优势，但在大规模数据上可能成为限制。

+

Transformer的灵活性：

+
    +
  • 可以学习任意的空间关系
    • +
  • 不假设局部性，可以直接建模长程依赖
    • +
  • 更适合捕捉全局结构和语义关系
    • +
+

💡 实践洞察：数据规模的影响
+实验表明，在小数据集（<50k样本）上，U-Net通常优于DiT。但随着数据规模增加，DiT的性能提升更快。这印证了"大数据偏好小偏置"的原则。

+

7.2.3 计算复杂度对比

+

让我们量化比较两种架构的计算需求：

+

U-Net的复杂度：

+
    +
  • 卷积层： $O(k^2 \cdot C_{in} \cdot C_{out} \cdot H \cdot W)$
    • +
  • 多分辨率处理降低了总体计算量
    • +
  • 内存占用随深度线性增长（由于skip connections）
    • +
+

DiT的复杂度：

+
    +
  • 自注意力： $O(n^2 \cdot d)$ ，其中 $n = (H/p) \times (W/p)$
    • +
  • 所有计算在高维特征空间进行
    • +
  • 内存占用主要由注意力矩阵决定
    • +
+
+**练习 7.2：效率分析** +

对于512×512的图像生成任务：

+
    +
  1. +

    参数效率：计算U-Net和DiT-L达到相似性能所需的参数量。哪个架构更参数高效？

    +
    2. +
  2. +

    内存分析： + - U-Net：计算不同分辨率特征图的内存占用 + - DiT：计算attention矩阵的内存需求 + - 比较批量大小为8时的总内存使用

    +
    3. +
  3. +

    速度基准： + - 实现简化版本并测量前向传播时间 + - 分析瓶颈：U-Net的卷积vs DiT的注意力 + - 探索混合架构的可能性

    +
    4. +
  4. +

    扩展研究： + - 设计结合两者优势的混合架构 + - 研究局部注意力如何改善DiT效率 + - 探索动态计算分配策略

    +
    5. +
+
+

7.2.4 特征表示的差异

+

U-Net的多尺度特征：

+
高分辨率层：细节纹理、边缘
+中间层：物体部件、局部模式  
+低分辨率层：全局结构、语义信息
+
+ +

DiT的统一表示：

+
所有信息在同一维度空间编码
+通过注意力权重隐式编码多尺度关系
+更抽象的特征表示
+
+ +

🔬 研究方向：可解释性分析
+如何可视化和理解DiT学到的表示？注意力模式是否对应于语义概念？可以使用注意力可视化工具（如 torch.nn.functional.interpolate 上采样注意力图）来研究。

+

7.2.5 条件机制的实现差异

+

U-Net的条件注入：

+
    +
  • 通常通过FiLM（Feature-wise Linear Modulation）或交叉注意力
    • +
  • 在多个分辨率注入条件信息
    • +
  • 可以精细控制不同尺度的条件影响
    • +
+

DiT的统一条件：

+
    +
  • AdaLN提供全局调制
    • +
  • 所有layers接收相同的条件信号
    • +
  • 更简洁但可能缺乏精细控制
    • +
+

7.2.6 训练动态的差异

+

U-Net的训练特点：

+
    +
  • 收敛相对较快
    • +
  • 对学习率不太敏感
    • +
  • 梯度流经skip connections更稳定
    • +
+

DiT的训练挑战：

+
    +
  • 需要更长的训练时间
    • +
  • 对初始化和学习率调度敏感
    • +
  • 可能出现注意力崩溃（attention collapse）
    • +
+

🌟 开放问题：最优的架构选择
+是否存在一个统一的原则来选择架构？如何根据任务特性（分辨率、数据量、计算预算）自动选择或设计架构？这需要建立架构-任务-性能的理论模型。

+

7.3 可扩展性分析

+

7.3.1 扩散模型中的缩放定律

+

DiT的一个关键贡献是证明了扩散模型也遵循类似大语言模型的缩放定律。具体表现为： +$$\text{Loss} = A \cdot N^{-\alpha} + B \cdot D^{-\beta} + C \cdot T^{-\gamma} + \epsilon$$ +其中：

+
    +
  • $N$ ：模型参数量
    • +
  • $D$ ：数据集大小
    • +
  • $T$ ：训练计算量（FLOPs）
    • +
  • $\alpha, \beta, \gamma$ ：缩放指数
    • +
  • $\epsilon$ ：不可约误差
    • +
+

实验发现，对于DiT：

+
    +
  • $\alpha \approx 0.08$ （参数缩放指数）
    • +
  • $\beta \approx 0.10$ （数据缩放指数）
    • +
  • $\gamma \approx 0.05$ （计算缩放指数）
    • +
+

这意味着将模型大小翻倍大约能将损失降低5.7%。

+

7.3.2 模型规模与生成质量

+

DiT论文中的关键实验结果：

+

| 模型 | Gflops | FID-50K | IS | Precision | Recall |

+ + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +
模型GflopsFID-50KISPrecisionRecall
DiT-S/26.068.423.30.430.56
DiT-B/223.043.542.80.570.64
DiT-L/280.723.383.00.650.63
DiT-XL/2118.69.62121.50.670.67
+

观察到的规律：

+
    +
  1. FID分数随模型规模呈幂律下降
    2. +
  2. 生成多样性（Recall）和质量（Precision）同步提升
    3. +
  3. 计算效率：更大的模型达到相同质量需要更少的训练步数
    4. +
+

💡 实践启示：计算预算分配
+给定固定的计算预算，应该如何在模型大小、批量大小和训练步数之间分配？经验法则：将预算的约20%用于增大模型，80%用于增加训练数据和步数。

+

7.3.3 为什么Transformer缩放更好？

+
    +
  1. 表达能力的理论基础
    2. +
+

Transformer的通用近似能力已被证明。对于扩散模型的去噪任务：

+
    +
  • 需要建模复杂的条件分布 $p(\mathbf{x}_{t-1}|\mathbf{x}_t)$
    • +
  • Transformer的注意力机制可以灵活地选择相关信息
    • +
  • 深度和宽度的增加单调提升近似能力
    • +
+
    +
  1. 优化景观的优势
    2. +
+

研究表明，Transformer的损失景观相对平滑：

+
    +
  • 更少的局部极小值
    • +
  • 梯度信号在深层网络中传播良好
    • +
  • 参数初始化的鲁棒性
    • +
+
    +
  1. 涌现能力
    2. +
+

随着规模增加，DiT展现出涌现能力：

+
    +
  • 更好的组合泛化
    • +
  • 对罕见模式的处理能力
    • +
  • 零样本迁移到新的条件
    • +
+
+**练习 7.3：缩放实验设计** +

设计一个实验来验证DiT的缩放特性：

+
    +
  1. +

    小规模验证： + - 在CIFAR-10上训练DiT-Tiny (10M), DiT-Small (33M), DiT-Base (130M) + - 绘制参数量vs FID的对数图 + - 拟合幂律关系，估计缩放指数

    +
    2. +
  2. +

    计算效率分析： + - 固定总FLOPs，比较不同模型大小的最终性能 + - 分析最优的模型大小/训练时长权衡 + - 研究早停策略对缩放的影响

    +
    3. +
  3. +

    数据缩放： + - 使用ImageNet的不同子集（10%, 25%, 50%, 100%） + - 分析数据量对不同规模模型的影响 + - 确定数据瓶颈出现的临界点

    +
    4. +
  4. +

    理论拓展： + - 推导DiT容量的理论上界 + - 研究架构深度vs宽度的缩放差异 + - 探索混合专家（MoE）在DiT中的应用

    +
    5. +
+
+

7.3.4 训练效率的提升策略

+
    +
  1. 渐进式训练
    2. +
+

从低分辨率开始，逐步提高：

+
64×64 → 128×128 → 256×256 → 512×512
+
+ +

每个阶段继承前一阶段的参数，通过插值适配。

+
    +
  1. 高效的注意力实现
    2. +
+
    +
  • FlashAttention：融合注意力计算，减少内存访问
    • +
  • 稀疏注意力：只计算部分注意力权重
    • +
  • 低秩近似：使用 nn.Linear(d, r) 和 nn.Linear(r, d) 降低复杂度
    • +
+
    +
  1. 模型并行策略
    2. +
+

对于超大规模DiT（数十亿参数）：

+
    +
  • 张量并行：将注意力头分布到不同GPU
    • +
  • 流水线并行：将不同层分配到不同GPU
    • +
  • 数据并行：标准的多GPU训练
    • +
+

🔬 研究前沿：稀疏缩放
+密集模型的缩放最终会遇到计算瓶颈。稀疏激活的模型（如Mixture of Experts）能否在DiT中实现更好的缩放？这需要解决负载均衡和训练稳定性问题。

+

7.3.5 缩放的实际限制

+
    +
  1. 内存墙
    2. +
+

注意力矩阵的 $O(n^2)$ 内存需求是主要瓶颈：

+
    +
  • 512×512图像with patch_size=8：4096 tokens
    • +
  • 注意力矩阵：16GB（float32）
    • +
  • 批量训练quickly耗尽GPU内存
    • +
+
    +
  1. 数据需求
    2. +
+

大模型需要海量数据：

+
    +
  • DiT-XL在ImageNet上需要7M iterations收敛
    • +
  • 更大的模型可能需要数十亿训练样本
    • +
  • 高质量数据的获取成本高昂
    • +
+
    +
  1. 训练不稳定性
    2. +
+

随着模型增大，训练变得更加困难：

+
    +
  • 梯度爆炸/消失
    • +
  • 注意力熵崩塌
    • +
  • 对超参数极其敏感
    • +
+

7.3.6 未来的缩放方向

+
    +
  1. +

    架构创新 +- 线性注意力机制： $O(n)$ 复杂度 +- 状态空间模型（如Mamba）在扩散中的应用 +- 神经架构搜索（NAS）自动发现高效结构

    +
    2. +
  2. +

    训练范式革新 +- 自监督预训练 + 少样本微调 +- 多任务学习提升数据效率 +- 持续学习避免遗忘

    +
    3. +
  3. +

    硬件协同设计 +- 专用的注意力加速器 +- 近数据计算减少内存瓶颈 +- 量化和混合精度推理

    +
    4. +
+

🌟 开放挑战：理论缩放极限
+是否存在扩散模型的理论缩放极限？当模型大小接近数据分布的柯尔莫哥洛夫复杂度时会发生什么？这些基础问题仍待解答。

+

7.4 条件机制与灵活性

+

条件生成是扩散模型的核心能力之一，而DiT在条件机制的设计上展现了独特的优雅性和灵活性。本节将深入探讨DiT如何通过创新的条件注入方法，实现高效且表达力强的条件控制。

+

7.4.1 自适应层归一化（AdaLN）

+

自适应层归一化是DiT条件机制的基础，它通过动态调整归一化参数来注入条件信息。

+

标准层归一化回顾： +$$\text{LN}(x) = \gamma \cdot \frac{x - \mu}{\sigma} + \beta$$ +其中 $\mu$ 和 $\sigma$ 是特征的均值和标准差，$\gamma$ 和 $\beta$ 是可学习的缩放和偏移参数。

+

AdaLN的创新：

+

AdaLN使 $\gamma$ 和 $\beta$ 成为条件信息的函数： +$$\gamma, \beta = \text{MLP}(\text{condition})$$ +这看似简单的改动带来了深远的影响：

+
    +
  1. 参数效率：相比于在每层注入完整的条件特征，AdaLN只需要预测两个向量
    2. +
  2. 训练稳定性：通过归一化天然地控制了条件信号的强度
    3. +
  3. 表达能力：可以实现从微调到完全改变特征分布的各种效果
    4. +
+

💡 实现细节：时间步编码
+DiT使用类似于Transformer的正弦位置编码来编码时间步：

+
t_emb = sinusoidal_embedding(t, dim=256)
+t_emb = nn.Sequential(
+    nn.Linear(256, hidden_dim),
+    nn.SiLU(),
+    nn.Linear(hidden_dim, hidden_dim)
+)(t_emb)
+
+ +

7.4.2 交叉注意力vs AdaLN-Zero

+

DiT论文比较了多种条件注入方法，其中最重要的是交叉注意力和AdaLN-Zero的对比。

+

交叉注意力方法：

+

在自注意力之后添加交叉注意力层： +$$\text{CrossAttn}(x, c) = \text{Attention}(Q=x, K=c, V=c)$$ +优点：

+
    +
  • 能够建模输入和条件之间的细粒度关系
    • +
  • 对于文本-图像等跨模态任务特别有效
    • +
  • 提供了空间对齐的条件控制
    • +
+

缺点：

+
    +
  • 计算开销大（额外的注意力计算）
    • +
  • 参数量增加显著
    • +
  • 可能过度依赖条件信息
    • +
+

AdaLN-Zero的优势：

+

AdaLN-Zero在AdaLN基础上引入了关键的零初始化：

+
# 初始化最后一层为零
+nn.init.zeros_(self.adaLN_modulation[-1].weight)
+nn.init.zeros_(self.adaLN_modulation[-1].bias)
+
+ +

这确保了：

+
    +
  1. 训练初期稳定：模型开始时表现为无条件模型
    2. +
  2. 渐进式学习：条件影响逐步增强
    3. +
  3. 更好的优化路径：避免早期的条件过拟合
    4. +
+

实验结果显示，AdaLN-Zero在ImageNet上达到了最佳的FID分数，同时计算效率更高。

+

🔬 研究线索：混合条件机制
+是否可以结合两种方法的优势？例如，在浅层使用AdaLN进行全局调制，在深层使用交叉注意力进行精细控制？这种分层的条件策略值得探索。

+

7.4.3 多模态条件的统一处理

+

DiT的一个重要优势是能够优雅地处理多种条件信息。

+

统一的条件编码框架：

+
class ConditionEncoder:
+    def encode(self, conditions):
+        embeddings = []
+
+        # 时间步条件（必需）
+        t_emb = self.time_encoder(conditions['timestep'])
+        embeddings.append(t_emb)
+
+        # 类别条件（可选）
+        if 'class_label' in conditions:
+            c_emb = self.class_encoder(conditions['class_label'])
+            embeddings.append(c_emb)
+
+        # 文本条件（可选）
+        if 'text' in conditions:
+            text_emb = self.text_encoder(conditions['text'])
+            embeddings.append(text_emb)
+
+        # 融合所有条件
+        return self.fusion_mlp(sum(embeddings))
+
+ +

条件dropout实现无条件生成：

+
# 训练时随机丢弃条件
+if self.training and random.random() < cfg_dropout_prob:
+    c_emb = torch.zeros_like(c_emb)
+
+ +

这使得同一个模型可以支持条件和无条件生成，为classifier-free guidance奠定基础。

+
+**练习 7.4：设计新的条件机制** +

探索DiT条件机制的扩展：

+
    +
  1. +

    层级条件控制： + - 设计一个机制，允许不同的条件信息影响不同的层 + - 例如：风格信息影响浅层，语义信息影响深层 + - 实现并比较与统一AdaLN的性能差异

    +
    2. +
  2. +

    动态条件路由： + - 基于输入内容动态选择条件注入的位置和强度 + - 使用门控机制： $\alpha = \sigma(\text{MLP}(x, c))$ + - 研究这种自适应机制的训练稳定性

    +
    3. +
  3. +

    条件插值实验： + - 实现条件向量的线性插值： $c_{interp} = \alpha c_1 + (1-\alpha) c_2$ + - 观察生成结果的渐变效果 + - 探索球面插值（SLERP）是否产生更好的过渡

    +
    4. +
  4. +

    扩展研究： + - 设计支持组合条件的机制（如"红色的猫"+"奔跑的姿势"） + - 研究条件向量的解耦表示学习 + - 探索使用超网络（HyperNetwork）生成AdaLN参数

    +
    5. +
+
+

7.4.4 条件机制的表达能力分析

+

理论视角：条件调制的函数空间

+

AdaLN可以表示的函数族为： +$$f_{AdaLN}(x; c) = \gamma(c) \odot \text{Normalize}(x) + \beta(c)$$ +这定义了一个特殊的函数空间，其特点是：

+
    +
  1. 保持特征的相对关系（通过归一化）
    2. +
  2. 允许全局缩放和偏移
    3. +
  3. 计算效率高
    4. +
+

实证分析：不同条件机制的表现

+

| 条件方法 | FID↓ | IS↑ | 参数量 | FLOPs |

+ + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +
条件方法FID↓IS↑参数量FLOPs
In-context10.52105.3+0%+25%
Cross-attention9.89119.7+15%+30%
AdaLN9.77118.6+1%+2%
AdaLN-Zero9.62121.5+1%+2%
+

7.4.5 条件嵌入的学习动态

+

条件嵌入的演化过程：

+

通过分析训练过程中条件嵌入的变化，我们观察到：

+
    +
  1. +

    早期阶段（0-10k steps）： + - 条件嵌入主要学习时间步信息 + - 类别条件的影响逐渐显现 + - $\gamma$ 接近1，$\beta$ 接近0

    +
    2. +
  2. +

    中期阶段（10k-100k steps）： + - 条件特异性增强 + - 不同类别的嵌入开始分离 + - 出现语义聚类现象

    +
    3. +
  3. +

    后期阶段（100k+ steps）： + - 精细的条件控制能力 + - 嵌入空间展现出丰富的结构 + - 支持条件插值和组合

    +
    4. +
+

💡 实践技巧：条件嵌入的正则化
+添加轻微的L2正则化到条件嵌入可以防止过拟合：

+
cond_reg_loss = 0.01 * torch.norm(condition_embedding, p=2)
+
+ +

7.4.6 高级条件技术

+
    +
  1. 多尺度条件注入
    2. +
+

虽然DiT使用统一的条件信号，但可以扩展为多尺度版本：

+
# 为不同深度的块生成不同的调制参数
+shallow_params = self.shallow_modulation(condition)
+middle_params = self.middle_modulation(condition)  
+deep_params = self.deep_modulation(condition)
+
+ +
    +
  1. 条件的层次分解
    2. +
+

将复杂条件分解为层次结构：

+
    +
  • 全局属性（如风格、色调）
    • +
  • 对象级属性（如类别、姿态）
    • +
  • 细节属性（如纹理、材质）
    • +
+
    +
  1. 自适应条件强度
    2. +
+

根据去噪进程动态调整条件强度： +$$\gamma_t = \gamma \cdot \exp(-\lambda t/T)$$ +这在早期步骤强调结构，后期步骤关注细节。

+

🌟 未来方向：神经条件场
+类似于NeRF的思想，是否可以将条件表示为连续的神经场？这将允许在条件空间中进行连续的查询和插值，实现更灵活的控制。

+

7.5 实践考虑与未来方向

+

将DiT从理论转化为实践需要深入理解训练细节、优化策略和部署考量。本节将分享实际训练DiT的经验教训，并探讨这一架构的未来发展方向。

+

7.5.1 训练策略与超参数选择

+

学习率调度的关键性

+

DiT对学习率调度特别敏感。推荐的配置：

+
    +
  1. +

    Warmup阶段： + lr = base_lr * (current_step / warmup_steps) + warmup_steps = 10000 # 对于ImageNet规模

    +
    2. +
  2. +

    余弦退火： + lr = min_lr + 0.5 * (base_lr - min_lr) * (1 + cos(π * step / total_steps))

    +
    3. +
  3. +

    关键超参数： + - base_lr: 1e-4 (AdamW) + - min_lr: 1e-6 + - weight_decay: 0.0 (仅对非bias/norm参数) + - beta1: 0.9, beta2: 0.95 (比标准0.999更激进)

    +
    4. +
+

💡 实践经验：学习率与模型规模
+更大的模型往往需要更小的学习率。经验公式： +$$\text{lr}_{\text{optimal}} \propto \frac{1}{\sqrt{\text{model_size}}}$$

+

批量大小的扩展策略

+

DiT训练受益于大批量：

+

| 模型规模 | 推荐批量大小 | 梯度累积步数 |

+ + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +
模型规模推荐批量大小梯度累积步数
DiT-S2561
DiT-B5122
DiT-L10244
DiT-XL20488
+

使用梯度累积实现大批量：

+
for step in range(accumulation_steps):
+    loss = model(batch[step]) / accumulation_steps
+    loss.backward()
+if (step + 1) % accumulation_steps == 0:
+    optimizer.step()
+    optimizer.zero_grad()
+
+ +

EMA（指数移动平均）的重要性

+

EMA对生成质量至关重要：

+
ema_decay = 0.9999
+for param, ema_param in zip(model.parameters(), ema_model.parameters()):
+    ema_param.data.mul_(ema_decay).add_(param.data, alpha=1-ema_decay)
+
+ +

注意：EMA模型用于推理，训练模型用于优化。

+

7.5.2 混合精度训练与分布式训练

+

自动混合精度（AMP）配置

+

DiT特别适合混合精度训练：

+
# PyTorch AMP设置
+scaler = torch.cuda.amp.GradScaler()
+autocast = torch.cuda.amp.autocast
+
+with autocast():
+    noise_pred = model(noisy_images, timesteps, conditions)
+    loss = F.mse_loss(noise_pred, noise)
+
+scaler.scale(loss).backward()
+scaler.step(optimizer)
+scaler.update()
+
+ +

关键考虑：

+
    +
  1. 保持损失计算在FP32精度
    2. +
  2. 注意力计算可能需要FP32以避免数值不稳定
    3. +
  3. 使用动态损失缩放防止梯度下溢
    4. +
+

分布式训练策略

+

对于大规模DiT训练：

+
    +
  1. +

    数据并行（DDP）： + python + model = torch.nn.parallel.DistributedDataParallel( + model, device_ids=[local_rank], + find_unused_parameters=False # DiT不需要 + )

    +
    2. +
  2. +

    梯度检查点： + 节省内存，允许更大批量： + python + # 对深层模型启用 + if model_depth > 24: + model.enable_gradient_checkpointing()

    +
    3. +
  3. +

    张量并行（对于超大模型）： + - 将注意力头分布到多个GPU + - 使用专门的库如Megatron-LM或FairScale

    +
    4. +
+

🔬 研究线索：通信优化
+在多节点训练中，通信成为瓶颈。探索梯度压缩、异步更新等技术在DiT训练中的应用。

+

7.5.3 推理优化技术

+

量化策略

+

DiT对量化相对友好：

+
    +
  1. +

    INT8量化： + - 对注意力权重使用动态量化 + - 保持Layer Norm在FP16/FP32 + - 典型加速：2-3x，质量损失<1% FID

    +
    2. +
  2. +

    混合精度推理： + python + with torch.cuda.amp.autocast(): + # 大部分计算在FP16 + output = model(x, t, c)

    +
    3. +
+

缓存优化

+

虽然DiT不像自回归模型那样受益于KV缓存，但仍有优化空间：

+
    +
  1. +

    特征图缓存： + 对于视频生成，缓存帧间共享的特征

    +
    2. +
  2. +

    条件编码缓存： + 预计算并缓存常用条件的编码

    +
    3. +
+

模型蒸馏

+

将大型DiT蒸馏到小型模型：

+
# 知识蒸馏损失
+kd_loss = F.kl_div(
+    F.log_softmax(student_output / temperature, dim=-1),
+    F.softmax(teacher_output / temperature, dim=-1),
+    reduction='batchmean'
+) * temperature**2
+
+ +

7.5.4 架构创新的研究方向

+
    +
  1. 高效注意力机制
    2. +
+

探索降低注意力复杂度的方法：

+
    +
  • +

    局部窗口注意力： + 将图像分成窗口，仅在窗口内计算注意力 + 复杂度：O(n²) → O(n·w²), w是窗口大小

    +
    • +
  • +

    线性注意力： + 使用核技巧近似softmax注意力

    +
    • +
  • +

    稀疏注意力模式： + 学习或预定义的稀疏连接模式

    +
    • +
+
+**练习 7.5：设计高效DiT变体** +

实现并比较不同的效率优化策略：

+
    +
  1. +

    窗口注意力DiT： + - 实现Swin Transformer风格的窗口注意力 + - 添加窗口之间的信息交换机制 + - 在不同分辨率测试速度vs质量权衡

    +
    2. +
  2. +

    深度可分离DiT： + - 将空间注意力和通道注意力分离 + - 类似MobileNet的思想应用到Transformer + - 分析参数效率和性能

    +
    3. +
  3. +

    动态稀疏DiT： + - 基于输入内容动态选择要计算的注意力连接 + - 使用可学习的路由机制 + - 研究稀疏度与生成质量的关系

    +
    4. +
  4. +

    扩展研究： + - 结合多种优化技术的混合架构 + - 自动搜索最优的效率-性能权衡 + - 探索硬件感知的架构设计

    +
    5. +
+
+
    +
  1. 动态计算分配
    2. +
+

不同的去噪步骤可能需要不同的计算量：

+
    +
  • 早期步骤：需要更多全局理解，使用完整模型
    • +
  • 后期步骤：主要是局部细化，可以使用轻量级模型
    • +
+

实现思路：

+
if t > 0.7 * total_steps:
+    output = full_model(x, t, c)
+elif t > 0.3 * total_steps:
+    output = medium_model(x, t, c)
+else:
+    output = light_model(x, t, c)
+
+ +
    +
  1. 多模态融合架构
    2. +
+

扩展DiT处理多模态输入：

+
    +
  • 统一的token空间表示不同模态
    • +
  • 模态特定的编码器 + 共享的Transformer主干
    • +
  • 探索跨模态注意力模式
    • +
+

🌟 未来愿景：通用生成Transformer
+是否可以设计一个统一的架构，同时处理图像、视频、音频、文本的生成？DiT的设计原则为这一方向提供了基础。

+

7.5.5 实际部署考虑

+

内存管理策略

+
    +
  1. +

    激活检查点： + python + # 仅保存必要的激活值 + torch.utils.checkpoint.checkpoint(block, x, use_reentrant=False)

    +
    2. +
  2. +

    动态批处理： + 根据输入分辨率动态调整批量大小

    +
    3. +
  3. +

    流式推理： + 对于超高分辨率，使用滑动窗口生成

    +
    4. +
+

延迟优化

+

实时应用的关键考虑：

+
    +
  1. +

    模型剪枝： + - 识别并移除冗余的注意力头 + - 通道剪枝减少隐藏维度

    +
    2. +
  2. +

    编译优化： + python + # PyTorch 2.0+ + compiled_model = torch.compile(model, mode="reduce-overhead")

    +
    3. +
  3. +

    硬件特定优化： + - 使用TensorRT或ONNX Runtime + - 针对特定GPU架构优化

    +
    4. +
+

鲁棒性增强

+

生产环境需要的额外考虑：

+
    +
  1. +

    输入验证： + 处理异常分辨率、损坏的条件输入

    +
    2. +
  2. +

    优雅降级： + 在资源受限时自动切换到低质量模式

    +
    3. +
  3. +

    监控和日志： + 跟踪推理时间、内存使用、生成质量指标

    +
    4. +
+

7.5.6 社区发展与生态系统

+

开源实现现状

+

主要的DiT实现和变体：

+
    +
  1. +

    官方实现： + - Facebook Research的原始DiT + - 清晰的代码结构，适合学习

    +
    2. +
  2. +

    优化版本： + - HuggingFace Diffusers集成 + - 各种效率优化和易用性改进

    +
    3. +
  3. +

    扩展工作： + - DiT-3D：3D生成 + - VideoDiT：视频生成 + - MultiDiT：多模态生成

    +
    4. +
+

标准化努力

+

社区正在推动的标准化：

+
    +
  1. +

    统一的接口： + python + class StandardDiT: + def forward(self, x, timestep, condition=None, **kwargs): + # 统一的前向传播接口

    +
    2. +
  2. +

    预训练模型zoo： + 不同规模、不同数据集的checkpoint

    +
    3. +
  3. +

    基准测试套件： + 标准化的评估流程和指标

    +
    4. +
+

💡 参与建议
+贡献的最佳方式：

+
    +
  • 实现新的效率优化技术
    • +
  • 在新领域/数据集上训练和分享模型
    • +
  • 改进文档和教程
    • +
  • 构建应用层工具
    • +
+

7.5.7 未来研究方向总结

+

短期机会（6-12个月）：

+
    +
  1. +

    效率提升： + - 更快的注意力实现 + - 更好的量化方法 + - 轻量级架构变体

    +
    2. +
  2. +

    应用扩展： + - 3D内容生成 + - 长视频生成 + - 实时交互应用

    +
    3. +
  3. +

    训练改进： + - 更稳定的训练方法 + - 少样本/零样本能力 + - 自监督预训练

    +
    4. +
+

长期愿景（1-3年）：

+
    +
  1. +

    架构革新： + - 超越Transformer的新架构 + - 神经架构搜索自动设计 + - 生物启发的生成模型

    +
    2. +
  2. +

    理论突破： + - 生成模型的统一理论 + - 缩放定律的数学基础 + - 与物理系统的深层联系

    +
    3. +
  3. +

    范式转变： + - 端到端的多模态生成 + - 与强化学习的深度结合 + - 可解释和可控的生成

    +
    4. +
+

🚀 行动呼吁
+DiT开启了扩散模型的新纪元，但这仅仅是开始。无论你是研究者、工程师还是爱好者，都有机会为这个快速发展的领域做出贡献。选择一个方向，深入探索，推动边界！

+

本章小结

+

在本章中，我们深入探讨了扩散Transformer（DiT）这一革命性架构，它标志着扩散模型从卷积时代向注意力时代的转变。

+

核心要点回顾：

+
    +
  1. +

    架构创新：DiT成功地将Vision Transformer的设计理念引入扩散模型，通过patchify、位置编码和时间条件机制，实现了优雅而高效的去噪网络设计。

    +
    2. +
  2. +

    条件机制：AdaLN-Zero展现了简洁而强大的条件注入方法，在保持计算效率的同时提供了出色的条件控制能力。相比交叉注意力，它在ImageNet生成任务上取得了更好的性能。

    +
    3. +
  3. +

    缩放优势：DiT证明了扩散模型也遵循类似大语言模型的缩放定律。随着模型规模增大，生成质量呈现可预测的改善，这为构建更强大的生成模型指明了方向。

    +
    4. +
  4. +

    实践智慧：从学习率调度到混合精度训练，从分布式策略到推理优化，我们分享了大量实践经验，这些将帮助你成功训练和部署DiT模型。

    +
    5. +
  5. +

    未来展望：DiT不仅是一个具体的架构，更代表了一种新的设计范式。它为多模态生成、动态计算分配、高效架构搜索等未来研究方向奠定了基础。

    +
    6. +
+

关键洞察：

+
    +
  • 最小归纳偏置带来最大灵活性：DiT的成功再次证明，在大规模数据和计算的支持下，减少架构假设能够获得更好的性能。
    • +
  • 统一带来力量：将所有patches在同一分辨率处理的设计，虽然看似低效，但实际上简化了优化过程并提升了最终性能。
    • +
  • 简单即优雅：AdaLN-Zero的成功提醒我们，最好的解决方案往往是最简单的。
    • +
+

与其他章节的联系：

+
    +
  • DiT建立在第2章介绍的Transformer基础之上，展示了架构选择对扩散模型性能的深远影响
    • +
  • 第8章的采样算法可以直接应用于DiT，而DiT的统一架构使得某些加速技术更容易实现
    • +
  • 第10章的潜在扩散模型可以使用DiT作为去噪网络，结合两者优势
    • +
  • 第11章的视频扩散模型正在探索基于DiT的时序建模方案
    • +
+

实践建议：

+
    +
  1. 如果你是初学者，建议从小规模DiT（DiT-S）开始，在CIFAR-10等小数据集上验证想法
    2. +
  2. 如果你有充足的计算资源，直接使用DiT-L或DiT-XL，它们的性能显著优于小模型
    3. +
  3. 始终使用AdaLN-Zero作为默认的条件机制，除非你的任务特别需要空间对齐的条件控制
    4. +
  4. 重视训练细节：学习率调度、EMA、混合精度等看似细微的选择会显著影响最终结果
    5. +
+

DiT的出现不仅提升了扩散模型的性能上限，更重要的是为整个领域带来了新的思考方式。当我们不再被特定的架构范式束缚，而是根据任务本质和数据特性选择合适的设计时，创新的大门才真正打开。

+

下一章，我们将探讨如何加速扩散模型的采样过程。DiT的统一架构为许多采样优化技术提供了理想的测试平台，让我们继续这段激动人心的旅程！

+
+

← 第6章：流匹配 | 返回目录 | 第8章：采样算法与加速技术 →

+
+ + +
+
+ + \ No newline at end of file diff --git a/html/chapter8.html b/html/chapter8.html new file mode 100644 index 0000000..52e519e --- /dev/null +++ b/html/chapter8.html @@ -0,0 +1,815 @@ + + + + + + 第8章：采样算法与加速技术 + + + + + + + +
+ + +
+
+

← 返回目录 | 第8章 / 共14章 | 下一章 →

+

第8章：采样算法与加速技术

+

扩散模型的一个主要挑战是采样速度慢——DDPM需要1000步去噪才能生成高质量样本。本章深入探讨各种加速采样的算法创新，从DDIM的确定性采样到DPM-Solver的高阶求解器，再到最新的一致性模型。您将学习这些方法背后的数学原理，理解速度与质量的权衡，并掌握在实践中选择和调优采样算法的技巧。通过本章的学习，您将能够将采样步数从1000步减少到20步甚至更少，同时保持生成质量。

+

章节大纲

+

8.1 DDIM：去噪扩散隐式模型

+
    +
  • 从随机到确定性：DDIM的核心思想
    • +
  • 非马尔可夫前向过程的构造
    • +
  • DDIM采样器的推导与实现
    • +
  • 插值与图像编辑应用
    • +
+

8.2 基于ODE/SDE的统一视角

+
    +
  • 概率流ODE的推导
    • +
  • SDE与ODE的等价性
    • +
  • 数值求解器的选择与分析
    • +
  • 预测-校正采样框架
    • +
+

8.3 DPM-Solver系列算法

+
    +
  • 指数积分器与精确解
    • +
  • DPM-Solver的高阶展开
    • +
  • DPM-Solver++的改进
    • +
  • 自适应步长策略
    • +
+

8.4 蒸馏与一步生成

+
    +
  • 渐进式蒸馏（Progressive Distillation）
    • +
  • 引导蒸馏（Guidance Distillation）
    • +
  • 一致性模型（Consistency Models）
    • +
  • 对抗蒸馏方法
    • +
+

8.5 实践优化技巧

+
    +
  • 采样器的选择指南
    • +
  • 噪声调度的优化
    • +
  • 混合采样策略
    • +
  • 质量-速度权衡分析
    • +
+

8.1 DDIM：去噪扩散隐式模型

+

在深入DDIM之前，让我们回顾一个关键问题：为什么需要改进DDPM的采样过程？DDPM虽然能生成高质量的样本，但其采样速度是一个严重瓶颈。生成一张图像需要反复执行1000次去噪步骤，即使在现代GPU上也需要数十秒。DDIM的出现彻底改变了这一局面，它不仅大幅加速了采样过程，还带来了意想不到的新能力。

+

8.1.1 DDPM采样的局限性

+

让我们从数学和直觉两个角度理解DDPM采样的局限性。回顾DDPM的反向过程：

+

$$p_\theta(\mathbf{x}_{t-1}|\mathbf{x}_t) = \mathcal{N}(\mathbf{x}_{t-1}; \boldsymbol{\mu}_\theta(\mathbf{x}_t, t), \sigma_t^2\mathbf{I})$$ +这个公式告诉我们，从时刻 $t$ 到 $t-1$ 的去噪过程是一个高斯分布，其均值由神经网络预测，方差 $\sigma_t^2$ 是预定义的。每一步都需要添加随机噪声 $\sigma_t \boldsymbol{\epsilon}$ ，这种随机性带来了几个根本性问题：

+
    +
  1. +

    采样的随机性：即使从完全相同的初始噪声 $\mathbf{x}_T$ 开始，由于每步都注入新的随机性，最终会生成不同的图像 $\mathbf{x}_0$。这种随机性虽然增加了多样性，但也意味着我们无法精确控制生成过程。

    +
    2. +
  2. +

    步数依赖：DDPM的理论推导假设了无穷小的时间步长。当我们尝试减少步数（增大时间步长）时，马尔可夫链的假设开始崩塌，生成质量急剧下降。这就像试图用大步子走钢丝——步子越大，越容易失去平衡。

    +
    3. +
  3. +

    不可逆性：给定一张生成的图像，我们无法精确重构出生成它的初始噪声。这限制了许多应用，比如图像编辑和插值。想象一下，如果我们能够将图像"编码"回噪声空间，在那里进行编辑，然后再"解码"回图像空间，将会开启多少可能性！

    +
    4. +
+

这些局限性看似是扩散模型的固有缺陷，但DDIM的作者们发现了一个惊人的事实：这些"缺陷"并非必然，而是我们选择的特定前向过程的结果。通过巧妙地重新设计前向过程，DDIM打开了通向确定性采样的大门。

+

8.1.2 DDIM的核心创新

+

DDIM的突破性贡献在于一个看似简单却深刻的观察：DDPM的马尔可夫性质并非扩散模型的必要条件。这个洞察彻底改变了我们对扩散过程的理解。

+

想象一下这样的场景：你站在山顶（数据分布），想要到达山谷（噪声分布）。DDPM告诉你必须沿着一条特定的蜿蜒小路走下去，每一步都要随机摇摆。而DDIM发现，实际上存在无数条路径可以到达同一个山谷，其中一些路径是完全笔直的！

+

DDIM的关键洞察是：存在一族非马尔可夫前向过程，它们具有相同的边缘分布 $q(\mathbf{x}_t|\mathbf{x}_0)$ ，但对应的反向过程可以是确定性的。这意味着什么？让我们深入理解：

+
    +
  1. +

    边缘分布相同：无论选择哪条路径，在任意时刻 $t$，数据的"污染"程度都是一样的。这保证了我们可以使用相同的去噪网络。

    +
    2. +
  2. +

    非马尔可夫性：新的前向过程不再只依赖于前一时刻，而是同时依赖于初始数据 $\mathbf{x}_0$。这种"记忆"使得过程可以选择更直接的路径。

    +
    3. +
  3. +

    可控的随机性：通过一个参数 $\sigma_t$，我们可以在完全随机（DDPM）和完全确定性之间自由调节。

    +
    4. +
+

具体地，DDIM定义了一个新的前向过程： +$$q_\sigma(\mathbf{x}_{t-1}|\mathbf{x}_t, \mathbf{x}_0) = \mathcal{N}(\mathbf{x}_{t-1}; \tilde{\boldsymbol{\mu}}_t(\mathbf{x}_t, \mathbf{x}_0), \sigma_t^2\mathbf{I})$$ +这个公式的关键在于条件依赖于 $\mathbf{x}_0$，打破了马尔可夫性。均值的具体形式为： +$$\tilde{\boldsymbol{\mu}}_t(\mathbf{x}_t, \mathbf{x}_0) = \sqrt{\bar{\alpha}_{t-1}}\mathbf{x}_0 + \sqrt{1 - \bar{\alpha}_{t-1} - \sigma_t^2} \cdot \frac{\mathbf{x}_t - \sqrt{\bar{\alpha}_t}\mathbf{x}_0}{\sqrt{1 - \bar{\alpha}_t}}$$ +这个表达式看起来复杂，但其几何意义非常清晰：

+
    +
  • 第一项 $\sqrt{\bar{\alpha}_{t-1}}\mathbf{x}_0$ 是目标时刻 $\mathbf{x}_0$ 的贡献
    • +
  • 第二项是从当前状态 $\mathbf{x}_t$ 指向 $\mathbf{x}_0$ 的"方向"的贡献
    • +
+

当 $\sigma_t = 0$ 时，过程变为完全确定性，实现了我们梦寐以求的"直线"路径！

+

这种设计的巧妙之处在于，它保持了与DDPM相同的训练目标——我们不需要重新训练模型，只需要改变采样策略。这就像发现同一辆车既可以在蜿蜒的山路上行驶，也可以在高速公路上疾驰。

+

8.1.3 DDIM采样算法

+

理解了DDIM的理论基础后，让我们看看如何将其转化为实际的采样算法。DDIM的美妙之处在于其采样公式的优雅和直观性。

+

DDIM的采样公式为： +$$\mathbf{x}_{t-1} = \sqrt{\bar{\alpha}_{t-1}}\underbrace{\left(\frac{\mathbf{x}_t - \sqrt{1 - \bar{\alpha}_t}\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t)}{\sqrt{\bar{\alpha}_t}}\right)}_{\text{预测的 } \mathbf{x}_0} + \underbrace{\sqrt{1 - \bar{\alpha}_{t-1} - \sigma_t^2} \cdot \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t)}_{\text{方向指向 } \mathbf{x}_t} + \underbrace{\sigma_t \boldsymbol{\epsilon}}_{\text{随机噪声}}$$ +让我们解析这个公式的每个组成部分，理解其背后的几何和物理意义：

+

1. 预测的 $\mathbf{x}_0$ 项：这部分使用当前的噪声图像 $\mathbf{x}_t$ 和网络预测的噪声 $\boldsymbol{\epsilon}_\theta$ 来估计原始干净图像。这就像透过迷雾看清真实的景象——虽然当前图像被噪声污染，但神经网络能够"看穿"噪声，预测出原始图像的样子。

+

2. 方向项：这项决定了从当前状态向下一状态移动的方向。它使用了预测的噪声 $\boldsymbol{\epsilon}_\theta$ 作为"指南针"，指引去噪的方向。系数 $\sqrt{1 - \bar{\alpha}_{t-1} - \sigma_t^2}$ 控制着这个方向的强度。

+

3. 随机噪声项：这是DDIM相对于DDPM的创新之处。通过控制 $\sigma_t$，我们可以调节采样过程的随机性。当 $\sigma_t = 0$ 时，这一项消失，采样变为完全确定性。

+

DDIM引入了一个关键参数 $\eta$ 来简化控制，其中 $\sigma_t = \eta \cdot \tilde{\sigma}_t$，$\tilde{\sigma}_t$ 是DDPM中使用的标准差。这给我们提供了一个直观的控制旋钮：

+
    +
  • $\eta = 0$ ：完全确定性采样（纯DDIM），生成过程像精确的机器
    • +
  • $\eta = 1$ ：完全随机采样（等价于DDPM），保持原始的随机性
    • +
  • $0 < \eta < 1$ ：介于两者之间，平衡确定性和多样性
    • +
+

这种灵活性带来了许多实际应用。例如，当我们需要精确的图像编辑时，使用 $\eta = 0$；当我们需要多样化的生成结果时，增大 $\eta$。这就像调节相机的光圈——不同的设置适用于不同的场景。

+

💡 实现技巧：加速采样的魔法
+DDIM最激动人心的特性是其加速能力。由于确定性采样的稳定性，我们可以大胆地跳过中间步骤。实现加速的核心策略是从原始的时间步序列中进行子采样。

+

时间步选择策略：

+
    +
  1. +

    均匀采样：最简单的方法是在时间轴上均匀选择步骤。如果原始过程使用1000步（从0到999），而我们想要使用50步，可以使用 np.linspace 在0到999之间均匀选择50个时间点，然后将其转换为整数索引。

    +
    2. +
  2. +

    非均匀采样：研究表明，在不同的去噪阶段，所需的精度是不同的。早期阶段（高噪声）可以使用较大步长，而后期阶段（接近数据）需要更精细的步长。这种策略可以通过幂函数或指数函数来实现时间步的非线性映射。

    +
    3. +
  3. +

    自适应采样：更高级的方法是根据当前去噪的"困难程度"动态调整步长。这需要设计度量指标来评估每步的重要性。

    +
    4. +
+

这种简单的操作可以实现20倍的加速！更令人惊讶的是，由于DDIM选择了更优的去噪路径，即使步数大幅减少，生成质量的下降也是有限的。这就像找到了一条高速公路，让我们能够快速到达目的地。

+

在实践中，研究者发现使用20-50步的DDIM通常能够产生与1000步DDPM相当的结果。这种加速使得扩散模型从研究工具变成了实用技术。

+
+**练习 8.1：理解DDIM的几何意义** +

考虑2D高斯分布的扩散过程。

+
    +
  1. +

    轨迹可视化： + - 实现DDPM和DDIM的采样过程 + - 从相同的 $\mathbf{x}_T$ 开始，绘制多条去噪轨迹 + - 观察DDIM轨迹的确定性 vs DDPM的随机性

    +
    2. +
  2. +

    插值实验： + - 生成两个不同的样本 $\mathbf{x}_0^{(1)}, \mathbf{x}_0^{(2)}$ + - 编码到对应的 $\mathbf{x}_T^{(1)}, \mathbf{x}_T^{(2)}$ + - 在潜在空间插值： $\mathbf{x}_T^{(\lambda)} = (1-\lambda)\mathbf{x}_T^{(1)} + \lambda\mathbf{x}_T^{(2)}$ + - 解码并观察语义插值效果

    +
    3. +
  3. +

    速度-质量权衡： + - 使用不同的步数（10, 20, 50, 100, 1000） + - 计算FID分数和推理时间 + - 找出最优的步数选择

    +
    4. +
  4. +

    理论拓展： + - 推导DDIM的最优 $\sigma_t$ 选择 + - 研究非均匀时间步长的影响 + - 探索自适应步长策略

    +
    5. +
+
+

8.1.4 DDIM的数学解释

+

DDIM的优雅不仅体现在其实用性上，更体现在其深刻的数学内涵中。让我们从三个不同的视角来理解DDIM，每个视角都揭示了其设计的不同智慧。

+
    +
  1. 变分推断视角：重新思考优化目标
    2. +
+

从变分推断的角度看，DDIM实际上是在最小化一个修改后的变分下界。回忆DDPM的变分下界： +$$\mathcal{L} = \mathbb{E}_q\left[\sum_{t=2}^T D_{KL}(q(\mathbf{x}_{t-1}|\mathbf{x}_t, \mathbf{x}_0) || p_\theta(\mathbf{x}_{t-1}|\mathbf{x}_t)) + ...\right]$$ +DDIM的创新在于重新定义了 $q(\mathbf{x}_{t-1}|\mathbf{x}_t, \mathbf{x}_0)$，使其包含一个自由参数 $\sigma_t$。这相当于在优化空间中增加了新的维度。当我们选择 $\sigma_t = 0$ 时，KL散度项的结构发生了根本变化，导致了确定性的反向过程。

+

这种修改的深层含义是：我们不再强制要求反向过程精确匹配前向过程的每一步，而是只要求它们在边缘分布上匹配。这给了我们更大的自由度来设计高效的采样路径。

+
    +
  1. 数值ODE求解器视角：从离散到连续的桥梁
    2. +
+

当 $\eta = 0$ 时，DDIM的确定性版本可以被理解为求解一个特殊的常微分方程（ODE）。这个ODE被称为概率流ODE： +$$\frac{d\mathbf{x}_t}{dt} = -\frac{1}{2}\beta_t\left[\mathbf{x}_t + \nabla_{\mathbf{x}_t} \log p_t(\mathbf{x}_t)\right]$$ +这个方程描述了概率密度的确定性流动。其中：

+
    +
  • $\beta_t\mathbf{x}_t$ 项代表向原点的收缩
    • +
  • $\beta_t\nabla_{\mathbf{x}_t} \log p_t(\mathbf{x}_t)$ 项代表沿着概率密度梯度的流动
    • +
+

DDIM本质上是这个ODE的一阶Euler离散化。这个发现开启了使用高阶ODE求解器来改进采样的大门，直接导致了后续DPM-Solver等算法的发展。

+

这种连续化的视角还带来了另一个洞察：扩散过程实际上定义了数据流形上的一个动力系统。理解这个动力系统的性质（如稳定性、收敛速度）对于设计更好的采样算法至关重要。

+
    +
  1. 最优传输视角：寻找最短路径
    2. +
+

从最优传输的角度看，DDIM试图找到从噪声分布到数据分布的"最直接"路径。在传统的DDPM中，由于每步都添加随机噪声，路径是曲折的。而DDIM的确定性版本寻找的是测地线——两点之间的最短路径。

+

这种视角的价值在于，它将扩散模型与最优传输理论联系起来。最优传输提供了丰富的工具来分析和优化概率分布之间的映射。例如，Wasserstein距离可以用来量化不同采样路径的"成本"。

+

更进一步，这种视角启发我们思考：是否可以直接从最优传输的角度设计采样算法？这正是流匹配（Flow Matching）等新方法的出发点。

+

🔬 研究线索：广义DDIM与未来方向

+

DDIM的成功启发我们思考更一般的问题：

+
    +
  1. +

    高阶信息的利用：当前的DDIM只使用了一阶信息（梯度）。能否利用二阶信息（Hessian）来设计更精确的采样器？这可能需要开发高效的二阶导数计算方法。

    +
    2. +
  2. +

    自适应路径规划：不同的图像区域可能需要不同的去噪策略。能否设计一个自适应的采样器，根据局部特征动态调整采样路径？

    +
    3. +
  3. +

    多尺度采样：自然图像具有多尺度结构。能否设计一个多尺度的DDIM变体，在不同尺度上使用不同的采样策略？

    +
    4. +
  4. +

    理论最优性：DDIM是否是某种意义下的最优采样器？如果不是，理论最优的采样器应该是什么样的？

    +
    5. +
+

这些问题连接了数值分析、最优控制理论、信息几何等多个数学分支，为未来的研究提供了丰富的方向。

+

8.2 基于ODE/SDE的统一视角

+

DDIM的成功揭示了一个深刻的事实：离散的扩散步骤可以被视为连续过程的离散化。这个洞察催生了基于随机微分方程（SDE）的统一框架，它不仅统一了现有的方法，还为设计新的采样算法提供了强大的理论工具。本节将带您从离散世界步入连续世界，揭示扩散模型背后的连续动力学。

+

8.2.1 从离散到连续：扩散SDE

+

想象一下，如果我们将扩散过程的时间步长无限细分，会发生什么？这就像将一部定格动画变成流畅的视频——离散的帧变成了连续的运动。Song等人(2021)正是基于这个想法，提出了基于随机微分方程(SDE)的统一框架。

+

在连续时间框架下，前向扩散过程可以优雅地表示为一个SDE： +$$d\mathbf{x} = \mathbf{f}(\mathbf{x}, t)dt + g(t)d\mathbf{w}$$ +这个方程看似简单，却蕴含着丰富的内容。让我们仔细解读每个组成部分：

+
    +
  • +

    漂移项 $\mathbf{f}(\mathbf{x}, t)dt$：这描述了系统的确定性演化趋势。就像河流中的水流，它推动着状态朝特定方向移动。漂移可以依赖于当前状态 $\mathbf{x}$ 和时间 $t$。

    +
    • +
  • +

    扩散项 $g(t)d\mathbf{w}$：这引入了随机性。$\mathbf{w}$ 是标准维纳过程（布朗运动），$g(t)$ 控制随机扰动的强度。这就像分子的热运动，使得确定性的轨迹变得模糊。

    +
    • +
  • +

    时间演化：$dt$ 表示无穷小的时间增量，使得整个过程在时间上连续演化。

    +
    • +
+

对于我们熟悉的DDPM/DDIM，其对应的SDE具有特别简洁的形式： +$$d\mathbf{x} = -\frac{1}{2}\beta(t)\mathbf{x}dt + \sqrt{\beta(t)}d\mathbf{w}$$ +这个方程揭示了DDPM的本质：

+
    +
  • 漂移项 $-\frac{1}{2}\beta(t)\mathbf{x}$ 将数据向原点拉拽，逐渐"褪色"
    • +
  • 扩散项 $\sqrt{\beta(t)}d\mathbf{w}$ 添加噪声，使图像变得模糊
    • +
  • 两者的平衡决定了扩散过程的特性
    • +
+

这种连续化带来了多个优势：

+
    +
  1. +

    理论分析：SDE理论提供了丰富的数学工具，如Fokker-Planck方程、Girsanov定理等，帮助我们深入理解扩散过程的性质。

    +
    2. +
  2. +

    算法设计：将采样问题转化为SDE求解问题，可以借鉴数值分析中成熟的ODE/SDE求解器。

    +
    3. +
  3. +

    统一视角：不同的扩散模型（DDPM、SMLD、sub-VP等）都可以用不同的漂移和扩散系数来表示，揭示了它们的内在联系。

    +
    4. +
+

更重要的是，这种连续视角改变了我们对扩散模型的理解。扩散不再是一系列离散的去噪步骤，而是一个连续的动力系统。这个系统在概率空间中定义了一条从数据分布到噪声分布的"河流"，而我们的任务是学会逆流而上。

+

8.2.2 反向时间SDE

+

如果前向扩散是一条从数据流向噪声的河流，那么生成过程就是逆流而上的旅程。但时间真的可以倒流吗？在随机过程的世界里，答案是肯定的，但需要付出代价——我们必须知道当前位置的概率景观。

+

Anderson(1982)的经典结果告诉我们，对于任何前向SDE，都存在一个对应的反向时间SDE： +$$d\mathbf{x} = [\mathbf{f}(\mathbf{x}, t) - g(t)^2\nabla_\mathbf{x} \log p_t(\mathbf{x})]dt + g(t)d\bar{\mathbf{w}}$$ +这个方程蕴含着深刻的物理直觉。让我们逐项分析：

+
    +
  1. +

    原始漂移项 $\mathbf{f}(\mathbf{x}, t)$：这是前向过程的"记忆"，但方向相反。如果前向过程将数据推向原点，反向过程就将其拉回。

    +
    2. +
  2. +

    分数校正项 $-g(t)^2\nabla_\mathbf{x} \log p_t(\mathbf{x})$：这是反向过程的核心创新。$\nabla_\mathbf{x} \log p_t(\mathbf{x})$ 被称为分数函数（score function），它指向概率密度增加最快的方向。这一项确保反向过程能够"爬坡"，从低概率区域（噪声）回到高概率区域（数据）。

    +
    3. +
  3. +

    反向布朗运动 $g(t)d\bar{\mathbf{w}}$：虽然符号相同，但这是反向时间的布朗运动。它保持了过程的随机性，但方向是"倒退"的。

    +
    4. +
+

这个公式的美妙之处在于它的普适性——无论前向过程多么复杂，只要我们知道分数函数，就能构造出精确的反向过程。这就是为什么训练扩散模型的核心是学习分数函数（或等价的噪声预测）。

+

但这里有一个关键挑战：分数函数 $\nabla_\mathbf{x} \log p_t(\mathbf{x})$ 通常是未知的。这正是神经网络发挥作用的地方——我们训练网络来近似这个函数，从而实现可控的反向过程。

+

8.2.3 概率流ODE：确定性的优雅

+

反向SDE虽然理论优美，但其随机性sometimes是一个负担。能否去除随机性，得到一个确定性的反向过程？答案是肯定的，这就是概率流ODE的由来。

+

通过巧妙的数学变换，我们可以构造一个确定性的ODE，它与原始SDE具有相同的边缘分布： +$$\frac{d\mathbf{x}}{dt} = \mathbf{f}(\mathbf{x}, t) - \frac{1}{2}g(t)^2\nabla_\mathbf{x} \log p_t(\mathbf{x})$$ +相比于反向SDE，这个ODE有两个关键变化：

+
    +
  1. 移除了随机项 $g(t)d\bar{\mathbf{w}}$
    2. +
  2. 分数项的系数从 $g(t)^2$ 变为 $\frac{1}{2}g(t)^2$
    3. +
+

这个看似微小的改变带来了革命性的影响。概率流ODE具有以下关键性质：

+
    +
  1. +

    可逆性：双向编码的能力 +由于ODE的确定性，我们可以在数据和噪声之间进行精确的双向转换。给定一张图像，我们可以将其"编码"为对应的噪声；给定噪声，我们可以"解码"出对应的图像。这种可逆性为图像编辑、插值等应用开启了新的可能。

    +
    2. +
  2. +

    确定性：可重复的生成 +给定相同的初始条件，ODE总是产生相同的轨迹。这意味着生成过程是完全可重复的，便于调试和分析。在需要精确控制的应用场景中，这一特性尤为重要。

    +
    3. +
  3. +

    保持分布：概率的守恒 +尽管轨迹是确定性的，ODE仍然保持了概率分布的正确演化。在任意时刻 $t$，如果我们从 $p_t(\mathbf{x})$ 采样并沿着ODE演化，得到的分布仍然是正确的。这保证了生成样本的质量。

    +
    4. +
+

这三个性质共同构成了概率流ODE的理论基础。更重要的是，DDIM可以被视为这个ODE的一阶离散化——这解释了为什么DDIM能够实现确定性采样！

+

概率流ODE还揭示了一个深刻的联系：扩散模型与神经常微分方程（Neural ODE）、正规化流（Normalizing Flow）等方法在本质上是相通的。它们都在学习数据空间中的向量场，只是参数化和训练方式不同。

+

8.2.4 数值求解器的选择

+

将扩散过程视为ODE后，采样问题就转化为数值求解问题。这打开了一个工具箱，里面装满了数值分析领域积累了几十年的智慧。选择合适的求解器就像选择合适的交通工具——不同的工具适用于不同的旅程。

+

理解ODE求解器的关键是认识到它们在精度和效率之间的权衡。让我们深入了解主要的求解器类型及其在扩散模型中的应用：

+
    +
  1. +

    Euler方法：简单但有效的第一步 +Euler方法是最简单的ODE求解器，它使用当前点的导数来估计下一个点： +$$\mathbf{x}_{t+\Delta t} = \mathbf{x}_t + \Delta t \cdot f(\mathbf{x}_t, t)$$ +在扩散模型的语境下，DDIM正是Euler方法的体现。虽然是一阶方法，但它的简单性带来了计算效率，在步数充足时表现良好。

    +
    2. +
  2. +

    Heun方法（改进的Euler）：预测与校正 +Heun方法通过预测-校正策略提高精度：

    +
    3. +
+
    +
  • 先用Euler方法预测一个中间值
    • +
  • 在中间值处计算导数
    • +
  • 使用两个导数的平均值进行更新
    • +
+

这种二阶方法对应于DPM-Solver-2，通过额外的网络评估换取更高的精度。

+
    +
  1. +

    Runge-Kutta方法：高阶精度的追求 +RK4是最著名的高阶方法，通过在区间内多点评估导数来达到四阶精度。虽然理论上更准确，但在扩散模型中，每次导数评估都需要调用神经网络，计算成本高昂。

    +
    2. +
  2. +

    线性多步方法：利用历史的智慧 +这类方法利用之前多个时间点的信息来预测未来： +$$\mathbf{x}_{t+1} = \sum_{i=0}^{k-1} \alpha_i \mathbf{x}_{t-i} + \Delta t \sum_{i=0}^{k-1} \beta_i f(\mathbf{x}_{t-i}, t-i)$$ +DPM-Solver-3就是这种思想的体现，通过"记忆"过去的轨迹来改进预测。

    +
    3. +
+

不同求解器的特性总结：

+

| 求解器 | 阶数 | 对应算法 | 网络调用次数 | 适用场景 |

+ + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +
求解器阶数对应算法网络调用次数适用场景
Euler1DDIM1/步步数充足时的首选
Heun2DPM-Solver-22/步中等步数的平衡选择
RK44-4/步理论研究，实践少用
线性多步可变DPM-Solver-31/步*极少步数时的优选
+

*注：线性多步方法在稳定后每步只需一次新的网络评估

+

💡 实践建议：智慧的选择

+

选择求解器时，考虑以下因素：

+
    +
  1. +

    步数预算： + - 步数充足(>50)：Euler方法(DDIM)通常足够，简单高效 + - 步数有限(10-50)：2阶或3阶求解器能显著提升质量 + - 极少步数(<10)：需要专门优化的高阶求解器

    +
    2. +
  2. +

    计算预算： + - 如果网络评估成本高（大模型），优先选择单步方法 + - 如果可以批处理，高阶方法的额外评估成本可以摊薄

    +
    3. +
  3. +

    质量要求： + - 对于预览或实时应用，低阶快速方法可能足够 + - 对于最终输出，值得投资更高阶的方法

    +
    4. +
  4. +

    稳定性考虑： + - 某些高阶方法在大步长时可能不稳定 + - 自适应步长方法可以自动平衡精度和稳定性

    +
    5. +
+

这种基于ODE求解器的视角不仅提供了现成的算法，更重要的是建立了一个原则性的框架来设计和分析新的采样方法。

+
+**练习 8.2：实现和比较ODE求解器** +

实现并比较不同的ODE求解器用于扩散模型采样。

+
    +
  1. +

    基础实现： + - 实现Euler方法（DDIM） + - 实现Heun方法（2阶） + - 实现RK4方法（4阶）

    +
    2. +
  2. +

    误差分析： + - 使用已知解析解的toy problem测试 + - 绘制全局误差vs步长的log-log图 + - 验证理论收敛阶

    +
    3. +
  3. +

    扩散模型应用： + - 在训练好的模型上比较不同求解器 + - 固定计算预算，比较生成质量 + - 分析每个求解器的最优步数

    +
    4. +
  4. +

    高级探索： + - 实现自适应步长控制 + - 研究刚性ODE求解器（implicit methods） + - 探索预测-校正方法

    +
    5. +
+
+

🌟 开放问题：最优ODE公式
+当前的概率流ODE是否是最优的？是否存在收敛更快的等价ODE？这涉及到动力系统理论和最优控制。

+

8.2.5 预测-校正框架：提升采样质量

+

在数值分析中，预测-校正方法是提高精度的经典技术。这个思想在扩散模型采样中也大放异彩。基本思路是：先用一个快速方法（如ODE）进行预测，然后用另一个方法（如SDE）进行校正。

+

预测-校正采样的工作流程：

+
    +
  1. +

    预测步（Predictor）：使用概率流ODE快速移动到下一个时间点 +$$\mathbf{x}_{t-\Delta t}^{pred} = \text{ODESolver}(\mathbf{x}_t, t, t-\Delta t)$$

    +
    2. +
  2. +

    校正步（Corrector）：在新位置使用Langevin动力学进行局部精炼 +$$\mathbf{x}_{t-\Delta t}^{corr} = \mathbf{x}_{t-\Delta t}^{pred} + \epsilon \nabla_\mathbf{x} \log p_{t-\Delta t}(\mathbf{x}_{t-\Delta t}^{pred}) + \sqrt{2\epsilon}\mathbf{z}$$ +这种方法的优势在于结合了两个世界的优点：

    +
    3. +
+
    +
  • ODE提供快速的全局移动
    • +
  • Langevin动力学提供局部的分布校正
    • +
+

校正步数的选择：

+
    +
  • 0步：纯ODE采样（如DDIM）
    • +
  • 1步：轻度校正，平衡速度和质量
    • +
  • 多步：接近真实分布，但计算成本增加
    • +
+

研究表明，即使是1步校正也能显著提升生成质量，特别是在步数较少的情况下。这就像在快速行驶后进行微调，确保准确到达目的地。

+

🔬 研究前沿：自适应预测-校正 +能否根据当前状态的"困难程度"自适应地选择校正步数？例如，在平滑区域使用纯ODE，在细节丰富的区域增加校正步。这需要设计有效的困难度度量和自适应策略。

+

8.3 DPM-Solver系列算法

+

8.3.1 动机：利用半线性结构

+

扩散ODE具有特殊的半线性结构： +$$\frac{d\mathbf{x}}{dt} = \alpha(t)\mathbf{x} + \sigma(t)\boldsymbol{\epsilon}_\theta(\mathbf{x}, t)$$ +其中线性部分 $\alpha(t)\mathbf{x}$ 有解析解，这启发了DPM-Solver的设计。

+

8.3.2 指数积分器

+

利用积分因子法，可以得到精确解： +$$\mathbf{x}_s = e^{\int_t^s \alpha(\tau)d\tau}\mathbf{x}_t + \int_t^s e^{\int_\tau^s \alpha(r)dr}\sigma(\tau)\boldsymbol{\epsilon}_\theta(\mathbf{x}_\tau, \tau)d\tau$$ +关键是如何近似积分中的 $\boldsymbol{\epsilon}_\theta(\mathbf{x}_\tau, \tau)$ 。

+

8.3.3 DPM-Solver的Taylor展开

+

DPM-Solver使用Taylor展开近似噪声预测： +$$\boldsymbol{\epsilon}_\theta(\mathbf{x}_\tau, \tau) = \sum_{n=0}^{k-1} \frac{(\tau - t)^n}{n!}\frac{d^n\boldsymbol{\epsilon}_\theta}{d\tau^n}\bigg|_{\tau=t} + O((\tau-t)^k)$$ +不同阶数的DPM-Solver：

+
    +
  • DPM-Solver-1：常数近似，等价于DDIM
    • +
  • DPM-Solver-2：线性近似，需要2次网络评估
    • +
  • DPM-Solver-3：二次近似，需要3次网络评估
    • +
+

8.3.4 DPM-Solver++的改进

+

DPM-Solver++引入了两个关键改进：

+
    +
  1. +

    数据预测参数化：预测 $\mathbf{x}_0$ 而非 $\boldsymbol{\epsilon}$ +$$\mathbf{x}_0 = \frac{\mathbf{x}_t - \sigma_t\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t)}{\alpha_t}$$

    +
    2. +
  2. +

    thresholding：动态裁剪防止数值不稳定 +$$\mathbf{x}_0 = \text{clip}(\mathbf{x}_0, -1, 1)$$ +算法实现细节：

    +
    3. +
+

DPM-Solver++的核心实现包含以下关键步骤：

+
    +
  1. +

    初始化阶段： + - 设置时间步序列，通常从高噪声状态（t=T）开始，逐步降低到无噪声状态（t=0） + - 准备存储历史预测值的缓冲区，用于高阶方法 + - 初始化噪声样本 x_T，通常从标准正态分布采样

    +
    2. +
  2. +

    迭代去噪过程： + 对于每个时间步，执行以下操作：

    +
    3. +
+

a) 噪声预测：使用神经网络 ε_θ(x_t, t) 预测当前状态的噪声成分

+

b) 数据预测：通过噪声预测反推原始数据

+
  - 计算信噪比相关系数：α_t 和 σ_t
+  - 应用数据预测公式：x_0 = (x_t - σ_t * ε_θ) / α_t
+
+ +

c) 数值稳定性处理：

+
  - 对预测的 x_0 进行阈值裁剪，防止数值爆炸
+  - 常见策略是将值限制在 [-1, 1] 或根据数据集的实际范围调整
+
+ +

d) 高阶更新：

+
  - 对于 k 阶方法，维护最近 k 个时间步的预测历史
+  - 使用多项式插值或Taylor展开计算高阶导数近似
+  - 应用指数积分器公式计算下一时间步的状态
+
+ +
    +
  1. +

    自适应改进： + - 监控每步的预测变化，动态调整步长 + - 在平滑区域使用大步长，在细节区域使用小步长 + - 可选的误差估计和步长控制机制

    +
    2. +
  2. +

    多尺度处理（可选）： + - 对于高分辨率生成，可以先在低分辨率快速去噪 + - 然后在高分辨率进行精细调整 + - 使用金字塔式的多尺度调度策略

    +
    3. +
+

DPM-Solver++通过这些改进，在保持计算效率的同时显著提升了生成质量，特别是在少步数（10-25步）的场景下表现优异。

+

🔬 研究方向：高阶求解器的稳定性
+高阶方法理论上更准确，但在实践中可能不稳定。如何设计既高阶又稳定的求解器？可以借鉴刚性ODE求解器的思想。

+

8.3.5 自适应步长策略

+

固定步长可能不是最优的。自适应策略根据局部误差调整步长： +$$h_{new} = h_{old} \cdot \left(\frac{\text{tolerance}}{\text{error}}\right)^{1/(p+1)}$$ +其中 $p$ 是求解器阶数。

+
+**练习 8.3：实现DPM-Solver** +
    +
  1. +

    基础实现： + - 实现DPM-Solver-1,2,3 + - 比较不同阶数的收敛速度 + - 分析计算成本vs质量

    +
    2. +
  2. +

    参数化研究： + - 比较噪声预测vs数据预测 + - 研究thresholding的影响 + - 探索不同的时间离散化

    +
    3. +
  3. +

    自适应步长： + - 实现误差估计器 + - 设计步长控制策略 + - 在不同数据集上测试

    +
    4. +
  4. +

    理论分析： + - 推导局部截断误差 + - 分析稳定性区域 + - 研究与SDE离散化的联系

    +
    5. +
+
+

8.4 蒸馏与一步生成

+

8.4.1 渐进式蒸馏

+

渐进式蒸馏(Progressive Distillation)逐步减少采样步数：

+
    +
  1. 训练教师模型（N步）
    2. +
  2. 训练学生模型（N/2步）匹配教师输出
    3. +
  3. 重复直到达到目标步数
    4. +
+

损失函数： +$$\mathcal{L} = \mathbb{E}_{t,\mathbf{x}_0,\boldsymbol{\epsilon}}\left[|f_\theta(\mathbf{x}_t, t) - \text{sg}[f_{\text{teacher}}(\mathbf{x}_t, t)]|^2\right]$$ +其中 sg 表示停止梯度。

+

8.4.2 一致性模型

+

一致性模型(Consistency Models)学习映射函数 $f_\theta$ ，使得同一轨迹上的所有点映射到相同的起点： +$$f_\theta(\mathbf{x}_t, t) = f_\theta(\mathbf{x}_s, s), \quad \forall s, t \in [0, T]$$ +自一致性损失： +$$\mathcal{L} = \mathbb{E}\left[|f_\theta(\mathbf{x}_t, t) - f_{\theta^-}(\mathbf{x}_s, s)|^2\right]$$ +其中 $\theta^-$ 是EMA参数。

+

💡 关键创新：一致性模型可以一步生成，也可以多步精炼，提供了灵活的质量-速度权衡。

+

8.4.3 对抗蒸馏

+

结合GAN的思想，使用判别器指导蒸馏： +$$\mathcal{L} = \mathcal{L}_{\text{distill}} + \lambda \mathcal{L}_{\text{adv}}$$

+

这可以进一步提升少步采样的质量。

+

🌟 未来方向：理论最优的蒸馏
+当前的蒸馏方法大多是启发式的。是否存在理论最优的蒸馏策略？这涉及到最优传输理论和信息论。

+

8.5 实践优化技巧

+

8.5.1 采样器选择指南

+

| 场景 | 推荐采样器 | 步数 | 说明 |

+ + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +
场景推荐采样器步数说明
高质量DDPM1000最高质量，最慢
平衡DPM-Solver++20-50质量好，速度快
实时一致性模型1-4最快，质量可接受
可控编辑DDIM50-100确定性，支持插值
+

8.5.2 噪声调度优化

+

1. 端到端优化：学习最优的 $\beta_t$ 或 $\bar{\alpha}_t$ +2. 截断采样：跳过信噪比极高的早期步骤 +3. 非均匀步长：在关键区域使用更密集的步长

+

8.5.3 混合策略

+

结合不同采样器的优势：

+
    +
  • 前期使用高阶求解器快速去噪
    • +
  • 后期使用DDPM精细调整
    • +
  • 关键步骤使用预测-校正
    • +
+

8.5.4 实现优化

+

在实际部署扩散模型时，除了算法层面的改进，实现层面的优化同样重要。这些优化技巧可以在不改变算法本质的情况下，显著提升推理效率和资源利用率。

+
    +
  1. 批处理优化
    2. +
+

批处理是提升GPU利用率的关键技术。扩散模型的采样过程中，有多个机会进行批处理：

+
    +
  • +

    并行去噪：对多个样本同时进行去噪，共享计算资源。需要注意的是，批次中的所有样本应该处于相同的时间步，以便共享网络权重。

    +
    • +
  • +

    多尺度批处理：在处理不同分辨率的图像时，可以将相同分辨率的图像组成批次，避免填充带来的计算浪费。

    +
    • +
  • +

    动态批处理：根据GPU内存使用情况动态调整批次大小，在内存允许的范围内最大化吞吐量。

    +
    • +
+
    +
  1. 内存优化策略
    2. +
+

扩散模型通常需要大量内存，特别是在高分辨率生成时。以下是常用的内存优化技术：

+
    +
  • +

    梯度检查点（Gradient Checkpointing）：虽然主要用于训练，但在某些需要梯度的采样技术（如引导采样）中也很有用。通过重计算而非存储中间激活值来节省内存。

    +
    • +
  • +

    混合精度推理：使用FP16或BF16代替FP32进行计算，可以将内存使用量减半，同时在现代GPU上还能加速计算。需要注意数值稳定性，特别是在累积小数值时。

    +
    • +
  • +

    激活值复用：在多步采样中，某些中间计算结果可以在步骤间复用，避免重复计算。

    +
    • +
  • +

    流式处理：对于超大分辨率图像，可以采用分块处理的方式，每次只在GPU上处理一部分，完成后再处理下一部分。

    +
    • +
+
    +
  1. 计算优化技巧
    2. +
+
    +
  • +

    算子融合：将多个小算子融合成一个大算子，减少内存访问次数。例如，将归一化、激活函数和线性变换融合在一起。

    +
    • +
  • +

    张量并行：对于大模型，可以将模型参数分割到多个GPU上，通过高效的通信实现并行计算。

    +
    • +
  • +

    自定义CUDA核：对于性能关键的操作，如注意力机制，可以编写自定义的CUDA核函数。PyTorch的torch.compile或TensorRT等工具可以自动进行这类优化。

    +
    • +
  • +

    预计算优化：某些与时间步相关的系数（如α_t、β_t）可以预先计算并存储，避免重复计算。

    +
    • +
+
    +
  1. 采样流程优化
    2. +
+
    +
  • +

    时间步调度缓存：预先计算并存储所有可能的时间步调度方案，避免运行时计算。

    +
    • +
  • +

    网络剪枝：识别并移除对最终结果影响较小的网络组件，如某些注意力头或通道。

    +
    • +
  • +

    知识蒸馏部署：使用蒸馏后的小模型进行部署，在保持质量的同时大幅减少计算量。

    +
    • +
+
    +
  1. 硬件相关优化
    2. +
+
    +
  • +

    GPU亲和性：确保数据传输和计算在同一GPU上进行，避免跨设备传输。

    +
    • +
  • +

    异步执行：利用CUDA流实现计算和数据传输的重叠，隐藏传输延迟。

    +
    • +
  • +

    多GPU负载均衡：在多GPU系统中，合理分配任务以充分利用所有计算资源。

    +
    • +
+
    +
  1. 框架级优化
    2. +
+

现代深度学习框架提供了许多自动优化工具：

+
    +
  • PyTorch优化：
    • +
  • 使用torch.jit.script或torch.jit.trace进行模型编译
    • +
  • 启用torch.backends.cudnn.benchmark自动选择最优算法
    • +
  • +

    使用torch.cuda.amp进行自动混合精度训练

    +
    • +
  • +

    ONNX导出：将模型导出为ONNX格式，利用TensorRT等推理引擎进行优化。

    +
    • +
  • +

    量化技术：使用INT8量化进一步减少内存使用和加速计算，但需要仔细处理量化误差。

    +
    • +
+

💡 最佳实践建议

+
    +
  1. +

    性能分析先行：使用PyTorch Profiler等工具识别性能瓶颈，有针对性地优化。

    +
    2. +
  2. +

    渐进式优化：从简单的优化开始（如批处理、混合精度），逐步尝试更复杂的技术。

    +
    3. +
  3. +

    质量监控：每项优化后都要验证生成质量，确保优化不会显著影响结果。

    +
    4. +
  4. +

    平台适配：针对部署平台（云端GPU、边缘设备、移动端）选择合适的优化策略。

    +
    5. +
+

这些实现优化技术相互配合，可以将扩散模型的推理速度提升数倍甚至数十倍，使其在实际应用中更加实用。选择哪些优化技术取决于具体的应用场景、硬件条件和质量要求。

+
+**综合练习：设计自适应采样器** +

设计一个根据图像内容自适应调整采样策略的算法。

+
    +
  1. +

    难度估计： + - 基于中间结果估计剩余去噪难度 + - 设计难度指标（如预测不确定性）

    +
    2. +
  2. +

    自适应策略： + - 简单区域：使用大步长或低阶方法 + - 复杂区域：使用小步长或高阶方法 + - 实现动态步长分配

    +
    3. +
  3. +

    多尺度处理： + - 低分辨率快速预览 + - 高分辨率精细生成 + - 设计多尺度调度策略

    +
    4. +
  4. +

    基准测试： + - 在不同数据集上评估 + - 与固定策略比较 + - 分析计算节省vs质量损失

    +
    5. +
+
+

本章深入探讨了扩散模型的各种采样加速技术，从DDIM的确定性采样到基于ODE的统一框架，再到最新的一致性模型。这些方法将采样速度提升了数十倍，使扩散模型的实际应用成为可能。下一章，我们将探讨如何通过条件机制控制生成过程。

+

← 返回目录 | 第8章 / 共14章 | 下一章 →

+
+ + +
+
+ + \ No newline at end of file diff --git a/html/chapter9.html b/html/chapter9.html new file mode 100644 index 0000000..470b68f --- /dev/null +++ b/html/chapter9.html @@ -0,0 +1,1083 @@ + + + + + + 第9章：条件生成与引导技术 + + + + + + + +
+ + +
+
+

← 返回目录 | 第9章 / 共14章 | 下一章 →

+

第9章：条件生成与引导技术

+

条件生成是扩散模型最重要的应用之一，它使我们能够控制生成过程，产生符合特定要求的样本。本章深入探讨各种条件生成技术，从基于分类器的引导到无分类器引导，再到最新的控制方法。您将学习如何在数学上理解这些引导机制，掌握在不同场景下选择和实现条件生成的技巧，并了解如何平衡生成质量与条件遵循度。通过本章的学习，您将能够构建强大的可控生成系统。

+

章节大纲

+

9.1 条件扩散模型的基础

+
    +
  • 条件分布的建模
    • +
  • 条件信息的注入方式
    • +
  • 架构设计考虑
    • +
  • 训练策略
    • +
+

9.2 分类器引导（Classifier Guidance）

+
    +
  • 理论推导与直觉
    • +
  • 梯度计算与实现
    • +
  • 引导强度的影响
    • +
  • 局限性分析
    • +
+

9.3 无分类器引导（Classifier-Free Guidance）

+
    +
  • 动机与核心思想
    • +
  • 条件与无条件模型的联合训练
    • +
  • 引导公式推导
    • +
  • 实践中的技巧
    • +
+

9.4 高级引导技术

+
    +
  • 多条件组合
    • +
  • 负向提示（Negative Prompting）
    • +
  • 动态引导强度
    • +
  • ControlNet与适配器方法
    • +
+

9.5 评估与优化

+
    +
  • 条件一致性度量
    • +
  • 多样性与质量权衡
    • +
  • 引导失效的诊断
    • +
  • 实际应用案例
    • +
+

9.1 条件扩散模型的基础

+

9.1.1 条件分布的数学框架

+

在条件扩散模型中，我们的目标是建模条件分布 $p(\mathbf{x}|\mathbf{c})$ ，其中 $\mathbf{x}$ 是数据（如图像）， $\mathbf{c}$ 是条件信息（如类别标签、文本描述等）。

+

条件扩散过程定义为：

+
    +
  • 前向过程： $q(\mathbf{x}_t|\mathbf{x}_{t-1}) = \mathcal{N}(\mathbf{x}_t; \sqrt{1-\beta_t}\mathbf{x}_{t-1}, \beta_t\mathbf{I})$ （与条件无关）
    • +
  • 反向过程： $p_\theta(\mathbf{x}_{t-1}|\mathbf{x}_t, \mathbf{c}) = \mathcal{N}(\mathbf{x}_{t-1}; \boldsymbol{\mu}_\theta(\mathbf{x}_t, t, \mathbf{c}), \sigma_t^2\mathbf{I})$
    • +
+

关键在于如何设计和训练条件去噪网络 $\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c})$ 。

+

9.1.2 条件信息的注入方式

+
    +
  1. 拼接（Concatenation）
    2. +
+

最直接的方式是将条件信息与输入拼接。对于图像条件，可以在通道维度上拼接 $[\mathbf{x}_t, \mathbf{c}_{image}]$ 。对于向量条件，先通过条件编码器得到嵌入 $\mathbf{c}_{embed}$ ，然后扩展到空间维度后拼接。这种方法简单有效，但会增加第一层的参数量。

+
    +
  1. 自适应归一化（Adaptive Normalization）
    2. +
+

通过条件信息调制归一化参数，包括AdaIN、AdaGN、AdaLN等变体。核心思想是：

+

$$\mathbf{h} = \gamma(\mathbf{c}) \odot \text{Normalize}(\mathbf{h}) + \beta(\mathbf{c})$$ +其中 $\gamma$ 和 $\beta$ 是通过MLP从条件嵌入预测得到的缩放和偏移参数。

+
    +
  1. 交叉注意力（Cross-Attention）
    2. +
+

特别适合序列条件（如文本）。查询（Query）来自图像特征，键（Key）和值（Value）来自文本编码： +$$\text{Attention}(\mathbf{Q}, \mathbf{K}, \mathbf{V}) = \text{softmax}\left(\frac{\mathbf{Q}\mathbf{K}^T}{\sqrt{d_k}}\right)\mathbf{V}$$ +其中 $\mathbf{Q} = \mathbf{h}_{image}W_Q$ ， $\mathbf{K} = \mathbf{h}_{text}W_K$ ， $\mathbf{V} = \mathbf{h}_{text}W_V$ 。

+
    +
  1. 特征调制（Feature-wise Modulation）
    2. +
+

FiLM（Feature-wise Linear Modulation）层通过条件信息缩放和偏移特征： +$$\mathbf{h}_{out} = \gamma(\mathbf{c}) \odot \mathbf{h}_{in} + \beta(\mathbf{c})$$ +这种方法参数效率高，且能有效控制特征的激活模式。

+

🔬 研究线索：最优注入位置
+应该在网络的哪些层注入条件信息？早期层vs后期层？所有层vs特定层？这可能依赖于条件类型和任务。

+

9.1.3 架构设计原则

+
    +
  1. 条件编码器设计
    2. +
+

不同类型的条件需要不同的编码器：

+
    +
  • 类别标签：通过嵌入层映射到高维空间，再经过MLP进一步处理
    • +
  • 文本：使用预训练语言模型（如CLIP文本编码器、T5编码器）提取语义特征
    • +
  • 图像：预训练视觉模型（如ResNet、ViT）或专门设计的卷积编码器
    • +
  • 音频：先转换为频谱图，然后使用专门的时频编码器
    • +
+
    +
  1. 多尺度条件注入
    2. +
+

在U-Net的不同分辨率层级注入条件信息，使得：

+
    +
  • 高分辨率层获得细节控制（如纹理、边缘）
    • +
  • 中分辨率层获得结构控制（如物体形状）
    • +
  • 低分辨率层获得语义控制（如整体布局）
    • +
+

每个下采样块和上采样块都接收条件信息： $\mathbf{h}_i = f_i(\mathbf{h}_{i-1}, t, \mathbf{c})$

+
    +
  1. 时间-条件交互
    2. +
+

时间步 $t$ 和条件信息 $\mathbf{c}$ 可能需要交互建模。一种常见方法是联合编码： +$$\mathbf{e}_{joint} = \text{MLP}(\mathbf{e}_t + \mathbf{e}_c)$$ +其中 $\mathbf{e}_t$ 是时间嵌入， $\mathbf{e}_c$ 是条件嵌入。这种交互允许模型根据去噪阶段调整条件的影响方式。

+

9.1.4 训练策略

+
    +
  1. 条件dropout
    2. +
+

随机丢弃条件信息，训练模型同时处理条件和无条件生成。在训练时，以概率 $p_{uncond}$ 将条件 $\mathbf{c}$ 替换为空条件 $\varnothing$ ： +$$\mathbf{c}_{train} = \begin{cases} +\mathbf{c} & \text{with probability } 1-p_{uncond} \ +\varnothing & \text{with probability } p_{uncond} +\end{cases}

+

$$ +然后正常计算去噪损失： +$$\mathcal{L} = \mathbb{E}_{t,\mathbf{x}_0,\boldsymbol{\epsilon}}\left[|\boldsymbol{\epsilon} - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c}_{train})|^2\right]$$ +这是无分类器引导的基础，使模型能够同时进行条件和无条件生成。

+
    +
  1. 条件增强
    2. +
+

对条件信息进行数据增强以提高泛化能力：

+
    +
  • 文本条件：同义词替换、句子改写、随机删除/添加修饰词
    • +
  • 图像条件：几何变换（旋转、缩放）、颜色扰动、随机裁剪
    • +
  • 类别条件：标签平滑、Mixup混合策略
    • +
+
    +
  1. 多任务学习
    2. +
+

同时训练多种条件类型，总损失为各任务损失的加权和： +$$\mathcal{L}_{total} = \mathcal{L}_{uncond} + \lambda_1\mathcal{L}_{class} + \lambda_2\mathcal{L}_{text} + \lambda_3\mathcal{L}_{image}$$ +其中 $\lambda_i$ 是各任务的权重系数。

+

💡 实践技巧：条件缩放
+不同条件的强度可能需要不同的缩放。使用可学习的缩放因子： $\mathbf{c}_{scaled} = s_c \cdot \mathbf{c}$ ，其中 $s_c$ 是可学习参数。

+
+**练习 9.1：实现多模态条件扩散模型** +

设计一个支持多种条件类型的扩散模型。

+
    +
  1. +

    基础架构： + - 实现支持类别、文本、图像条件的U-Net + - 设计灵活的条件注入机制 + - 处理条件缺失的情况

    +
    2. +
  2. +

    条件编码器： + - 类别：可学习嵌入 + - 文本：使用预训练CLIP + - 图像：轻量级CNN编码器

    +
    3. +
  3. +

    训练实验： + - 比较不同注入方式的效果 + - 研究条件dropout率的影响 + - 测试多条件组合

    +
    4. +
  4. +

    扩展研究： + - 设计条件强度的自适应调整 + - 实现条件插值 + - 探索新的条件类型（如草图、深度图）

    +
    5. +
+
+

9.1.5 条件一致性的理论保证

+

变分下界的条件版本： +$$\log p_\theta(\mathbf{x}_0|\mathbf{c}) \geq \mathbb{E}_q\left[\log p_\theta(\mathbf{x}_0|\mathbf{x}_1, \mathbf{c}) - \sum_{t=2}^T D_{KL}(q(\mathbf{x}_{t-1}|\mathbf{x}_t, \mathbf{x}_0) | p_\theta(\mathbf{x}_{t-1}|\mathbf{x}_t, \mathbf{c}))\right]$$ +这保证了模型学习的是真实的条件分布。

+

条件独立性假设：

+

在许多实现中，我们假设： +$$q(\mathbf{x}_t|\mathbf{x}_0, \mathbf{c}) = q(\mathbf{x}_t|\mathbf{x}_0)$$ +即前向过程与条件无关。这简化了训练但可能限制了模型能力。

+

🌟 开放问题：条件相关的前向过程
+是否可以设计依赖于条件的前向过程？例如，对不同类别使用不同的噪声调度？这可能提供更好的归纳偏置。

+

9.1.6 实现细节与优化

+

内存优化策略：

+
    +
  • 梯度检查点：对计算密集但内存占用大的条件块使用 torch.utils.checkpoint
    • +
  • 混合精度训练：条件编码器使用FP16，关键层保持FP32
    • +
  • 动态批处理：根据条件复杂度动态调整批大小
    • +
+

计算优化技巧：

+
    +
  • 条件编码缓存：对于离散条件（如类别），缓存编码结果
    • +
  • 批量编码：将相同类型的条件批量处理
    • +
  • 编码器共享：多个条件类型共享底层特征提取器
    • +
+

数值稳定性保障：

+
    +
  • 条件归一化： $\mathbf{c}_{encoded} = s \cdot \mathbf{c}_{encoded} / |\mathbf{c}_{encoded}|_2$
    • +
  • 残差缩放：条件注入时使用小的初始权重
    • +
  • 梯度裁剪：防止条件相关的梯度爆炸
    • +
+

9.2 分类器引导（Classifier Guidance）

+

9.2.1 理论推导

+

分类器引导的核心思想是使用外部分类器的梯度来引导扩散模型的采样过程。我们从贝叶斯规则开始： +$$\nabla_{\mathbf{x}_t} \log p(\mathbf{x}_t|\mathbf{c}) = \nabla_{\mathbf{x}_t} \log p(\mathbf{x}_t) + \nabla_{\mathbf{x}_t} \log p(\mathbf{c}|\mathbf{x}_t)$$ +第一项是无条件分数，第二项是分类器的梯度。这给出了条件采样的更新规则： +$$\tilde{\boldsymbol{\epsilon}}_\theta(\mathbf{x}_t, t, \mathbf{c}) = \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t) - \sqrt{1 - \bar{\alpha}_t} \nabla_{\mathbf{x}_t} \log p_\phi(\mathbf{c}|\mathbf{x}_t)$$ +其中 $p_\phi(\mathbf{c}|\mathbf{x}_t)$ 是在噪声数据上训练的分类器。

+

9.2.2 噪声条件分类器

+

关键挑战是训练一个能在所有噪声水平 $t$ 上工作的分类器。

+

训练目标： +$$\mathcal{L}_{classifier} = \mathbb{E}_{t \sim \mathcal{U}[1,T], \mathbf{x}_0 \sim p_{data}, \boldsymbol{\epsilon} \sim \mathcal{N}(0,\mathbf{I})} \left[-\log p_\phi(\mathbf{c}|\mathbf{x}_t, t)\right]$$ +其中 $\mathbf{x}_t = \sqrt{\bar{\alpha}_t}\mathbf{x}_0 + \sqrt{1-\bar{\alpha}_t}\boldsymbol{\epsilon}$ 是加噪后的样本。

+

分类器架构要求：

+
    +
  1. 时间条件：通过时间嵌入了解当前噪声水平，通常使用正弦编码
    2. +
  2. 鲁棒性：在高噪声下仍能提取有用特征，需要强大的特征提取能力
    3. +
  3. 梯度质量：提供平滑且有意义的梯度信号用于引导
    4. +
+

架构设计原则：

+
    +
  • 使用与扩散模型相似的骨干网络（如U-Net）
    • +
  • 在多个尺度提取特征以增强鲁棒性
    • +
  • 使用残差连接和归一化层稳定训练
    • +
+

9.2.3 引导强度与采样

+

引导强度 $s$ 控制条件的影响程度： +$$\tilde{\boldsymbol{\epsilon}}_\theta(\mathbf{x}_t, t, \mathbf{c}) = \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t) - s\sqrt{1 - \bar{\alpha}_t} \nabla_{\mathbf{x}_t} \log p_\phi(\mathbf{c}|\mathbf{x}_t)$$

+
    +
  • $s = 0$ ：无条件生成
    • +
  • $s = 1$ ：标准条件生成
    • +
  • $s > 1$ ：强化条件，可能降低多样性
    • +
  • $s < 0$ ：负向引导，远离条件
    • +
+

采样算法流程：

+
    +
  1. 从标准高斯分布采样初始噪声 $\mathbf{x}_T \sim \mathcal{N}(0, \mathbf{I})$
    2. +
  2. 对于每个时间步 $t = T, T-1, ..., 1$ ： + - 使用扩散模型预测无条件噪声： $\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t)$ + - 计算分类器对数概率的梯度： $\nabla_{\mathbf{x}_t} \log p_\phi(\mathbf{c}|\mathbf{x}_t)$ + - 组合得到引导后的噪声预测： $\tilde{\boldsymbol{\epsilon}} = \boldsymbol{\epsilon}_\theta - s\sqrt{1-\bar{\alpha}_t}\nabla_{\mathbf{x}_t} \log p_\phi(\mathbf{c}|\mathbf{x}_t)$ + - 执行去噪步骤得到 $\mathbf{x}_{t-1}$
    3. +
+

梯度计算细节：

+
    +
  • 需要对 $\mathbf{x}_t$ 启用梯度计算
    • +
  • 通过自动微分计算分类器输出相对于输入的梯度
    • +
  • 计算完成后关闭梯度计算以节省内存
    • +
+

9.2.4 梯度计算的实践考虑

+
    +
  1. 梯度缩放
    2. +
+

不同时间步的梯度量级差异很大，需要自适应缩放。根据噪声水平调整： +$$\nabla_{scaled} = \frac{1}{\sqrt{1-\bar{\alpha}_t}} \cdot \nabla_{\mathbf{x}_t} \log p_\phi(\mathbf{c}|\mathbf{x}_t)$$ +这种缩放补偿了不同噪声水平下的信号强度差异。

+
    +
  1. 梯度裁剪
    2. +
+

防止梯度爆炸，对梯度进行归一化： +$$\nabla_{clipped} = \frac{\nabla}{\max(1, |\nabla|_2 / \lambda)}$$ +其中 $\lambda$ 是梯度范数的阈值。

+
    +
  1. 多步梯度累积
    2. +
+

通过对带噪声扰动的输入计算多次梯度并平均，获得更稳定的梯度估计： +$$\nabla_{stable} = \frac{1}{N} \sum_{i=1}^N \nabla_{\mathbf{x}_t} \log p_\phi(\mathbf{c}|\mathbf{x}_t + \sigma\boldsymbol{\epsilon}_i)$$ +其中 $\boldsymbol{\epsilon}_i \sim \mathcal{N}(0, \mathbf{I})$ ， $\sigma$ 是小的噪声尺度。

+

💡 实践技巧：温度调节
+对分类器输出使用温度缩放可以控制引导的锐度： $p_\phi(\mathbf{c}|\mathbf{x}_t) \propto \exp(\text{logits}/\tau)$ ，其中 $\tau$ 是温度参数。

+

9.2.5 局限性分析

+
    +
  1. +

    需要额外的分类器 +- 增加训练成本 +- 分类器质量影响生成质量 +- 需要为每个条件类型训练分类器

    +
    2. +
  2. +

    梯度质量问题 +- 高噪声下梯度可能无意义 +- 对抗样本问题 +- 梯度消失/爆炸

    +
    3. +
  3. +

    模式崩溃风险 +- 过强的引导导致多样性丧失 +- 生成分布偏离真实分布 +- 难以平衡质量和多样性

    +
    4. +
  4. +

    计算开销 +- 每步需要额外的前向和反向传播 +- 内存占用增加 +- 采样速度显著降低

    +
    5. +
+
+**练习 9.2：分析分类器引导的行为** +

深入研究分类器引导在不同设置下的表现。

+
    +
  1. +

    引导强度实验： + - 在MNIST上训练扩散模型和分类器 + - 测试不同引导强度 s ∈ [0, 0.5, 1, 2, 5, 10] + - 绘制生成质量vs多样性曲线

    +
    2. +
  2. +

    梯度可视化： + - 可视化不同时间步的分类器梯度 + - 分析梯度方向的语义含义 + - 研究梯度范数的变化

    +
    3. +
  3. +

    失效模式分析： + - 识别分类器引导失败的案例 + - 分析过度引导的表现 + - 设计改进策略

    +
    4. +
  4. +

    理论拓展： + - 推导最优引导强度的理论 + - 研究引导对生成分布的影响 + - 探索自适应引导强度

    +
    5. +
+
+

9.2.6 改进与变体

+
    +
  1. 截断引导
    2. +
+

只在特定时间范围内应用引导，避免在噪声过大或过小时的不良影响： +$$\tilde{\boldsymbol{\epsilon}} = \begin{cases} +\boldsymbol{\epsilon}_\theta - s\sqrt{1-\bar{\alpha}_t}\nabla \log p_\phi(\mathbf{c}|\mathbf{x}_t) & \text{if } T_{start} < t < T_{end} \ +\boldsymbol{\epsilon}_\theta & \text{otherwise} +\end{cases}$$

+
    +
  1. 局部引导
    2. +
+

使用空间掩码 $\mathbf{M}$ 只对图像的特定区域应用引导： +$$\tilde{\boldsymbol{\epsilon}} = \boldsymbol{\epsilon}_\theta - s\sqrt{1-\bar{\alpha}_t}(\mathbf{M} \odot \nabla \log p_\phi(\mathbf{c}|\mathbf{x}_t))$$ +这允许精细的空间控制。

+
    +
  1. 多分类器集成
    2. +
+

组合多个分类器提供更稳健的引导： +$$\nabla \log p_{ensemble}(\mathbf{c}|\mathbf{x}_t) = \sum_{i=1}^K w_i \nabla \log p_{\phi_i}(\mathbf{c}|\mathbf{x}_t)$$ +其中 $w_i$ 是各分类器的权重。 +🔬 研究方向：隐式分类器
+能否从扩散模型本身提取分类器，避免训练额外模型？这涉及到对扩散模型内部表示的深入理解。

+

9.2.7 与其他方法的联系

+

分类器引导与其他生成模型技术有深刻联系：

+
    +
  1. +

    与GAN的判别器引导类似 +- 都使用外部模型提供梯度信号 +- 都面临训练不稳定的问题

    +
    2. +
  2. +

    与能量模型的关系 +- 分类器定义了能量景观 +- 引导相当于在能量景观上的梯度下降

    +
    3. +
  3. +

    与强化学习的奖励引导 +- 分类器概率类似奖励信号 +- 可以借鉴RL中的技术（如PPO）

    +
    4. +
+

🌟 未来展望：统一的引导框架
+是否存在一个统一的理论框架，涵盖所有类型的引导？这可能需要从最优控制或变分推断的角度重新思考。

+

9.3 无分类器引导（Classifier-Free Guidance）

+

9.3.1 动机与核心洞察

+

无分类器引导（CFG）解决了分类器引导的主要限制：不需要训练额外的分类器。核心思想是同时训练条件和无条件扩散模型，然后在采样时组合它们的预测。

+

基本原理基于： +$$\nabla_{\mathbf{x}_t} \log p(\mathbf{x}_t|\mathbf{c}) = \nabla_{\mathbf{x}_t} \log p(\mathbf{x}_t) + \nabla_{\mathbf{x}_t} \log p(\mathbf{c}|\mathbf{x}_t)$$ +CFG通过隐式估计 $\nabla_{\mathbf{x}_t} \log p(\mathbf{c}|\mathbf{x}_t)$ ： +$$\nabla_{\mathbf{x}_t} \log p(\mathbf{c}|\mathbf{x}_t) \approx \nabla_{\mathbf{x}_t} \log p(\mathbf{x}_t|\mathbf{c}) - \nabla_{\mathbf{x}_t} \log p(\mathbf{x}_t)$$

+

9.3.2 训练策略：条件Dropout

+

关键创新是在训练时随机丢弃条件。具体过程：

+
    +
  1. 对于每个训练样本，以概率 $p_{uncond}$ 将条件替换为空条件 $\varnothing$
    2. +
  2. 使用修改后的条件进行标准扩散模型训练
    3. +
  3. 损失函数保持不变： $\mathcal{L} = \mathbb{E}_{t,\mathbf{x}_0,\boldsymbol{\epsilon}}[|\boldsymbol{\epsilon} - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c}_{masked})|^2]$
    4. +
+

其中： +$$\mathbf{c}_{masked} = \begin{cases} +\mathbf{c} & \text{with probability } 1-p_{uncond} \ +\varnothing & \text{with probability } p_{uncond} +\end{cases}$$ +这使得单个模型能够同时学习条件分布 $p(\mathbf{x}|\mathbf{c})$ 和边缘分布 $p(\mathbf{x})$ 。

+

空条件的表示：

+
    +
  • 对于文本条件：使用空字符串或特殊的 [NULL] token
    • +
  • 对于类别条件：使用额外的"无条件"类别
    • +
  • 对于图像条件：使用零张量或学习的空嵌入
    • +
+

9.3.3 采样公式

+

CFG的采样公式： +$$\tilde{\boldsymbol{\epsilon}}_\theta(\mathbf{x}_t, t, \mathbf{c}) = (1 + w)\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c}) - w\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing)$$ +其中：

+
    +
  • $w$ ：引导权重（guidance weight）
    • +
  • $\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c})$ ：条件预测
    • +
  • $\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing)$ ：无条件预测
    • +
+

这可以重写为： +$$\tilde{\boldsymbol{\epsilon}}_\theta = \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing) + w[\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c}) - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing)]$$ +显示了从无条件预测出发，朝条件方向移动的解释。

+

9.3.4 实现细节

+

高效采样策略：

+

为了避免两次独立的模型前向传播，可以批量处理条件和无条件预测：

+
    +
  1. 将输入 $\mathbf{x}_t$ 复制一份： $[\mathbf{x}_t, \mathbf{x}_t]$
    2. +
  2. 准备条件批次： $[\mathbf{c}, \varnothing]$
    3. +
  3. 单次前向传播得到： $[\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c}), \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing)]$
    4. +
  4. 应用CFG公式组合预测
    5. +
+

内存优化：

+
    +
  • 对于大模型，可以顺序计算条件和无条件预测
    • +
  • 使用梯度检查点减少激活内存
    • +
  • 在低精度（FP16）下运行推理 +采样算法完整流程：
    • +
+
    +
  1. 初始化： $\mathbf{x}_T \sim \mathcal{N}(0, \mathbf{I})$
    2. +
  2. 对每个时间步 $t = T, T-1, ..., 1$ ： + - 计算条件和无条件预测 + - 应用CFG公式： $\tilde{\boldsymbol{\epsilon}} = \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing) + w[\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c}) - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing)]$ + - 执行采样步骤（DDPM或DDIM）
    3. +
+

9.3.5 引导权重的选择

+

不同的 $w$ 值产生不同效果：

+

| $w$ 值 | 效果 | 典型应用 |

+ + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +
$w$ 值效果典型应用
0无条件生成测试基线
1标准条件生成保守生成
3-5轻度引导平衡质量
7.5标准引导默认设置
10-20强引导高保真度
>20极端引导可能过饱和
+

动态引导调度：

+

可以使用时变的引导权重，例如线性插值： +$$w(t) = w_{start} \cdot (1 - t/T) + w_{end} \cdot (t/T)$$ +其中早期使用较强的引导（ $w_{start}$ 较大），后期逐渐减弱（ $w_{end}$ 较小），帮助模型在保持条件忠实度的同时提高细节质量。

+

💡 实践洞察：引导权重与条件类型
+不同条件类型需要不同的引导强度。文本条件通常需要 w=7.5，而类别条件可能只需要 w=3。

+

9.3.6 理论分析

+
    +
  1. 为什么CFG有效？
    2. +
+

CFG隐式地增强了条件的对数似然： +$$\log \tilde{p}(\mathbf{x}|\mathbf{c}) = \log p(\mathbf{x}|\mathbf{c}) + w\log p(\mathbf{c}|\mathbf{x})$$ +这相当于在采样时重新加权条件的重要性。

+
    +
  1. 与变分推断的联系
    2. +
+

CFG可以视为变分推断中的重要性加权：

+
    +
  • 提高高条件似然区域的采样概率
    • +
  • 减少低条件似然区域的采样概率
    • +
+
    +
  1. 几何解释
    2. +
+

在噪声预测空间中，CFG执行外推：

+
    +
  • 从无条件预测出发
    • +
  • 沿着指向条件预测的方向移动
    • +
  • 可能超越条件预测（当 $w > 1$ ）
    • +
+
+**练习 9.3：CFG的深入分析** +

探索CFG的各种特性和改进方法。

+
    +
  1. +

    引导权重调度： + - 实现线性、余弦、指数调度 + - 比较不同调度对生成质量的影响 + - 找出最优的调度策略

    +
    2. +
  2. +

    条件dropout率研究： + - 测试 p_uncond ∈ [0.05, 0.1, 0.2, 0.5] + - 分析对模型泛化的影响 + - 研究与引导权重的交互

    +
    3. +
  3. +

    多条件CFG： + - 实现支持多个条件的CFG + - 设计条件权重分配策略 + - 处理条件冲突

    +
    4. +
  4. +

    理论扩展： + - 推导CFG的最优引导权重 + - 分析CFG对生成分布的影响 + - 研究CFG与其他采样方法的组合

    +
    5. +
+
+

9.3.7 高级技巧

+
    +
  1. 负向提示（Negative Prompting）
    2. +
+

使用负条件来避免特定内容的生成。组合公式为： +$$\tilde{\boldsymbol{\epsilon}} = \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing) + w_{pos} [\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c}_{pos}) - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing)] - w_{neg} [\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c}_{neg}) - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing)]$$ +其中 $\mathbf{c}_{pos}$ 是期望的条件， $\mathbf{c}_{neg}$ 是要避免的条件， $w_{pos}$ 和 $w_{neg}$ 分别控制正向和负向引导的强度。

+
    +
  1. 多尺度引导
    2. +
+

在不同时间步使用不同的引导策略。例如：

+
    +
  • 早期阶段（ $t > 0.8T$ ）：使用强语义引导（ $w=10$ ），确保整体结构正确
    • +
  • 中期阶段（ $0.3T < t \leq 0.8T$ ）：使用平衡引导（ $w=7.5$ ）
    • +
  • 后期阶段（ $t \leq 0.3T$ ）：使用较弱引导（ $w=3$ ），保留细节多样性
    • +
+
    +
  1. 自适应CFG
    2. +
+

根据预测的不确定性调整引导强度。一种方法是基于条件和无条件预测的差异： +$$w_{adaptive} = w_{base} \cdot \exp(-\alpha \cdot ||\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c}) - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing)||)$$ +当预测差异较大时，说明模型对条件的理解存在不确定性，此时减小引导权重可以避免过度放大误差。

+

🔬 研究方向：理论最优的引导
+当前的线性组合是否是最优的？是否存在非线性的组合方式能产生更好的结果？这需要从信息论角度深入分析。

+

9.3.8 CFG的优势与局限

+

优势：

+
    +
  1. 简洁性：不需要额外模型
    2. +
  2. 灵活性：易于调整引导强度
    3. +
  3. 通用性：适用于任何条件类型
    4. +
  4. 效果好：实践中表现优异
    5. +
+

局限：

+
    +
  1. 计算开销：需要两次前向传播
    2. +
  2. 训练要求：需要条件dropout
    3. +
  3. 分布偏移：强引导可能导致分布偏离
    4. +
  4. 模式丢失：可能降低多样性
    5. +
+

9.3.9 与其他方法的比较

+

| 方法 | 额外模型 | 计算成本 | 灵活性 | 效果 |

+ + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +
方法额外模型计算成本灵活性效果
分类器引导需要高（梯度）中好
CFG不需要中（2x前向）高很好
原始条件不需要低低一般
+

🌟 未来趋势：统一引导理论
+CFG的成功启发了许多后续工作。未来可能出现统一的引导理论，涵盖所有条件生成方法，并提供最优引导策略的理论保证。

+

9.4 高级引导技术

+

9.4.1 多条件组合

+

现实应用中常需要同时满足多个条件。多条件组合的关键是如何平衡不同条件的影响。

+
    +
  1. 线性组合
    2. +
+

最简单的方法是对多个条件进行线性加权： +$$\tilde{\boldsymbol{\epsilon}} = \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing) + \sum_{i=1}^{n} w_i [\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c}_i) - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing)]$$ +其中 $\mathbf{c}_i$ 是第 $i$ 个条件， $w_i$ 是对应的权重。权重需要满足 $\sum_i w_i = 1$ 以保持引导的整体强度。

+
    +
  1. 层次化条件
    2. +
+

不同条件在不同尺度起作用。层次化条件策略可以将条件分为：

+
    +
  • 全局条件：影响整体结构和布局
    • +
  • 局部条件：影响细节和纹理
    • +
+

在早期阶段（ $t > 0.5T$ ）应用全局条件，后期阶段（ $t \leq 0.5T$ ）应用局部条件。这种方法可以确保先建立正确的整体结构，再添加细节。

+
    +
  1. 条件图结构
    2. +
+

使用图结构定义条件之间的依赖关系。每个条件节点可以有父节点，其影响传播遵循拓扑排序。这样可以实现复杂的条件依赖，如：“如果有人物，则添加背景”或“风格受主题影响”等。

+

9.4.2 负向提示技术

+

负向提示（Negative Prompting）是避免特定内容的强大工具。

+
    +
  1. 基础负向提示
    2. +
+

组合正向和负向条件的公式： +$$\tilde{\boldsymbol{\epsilon}} = \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing) + w_{pos}[\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c}_{pos}) - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing)] - w_{neg}[\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c}_{neg}) - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing)]$$ +这个公式使得生成朝着正向条件移动，同时远离负向条件。

+
    +
  1. 多负向提示
    2. +
+

当需要避免多个不希望的属性时，可以使用多负向提示： +$$\tilde{\boldsymbol{\epsilon}} = \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing) + w_{pos}[\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c}_{pos}) - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing)] - \sum_{i=1}^{n} w_{neg,i}[\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c}_{neg,i}) - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \varnothing)]$$ +每个负向条件可以有不同的权重 $w_{neg,i}$ 。

+
    +
  1. 自适应负向强度
    2. +
+

根据正负向条件的相似度调整负向强度： +$$w_{neg} = w_{neg,base} \cdot (1 + \alpha \cdot \text{sim}(\mathbf{c}_{pos}, \mathbf{c}_{neg}))$$ +其中 $\text{sim}(\cdot,\cdot)$ 是余弦相似度。当正负向条件相似度高时（如“高质量”与“低质量”），增强负向强度更有必要。

+

💡 实践技巧：负向提示的艺术
+好的负向提示应该具体但不过于限制。例如，"低质量"比"模糊"更通用，"过度饱和"比"太亮"更精确。

+

9.4.3 动态引导强度

+

固定的引导强度可能不是最优的。动态调整可以获得更好的结果。

+
    +
  1. 时间相关的引导
    2. +
+

使用余弦调度的引导权重： +$$w(t) = w_{min} + (w_{max} - w_{min}) \cdot \frac{1 + \cos(\pi \cdot t/T)}{2}$$ +这种调度在初期和末期使用较弱的引导，中期使用较强的引导，形成平滑的过渡。

+
    +
  1. 内容相关的引导
    2. +
+

基于当前生成内容与条件的对齐度调整引导强度。可以提取中间特征并计算与条件的对齐分数： +$$w = \begin{cases} +w_{strong} & \text{if } \text{alignment}(\mathbf{x}_t, \mathbf{c}) < \tau \ +w_{normal} & \text{otherwise} +\end{cases}$$ +其中 $\tau$ 是对齐阈值。

+
    +
  1. 不确定性相关的引导
    2. +
+

通过多次采样估计模型预测的不确定性，并据此调整引导强度。当不确定性高时，减小引导强度以避免放大误差。 + for _ in range(n_samples): + noise = model(x_t + small_noise(), t, c) + predictions.append(noise)

+
# 高不确定性时增强引导
+uncertainty = torch.stack(predictions).std(0).mean()
+w = w_base * (1 + beta * uncertainty)
+return w
+
+ +

```

+

9.4.4 ControlNet与适配器方法

+

ControlNet提供了精确的空间控制，通过额外的条件输入（如边缘图、深度图）引导生成。

+
    +
  1. ControlNet基础架构
    2. +
+

ControlNet通过复制基础模型的编码器结构，并使用零初始化的投影层将控制信号注入到基础模型中。关键设计点：

+
    +
  • 控制编码器：复制基础模型的编码器权重
    • +
  • 零卷积：使用零初始化的卷积层确保训练初期不影响基础模型
    • +
  • 特征注入：在多个层级将控制特征添加到基础特征中
    • +
+
    +
  1. 多控制组合
    2. +
+

同时使用多个控制信号（如深度图、边缘图、姿态图）时，可以通过加权组合各个控制网络的输出： +$$\tilde{\boldsymbol{\epsilon}} = \boldsymbol{\epsilon}_{text} + \sum_{i} w_i \cdot \boldsymbol{\epsilon}_{control_i}$$ +其中 $\boldsymbol{\epsilon}_{text}$ 是文本引导的预测， $\boldsymbol{\epsilon}_{control_i}$ 是第 $i$ 个控制网络的输出， $w_i$ 是对应的权重。

+
    +
  1. 适配器方法
    2. +
+

适配器（Adapter）是一种轻量级的条件注入方法，使用下投影-激活-上投影的结构： +$$\mathbf{h} = \mathbf{x} + \text{UP}(\text{GELU}(\text{DOWN}(\mathbf{c})))$$ +其中：

+
    +
  • $\text{DOWN}$ ：降维投影， $\mathbb{R}^{d} \to \mathbb{R}^{d'}$ ， $d' < d$
    • +
  • $\text{UP}$ ：升维投影， $\mathbb{R}^{d'} \to \mathbb{R}^{d}$ ，零初始化
    • +
  • $\text{GELU}$ ：非线性激活函数
    • +
+

这种设计保持了参数效率，同时通过零初始化确保训练稳定性。

+
+**练习 9.4：设计复杂的引导系统** +

构建一个支持多种高级引导技术的系统。

+
    +
  1. +

    组合引导器： + - 实现支持文本、图像、布局的多模态引导 + - 设计条件优先级系统 + - 处理条件冲突

    +
    2. +
  2. +

    动态调度器： + - 实现基于生成进度的引导调度 + - 根据生成质量自适应调整 + - 设计早停机制

    +
    3. +
  3. +

    控制网络集成： + - 实现简化版ControlNet + - 支持边缘、深度、分割图控制 + - 设计控制强度的自动调整

    +
    4. +
  4. +

    评估系统： + - 设计条件一致性度量 + - 实现多样性评估 + - 构建自动化测试框架

    +
    5. +
+
+

9.4.5 引导技术的组合策略

+
    +
  1. 级联引导
    2. +
+

级联引导通过逐步应用不同的条件来细化生成结果。每个阶段应用一个条件，并可选择地在阶段之间执行部分去噪： +$$\mathbf{x}^{(i+1)} = \text{ApplyGuidance}(\mathbf{x}^{(i)}, t, \mathbf{c}_i, w_i)$$ +这种方法特别适合处理层次化的条件，如先应用全局布局条件，再应用局部细节条件。

+
    +
  1. 注意力引导的引导
    2. +
+

使用模型内部的注意力图来调制引导强度。在注意力集中的区域使用更强的引导，在其他区域保持较弱的引导，以保护细节和多样性。

+

实现步骤：

+
    +
  1. 首先计算无条件噪声预测，使用空条件token
    2. +
  2. 提取模型的交叉注意力图，这些图显示了模型对条件的关注程度
    3. +
  3. 基于注意力图计算空间变化的引导权重，高注意力区域获得更高权重
    4. +
  4. 将条件和无条件预测按空间权重进行加权组合
    5. +
+

这种方法的优势在于能够自适应地调整不同区域的引导强度，既保证了条件相关区域的准确生成，又保护了背景区域的自然多样性。

+
    +
  1. 元引导
    2. +
+

元引导是一种高级技术，使用学习的模型来预测最优引导策略：

+
    +
  • 引导预测器：一个神经网络，根据当前状态预测最佳引导参数
    • +
  • 上下文意识：根据不同的生成上下文调整引导策略
    • +
  • 动态适应：在生成过程中实时调整引导参数
    • +
+

元引导器的训练需要大量的（状态，最优引导参数）对。可以通过网格搜索或贝叶斯优化在验证集上找到最优参数，然后训练一个回归模型来预测这些参数。输入特征包括：

+
    +
  • 当前时间步 $t$
    • +
  • 条件嵌入的统计量（均值、方差）
    • +
  • 当前噪声预测的不确定性
    • +
  • 历史引导效果的反馈
    • +
+

这种方法的优势是能够自动适应不同的生成场景，无需手动调参。

+

🔬 研究前沿：可学习的引导
+能否训练一个网络来学习最优的引导策略？这可能需要元学习或强化学习方法。

+

9.4.6 实际应用中的权衡

+

质量 vs 多样性：

+
    +
  • 强引导提高质量但降低多样性
    • +
  • 需要根据应用场景平衡
    • +
+

计算成本：

+
    +
  • 多条件组合增加推理时间
    • +
  • ControlNet需要额外内存
    • +
  • 需要考虑部署限制
    • +
+

用户体验：

+
    +
  • 过多的控制选项可能困扰用户
    • +
  • 需要合理的默认值
    • +
  • 提供预设模板
    • +
+

🌟 最佳实践：渐进式复杂度
+为用户提供分层的控制：基础用户使用简单文本，高级用户可以访问所有控制选项。

+

9.5 评估与优化

+

9.5.1 条件一致性度量

+

评估生成内容与条件的匹配程度是关键挑战。

+
    +
  1. 分类准确率
    2. +
+

对于类别条件，可以使用预训练的分类器评估生成图像的类别一致性： +$$\text{Accuracy} = \frac{1}{N} \sum_{i=1}^{N} \mathbb{1}[\arg\max_j p(y_j|\mathbf{x}_i) = c_i]$$ +其中 $p(y_j|\mathbf{x}_i)$ 是分类器对生成图像 $\mathbf{x}_i$ 的预测概率， $c_i$ 是目标类别。

+
    +
  1. CLIP Score
    2. +
+

对于文本条件，使用CLIP模型计算图像-文本的对齐度： +$$\text{CLIP Score} = \mathbb{E}[\cos(\mathbf{f}_I(\mathbf{x}), \mathbf{f}_T(\mathbf{c}))]$$ +其中 $\mathbf{f}_I$ 和 $\mathbf{f}_T$ 分别是CLIP的图像和文本编码器， $\cos(\cdot,\cdot)$ 是余弦相似度。更高的CLIP分数表示更好的图像-文本对齐。

+
    +
  1. 结构相似度
    2. +
+

对于空间控制（如ControlNet），可以使用结构相似性指标（SSIM）或边缘检测来评估： +$$\text{SSIM} = \frac{(2\mu_x\mu_y + c_1)(2\sigma_{xy} + c_2)}{(\mu_x^2 + \mu_y^2 + c_1)(\sigma_x^2 + \sigma_y^2 + c_2)}$$ +其中 $\mu$ 是均值， $\sigma$ 是标准差， $\sigma_{xy}$ 是协方差， $c_1, c_2$ 是稳定常数。

+
    +
  1. 语义一致性
    2. +
+

使用预训练模型评估语义对齐。通过提取图像和条件的语义特征，计算它们之间的距离： +$$\text{Semantic Consistency} = \frac{1}{1 + d(\mathbf{s}_I, \mathbf{s}_C)}$$ +其中 $\mathbf{s}_I$ 是图像的语义特征， $\mathbf{s}_C$ 是条件的语义特征， $d(\cdot,\cdot)$ 是距离度量（如L2距离）。

+

9.5.2 多样性与质量权衡

+
    +
  1. 多样性度量
    2. +
+

评估生成样本的多样性可以使用多种指标：

+
    +
  • 特征空间多样性：计算生成样本在特征空间中的方差
    • +
  • 成对距离：计算所有样本对之间的平均距离
    • +
  • 覆盖度：评估生成分布对参考分布的覆盖程度
    • +
+
    +
  1. 质量-多样性前沿
    2. +
+

通过测试不同的引导权重，可以绘制质量-多样性的权衡曲线。通常：

+
    +
  • 低引导权重：高多样性、低质量
    • +
  • 高引导权重：低多样性、高质量
    • +
  • 最佳点：在两者之间找到平衡
    • +
+
    +
  1. 自动权衡选择
    2. +
+

可以基于历史数据拟合质量和多样性与引导权重的关系，然后根据目标质量和多样性自动选择最佳引导权重： +$$w^* = \arg\min_w |Q(w) - Q_{target}| + |D(w) - D_{target}|$$

+

其中 $Q(w)$ 和 $D(w)$ 分别是质量和多样性关于引导权重的函数。

+

9.5.3 引导失效的诊断

+
    +
  1. 常见失效模式
    2. +
+

条件引导可能出现的失效模式包括：

+
    +
  • 过度引导：生成结果过于饫和或失真
    • +
  • 引导不足：条件与生成内容不匹配
    • +
  • 模式崩塌：所有生成结果趋同
    • +
  • 语义漂移：生成过程中偏离原始条件
    • +
+

可以设计一个诊断系统来自动检测这些失效模式。

+
    +
  1. 过度引导检测
    2. +
+

检测过度引导的指标包括：

+
    +
  • 饱和度异常：检查图像的颜色饱和度是否过高
    • +
  • 多样性下降：评估多个生成样本之间的差异是否过小
    • +
  • 细节丢失：检查高频信息是否被过度平滑
    • +
+
    +
  1. 语义漂移检测
    2. +
+

语义漂移是指生成过程中逐渐偏离原始条件语义的现象。检测方法包括：

+

轨迹分析：

+
    +
  • 在每个时间步 $t$ 提取中间状态 $\mathbf{x}_t$ 的语义特征
    • +
  • 使用预训练的CLIP或其他语义编码器计算特征 $\mathbf{f}_t = \text{Encoder}(\mathbf{x}_t)$
    • +
  • 计算与目标条件的语义距离： $d_t = ||\mathbf{f}_t - \mathbf{f}_{target}||_2$
    • +
  • 如果 $d_t$ 随时间增加而不是减少，则检测到语义漂移
    • +
+

一致性评分：

+
    +
  • 定义语义一致性分数： $S_t = \cos(\mathbf{f}_t, \mathbf{f}_{target})$
    • +
  • 计算一致性分数的变化率： $\Delta S = S_t - S_{t-1}$
    • +
  • 如果连续多个步骤 $\Delta S < 0$ ，表明存在语义漂移
    • +
+

早期干预策略：

+
    +
  • 当检测到漂移时，可以增强引导强度： $w_{corrected} = w \cdot (1 + \alpha \cdot (1 - S_t))$
    • +
  • 或者回退到之前的状态并使用不同的采样策略
    • +
  • 在严重漂移时，可以重新初始化部分区域
    • +
+

💡 调试技巧：可视化中间结果
+保存并可视化不同时间步的中间结果，可以帮助识别引导在哪个阶段失效。

+

9.5.4 实际应用案例

+
    +
  1. 文本到图像生成
    2. +
+

完整的文本到图像生成管道包含以下关键步骤：

+

文本编码阶段：

+
    +
  • 使用预训练的文本编码器（如CLIP文本编码器或T5）将输入文本转换为嵌入向量
    • +
  • 对于长文本，可能需要分词、截断或使用滑动窗口策略
    • +
  • 文本嵌入通常经过额外的投影层以匹配扩散模型的维度
    • +
+

条件注入策略：

+
    +
  • 在U-Net的多个层级通过交叉注意力机制注入文本条件
    • +
  • 时间嵌入与文本嵌入可以联合处理： $\mathbf{e}_{combined} = \text{MLP}([\mathbf{e}_{time}, \mathbf{e}_{text}])$
    • +
  • 使用层归一化和dropout防止过拟合
    • +
+

采样过程优化：

+
    +
  • 典型使用CFG权重 $w=7.5$ 作为默认值
    • +
  • 可以使用动态CFG调度，早期阶段使用较高权重确保语义一致
    • +
  • DDIM采样器通常用于加速，50步即可获得高质量结果
    • +
+

质量增强技术：

+
    +
  • 负向提示用于避免常见的质量问题（如"模糊"、"低质量"）
    • +
  • 可以使用多阶段生成：先生成低分辨率，再使用超分辨率模型
    • +
  • 后处理步骤如色彩校正、锐化可以进一步提升视觉质量
    • +
+
    +
  1. 图像编辑
    2. +
+

图像编辑管道的关键组件：

+
    +
  • 控制信号提取：从原始图像中提取结构信息（如边缘、深度）
    • +
  • 编辑指令编码：将文本编辑指令转换为条件向量
    • +
  • 局部/全局编辑：根据是否有掩码选择编辑模式
    • +
  • 条件生成：结合ControlNet保持结构一致性
    • +
+
    +
  1. 多模态生成
    2. +
+

多模态生成系统的核心要素：

+
    +
  • 模态编码器：每个模态（文本、音频、草图等）需要专门的编码器
    • +
  • 跨模态融合：将不同模态的条件融合成统一表示
    • +
  • 权重分配：不同模态可能需要不同的影响权重
    • +
  • 一致性保持：确保多个模态条件不会产生冲突
    • +
+
+**综合练习：构建生产级条件生成系统** +

设计并实现一个完整的条件生成系统。

+
    +
  1. +

    系统架构： + - 模块化设计，支持插件式扩展 + - 统一的API接口 + - 错误处理和恢复机制

    +
    2. +
  2. +

    功能实现： + - 支持多种条件类型 + - 自动参数优化 + - 批处理和流式处理

    +
    3. +
  3. +

    性能优化： + - 模型量化和剪枝 + - 缓存机制 + - 并行化策略

    +
    4. +
  4. +

    监控与评估： + - 实时质量监控 + - A/B测试框架 + - 用户反馈集成

    +
    5. +
  5. +

    部署考虑： + - 容器化部署 + - 负载均衡 + - 版本管理

    +
    6. +
+
+

9.5.5 优化策略总结

+

训练阶段优化：

+
    +
  1. 合理的条件dropout率（通常0.1）
    2. +
  2. 多任务学习平衡
    3. +
  3. 数据增强策略
    4. +
  4. 课程学习（从简单到复杂）
    5. +
+

推理阶段优化：

+
    +
  1. 引导权重的自适应调整
    2. +
  2. 提前停止策略
    3. +
  3. 批处理优化
    4. +
  4. 结果缓存
    5. +
+

系统级优化：

+
    +
  1. 模型蒸馏
    2. +
  2. 量化感知训练
    3. +
  3. 硬件加速（GPU/TPU优化）
    4. +
  4. 分布式推理
    5. +
+

9.5.6 未来发展方向

+
    +
  1. +

    自适应引导 +- 基于内容的动态调整 +- 学习型引导策略 +- 用户偏好建模

    +
    2. +
  2. +

    统一框架 +- 多种引导方法的统一理论 +- 可组合的引导模块 +- 标准化评估体系

    +
    3. +
  3. +

    效率提升 +- 一次前向传播的引导 +- 轻量级引导网络 +- 边缘设备部署

    +
    4. +
+

🌟 展望：智能引导系统
+未来的条件生成系统将更加智能，能够理解用户意图，自动选择最优引导策略，并在生成过程中动态调整，实现真正的"所想即所得"。

+

本章小结

+

本章深入探讨了扩散模型的条件生成与引导技术，从基础的条件信息注入到高级的ControlNet方法。我们学习了：

+
    +
  • 条件扩散模型的基础：各种条件注入方式和架构设计
    • +
  • 分类器引导：使用外部分类器梯度的经典方法
    • +
  • 无分类器引导：简洁高效的CFG技术
    • +
  • 高级引导技术：多条件组合、负向提示、动态引导等
    • +
  • 评估与优化：全面的评估体系和优化策略
    • +
+

这些技术使扩散模型从随机生成工具转变为精确可控的创作系统。下一章，我们将探讨潜在扩散模型，学习如何在压缩的潜在空间中高效地进行扩散建模。

+

← 返回目录 | 第9章 / 共14章 | 下一章 →

+
+ + +
+
+ + \ No newline at end of file diff --git a/html/index.html b/html/index.html new file mode 100644 index 0000000..b6289e6 --- /dev/null +++ b/html/index.html @@ -0,0 +1,124 @@ + + + + + + 扩散模型教程 + + + + + + + +
+ + +
+
+

扩散模型教程

+

Diffusion Models: From Theory to Practice

+

欢迎来到扩散模型教程！本教程将带你从基础理论逐步深入到实际应用，帮助你全面理解和掌握扩散模型这一强大的生成模型技术。

+

每个章节包含：

+
    +
  • 理论基础与数学推导
    • +
  • 可视化演示和交互式示例
    • +
  • 编程练习与实践项目
    • +
  • 习题与参考答案（默认折叠）
    • +
+

前置知识要求

+

本教程假设读者已具备以下基础知识：

+
    +
  • 概率论与统计：随机变量、概率分布、期望、方差、贝叶斯定理
    • +
  • 线性代数：矩阵运算、特征值分解、向量空间
    • +
  • 微积分：多元微积分、偏导数、链式法则、泰勒展开
    • +
  • 深度学习基础：神经网络、反向传播、卷积网络、Transformer
    • +
  • PyTorch 编程：张量操作、自动微分、模型训练流程
    • +
+

如果对某些概念不熟悉，建议先补充相关知识再开始学习。附录部分提供了部分高级数学概念的速成指南。

+

课程章节

+

第1章：扩散模型导论

+

已完成

+

介绍扩散模型的基本概念、历史发展、与其他生成模型的比较，以及前向扩散过程的数学基础。

+

第2章：神经网络架构：U-Net与ViT

+

已完成

+

探索去噪网络的历史发展，从医学图像分割到生成模型，深入理解U-Net架构演进和Vision Transformer的崛起。

+

第3章：去噪扩散概率模型 (DDPM)

+

已完成

+

深入理解DDPM的核心原理，包括前向过程、反向过程、变分下界推导、训练算法和完整实现。

+

第4章：基于分数的生成模型

+

已完成

+

探索score matching和Langevin dynamics，理解扩散模型与分数函数的深层联系。

+

第5章：连续时间扩散模型 (PDE/SDE)

+

已完成

+

从随机微分方程(SDE)和偏微分方程(PDE)角度理解扩散模型，包括概率流ODE、Fokker-Planck方程等连续时间框架。

+

第6章：流匹配 (Flow Matching)

+

已完成

+

连续正则化流、最优传输视角、与扩散模型的联系。

+

第7章：扩散Transformer (DiT)

+

已完成

+

Diffusion Transformer架构、与U-Net的对比、可扩展性分析。

+

第8章：采样算法与加速技术

+

已完成

+

学习DDIM、DPM-Solver等快速采样方法，以及如何优化生成质量与速度的平衡。

+

第9章：条件生成与引导技术

+

已完成

+

掌握classifier guidance、classifier-free guidance等条件生成技术，实现可控生成。

+

第10章：潜在扩散模型 (LDM)

+

已完成

+

理解Stable Diffusion的架构，学习如何在潜在空间中进行高效的扩散建模。

+

第11章：视频扩散模型

+

已完成

+

时序建模、3D U-Net、视频生成的挑战与方法。

+

第12章：文本扩散模型

+

已完成

+

探索离散域上的扩散模型，包括D3PM、Diffusion-LM等文本生成方法，以及embedding空间的扩散技术。

+

第13章：扩散模型的应用

+

已完成

+

探索图像生成、图像编辑、超分辨率、3D生成等实际应用场景。

+

第14章：前沿研究与未来方向

+

已完成

+

了解最新研究进展，包括一致性模型、扩散模型的未来发展趋势。

+

附录

+

附录A：测度论与随机过程速成

+

已完成

+

为第5章PDE/SDE内容提供数学基础，包括σ-代数、测度、布朗运动等核心概念。

+

附录B：倒向随机微分方程 (BSDE) 速成

+

已完成

+

理解扩散模型反向过程的数学工具，包括BSDE基本理论、Feynman-Kac公式等。

+

附录C：信息几何与分数函数的力学解释

+

已完成

+

从信息几何角度理解扩散模型，揭示分数函数作为"力"的物理意义，建立与能量优化的联系。

+
+ + +
+
+ + \ No newline at end of file From f686e38c8d1334dc40468d3f6d77176a704b4f7d Mon Sep 17 00:00:00 2001 From: "zsc@air" Date: Sat, 9 Aug 2025 14:28:04 +0800 Subject: [PATCH 61/62] asis --- chapter10.md | 7 +- html/CLAUDE.html | 167 ++- html/PROJECT_STATUS.html | 167 ++- html/README.html | 167 ++- html/appendix-a.html | 167 ++- html/appendix-b.html | 167 ++- html/appendix-c.html | 169 ++- html/assets/script.js | 277 +++- html/assets/style.css | 424 ++++++ html/chapter1.html | 171 ++- html/chapter10.html | 2618 +++++++++++++++++++++----------------- html/chapter11.html | 213 +++- html/chapter12.html | 195 ++- html/chapter13.html | 231 +++- html/chapter14.html | 251 +++- html/chapter2.html | 169 ++- html/chapter3.html | 169 ++- html/chapter4.html | 188 ++- html/chapter5.html | 173 ++- html/chapter6.html | 424 +++--- html/chapter7.html | 303 +++-- html/chapter8.html | 167 ++- html/chapter9.html | 175 ++- html/index.html | 167 ++- 24 files changed, 5665 insertions(+), 1661 deletions(-) diff --git a/chapter10.md b/chapter10.md index 738cddc..94df693 100644 --- a/chapter10.md +++ b/chapter10.md @@ -144,11 +144,6 @@ LDM由三个主要组件构成： - 解码：潜在表示 $\mathbf{z} \to$ 图像 $\mathbf{x} = \mathcal{D}(\mathbf{z})$ 这个流程的每一步都经过精心设计。编码步骤不仅压缩数据，还将其转换到更适合建模的空间。扩散过程在这个规整的空间中进行，享受更好的收敛性和稳定性。最后的解码步骤将生成的潜在表示转换回视觉丰富的图像空间。 - z = z / self.scale_factor - with torch.no_grad(): - x = self.autoencoder.decode(z) - return x -```
**练习 10.1：分析压缩效率** @@ -1557,4 +1552,4 @@ ONNX（Open Neural Network Exchange）提供了跨框架的模型部署方案， 通过本章的学习，您已经掌握了潜在扩散模型的核心原理和实践技巧。LDM通过在压缩的潜在空间进行扩散，实现了效率和质量的优秀平衡，成为当前最流行的生成模型架构之一。下一章，我们将探讨如何将这些技术扩展到视频生成领域。 -[← 返回目录](index.md) | 第10章 / 共14章 | [下一章 →](chapter11.md) \ No newline at end of file +[← 返回目录](index.md) | 第10章 / 共14章 | [下一章 →](chapter11.md) diff --git a/html/CLAUDE.html b/html/CLAUDE.html index 0db1dd9..f5f4ac3 100644 --- a/html/CLAUDE.html +++ b/html/CLAUDE.html @@ -3,10 +3,11 @@ + 扩散模型教程项目说明 - - - + + + @@ -37,7 +38,159 @@

目录

- +
+ +
+
@@ -146,7 +299,7 @@

important-instruction-reminders

NEVER proactively create documentation files (*.md) or README files. Only create documentation files if explicitly requested by the User.

- +
diff --git a/html/PROJECT_STATUS.html b/html/PROJECT_STATUS.html index cc01ed5..7638c57 100644 --- a/html/PROJECT_STATUS.html +++ b/html/PROJECT_STATUS.html @@ -3,10 +3,11 @@ + 扩散模型教程项目状态 - - - + + + @@ -37,7 +38,159 @@

目录

- +
+ +
+
@@ -168,7 +321,7 @@

项目维护

最后更新：2025-07-27

- +
diff --git a/html/README.html b/html/README.html index 4d6844c..0195d0e 100644 --- a/html/README.html +++ b/html/README.html @@ -3,10 +3,11 @@ + 扩散模型教程 - - - + + + @@ -37,7 +38,159 @@

目录

- +
+ +
+
@@ -117,7 +270,7 @@

附录C：信息几何与分数函数的力

从信息几何角度理解扩散模型，揭示分数函数作为"力"的物理意义，建立与能量优化的联系。

- +

diff --git a/html/appendix-a.html b/html/appendix-a.html index 2bd8b21..35e7f00 100644 --- a/html/appendix-a.html +++ b/html/appendix-a.html @@ -3,10 +3,11 @@ + 附录A：测度论与随机过程速成 - - - + + + @@ -37,7 +38,159 @@

目录

- +
+ +
+
@@ -207,7 +360,7 @@

A.7 进一步学习资源

- +
diff --git a/html/appendix-b.html b/html/appendix-b.html index 7174b93..6e1fd54 100644 --- a/html/appendix-b.html +++ b/html/appendix-b.html @@ -3,10 +3,11 @@ + 附录B：倒向随机微分方程 (BSDE) 速成 - - - + + + @@ -37,7 +38,159 @@

目录

- +
+ +
+
@@ -149,7 +302,7 @@

本章小结

虽然BSDE理论较为抽象，但它为我们理解“目标导向”的随机过程提供了统一而强大的语言，是连接概率论、PDE和机器学习的重要桥梁。

- +
diff --git a/html/appendix-c.html b/html/appendix-c.html index b278050..abc8860 100644 --- a/html/appendix-c.html +++ b/html/appendix-c.html @@ -3,10 +3,11 @@ + 附录C：信息几何与分数函数的力学解释 - - - + + + @@ -37,7 +38,159 @@

目录

- +
+ +
+
@@ -57,7 +210,7 @@

C.1.1 概率分布流形

-

$$I_{ij}( heta) = \mathbb{E}_{p(x;\theta)}\left[\frac{\partial \log p(x;\theta)}{\partial \theta_i} \frac{\partial \log p(x;\theta)}{\partial \theta_j}\right]$$ +

$$I_{ij}( heta) = \mathbb{E}_{p(x;\theta)}\left[\frac{\partial \log p(x;\theta)}{\partial \theta_i} \frac{\partial \log p(x;\theta)}{\partial \theta_j}\right]$$ 它衡量了当我们微小地改变参数 θ 时，概率分布 p(x; θ) 的变化有多大。信息矩阵的元素越大，表示分布对该方向的参数变化越敏感。

C.1.2 自然梯度 (Natural Gradient)

在优化概率模型时，普通的梯度下降是在平坦的欧几里得空间中寻找最速下降方向。然而，在弯曲的概率流形上，真正的最速下降方向由自然梯度给出。

@@ -148,7 +301,7 @@

C.2.4 Langevin动力学

- + diff --git a/html/assets/script.js b/html/assets/script.js index 8542b19..b62a92c 100644 --- a/html/assets/script.js +++ b/html/assets/script.js @@ -3,9 +3,11 @@ document.addEventListener('DOMContentLoaded', function() { const sidebar = document.getElementById('sidebar'); const sidebarToggle = document.getElementById('sidebar-toggle'); - sidebarToggle.addEventListener('click', function() { - sidebar.classList.toggle('active'); - }); + if (sidebarToggle) { + sidebarToggle.addEventListener('click', function() { + sidebar.classList.toggle('active'); + }); + } // Close sidebar when clicking outside on mobile document.addEventListener('click', function(event) { @@ -30,4 +32,273 @@ document.addEventListener('DOMContentLoaded', function() { } }); }); + + // Pure CSS Tree Navigation + const treeNav = document.querySelector('.tree-nav'); + if (treeNav) { + const TREE_STATE_KEY = 'tree-nav-state'; + + // Load saved state + function loadTreeState() { + try { + const saved = localStorage.getItem(TREE_STATE_KEY); + return saved ? JSON.parse(saved) : {}; + } catch (e) { + return {}; + } + } + + // Save tree state + function saveTreeState() { + const state = {}; + document.querySelectorAll('.tree-folder').forEach(folder => { + const header = folder.querySelector('.tree-folder-header'); + if (header) { + const title = header.querySelector('.tree-title'); + if (title) { + const folderPath = title.textContent.trim(); + state[folderPath] = folder.classList.contains('expanded'); + } + } + }); + try { + localStorage.setItem(TREE_STATE_KEY, JSON.stringify(state)); + } catch (e) { + // Ignore localStorage errors + } + } + + // Apply saved state + function applyTreeState() { + const state = loadTreeState(); + document.querySelectorAll('.tree-folder').forEach(folder => { + const header = folder.querySelector('.tree-folder-header'); + if (header) { + const title = header.querySelector('.tree-title'); + if (title) { + const folderPath = title.textContent.trim(); + // Check if folder contains active item + const hasActive = folder.querySelector('.tree-item.active'); + + if (hasActive) { + // Always expand folders containing active items + folder.classList.add('expanded'); + } else if (state[folderPath] !== undefined) { + // Apply saved state for other folders + if (state[folderPath]) { + folder.classList.add('expanded'); + } else { + folder.classList.remove('expanded'); + } + } + } + } + }); + } + + // Initialize state on page load + setTimeout(() => { + applyTreeState(); + }, 0); + + // Handle folder clicks + document.querySelectorAll('.tree-folder-header').forEach(header => { + header.addEventListener('click', function(e) { + e.preventDefault(); + const folder = this.parentElement; + folder.classList.toggle('expanded'); + saveTreeState(); + }); + }); + + // Search functionality + const searchInput = document.getElementById('sidebar-search-input'); + if (searchInput) { + let searchTimeout; + + function performTreeSearch() { + const query = searchInput.value.toLowerCase().trim(); + const items = document.querySelectorAll('.tree-item'); + const folders = document.querySelectorAll('.tree-folder'); + + // Clear previous matches + document.querySelectorAll('.search-match').forEach(el => { + el.classList.remove('search-match'); + }); + + if (!query) { + // Show all items + items.forEach(item => item.style.display = ''); + folders.forEach(folder => folder.style.display = ''); + applyTreeState(); + return; + } + + // Search and highlight + let hasResults = false; + items.forEach(item => { + const title = item.querySelector('.tree-title').textContent.toLowerCase(); + if (title.includes(query)) { + item.style.display = ''; + item.classList.add('search-match'); + hasResults = true; + + // Expand parent folders + let parent = item.parentElement; + while (parent && parent !== treeNav) { + if (parent.classList.contains('tree-folder')) { + parent.classList.add('expanded'); + parent.style.display = ''; + } + parent = parent.parentElement; + } + } else { + item.style.display = 'none'; + } + }); + + // Hide empty folders + folders.forEach(folder => { + const visibleItems = folder.querySelectorAll('.tree-item:not([style*="none"])'); + if (visibleItems.length === 0) { + folder.style.display = 'none'; + } + }); + } + + searchInput.addEventListener('input', function() { + clearTimeout(searchTimeout); + searchTimeout = setTimeout(performTreeSearch, 250); + }); + + searchInput.addEventListener('keydown', function(e) { + if (e.key === 'Escape') { + this.value = ''; + performTreeSearch(); + } + }); + } + } + + // Legacy flat list search (when jsTree is not used) + const navList = document.querySelector('.nav-list:not(.jstree)'); + const isTreeNav = false; // jsTree handles tree navigation now + + if (navList && !document.querySelector('#jstree-container ul')) { + // Only use legacy search for flat lists + const searchInput = document.getElementById('sidebar-search-input'); + + function performSearch() { + const searchTerm = searchInput.value.toLowerCase().trim(); + let visibleCount = 0; + + // Show/hide clear button + searchClear.style.display = searchTerm ? 'block' : 'none'; + + if (isTreeNav) { + // Tree navigation search for new structure + const allFiles = navList.querySelectorAll('.nav-file'); + const directories = navList.querySelectorAll('.nav-directory'); + + // Search through all file items + allFiles.forEach(item => { + const link = item.querySelector('a'); + const text = link ? link.textContent.toLowerCase() : ''; + + if (!searchTerm || text.includes(searchTerm)) { + item.style.display = ''; + visibleCount++; + // Show all parent directories + let parent = item.parentElement; + while (parent && parent !== navList) { + if (parent.classList.contains('nav-directory')) { + parent.style.display = ''; + if (searchTerm) { + parent.classList.add('expanded'); + } + } + parent = parent.parentElement; + } + } else { + item.style.display = 'none'; + } + }); + + // Handle directories visibility + directories.forEach(dir => { + const hasVisibleFiles = dir.querySelectorAll('.nav-file:not([style*="none"])').length > 0; + const hasVisibleSubDirs = dir.querySelectorAll('.nav-directory:not([style*="none"])').length > 0; + + if (!searchTerm) { + dir.style.display = ''; + } else if (!hasVisibleFiles && !hasVisibleSubDirs) { + dir.style.display = 'none'; + } + }); + } else { + // Flat navigation search + const navItems = navList ? navList.querySelectorAll('li') : []; + navItems.forEach(item => { + const link = item.querySelector('a'); + const text = link ? link.textContent.toLowerCase() : ''; + + if (!searchTerm || text.includes(searchTerm)) { + item.style.display = ''; + visibleCount++; + } else { + item.style.display = 'none'; + } + }); + } + + // Show a message if no results found + let noResultsMsg = document.getElementById('no-search-results'); + if (searchTerm && visibleCount === 0) { + if (!noResultsMsg) { + noResultsMsg = document.createElement('div'); + noResultsMsg.id = 'no-search-results'; + noResultsMsg.className = 'no-results'; + noResultsMsg.textContent = '没有找到匹配的结果'; + navList.parentNode.insertBefore(noResultsMsg, navList); + } + noResultsMsg.style.display = 'block'; + } else if (noResultsMsg) { + noResultsMsg.style.display = 'none'; + } + + // Restore original expanded state when search is cleared + if (!searchTerm && isTreeNav) { + const directories = navList.querySelectorAll('.nav-directory'); + directories.forEach(dir => { + // Check if directory contains active item + const hasActive = dir.querySelector('.nav-subdirectory .active'); + if (hasActive) { + dir.classList.add('expanded'); + } else { + dir.classList.remove('expanded'); + } + }); + } + } + + if (searchInput) { + // Perform search on input + searchInput.addEventListener('input', performSearch); + + // Clear search when clicking X + searchClear.addEventListener('click', function() { + searchInput.value = ''; + performSearch(); + searchInput.focus(); + }); + + // Clear search with Escape key + searchInput.addEventListener('keydown', function(e) { + if (e.key === 'Escape') { + searchInput.value = ''; + performSearch(); + } + }); + } + } }); \ No newline at end of file diff --git a/html/assets/style.css b/html/assets/style.css index de191d7..dcf6dfd 100644 --- a/html/assets/style.css +++ b/html/assets/style.css @@ -59,6 +59,56 @@ body { font-size: 1.2rem; } +/* Search input styles */ +.sidebar-search { + position: relative; + margin-bottom: 20px; +} + +#sidebar-search-input { + width: 100%; + padding: 8px 30px 8px 12px; + border: 1px solid var(--border-color); + border-radius: 4px; + font-size: 14px; + background-color: var(--bg-color); + color: var(--text-color); + transition: border-color 0.2s; +} + +#sidebar-search-input:focus { + outline: none; + border-color: var(--secondary-color); +} + +.search-clear { + position: absolute; + right: 8px; + top: 50%; + transform: translateY(-50%); + cursor: pointer; + color: #999; + font-size: 18px; + display: none; + user-select: none; + padding: 4px; +} + +.search-clear:hover { + color: var(--text-color); +} + +.no-results { + padding: 12px; + text-align: center; + color: #666; + font-size: 14px; + border: 1px dashed var(--border-color); + border-radius: 4px; + margin-bottom: 20px; + background-color: rgba(0, 0, 0, 0.02); +} + .sidebar-toggle { display: none; background: none; @@ -106,6 +156,340 @@ body { color: white; } +/* Pure CSS Tree Navigation */ +#tree-container { + height: calc(100% - 120px); + overflow-y: auto; + overflow-x: hidden; + padding: 8px; +} + +.tree-nav { + font-size: 14px; + line-height: 1.6; +} + +/* Tree items */ +.tree-item { + margin: 2px 0; +} + +.tree-link { + display: flex; + align-items: center; + padding: 8px 12px; + border-radius: 6px; + text-decoration: none; + color: var(--text-color); + transition: all 0.2s cubic-bezier(0.4, 0, 0.2, 1); +} + +.tree-link:hover { + background-color: rgba(52, 152, 219, 0.08); + transform: translateX(2px); +} + +.tree-item.active .tree-link { + background-color: var(--secondary-color); + color: white; + font-weight: 500; +} + +/* Tree folders */ +.tree-folder { + margin: 4px 0; +} + +.tree-folder-header { + display: flex; + align-items: center; + padding: 8px 12px; + border-radius: 6px; + cursor: pointer; + user-select: none; + transition: background-color 0.2s ease; +} + +.tree-folder-header:hover { + background-color: rgba(0, 0, 0, 0.04); +} + +.tree-folder-content { + margin-left: 24px; + max-height: 0; + overflow: hidden; + opacity: 0; + transition: max-height 0.3s cubic-bezier(0.4, 0, 0.2, 1), + opacity 0.2s ease, + padding 0.2s ease; +} + +.tree-folder.expanded .tree-folder-content { + max-height: 2000px; + opacity: 1; + padding: 4px 0; +} + +/* Icons and arrows */ +.tree-arrow { + display: inline-block; + width: 20px; + height: 20px; + margin-right: 4px; + transition: transform 0.2s cubic-bezier(0.4, 0, 0.2, 1); + font-size: 12px; + color: #666; +} + +.tree-folder.expanded .tree-arrow { + transform: rotate(90deg); +} + +.tree-icon { + display: inline-flex; + align-items: center; + justify-content: center; + width: 20px; + height: 20px; + margin-right: 8px; + font-size: 16px; +} + +.tree-folder.expanded .tree-folder-header .tree-icon { + font-size: 0; +} + +.tree-folder.expanded .tree-folder-header .tree-icon::after { + content: "📂"; + font-size: 16px; +} + +.tree-folder:not(.expanded) .tree-folder-header .tree-icon { + font-size: 0; +} + +.tree-folder:not(.expanded) .tree-folder-header .tree-icon::after { + content: "📁"; + font-size: 16px; +} + +.tree-title { + flex: 1; + white-space: nowrap; + overflow: hidden; + text-overflow: ellipsis; +} + +/* Search results highlight */ +.tree-item.search-match, +.tree-folder.search-match .tree-folder-header { + background-color: #fff3cd; +} + +/* Mobile optimizations */ +@media (max-width: 768px) { + .tree-link, + .tree-folder-header { + min-height: 44px; + padding: 12px; + } + + .tree-nav { + font-size: 16px; + } + + .tree-icon { + width: 24px; + height: 24px; + font-size: 18px; + } +} + +/* Modern Tree Navigation (for legacy non-jstree) */ +.nav-tree-container { + height: 100%; + overflow-y: auto; + overflow-x: hidden; + padding: 4px; +} + +.nav-tree { + padding: 0; + margin: 0; + font-size: 14px; + line-height: 1.5; +} + +.nav-tree li { + list-style: none; + margin: 0; + padding: 0; + position: relative; +} + +/* File items */ +.nav-file { + display: flex; + align-items: center; + padding: 4px 8px; + margin: 1px 0; + border-radius: 4px; + transition: all 0.2s ease; + cursor: pointer; +} + +.nav-file:hover { + background-color: rgba(52, 152, 219, 0.08); +} + +.nav-file.active { + background-color: var(--secondary-color); + color: white; +} + +.nav-file a { + flex: 1; + color: inherit; + text-decoration: none; + padding: 0 4px; + white-space: nowrap; + overflow: hidden; + text-overflow: ellipsis; + display: block; +} + +.nav-file.active a { + color: white; +} + +/* Directory items */ +.nav-directory { + margin: 2px 0; +} + +.nav-directory-toggle { + display: flex; + align-items: center; + padding: 4px 8px; + margin: 1px 0; + border-radius: 4px; + cursor: pointer; + user-select: none; + transition: background-color 0.2s; + font-weight: 500; +} + +.nav-directory-toggle:hover { + background-color: rgba(0, 0, 0, 0.04); +} + +/* Icons */ +.toggle-icon { + display: inline-flex; + align-items: center; + justify-content: center; + width: 16px; + height: 16px; + margin-right: 2px; + transition: transform 0.2s ease; + font-size: 10px; + color: #666; +} + +.nav-directory.expanded .toggle-icon { + transform: rotate(0deg); +} + +.nav-directory:not(.expanded) .toggle-icon { + transform: rotate(-90deg); +} + +.folder-icon, .file-icon { + display: inline-flex; + align-items: center; + justify-content: center; + width: 18px; + height: 18px; + margin-right: 6px; + font-size: 14px; + flex-shrink: 0; +} + +.nav-directory.expanded .folder-icon { + content: "📂"; +} + +.directory-name { + flex: 1; + font-weight: 500; + color: var(--primary-color); + white-space: nowrap; + overflow: hidden; + text-overflow: ellipsis; +} + +/* Subdirectory */ +.nav-subdirectory { + list-style: none; + margin: 0; + padding: 0 0 0 12px; + overflow: hidden; + max-height: 0; + opacity: 0; + transition: max-height 0.3s ease, opacity 0.2s ease; +} + +.nav-directory.expanded .nav-subdirectory { + max-height: none; + opacity: 1; +} + +/* Indentation for nested levels */ +.nav-tree li[data-level="1"] { + padding-left: 16px; +} + +.nav-tree li[data-level="2"] { + padding-left: 32px; +} + +.nav-tree li[data-level="3"] { + padding-left: 48px; +} + +/* Tree lines (optional, for CHM-like appearance) */ +.nav-tree li::before { + content: ""; + position: absolute; + left: 8px; + top: 0; + bottom: 0; + width: 1px; + background: linear-gradient(to bottom, transparent, #ddd 20%, #ddd 80%, transparent); +} + +.nav-tree li[data-level="0"]::before { + display: none; +} + +/* Smooth scrollbar */ +.nav-tree-container::-webkit-scrollbar { + width: 6px; +} + +.nav-tree-container::-webkit-scrollbar-track { + background: transparent; +} + +.nav-tree-container::-webkit-scrollbar-thumb { + background: rgba(0, 0, 0, 0.2); + border-radius: 3px; +} + +.nav-tree-container::-webkit-scrollbar-thumb:hover { + background: rgba(0, 0, 0, 0.3); +} + /* Main content */ .content { flex: 1; @@ -246,6 +630,9 @@ blockquote { .sidebar { transform: translateX(-100%); z-index: 1000; + width: 85vw; + max-width: 350px; + box-shadow: 2px 0 10px rgba(0, 0, 0, 0.1); } .sidebar.active { @@ -254,6 +641,15 @@ blockquote { .sidebar-toggle { display: block; + position: fixed; + top: 10px; + right: 10px; + z-index: 1001; + background: var(--bg-color); + border: 1px solid var(--border-color); + border-radius: 4px; + padding: 8px; + box-shadow: 0 2px 5px rgba(0, 0, 0, 0.1); } .content { @@ -271,6 +667,34 @@ blockquote { text-align: center; } + /* Larger touch targets for mobile */ + .nav-file, .nav-directory-toggle { + padding: 8px 12px; + min-height: 44px; + } + + .toggle-icon, .folder-icon, .file-icon { + width: 24px; + height: 24px; + font-size: 16px; + } + + .nav-tree { + font-size: 16px; + } + + /* Overlay when sidebar is open */ + .sidebar.active::before { + content: ""; + position: fixed; + top: 0; + left: 0; + right: 0; + bottom: 0; + background: rgba(0, 0, 0, 0.3); + z-index: -1; + } + h1 { font-size: 1.8em; } h2 { font-size: 1.5em; } h3 { font-size: 1.3em; } diff --git a/html/chapter1.html b/html/chapter1.html index 1bf421f..d15c0e5 100644 --- a/html/chapter1.html +++ b/html/chapter1.html @@ -3,10 +3,11 @@ + 第1章：扩散模型导论 - - - + + + @@ -37,7 +38,159 @@

目录

- +
+ +
+
@@ -81,7 +234,7 @@

马尔可夫链：一步一步走向混沌

  • 均值部分 $\sqrt{1-\beta_t}\mathbf{x}_{t-1}$ ：我们保留了前一步状态的一部分信息，保留的比例是 $\sqrt{1-\beta_t}$ 。注意这里使用平方根是为了保持方差的正确缩放。
  • 方差部分 $\beta_t\mathbf{I}$ ：我们添加了方差为 $\beta_t$ 的各向同性高斯噪声。
    • -

    其中 ${\beta_t}_{t=1}^T$ 是预先设定的噪声调度（noise schedule），控制每一步添加噪声的量。通常 $\beta_t$ 的值很小（如0.0001到0.02之间），这保证了相邻时间步之间的变化是渐进的。

    +

    其中 $\{\beta_t\}_{t=1}^T$ 是预先设定的噪声调度（noise schedule），控制每一步添加噪声的量。通常 $\beta_t$ 的值很小（如0.0001到0.02之间），这保证了相邻时间步之间的变化是渐进的。

    这种设计的巧妙之处在于，它在每一步都在做两件事：削弱原始信号（通过乘以小于1的系数）和添加随机噪声。经过足够多的步骤后，原始信号的影响会指数级衰减，而累积的噪声会主导整个分布。

    重参数化技巧：时间旅行的捷径

    在实际训练中，如果要采样 $\mathbf{x}_t$ ，按照马尔可夫链的定义需要从 $\mathbf{x}_0$ 开始逐步计算到 $\mathbf{x}_t$ ，这会非常低效。幸运的是，高斯分布的良好性质允许我们使用重参数化技巧，直接从 $\mathbf{x}_0$ "跳跃"到任意时刻 $t$ ： @@ -193,7 +346,7 @@

    1.2.3 训练目标：变分下界的优雅

    扩散模型的训练目标源于最大似然估计。给定观测数据 $\mathbf{x}_0$ ，我们希望最大化其在模型下的对数似然 $\log p_\theta(\mathbf{x}_0)$ 。由于直接计算这个似然涉及对所有可能的扩散路径进行积分，在计算上是不可行的。因此，我们转而优化其变分下界（Evidence Lower Bound, ELBO）。

    通过巧妙的数学推导，ELBO可以分解为一系列更简单的项。最终，DDPM将复杂的优化问题简化为一个优雅的去噪目标： $$L_{\text{simple}} = \mathbb{E}_{t, \mathbf{x}_0, \boldsymbol{\epsilon}} \left[ |\boldsymbol{\epsilon} - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t)|^2 \right]$$ -其中 $t$ 从 ${1, ..., T}$ 均匀采样， $\boldsymbol{\epsilon} \sim \mathcal{N}(0, \mathbf{I})$ 是添加的噪声， $\mathbf{x}_t$ 是通过重参数化得到的噪声数据。

    +其中 $t$ 从 $\{1, ..., T\}$ 均匀采样， $\boldsymbol{\epsilon} \sim \mathcal{N}(0, \mathbf{I})$ 是添加的噪声， $\mathbf{x}_t$ 是通过重参数化得到的噪声数据。

    这个损失函数的美妙之处在于其简单性：

    diff --git a/html/chapter10.html b/html/chapter10.html index 6eef4ea..aa957e6 100644 --- a/html/chapter10.html +++ b/html/chapter10.html @@ -3,10 +3,11 @@ + 第10章：潜在扩散模型 (LDM) - - - + + + @@ -37,7 +38,159 @@

    目录

    - +
    + +
    +
    @@ -182,1195 +335,1280 @@

    10.1.4 LDM的整体架构

  • 扩散：在 $\mathbf{z}$ 空间执行正向/反向扩散过程
  • 解码：潜在表示 $\mathbf{z} \to$ 图像 $\mathbf{x} = \mathcal{D}(\mathbf{z})$
    • -

    这个流程的每一步都经过精心设计。编码步骤不仅压缩数据，还将其转换到更适合建模的空间。扩散过程在这个规整的空间中进行，享受更好的收敛性和稳定性。最后的解码步骤将生成的潜在表示转换回视觉丰富的图像空间。 - z = z / self.scale_factor - with torch.no_grad(): - x = self.autoencoder.decode(z) - return x

    -
    <details>
-<summary>**练习 10.1：分析压缩效率**</summary>
-
-研究不同压缩策略的效果。
-
-1. **压缩率实验**：
-   - 实现不同下采样率的自编码器
-   - 测量重建质量（PSNR, SSIM, LPIPS）
-   - 绘制率失真曲线
-
-2. **语义保留分析**：
-   - 使用预训练分类器评估语义保留
-   - 比较像素MSE vs 感知损失
-   - 分析哪些特征被保留/丢失
-
-3. **计算效益评估**：
-   - 测量不同分辨率的推理时间
-   - 计算内存使用
-   - 找出效率瓶颈
-
-4. **理论拓展**：
-   - 从流形假设角度分析压缩
-   - 研究最优传输理论的应用
-   - 探索自适应压缩率
-
-</details>
-
-### 10.1.5 两阶段训练策略
-
-LDM采用两阶段训练，分离压缩和生成：
-
-**第一阶段：训练自编码器**
-
-自编码器训练是整个LDM系统的基础。这个阶段的目标是学习一个高质量的图像压缩和重建系统，为后续的扩散建模提供合适的表示空间。
-
-自编码器训练的关键要素：
-- **编码-解码流程**： $\mathbf{x} \to \mathbf{z} = \mathcal{E}(\mathbf{x}) \to \mathbf{x}_{recon} = \mathcal{D}(\mathbf{z})$
-- **重建损失**： $\mathcal{L}_{recon} = ||\mathbf{x} - \mathbf{x}_{recon}||_1$
-- **感知损失**： $\mathcal{L}_{percep} = ||\phi(\mathbf{x}) - \phi(\mathbf{x}_{recon})||_2$ ，其中 $\phi$ 是感知网络
-- **KL正则化**（VAE情况）： $\mathcal{L}_{KL} = \text{KL}(q(\mathbf{z}|\mathbf{x})||p(\mathbf{z}))$
-- **总损失**： $\mathcal{L} = \mathcal{L}_{recon} + \lambda_1 \mathcal{L}_{percep} + \lambda_2 \mathcal{L}_{KL}$
-
-损失函数的每个部分都有其特定作用。重建损失确保基本的保真度，感知损失维护视觉质量，而KL正则化（在VAE中）约束潜在空间的分布。权重的选择至关重要：过大的KL权重会导致后验崩塌，而过小则可能使潜在空间不规整。实践中，KL权重通常设置为极小值（如1e-6），使模型表现接近确定性自编码器，同时保持轻微的正则化效果。
-
-**第二阶段：训练扩散模型**
-
-第二阶段专注于在学习到的潜在空间中训练扩散模型。这个阶段的设计充分利用了潜在空间的优良特性。
-
-在潜在空间训练扩散模型：
-- **冻结自编码器**：保持编码器参数固定
-- **编码数据**：将图像 $\mathbf{x}$ 编码为 $\mathbf{z} = \mathcal{E}(\mathbf{x})$
-- **标准扩散训练**：
-  - 采样时间步 $t \sim \mathcal{U}[0, T]$
-  - 添加噪声： $\mathbf{z}_t = \sqrt{\bar{\alpha}_t}\mathbf{z}_0 + \sqrt{1-\bar{\alpha}_t}\boldsymbol{\epsilon}$
-  - 预测噪声： $\boldsymbol{\epsilon}_\theta(\mathbf{z}_t, t, \mathbf{c})$
-  - 损失函数： $\mathcal{L} = \mathbb{E}_{t,\mathbf{z}_0,\boldsymbol{\epsilon}}[||\boldsymbol{\epsilon} - \boldsymbol{\epsilon}_\theta(\mathbf{z}_t, t, \mathbf{c})||^2]$
-
-两阶段训练的优势在于其灵活性和效率。自编码器一旦训练完成，可以被多个扩散模型复用。这允许研究者和工程师专注于改进扩散模型本身，而不需要每次都重新训练整个系统。此外，在潜在空间的训练比在像素空间快得多，使得快速迭代和实验成为可能。
-
-💡 **实践技巧：预训练策略**  
-可以使用大规模数据集预训练通用自编码器，然后在特定领域微调。这大大减少了训练成本。
-
-### 10.1.6 潜在空间的特性
-
-理想的潜在空间应具备：
-
-1. **平滑性**：相近的潜在编码对应相似的图像
-2. **语义性**：潜在维度对应有意义的变化
-3. **紧凑性**：高效利用每个维度
-4. **正态性**：便于扩散模型建模
-
-这些特性不是自动获得的，而是通过精心的架构设计和训练策略实现的。让我们深入理解每个特性的重要性：
-
-**平滑性**确保了潜在空间的连续性。在一个平滑的潜在空间中，小的扰动只会导致输出的微小变化。这对于扩散模型至关重要，因为扩散过程本质上是在潜在空间中进行连续的轨迹追踪。如果空间不平滑，去噪过程可能会产生不连贯的结果。
-
-**语义性**使得潜在表示具有可解释性。理想情况下，潜在空间的不同方向应该对应图像的不同语义属性，如物体的姿态、光照、风格等。虽然完全的解耦很难实现，但部分的语义对齐可以提高模型的可控性。
-
-**紧凑性**要求每个潜在维度都携带有用信息。冗余或未使用的维度不仅浪费计算资源，还可能成为噪声源。通过适当的正则化和架构设计，我们可以鼓励模型学习紧凑的表示。
-
-**正态性**是扩散模型的技术要求。标准的扩散理论假设数据分布接近高斯分布。虽然这个假设在像素空间中明显不成立，但通过适当的编码器设计和正则化，我们可以使潜在空间更接近这个理想。
-
-**分析潜在空间**：
-
-可以通过以下方法分析潜在空间的特性：
-
-实现潜在空间分析需要：
-- 使用 `torch.no_grad()` 上下文管理器避免梯度计算
-- 遍历数据加载器，对每批图像进行编码
-- 使用自编码器的 `encode` 方法获取潜在表示
-- 收集所有潜在表示和对应的标签
-- 计算统计特性：
-  - 均值（理想接近0）
-  - 标准差（理想接近1）
-  - 峰度（使用 `scipy.stats.kurtosis` 测量分布形状）
-- 使用降维技术可视化：
-  - t-SNE（`sklearn.manifold.TSNE`）将高维潜在空间映射到2D
-  - 根据标签着色散点图，观察类别聚类情况
-  - 也可使用UMAP作为替代的降维方法
-
-🌟 **开放问题：最优潜在空间设计**  
-如何设计具有特定属性的潜在空间？能否学习解耦的表示？这涉及到表示学习和因果推断的前沿研究。
-
-## 10.3 潜在空间中的扩散
-
-### 10.3.1 潜在扩散过程的数学描述
-
-在潜在空间中进行扩散需要重新定义前向和反向过程：
-
-**前向过程**：
-
-$$q(\mathbf{z}_t | \mathbf{z}_0) = \mathcal{N}(\mathbf{z}_t; \sqrt{\bar{\alpha}_t}\mathbf{z}_0, (1-\bar{\alpha}_t)\mathbf{I})$$
-
-其中 $\mathbf{z}_0 = \mathcal{E}(\mathbf{x})$ 是编码后的潜在表示。
-
-**关键差异**：
-1. **维度降低**：从 $\mathbb{R}^{3 \times H \times W}$ 到 $\mathbb{R}^{C \times h \times w}$
-2. **分布变化**：潜在空间可能不完全符合高斯分布
-3. **尺度差异**：需要适当的归一化
-
-**反向过程**：
-
-$$p_\theta(\mathbf{z}_{t-1} | \mathbf{z}_t) = \mathcal{N}(\mathbf{z}_{t-1}; \boldsymbol{\mu}_\theta(\mathbf{z}_t, t), \sigma_t^2\mathbf{I})$$
-
-扩散模型学习预测噪声 $\boldsymbol{\epsilon}_\theta(\mathbf{z}_t, t)$ ，用于计算均值：
-
-$$\boldsymbol{\mu}_\theta(\mathbf{z}_t, t) = \frac{1}{\sqrt{\alpha_t}}\left(\mathbf{z}_t - \frac{1-\alpha_t}{\sqrt{1-\bar{\alpha}_t}}\boldsymbol{\epsilon}_\theta(\mathbf{z}_t, t)\right)$$
-
-### 10.3.2 噪声调度的适配
-
-潜在空间的统计特性与像素空间不同，需要调整噪声调度：
-
-**1. 信噪比分析**：
-
-分析潜在空间的信噪比特性：
-- **信号功率**： $P_{signal} = \mathbb{E}[||\mathbf{z}||^2]$
-- **噪声功率**： $P_{noise} = (1-\bar{\alpha}_t) \cdot P_{signal}$
-- **信噪比**： $\text{SNR}(t) = 10\log_{10}(P_{signal}/P_{noise})$ dB
-
-通过分析不同时间步的SNR，可以了解噪声调度的合理性。
-
-**2. 自适应调度**：
-
-根据潜在空间的统计特性设计噪声调度：
-- **考虑潜在空间均值和方差**：使用数据集的统计量
-- **调整 $\beta$ 范围**： $\beta_{start} = 0.0001 \cdot \sigma_z$ ， $\beta_{end} = 0.02 \cdot \sigma_z$
-- **目标最终SNR**：确保 $T$ 步后 SNR $\approx -20$ dB
-- **线性或余弦调度**：根据潜在空间分布选择
-
-💡 **实践技巧：预计算统计量**  
-在大规模数据集上预计算潜在空间的均值和方差，用于归一化和噪声调度设计。
-
-### 10.3.3 条件机制在潜在空间的实现
-
-LDM中的条件信息通过多种方式注入：
-
-**1. 交叉注意力机制**：
-
-交叉注意力允许潜在特征与条件信息交互：
-- **输入**：潜在特征 $\mathbf{x} \in \mathbb{R}^{B \times HW \times C}$ ，条件编码 $\mathbf{c} \in \mathbb{R}^{B \times L \times D}$
-- **注意力计算**： $\text{Attention}(\mathbf{Q}, \mathbf{K}, \mathbf{V}) = \text{softmax}(\frac{\mathbf{Q}\mathbf{K}^T}{\sqrt{d_k}})\mathbf{V}$
-- **其中**： $\mathbf{Q} = \mathbf{x}\mathbf{W}_Q$ ， $\mathbf{K} = \mathbf{c}\mathbf{W}_K$ ， $\mathbf{V} = \mathbf{c}\mathbf{W}_V$
-- **残差连接**： $\mathbf{x}_{out} = \mathbf{x} + \text{Attention}(\mathbf{x}, \mathbf{c}, \mathbf{c})$
-
-**2. 特征调制（FiLM）**：
-
-FiLM（Feature-wise Linear Modulation）通过缩放和偏移调制特征：
-
-$$\mathbf{x}_{out} = \mathbf{x} \odot (1 + \gamma(\mathbf{c})) + \beta(\mathbf{c})$$
-
-其中：
-- $\gamma(\mathbf{c})$ ：条件相关的缩放参数
-- $\beta(\mathbf{c})$ ：条件相关的偏移参数
-- $\odot$ ：逐元素乘法
-
-**3. 空间条件控制**：
-
-处理空间条件（如掩码、边缘图）的方法：
-- **拼接方法**： $\mathbf{z}_{cond} = [\mathbf{z}_t, \mathbf{s}]$ ，沿通道维度拼接
-- **加法融合**： $\mathbf{z}_{cond} = \mathbf{z}_t + \mathbf{s}$ ，需要维度匹配
-- **门控融合**： $\mathbf{z}_{cond} = \mathbf{z}_t \odot \sigma(\mathbf{s}) + \mathbf{s} \odot (1-\sigma(\mathbf{s}))$
-
-其中 $\mathbf{s}$ 是空间条件， $\sigma$ 是sigmoid函数。
-
-🔬 **研究方向：条件注入的最优位置**  
-应该在U-Net的哪些层注入条件信息？早期层影响全局结构，后期层控制细节。系统研究这种权衡可以指导架构设计。
-
-### 10.3.4 训练策略与技巧
-
-**1. 渐进式训练**：
-
-从低分辨率开始逐步提高，加快训练收敛：
-- **初始阶段**：在较小的潜在空间分辨率（如32×32）训练
-- **逐步提升**：根据训练进度提高到64×64或更高
-- **分辨率适配**：使用插值调整潜在表示大小
-- **优势**：早期快速迭代，后期精细调整
-
-**2. 混合精度训练**：
-
-使用自动混合精度（AMP）加速训练：
-- **前向传播**：在FP16半精度下计算，减少内存使用
-- **反向传播**：使用FP32全精度保持数值稳定性
-- **梯度缩放**：自动调整梯度范围，避免溢出
-- **性能提升**：通常可获得2-3倍加速
-
-**3. 梯度累积**：
-
-在显存受限时模拟大批量训练：
-- **累积步数**：多个小批次的梯度累加
-- **等效批量**：实际批量 = 物理批量 × 累积步数
-- **更新频率**：每累积完成后执行一次参数更新
-- **损失归一化**：除以累积步数以保持正确的梯度尺度
-
-### 10.3.5 质量与效率的权衡
-
-**压缩率 vs 重建质量**：
-
-| 下采样因子 | 压缩率 | 速度提升 | FID | 适用场景 |
-|-----------|--------|----------|-----|---------|
-| 4x | 16x | 10-15x | ~5 | 高质量生成 |
-| 8x | 64x | 40-60x | ~10 | 平衡选择 |
-| 16x | 256x | 150-200x | ~25 | 快速预览 |
-
-**动态质量调整**：
-
-根据使用场景自动选择合适的模型配置：
-- **草稿模式**：使用16x压缩模型，10个采样步骤，适合快速预览
-- **平衡模式**：使用8x压缩模型，25个采样步骤，平衡质量和速度
-- **高质量模式**：使用4x压缩模型，50个采样步骤，最佳生成质量
-
-这种方法允许用户根据需求在质量和速度之间灵活选择。
-
-<details>
-<summary>**练习 10.3：潜在空间扩散实验**</summary>
-
-探索潜在空间扩散的各个方面。
-
-1. **压缩率影响分析**：
-   - 训练不同压缩率的LDM（4x, 8x, 16x）
-   - 比较生成质量、多样性和速度
-   - 绘制压缩率-质量曲线
-
-2. **噪声调度优化**：
-   - 实现基于SNR的自适应调度
-   - 比较线性、余弦和学习的调度
-   - 分析对收敛速度的影响
-
-3. **条件注入研究**：
-   - 实现不同的条件注入方法
-   - 测试在不同层注入的效果
-   - 评估对可控性的影响
-
-4. **创新探索**：
-   - 设计多尺度潜在空间（层次化LDM）
-   - 研究向量量化的潜在扩散
-   - 探索自适应压缩率选择
-
-</details>
-
-### 10.3.6 调试与可视化
-
-**监控训练过程**：
-
-可视化扩散和去噪过程的关键步骤：
-1. **编码**：将输入图像编码到潜在空间 $\mathbf{z}_0 = \mathcal{E}(\mathbf{x}_0)$
-2. **前向扩散**：在不同时间步添加噪声，观察潜在表示的逐渐退化
-3. **反向去噪**：从纯噪声开始，逐步去噪恢复清晰的潜在表示
-4. **解码可视化**：将各个阶段的潜在表示解码回图像空间
-
-选择关键时间步（如 $t \in \{0, 250, 500, 750, 999\}$ ）进行可视化。
-
-**诊断工具**：
-
-诊断潜在扩散模型常见问题的方法：
-1. **潜在空间分布检查**：
-   - 计算均值和标准差，确保接近标准正态分布
-   - 检查是否存在异常值或分布偏移
-
-2. **重建质量评估**：
-   - 计算重建误差： $\mathcal{L}_{recon} = ||\mathbf{x} - \mathcal{D}(\mathcal{E}(\mathbf{x}))||^2$
-   - 检查感知质量和细节保留
-
-3. **噪声预测准确性**：
-   - 添加已知噪声并预测
-   - 计算预测误差并分析在不同时间步的表现
-
-实现诊断工具需要：
-- 编码测试图像并计算潜在表示的统计量（均值、标准差）
-- 对比原始图像和重建图像，使用MSE和感知损失评估质量
-- 在不同时间步计算噪声预测误差，使用 `F.mse_loss` 比较预测噪声和真实噪声
-- 从随机噪声生成样本，通过反向扩散过程逐步去噪
-- 返回包含潜在统计、重建误差、噪声误差和生成样本的诊断结果字典
-
-🌟 **最佳实践：多阶段调试**  
-先确保自编码器工作正常，再训练扩散模型。使用小数据集快速迭代，验证流程正确后再扩展到大规模训练。
-
-## 10.2 自编码器设计
-
-### 10.2.1 VQ-VAE vs KL-VAE
-
-LDM中常用两种自编码器架构，各有优劣：
-
-**VQ-VAE（Vector Quantized VAE）**：
-
-VQ-VAE通过向量量化实现离散的潜在表示，这种方法有其独特的优势和挑战。
-
-VQ-VAE使用离散的潜在表示：
-- **编码器**：将图像编码为连续特征 $\mathbf{z}_e = \text{Encoder}(\mathbf{x})$
-- **向量量化**：将连续特征映射到最近的码本 $\mathbf{z}_q = \text{Quantize}(\mathbf{z}_e)$
-- **码本（Codebook）**：包含 $K$ 个可学习的向量，通常 $K=8192$
-- **承诺损失**： $\mathcal{L}_{commit} = ||\mathbf{z}_e - \text{sg}[\mathbf{z}_q]||^2$ ，鼓励编码器输出接近码本
-- **优点**：离散表示、压缩率高
-- **缺点**：码本崩塌、重建质量受限
-
-向量量化的核心思想是将连续的编码器输出映射到一个有限的码本集合。这类似于传统的矢量量化技术，但通过端到端学习实现。每个空间位置的特征向量被替换为码本中最近的向量，实现了离散化。这种离散性带来了极高的压缩率——整个图像可以用码本索引序列表示。
-
-然而，VQ-VAE面临几个技术挑战。码本崩塌是最常见的问题，即模型只使用码本中的少数几个向量，浪费了表示容量。此外，量化操作的不可微性需要特殊的训练技巧，如直通估计器（straight-through estimator）。
-
-**KL-VAE（KL正则化的VAE）**：
-
-相比之下，KL-VAE保持了连续的潜在表示，更适合扩散模型的需求。
-
-KL-VAE使用连续的潜在表示和概率分布：
-- **编码器输出**：均值 $\boldsymbol{\mu}$ 和对数方差 $\log\boldsymbol{\sigma}^2$
-- **重参数化技巧**： $\mathbf{z} = \boldsymbol{\mu} + \boldsymbol{\sigma} \odot \boldsymbol{\epsilon}$ ，其中 $\boldsymbol{\epsilon} \sim \mathcal{N}(0, \mathbf{I})$
-- **KL损失**： $\mathcal{L}_{KL} = \text{KL}(q(\mathbf{z}|\mathbf{x})||p(\mathbf{z}))$ ，促使潜在分布接近标准正态
-- **KL权重**：通常设置为很小的值（如 $10^{-6}$ ），以保持重建质量
-- **优点**：连续表示、训练稳定、适合扩散模型
-- **缺点**：压缩率受限、可能出现后验崩塌
-
-KL-VAE的设计基于变分推断原理。编码器不是产生确定性的编码，而是输出一个分布的参数。通过重参数化技巧，我们可以从这个分布中采样，同时保持梯度的可传播性。KL散度项作为正则化，鼓励后验分布 $q(\mathbf{z}|\mathbf{x})$ 接近先验 $p(\mathbf{z})$ （通常是标准正态分布）。
-
-在LDM的实践中，KL权重被设置得极小。这是一个关键的设计选择：我们想要VAE的架构灵活性和理论基础，但不希望过强的正则化损害重建质量。极小的KL权重使模型表现接近确定性自编码器，同时保留了概率建模的框架。
-
-**比较**：
-| 特性 | VQ-VAE | KL-VAE |
-|------|--------|---------|
-| 潜在空间 | 离散 | 连续 |
-| 训练稳定性 | 较难（需要技巧） | 较好 |
-| 压缩率 | 固定 | 灵活 |
-| 后续扩散 | 需要适配 | 直接应用 |
-
-选择哪种架构取决于具体应用。VQ-VAE在需要极高压缩率或离散表示的场景中表现出色，如音频生成或符号化表示学习。而对于扩散模型，KL-VAE的连续性使其成为自然选择。扩散过程的数学基础建立在连续空间的布朗运动上，离散空间需要特殊的适配（如D3PM中的离散扩散）。
-
-💡 **实践选择：为什么LDM偏好KL-VAE**  
-连续潜在空间更适合扩散模型的高斯噪声假设。极小的KL权重（1e-6）使其接近确定性编码器。
-
-### 10.2.2 感知损失与对抗训练
-
-单纯的像素重建损失会导致模糊结果。LDM使用组合损失：
-
-理解为什么需要超越像素级损失是关键。L1或L2损失在像素空间计算平均值，这导致了臭名昭著的"模糊"问题。当多个锐利的图像都是合理的重建时，像素级损失会倾向于它们的平均值——一个模糊的图像。这在高频细节（如纹理、边缘）上特别明显。
-
-LDM使用组合损失函数来训练自编码器：
-
-1. **重建损失**： $\mathcal{L}_{rec} = ||\mathbf{x} - \mathbf{x}_{recon}||_1$
-   - 保证基本的像素级重建
-   - L1损失比L2更鲁棒，对异常值不敏感
-
-2. **感知损失**： $\mathcal{L}_{percep} = ||\phi(\mathbf{x}) - \phi(\mathbf{x}_{recon})||_2$
-   - 使用预训练VGG网络的特征
-   - 保持高级语义信息
-   - 通常使用多个层的特征组合
+
    这个流程的每一步都经过精心设计。编码步骤不仅压缩数据，还将其转换到更适合建模的空间。扩散过程在这个规整的空间中进行，享受更好的收敛性和稳定性。最后的解码步骤将生成的潜在表示转换回视觉丰富的图像空间。
    
+
    
+**练习 10.1：分析压缩效率**
+
    研究不同压缩策略的效果。
    
+
      
+
    1. 
+
      压缩率实验：
+   - 实现不同下采样率的自编码器
+   - 测量重建质量（PSNR, SSIM, LPIPS）
+   - 绘制率失真曲线
      
+
      2. 
+
    2. 
+
      语义保留分析：
+   - 使用预训练分类器评估语义保留
+   - 比较像素MSE vs 感知损失
+   - 分析哪些特征被保留/丢失
      
+
      3. 
+
    3. 
+
      计算效益评估：
+   - 测量不同分辨率的推理时间
+   - 计算内存使用
+   - 找出效率瓶颈
      
+
      4. 
+
    4. 
+
      理论拓展：
+   - 从流形假设角度分析压缩
+   - 研究最优传输理论的应用
+   - 探索自适应压缩率
      
+
      5. 
+
    
+
    
+
    10.1.5 两阶段训练策略
    
+
    LDM采用两阶段训练，分离压缩和生成：
    
+
    第一阶段：训练自编码器
    
+
    自编码器训练是整个LDM系统的基础。这个阶段的目标是学习一个高质量的图像压缩和重建系统，为后续的扩散建模提供合适的表示空间。
    
+
    自编码器训练的关键要素：
    
+
      
+
    • 编码-解码流程： $\mathbf{x} \to \mathbf{z} = \mathcal{E}(\mathbf{x}) \to \mathbf{x}_{recon} = \mathcal{D}(\mathbf{z})$
      • 
+
    • 重建损失： $\mathcal{L}_{recon} = ||\mathbf{x} - \mathbf{x}_{recon}||_1$
      • 
+
    • 感知损失： $\mathcal{L}_{percep} = ||\phi(\mathbf{x}) - \phi(\mathbf{x}_{recon})||_2$ ，其中 $\phi$ 是感知网络
      • 
+
    • KL正则化（VAE情况）： $\mathcal{L}_{KL} = \text{KL}(q(\mathbf{z}|\mathbf{x})||p(\mathbf{z}))$
      • 
+
    • 总损失： $\mathcal{L} = \mathcal{L}_{recon} + \lambda_1 \mathcal{L}_{percep} + \lambda_2 \mathcal{L}_{KL}$
      • 
+
    
+
    损失函数的每个部分都有其特定作用。重建损失确保基本的保真度，感知损失维护视觉质量，而KL正则化（在VAE中）约束潜在空间的分布。权重的选择至关重要：过大的KL权重会导致后验崩塌，而过小则可能使潜在空间不规整。实践中，KL权重通常设置为极小值（如1e-6），使模型表现接近确定性自编码器，同时保持轻微的正则化效果。
    
+
    第二阶段：训练扩散模型
    
+
    第二阶段专注于在学习到的潜在空间中训练扩散模型。这个阶段的设计充分利用了潜在空间的优良特性。
    
+
    在潜在空间训练扩散模型：
    
+
      
+
    • 冻结自编码器：保持编码器参数固定
      • 
+
    • 编码数据：将图像 $\mathbf{x}$ 编码为 $\mathbf{z} = \mathcal{E}(\mathbf{x})$
      • 
+
    • 标准扩散训练：
      • 
+
    • 采样时间步 $t \sim \mathcal{U}[0, T]$
      • 
+
    • 添加噪声： $\mathbf{z}_t = \sqrt{\bar{\alpha}_t}\mathbf{z}_0 + \sqrt{1-\bar{\alpha}_t}\boldsymbol{\epsilon}$
      • 
+
    • 预测噪声： $\boldsymbol{\epsilon}_\theta(\mathbf{z}_t, t, \mathbf{c})$
      • 
+
    • 损失函数： $\mathcal{L} = \mathbb{E}_{t,\mathbf{z}_0,\boldsymbol{\epsilon}}[||\boldsymbol{\epsilon} - \boldsymbol{\epsilon}_\theta(\mathbf{z}_t, t, \mathbf{c})||^2]$
      • 
+
    
+
    两阶段训练的优势在于其灵活性和效率。自编码器一旦训练完成，可以被多个扩散模型复用。这允许研究者和工程师专注于改进扩散模型本身，而不需要每次都重新训练整个系统。此外，在潜在空间的训练比在像素空间快得多，使得快速迭代和实验成为可能。
    
+
    💡 实践技巧：预训练策略
    
+可以使用大规模数据集预训练通用自编码器，然后在特定领域微调。这大大减少了训练成本。
    
+
    10.1.6 潜在空间的特性
    
+
    理想的潜在空间应具备：
    
+
      
+
    1. 平滑性：相近的潜在编码对应相似的图像
      2. 
+
    2. 语义性：潜在维度对应有意义的变化
      3. 
+
    3. 紧凑性：高效利用每个维度
      4. 
+
    4. 正态性：便于扩散模型建模
      5. 
+
    
+
    这些特性不是自动获得的，而是通过精心的架构设计和训练策略实现的。让我们深入理解每个特性的重要性：
    
+
    平滑性确保了潜在空间的连续性。在一个平滑的潜在空间中，小的扰动只会导致输出的微小变化。这对于扩散模型至关重要，因为扩散过程本质上是在潜在空间中进行连续的轨迹追踪。如果空间不平滑，去噪过程可能会产生不连贯的结果。
    
+
    语义性使得潜在表示具有可解释性。理想情况下，潜在空间的不同方向应该对应图像的不同语义属性，如物体的姿态、光照、风格等。虽然完全的解耦很难实现，但部分的语义对齐可以提高模型的可控性。
    
+
    紧凑性要求每个潜在维度都携带有用信息。冗余或未使用的维度不仅浪费计算资源，还可能成为噪声源。通过适当的正则化和架构设计，我们可以鼓励模型学习紧凑的表示。
    
+
    正态性是扩散模型的技术要求。标准的扩散理论假设数据分布接近高斯分布。虽然这个假设在像素空间中明显不成立，但通过适当的编码器设计和正则化，我们可以使潜在空间更接近这个理想。
    
+
    分析潜在空间：
    
+
    可以通过以下方法分析潜在空间的特性：
    
+
    实现潜在空间分析需要：
    
+
      
+
    • 使用 torch.no_grad() 上下文管理器避免梯度计算
      • 
+
    • 遍历数据加载器，对每批图像进行编码
      • 
+
    • 使用自编码器的 encode 方法获取潜在表示
      • 
+
    • 收集所有潜在表示和对应的标签
      • 
+
    • 计算统计特性：
      • 
+
    • 均值（理想接近0）
      • 
+
    • 标准差（理想接近1）
      • 
+
    • 峰度（使用 scipy.stats.kurtosis 测量分布形状）
      • 
+
    • 使用降维技术可视化：
      • 
+
    • t-SNE（sklearn.manifold.TSNE）将高维潜在空间映射到2D
      • 
+
    • 根据标签着色散点图，观察类别聚类情况
      • 
+
    • 也可使用UMAP作为替代的降维方法
      • 
+
    
+
    🌟 开放问题：最优潜在空间设计
    
+如何设计具有特定属性的潜在空间？能否学习解耦的表示？这涉及到表示学习和因果推断的前沿研究。
    
+
    10.3 潜在空间中的扩散
    
+
    10.3.1 潜在扩散过程的数学描述
    
+
    在潜在空间中进行扩散需要重新定义前向和反向过程：
    
+
    前向过程：
    
+
    $$q(\mathbf{z}_t | \mathbf{z}_0) = \mathcal{N}(\mathbf{z}_t; \sqrt{\bar{\alpha}_t}\mathbf{z}_0, (1-\bar{\alpha}_t)\mathbf{I})$$
+其中 $\mathbf{z}_0 = \mathcal{E}(\mathbf{x})$ 是编码后的潜在表示。
    
+
    关键差异：
    
+
      
+
    1. 维度降低：从 $\mathbb{R}^{3 \times H \times W}$ 到 $\mathbb{R}^{C \times h \times w}$
      2. 
+
    2. 分布变化：潜在空间可能不完全符合高斯分布
      3. 
+
    3. 尺度差异：需要适当的归一化
      4. 
+
    
+
    反向过程：
+$$p_\theta(\mathbf{z}_{t-1} | \mathbf{z}_t) = \mathcal{N}(\mathbf{z}_{t-1}; \boldsymbol{\mu}_\theta(\mathbf{z}_t, t), \sigma_t^2\mathbf{I})$$
+扩散模型学习预测噪声 $\boldsymbol{\epsilon}_\theta(\mathbf{z}_t, t)$ ，用于计算均值：
+$$\boldsymbol{\mu}_\theta(\mathbf{z}_t, t) = \frac{1}{\sqrt{\alpha_t}}\left(\mathbf{z}_t - \frac{1-\alpha_t}{\sqrt{1-\bar{\alpha}_t}}\boldsymbol{\epsilon}_\theta(\mathbf{z}_t, t)\right)$$
    
+
    10.3.2 噪声调度的适配
    
+
    潜在空间的统计特性与像素空间不同，需要调整噪声调度：
    
+
    1. 信噪比分析：
    
+
    分析潜在空间的信噪比特性：
    
+
      
+
    • 信号功率： $P_{signal} = \mathbb{E}[||\mathbf{z}||^2]$
      • 
+
    • 噪声功率： $P_{noise} = (1-\bar{\alpha}_t) \cdot P_{signal}$
      • 
+
    • 信噪比： $\text{SNR}(t) = 10\log_{10}(P_{signal}/P_{noise})$ dB
      • 
+
    
+
    通过分析不同时间步的SNR，可以了解噪声调度的合理性。
    
+
    2. 自适应调度：
    
+
    根据潜在空间的统计特性设计噪声调度：
    
+
      
+
    • 考虑潜在空间均值和方差：使用数据集的统计量
      • 
+
    • 调整 $\beta$ 范围： $\beta_{start} = 0.0001 \cdot \sigma_z$ ， $\beta_{end} = 0.02 \cdot \sigma_z$
      • 
+
    • 目标最终SNR：确保 $T$ 步后 SNR $\approx -20$ dB
      • 
+
    • 线性或余弦调度：根据潜在空间分布选择
      • 
+
    
+
    💡 实践技巧：预计算统计量
    
+在大规模数据集上预计算潜在空间的均值和方差，用于归一化和噪声调度设计。
    
+
    10.3.3 条件机制在潜在空间的实现
    
+
    LDM中的条件信息通过多种方式注入：
    
+
    1. 交叉注意力机制：
    
+
    交叉注意力允许潜在特征与条件信息交互：
    
+
      
+
    • 输入：潜在特征 $\mathbf{x} \in \mathbb{R}^{B \times HW \times C}$ ，条件编码 $\mathbf{c} \in \mathbb{R}^{B \times L \times D}$
      • 
+
    • 注意力计算： $\text{Attention}(\mathbf{Q}, \mathbf{K}, \mathbf{V}) = \text{softmax}(\frac{\mathbf{Q}\mathbf{K}^T}{\sqrt{d_k}})\mathbf{V}$
      • 
+
    • 其中： $\mathbf{Q} = \mathbf{x}\mathbf{W}_Q$ ， $\mathbf{K} = \mathbf{c}\mathbf{W}_K$ ， $\mathbf{V} = \mathbf{c}\mathbf{W}_V$
      • 
+
    • 残差连接： $\mathbf{x}_{out} = \mathbf{x} + \text{Attention}(\mathbf{x}, \mathbf{c}, \mathbf{c})$
      • 
+
    
+
    2. 特征调制（FiLM）：
    
+
    FiLM（Feature-wise Linear Modulation）通过缩放和偏移调制特征：
+$$\mathbf{x}_{out} = \mathbf{x} \odot (1 + \gamma(\mathbf{c})) + \beta(\mathbf{c})$$
+其中：
    
+
      
+
    • $\gamma(\mathbf{c})$ ：条件相关的缩放参数
      • 
+
    • $\beta(\mathbf{c})$ ：条件相关的偏移参数
      • 
+
    • $\odot$ ：逐元素乘法
      • 
+
    
+
    3. 空间条件控制：
    
+
    处理空间条件（如掩码、边缘图）的方法：
    
+
      
+
    • 拼接方法： $\mathbf{z}_{cond} = [\mathbf{z}_t, \mathbf{s}]$ ，沿通道维度拼接
      • 
+
    • 加法融合： $\mathbf{z}_{cond} = \mathbf{z}_t + \mathbf{s}$ ，需要维度匹配
      • 
+
    • 门控融合： $\mathbf{z}_{cond} = \mathbf{z}_t \odot \sigma(\mathbf{s}) + \mathbf{s} \odot (1-\sigma(\mathbf{s}))$
      • 
+
    
+
    其中 $\mathbf{s}$ 是空间条件， $\sigma$ 是sigmoid函数。
    
+
    🔬 研究方向：条件注入的最优位置
    
+应该在U-Net的哪些层注入条件信息？早期层影响全局结构，后期层控制细节。系统研究这种权衡可以指导架构设计。
    
+
    10.3.4 训练策略与技巧
    
+
    1. 渐进式训练：
    
+
    从低分辨率开始逐步提高，加快训练收敛：
    
+
      
+
    • 初始阶段：在较小的潜在空间分辨率（如32×32）训练
      • 
+
    • 逐步提升：根据训练进度提高到64×64或更高
      • 
+
    • 分辨率适配：使用插值调整潜在表示大小
      • 
+
    • 优势：早期快速迭代，后期精细调整
      • 
+
    
+
    2. 混合精度训练：
    
+
    使用自动混合精度（AMP）加速训练：
    
+
      
+
    • 前向传播：在FP16半精度下计算，减少内存使用
      • 
+
    • 反向传播：使用FP32全精度保持数值稳定性
      • 
+
    • 梯度缩放：自动调整梯度范围，避免溢出
      • 
+
    • 性能提升：通常可获得2-3倍加速
      • 
+
    
+
    3. 梯度累积：
    
+
    在显存受限时模拟大批量训练：
    
+
      
+
    • 累积步数：多个小批次的梯度累加
      • 
+
    • 等效批量：实际批量 = 物理批量 × 累积步数
      • 
+
    • 更新频率：每累积完成后执行一次参数更新
      • 
+
    • 损失归一化：除以累积步数以保持正确的梯度尺度
      • 
+
    
+
    10.3.5 质量与效率的权衡
    
+
    压缩率 vs 重建质量：
    
+
    | 下采样因子 | 压缩率 | 速度提升 | FID | 适用场景 |
    
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
    下采样因子压缩率速度提升FID适用场景
    4x16x10-15x~5高质量生成
    8x64x40-60x~10平衡选择
    16x256x150-200x~25快速预览
    
+
    动态质量调整：
    
+
    根据使用场景自动选择合适的模型配置：
    
+
      
+
    • 草稿模式：使用16x压缩模型，10个采样步骤，适合快速预览
      • 
+
    • 平衡模式：使用8x压缩模型，25个采样步骤，平衡质量和速度
      • 
+
    • 高质量模式：使用4x压缩模型，50个采样步骤，最佳生成质量
      • 
+
    
+
    这种方法允许用户根据需求在质量和速度之间灵活选择。
    
+
    
+**练习 10.3：潜在空间扩散实验**
+
    探索潜在空间扩散的各个方面。
    
+
      
+
    1. 
+
      压缩率影响分析：
+   - 训练不同压缩率的LDM（4x, 8x, 16x）
+   - 比较生成质量、多样性和速度
+   - 绘制压缩率-质量曲线
      
+
      2. 
+
    2. 
+
      噪声调度优化：
+   - 实现基于SNR的自适应调度
+   - 比较线性、余弦和学习的调度
+   - 分析对收敛速度的影响
      
+
      3. 
+
    3. 
+
      条件注入研究：
+   - 实现不同的条件注入方法
+   - 测试在不同层注入的效果
+   - 评估对可控性的影响
      
+
      4. 
+
    4. 
+
      创新探索：
+   - 设计多尺度潜在空间（层次化LDM）
+   - 研究向量量化的潜在扩散
+   - 探索自适应压缩率选择
      
+
      5. 
+
    
+
    
+
    10.3.6 调试与可视化
    
+
    监控训练过程：
    
+
    可视化扩散和去噪过程的关键步骤：
    
+
      
+
    1. 编码：将输入图像编码到潜在空间 $\mathbf{z}_0 = \mathcal{E}(\mathbf{x}_0)$
      2. 
+
    2. 前向扩散：在不同时间步添加噪声，观察潜在表示的逐渐退化
      3. 
+
    3. 反向去噪：从纯噪声开始，逐步去噪恢复清晰的潜在表示
      4. 
+
    4. 解码可视化：将各个阶段的潜在表示解码回图像空间
      5. 
+
    
+
    选择关键时间步（如 $t \in \{0, 250, 500, 750, 999\}$ ）进行可视化。
    
+
    诊断工具：
    
+
    诊断潜在扩散模型常见问题的方法：
    
+
      
+
    1. 
+
      潜在空间分布检查：
+   - 计算均值和标准差，确保接近标准正态分布
+   - 检查是否存在异常值或分布偏移
      
+
      2. 
+
    2. 
+
      重建质量评估：
+   - 计算重建误差： $\mathcal{L}_{recon} = ||\mathbf{x} - \mathcal{D}(\mathcal{E}(\mathbf{x}))||^2$
+   - 检查感知质量和细节保留
      
+
      3. 
+
    3. 
+
      噪声预测准确性：
+   - 添加已知噪声并预测
+   - 计算预测误差并分析在不同时间步的表现
      
+
      4. 
+
    
+
    实现诊断工具需要：
    
+
      
+
    • 编码测试图像并计算潜在表示的统计量（均值、标准差）
      • 
+
    • 对比原始图像和重建图像，使用MSE和感知损失评估质量
      • 
+
    • 在不同时间步计算噪声预测误差，使用 F.mse_loss 比较预测噪声和真实噪声
      • 
+
    • 从随机噪声生成样本，通过反向扩散过程逐步去噪
      • 
+
    • 返回包含潜在统计、重建误差、噪声误差和生成样本的诊断结果字典
      • 
+
    
+
    🌟 最佳实践：多阶段调试
    
+先确保自编码器工作正常，再训练扩散模型。使用小数据集快速迭代，验证流程正确后再扩展到大规模训练。
    
+
    10.2 自编码器设计
    
+
    10.2.1 VQ-VAE vs KL-VAE
    
+
    LDM中常用两种自编码器架构，各有优劣：
    
+
    VQ-VAE（Vector Quantized VAE）：
    
+
    VQ-VAE通过向量量化实现离散的潜在表示，这种方法有其独特的优势和挑战。
    
+
    VQ-VAE使用离散的潜在表示：
    
+
      
+
    • 编码器：将图像编码为连续特征 $\mathbf{z}_e = \text{Encoder}(\mathbf{x})$
      • 
+
    • 向量量化：将连续特征映射到最近的码本 $\mathbf{z}_q = \text{Quantize}(\mathbf{z}_e)$
      • 
+
    • 码本（Codebook）：包含 $K$ 个可学习的向量，通常 $K=8192$
      • 
+
    • 承诺损失： $\mathcal{L}_{commit} = ||\mathbf{z}_e - \text{sg}[\mathbf{z}_q]||^2$ ，鼓励编码器输出接近码本
      • 
+
    • 优点：离散表示、压缩率高
      • 
+
    • 缺点：码本崩塌、重建质量受限
      • 
+
    
+
    向量量化的核心思想是将连续的编码器输出映射到一个有限的码本集合。这类似于传统的矢量量化技术，但通过端到端学习实现。每个空间位置的特征向量被替换为码本中最近的向量，实现了离散化。这种离散性带来了极高的压缩率——整个图像可以用码本索引序列表示。
    
+
    然而，VQ-VAE面临几个技术挑战。码本崩塌是最常见的问题，即模型只使用码本中的少数几个向量，浪费了表示容量。此外，量化操作的不可微性需要特殊的训练技巧，如直通估计器（straight-through estimator）。
    
+
    KL-VAE（KL正则化的VAE）：
    
+
    相比之下，KL-VAE保持了连续的潜在表示，更适合扩散模型的需求。
    
+
    KL-VAE使用连续的潜在表示和概率分布：
    
+
      
+
    • 编码器输出：均值 $\boldsymbol{\mu}$ 和对数方差 $\log\boldsymbol{\sigma}^2$
      • 
+
    • 重参数化技巧： $\mathbf{z} = \boldsymbol{\mu} + \boldsymbol{\sigma} \odot \boldsymbol{\epsilon}$ ，其中 $\boldsymbol{\epsilon} \sim \mathcal{N}(0, \mathbf{I})$
      • 
+
    • KL损失： $\mathcal{L}_{KL} = \text{KL}(q(\mathbf{z}|\mathbf{x})||p(\mathbf{z}))$ ，促使潜在分布接近标准正态
      • 
+
    • KL权重：通常设置为很小的值（如 $10^{-6}$ ），以保持重建质量
      • 
+
    • 优点：连续表示、训练稳定、适合扩散模型
      • 
+
    • 缺点：压缩率受限、可能出现后验崩塌
      • 
+
    
+
    KL-VAE的设计基于变分推断原理。编码器不是产生确定性的编码，而是输出一个分布的参数。通过重参数化技巧，我们可以从这个分布中采样，同时保持梯度的可传播性。KL散度项作为正则化，鼓励后验分布 $q(\mathbf{z}|\mathbf{x})$ 接近先验 $p(\mathbf{z})$ （通常是标准正态分布）。
    
+
    在LDM的实践中，KL权重被设置得极小。这是一个关键的设计选择：我们想要VAE的架构灵活性和理论基础，但不希望过强的正则化损害重建质量。极小的KL权重使模型表现接近确定性自编码器，同时保留了概率建模的框架。
    
+
    比较：
+| 特性 | VQ-VAE | KL-VAE |
    
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
    特性VQ-VAEKL-VAE
    潜在空间离散连续
    训练稳定性较难（需要技巧）较好
    压缩率固定灵活
    后续扩散需要适配直接应用
    
+
    选择哪种架构取决于具体应用。VQ-VAE在需要极高压缩率或离散表示的场景中表现出色，如音频生成或符号化表示学习。而对于扩散模型，KL-VAE的连续性使其成为自然选择。扩散过程的数学基础建立在连续空间的布朗运动上，离散空间需要特殊的适配（如D3PM中的离散扩散）。
    
+
    💡 实践选择：为什么LDM偏好KL-VAE
    
+连续潜在空间更适合扩散模型的高斯噪声假设。极小的KL权重（1e-6）使其接近确定性编码器。
    
+
    10.2.2 感知损失与对抗训练
    
+
    单纯的像素重建损失会导致模糊结果。LDM使用组合损失：
    
+
    理解为什么需要超越像素级损失是关键。L1或L2损失在像素空间计算平均值，这导致了臭名昭著的"模糊"问题。当多个锐利的图像都是合理的重建时，像素级损失会倾向于它们的平均值——一个模糊的图像。这在高频细节（如纹理、边缘）上特别明显。
    
+
    LDM使用组合损失函数来训练自编码器：
    
+
      
+
    1. 
+
      重建损失： $\mathcal{L}_{rec} = ||\mathbf{x} - \mathbf{x}_{recon}||_1$
+   - 保证基本的像素级重建
+   - L1损失比L2更鲁棒，对异常值不敏感
      
+
      2. 
+
    2. 
+
      感知损失： $\mathcal{L}_{percep} = ||\phi(\mathbf{x}) - \phi(\mathbf{x}_{recon})||_2$
+   - 使用预训练VGG网络的特征
+   - 保持高级语义信息
+   - 通常使用多个层的特征组合
      
+
      3. 
+
    
+
    感知损失的创新在于它在特征空间而非像素空间衡量相似性。预训练的VGG网络已经学会了提取图像的层次化特征：低层捕捉边缘和纹理，高层理解物体和场景。通过在这些特征上计算距离，我们鼓励重建保持感知上重要的属性。
    
+
      
+
    1. 
+
      KL正则化： $\mathcal{L}_{KL} = -\frac{1}{2}\sum(1 + \log\sigma^2 - \mu^2 - \sigma^2)$
+   - 约束潜在分布接近标准正态
+   - 在LDM中权重极小，避免过度正则化
      
+
      2. 
+
    2. 
+
      对抗损失： $\mathcal{L}_{adv} = -\mathbb{E}[D(\mathbf{x}_{recon})]$
+   - 延迟启动（通常在50k步后）
+   - 提高细节真实性
+   - 使用PatchGAN判别器
      
+
      3. 
+
    
+
    对抗训练的引入是为了进一步提高重建的真实性。判别器学习区分真实图像和重建图像，迫使生成器（解码器）产生更逼真的结果。延迟启动策略很重要：先让自编码器通过重建和感知损失学习基本的编码-解码能力，然后引入对抗损失来精细化细节。
+组合损失的实现需要权衡各个损失项：
    
+
      
+
    • 重建损失（rec_loss）：基础损失项，权重通常为1.0
      • 
+
    • 感知损失（p_loss）：乘以感知权重（perceptual_weight），通常为0.1-1.0
      • 
+
    • KL损失（kl_loss）：乘以极小的KL权重（kl_weight），通常为1e-6
      • 
+
    • 对抗损失（g_loss）：乘以判别器权重（disc_weight），通常为0.1-0.5
      • 
+
    
+
    总损失： $\mathcal{L}_{total} = \mathcal{L}_{rec} + \lambda_1\mathcal{L}_{percep} + \lambda_2\mathcal{L}_{KL} + \lambda_3\mathcal{L}_{adv}$
    
+
    损失权重的设置是一门艺术。典型的配置可能是：
    
+
      
+
    • 重建损失权重：1.0（作为基准）
      • 
+
    • 感知损失权重：0.1-1.0（取决于具体的感知网络和层）
      • 
+
    • KL权重：1e-6（极小，主要起正则化作用）
      • 
+
    • 对抗损失权重：0.1-0.5（过大会导致训练不稳定）
      • 
+
    
+
    这些权重需要根据具体数据集和任务调整。一个好的起点是先只用重建和感知损失训练，观察重建质量，然后逐步加入其他损失项。
    
+
    判别器设计：
    
+
    PatchGAN判别器的特点：
    
+
      
+
    • 局部判别：输出特征图而非单一标量
      • 
+
    • 多尺度卷积：逐步下采样，提取不同尺度特征
      • 
+
    • LeakyReLU激活：更适合判别器训练
      • 
+
    • 最终输出： $H/16 \times W/16$ 的特征图，每个位置判别对应的局部区域
      • 
+
    
+
    PatchGAN的设计理念是"局部真实性"。与传统的全局判别器不同，PatchGAN将图像分成重叠的块，对每个块独立判别。这种设计有几个优势：
    
+
      
+
    1. 强制局部细节的真实性
      2. 
+
    2. 参数效率更高
      3. 
+
    3. 可以处理任意大小的图像
      4. 
+
    4. 训练更稳定
      5. 
+
    
+
    判别器的感受野大小是一个重要的设计选择。太小的感受野只能捕捉纹理，太大则退化为全局判别器。典型的PatchGAN使用70×70的感受野，这在捕捉局部结构和保持计算效率之间取得了良好平衡。
    
+
    10.2.3 潜在空间的正则化
    
+
    为了确保潜在空间适合扩散建模，需要适当的正则化：
    
+
    正则化在LDM中扮演着微妙但关键的角色。我们需要在两个目标之间取得平衡：保持足够的表示能力以准确重建图像，同时确保潜在空间具有良好的结构以支持扩散建模。
    
+
    1. KL正则化的作用：
+- 防止潜在空间坍缩
+- 鼓励接近标准高斯分布
+- 但权重需要很小避免信息损失
    
+
    KL正则化的数学形式值得深入理解。对于高斯VAE，KL散度有闭式解：
+$$\mathcal{L}_{KL} = -\frac{1}{2}\sum_{i=1}^{d}(1 + \log\sigma_i^2 - \mu_i^2 - \sigma_i^2)$$
+这个公式鼓励每个潜在维度的均值接近0，方差接近1。但在LDM中，我们使用极小的权重（通常1e-6），这意味着正则化的作用非常轻微。这是一个精心的设计选择：我们想要VAE的理论框架和稳定性，但不希望强制的标准正态分布损害重建质量。
    
+
    2. 谱归一化：
    
+
    谱归一化通过约束权重矩阵的谱范数来稳定训练：
    
+
      
+
    • 目的：限制Lipschitz常数，避免梯度爆炸
      • 
+
    • 应用位置：通常应用于判别器的所有卷积层
      • 
+
    • 效果：提高GAN训练稳定性
      • 
+
    
+
    谱归一化的核心思想是控制函数的Lipschitz常数。对于线性层 $f(\mathbf{x}) = \mathbf{W}\mathbf{x}$ ，其Lipschitz常数等于权重矩阵的谱范数（最大奇异值）。通过将权重除以其谱范数，我们确保每层的Lipschitz常数为1，整个网络的Lipschitz常数有界。
    
+
    这在对抗训练中特别重要，因为它防止判别器变得过于"尖锐"，从而稳定了训练动态。实践中，谱归一化通过幂迭代方法高效计算，只需要很小的额外计算成本。
    
+
    3. 梯度惩罚：
    
+
    梯度惩罚（Gradient Penalty）是WGAN-GP的核心技术：
    
+
      
+
    • 原理：在真实和生成样本之间插值，约束梯度范数接近1
      • 
+
    • 插值公式： $\mathbf{x}_{interp} = \epsilon\mathbf{x}_{real} + (1-\epsilon)\mathbf{x}_{fake}$
      • 
+
    • 惩罚项： $\mathcal{L}_{GP} = \mathbb{E}[(||\nabla_{\mathbf{x}_{interp}}D(\mathbf{x}_{interp})||_2 - 1)^2]$
      • 
+
    • 优点：更稳定的训练，避免模式崩塌
      • 
+
    
+
    梯度惩罚基于Wasserstein距离的对偶形式。理论上，最优的Wasserstein判别器应该是1-Lipschitz函数。梯度惩罚通过软约束实现这一点，在数据流形附近强制梯度范数接近1。这比谱归一化更灵活，因为它只在数据分布附近施加约束，而不是全局限制网络容量。
+梯度惩罚的实现步骤：
    
+
      
+
    • 在真实和生成样本之间进行随机插值
      • 
+
    • 计算判别器对插值样本的输出
      • 
+
    • 使用自动微分计算输出相对于输入的梯度
      • 
+
    • 计算梯度的L2范数（使用 norm(2, dim=1)）
      • 
+
    • 惩罚项为梯度范数与1的差的平方的均值
      • 
+
    • 这鼓励判别器在数据流形附近保持1-Lipschitz性质
      • 
+
    
+
    🔬 研究线索：最优正则化策略
    
+如何平衡重建质量和潜在空间的规整性？是否可以设计自适应的正则化方案？
    
+
    10.2.4 编码器-解码器架构细节
    
+
    高效的编码器设计：
    
+
    编码器的层次结构：
    
+
      
+
    1. 初始卷积：3×3卷积将RGB图像映射到特征空间
      2. 
+
    2. 下采样阶段：
+   - 使用多个分辨率级别，通道数逐级增加： $(1, 2, 4, 8) \times ch$
+   - 每个级别包含多个ResNet块
+   - 级别之间使用2倍下采样
      3. 
+
    3. 中间处理：
+   - ResNet块 + 注意力块 + ResNet块
+   - 在最低分辨率处捕捉全局信息
      4. 
+
    4. 输出层：
+   - GroupNorm + SiLU激活
+   - 输出 $2 \times z_{channels}$ 通道（均值和方差）
      5. 
+
    
+
    残差块实现：
    
+
    ResNet块的关键组件：
    
+
      
+
    • 归一化：GroupNorm（32组，更适合小批量训练
      • 
+
    • 激活函数：SiLU (Swish)，平滑且非单调
      • 
+
    • 两层3×3卷积：保持空间分辨率
      • 
+
    • 快捷连接：当输入输出通道不匹配时使用1×1卷积
      • 
+
    • 
+
      Dropout：可选的正则化
+ResNet块的处理流程：
      
+
      • 
+
    • 
+
      第一层：归一化（norm1） → SiLU激活 → 3×3卷积（conv1）
      
+
      • 
+
    • 第二层：归一化（norm2） → SiLU激活 → Dropout（可选） → 3×3卷积（conv2）
      • 
+
    • 快捷连接：如果输入输出通道不同，使用1×1卷积（shortcut）进行匹配
      • 
+
    • 最终输出：残差路径与快捷连接相加
      • 
+
    
+
    
+**练习 10.2：自编码器架构实验**
+
    探索不同的自编码器设计选择。
    
+
      
+
    1. 
+
      架构比较：
+   - 实现VQ-VAE和KL-VAE
+   - 比较重建质量和训练稳定性
+   - 分析潜在空间的统计特性
      
+
      2. 
+
    2. 
+
      损失函数研究：
+   - 调整各损失项的权重
+   - 尝试不同的感知网络（VGG, ResNet）
+   - 研究对抗训练的启动时机
      
+
      3. 
+
    3. 
+
      压缩率实验：
+   - 测试不同的潜在维度
+   - 分析率失真权衡
+   - 找出特定数据集的最优设置
      
+
      4. 
+
    4. 
+
      创新设计：
+   - 尝试渐进式训练（逐步增加分辨率）
+   - 实现条件自编码器
+   - 探索层次化潜在表示
      
+
      5. 
+
    
+
    
+
    10.2.5 训练技巧与稳定性
    
+
    1. 学习率调度：
    
+
    常用的学习率调度策略：
    
+
      
+
    • 线性预热：在前N步线性增加学习率，避免训练初期的不稳定
      • 
+
    • 余弦退火：学习率按余弦函数衰减，公式为 $lr = lr_{min} + \frac{1}{2}(lr_{max} - lr_{min})(1 + \cos(\frac{\pi \cdot step}{total_steps}))$
      • 
+
    • 步进衰减：在特定步数将学习率乘以衰减因子
      • 
+
    • 自适应调整：根据验证损失平台期自动降低学习率
      • 
+
    
+
    2. EMA（指数移动平均）：
    
+
    EMA通过维护模型参数的移动平均来提高生成质量：
    
+
      
+
    • 更新公式： $\theta_{ema} = \beta \cdot \theta_{ema} + (1-\beta) \cdot \theta$
      • 
+
    • 典型的 $\beta$ 值为0.999或0.9999
      • 
+
    • EMA模型通常比原始模型产生更稳定、更高质量的结果
      • 
+
    • 在推理时使用EMA参数而非训练参数
      • 
+
    
+
    3. 梯度累积：
    
+
    在显存受限时通过梯度累积模拟大批量训练：
    
+
      
+
    • 将梯度累积多个小批次
      • 
+
    • 等效批量大小 = 物理批量 × 累积步数
      • 
+
    • 只在累积完成后更新参数
      • 
+
    • 需要正确归一化损失（除以累积步数）
      • 
+
    
+
    💡 调试技巧：监控潜在空间
    
+定期可视化潜在编码的分布，确保没有模式崩溃或异常值。
    
+
    10.2.6 预训练模型的使用
    
+
    使用预训练的自编码器可以大大加速开发：
    
+
    加载预训练模型的关键步骤：
    
+
      
+
    • 从检查点文件加载状态字典
      • 
+
    • 实例化自编码器架构（需要匹配预训练时的配置）
      • 
+
    • 加载权重并设置为评估模式（eval()）
      • 
+
    • 如果使用不同的数据域，可能需要微调编码器或解码器
      • 
+
    • 常见的预训练模型来源：
      • 
+
    • CompVis/stable-diffusion 的 VAE
      • 
+
    • 各种开源模型仓库
      • 
+
    • 自行在大规模数据集上预训练
      • 
+
    
+
    🌟 最佳实践：迁移学习
    
+即使目标领域不同，从预训练模型开始通常比从头训练更好。自然图像的编码器可以很好地迁移到其他视觉任务。
    
+
    10.4 Stable Diffusion架构详解
    
+
    10.4.1 整体架构概览
    
+
    Stable Diffusion是LDM最成功的实现，其架构精心平衡了效率和质量：
    
+
    ┌─────────────┐     ┌──────────────┐     ┌─────────────┐
+│   图像      │────▶│  VAE编码器   │────▶│ 潜在表示 z  │
+│ 512×512×3   │     │  (下采样8x)  │     │  64×64×4    │
+└─────────────┘     └──────────────┘     └─────────────┘
+                                                 │
+                                                 ▼
+┌─────────────┐     ┌──────────────┐     ┌─────────────┐
+│ 文本提示    │────▶│ CLIP编码器   │────▶│  文本嵌入   │
+│             │     │              │     │  77×768     │
+└─────────────┘     └──────────────┘     └─────────────┘
+                                                 │
+                                                 ▼
+                    ┌──────────────────────────────┐
+                    │      U-Net去噪网络           │
+                    │   (带交叉注意力机制)         │
+                    └──────────────────────────────┘
+                                │
+                                ▼
+                    ┌──────────────┐     ┌─────────────┐
+                    │  VAE解码器   │────▶│  生成图像   │
+                    │  (上采样8x)  │     │ 512×512×3   │
+                    └──────────────┘     └─────────────┘
+
    
 
-感知损失的创新在于它在特征空间而非像素空间衡量相似性。预训练的VGG网络已经学会了提取图像的层次化特征：低层捕捉边缘和纹理，高层理解物体和场景。通过在这些特征上计算距离，我们鼓励重建保持感知上重要的属性。
-
-3. **KL正则化**： $\mathcal{L}_{KL} = -\frac{1}{2}\sum(1 + \log\sigma^2 - \mu^2 - \sigma^2)$
-   - 约束潜在分布接近标准正态
-   - 在LDM中权重极小，避免过度正则化
-
-4. **对抗损失**： $\mathcal{L}_{adv} = -\mathbb{E}[D(\mathbf{x}_{recon})]$
-   - 延迟启动（通常在50k步后）
-   - 提高细节真实性
-   - 使用PatchGAN判别器
-
-对抗训练的引入是为了进一步提高重建的真实性。判别器学习区分真实图像和重建图像，迫使生成器（解码器）产生更逼真的结果。延迟启动策略很重要：先让自编码器通过重建和感知损失学习基本的编码-解码能力，然后引入对抗损失来精细化细节。
-组合损失的实现需要权衡各个损失项：
-- 重建损失（`rec_loss`）：基础损失项，权重通常为1.0
-- 感知损失（`p_loss`）：乘以感知权重（`perceptual_weight`），通常为0.1-1.0
-- KL损失（`kl_loss`）：乘以极小的KL权重（`kl_weight`），通常为1e-6
-- 对抗损失（`g_loss`）：乘以判别器权重（`disc_weight`），通常为0.1-0.5
-
-**总损失**： $\mathcal{L}_{total} = \mathcal{L}_{rec} + \lambda_1\mathcal{L}_{percep} + \lambda_2\mathcal{L}_{KL} + \lambda_3\mathcal{L}_{adv}$
-
-损失权重的设置是一门艺术。典型的配置可能是：
-- 重建损失权重：1.0（作为基准）
-- 感知损失权重：0.1-1.0（取决于具体的感知网络和层）
-- KL权重：1e-6（极小，主要起正则化作用）
-- 对抗损失权重：0.1-0.5（过大会导致训练不稳定）
-
-这些权重需要根据具体数据集和任务调整。一个好的起点是先只用重建和感知损失训练，观察重建质量，然后逐步加入其他损失项。
-
-**判别器设计**：
-
-PatchGAN判别器的特点：
-- **局部判别**：输出特征图而非单一标量
-- **多尺度卷积**：逐步下采样，提取不同尺度特征
-- **LeakyReLU激活**：更适合判别器训练
-- **最终输出**： $H/16 \times W/16$ 的特征图，每个位置判别对应的局部区域
-
-PatchGAN的设计理念是"局部真实性"。与传统的全局判别器不同，PatchGAN将图像分成重叠的块，对每个块独立判别。这种设计有几个优势：
-1. 强制局部细节的真实性
-2. 参数效率更高
-3. 可以处理任意大小的图像
-4. 训练更稳定
-
-判别器的感受野大小是一个重要的设计选择。太小的感受野只能捕捉纹理，太大则退化为全局判别器。典型的PatchGAN使用70×70的感受野，这在捕捉局部结构和保持计算效率之间取得了良好平衡。
-
-### 10.2.3 潜在空间的正则化
-
-为了确保潜在空间适合扩散建模，需要适当的正则化：
-
-正则化在LDM中扮演着微妙但关键的角色。我们需要在两个目标之间取得平衡：保持足够的表示能力以准确重建图像，同时确保潜在空间具有良好的结构以支持扩散建模。
-
-**1. KL正则化的作用**：
-- 防止潜在空间坍缩
-- 鼓励接近标准高斯分布
-- 但权重需要很小避免信息损失
-
-KL正则化的数学形式值得深入理解。对于高斯VAE，KL散度有闭式解：
-$$\mathcal{L}_{KL} = -\frac{1}{2}\sum_{i=1}^{d}(1 + \log\sigma_i^2 - \mu_i^2 - \sigma_i^2)$$
-
-这个公式鼓励每个潜在维度的均值接近0，方差接近1。但在LDM中，我们使用极小的权重（通常1e-6），这意味着正则化的作用非常轻微。这是一个精心的设计选择：我们想要VAE的理论框架和稳定性，但不希望强制的标准正态分布损害重建质量。
-
-**2. 谱归一化**：
-
-谱归一化通过约束权重矩阵的谱范数来稳定训练：
-- **目的**：限制Lipschitz常数，避免梯度爆炸
-- **应用位置**：通常应用于判别器的所有卷积层
-- **效果**：提高GAN训练稳定性
-
-谱归一化的核心思想是控制函数的Lipschitz常数。对于线性层 $f(\mathbf{x}) = \mathbf{W}\mathbf{x}$ ，其Lipschitz常数等于权重矩阵的谱范数（最大奇异值）。通过将权重除以其谱范数，我们确保每层的Lipschitz常数为1，整个网络的Lipschitz常数有界。
-
-这在对抗训练中特别重要，因为它防止判别器变得过于"尖锐"，从而稳定了训练动态。实践中，谱归一化通过幂迭代方法高效计算，只需要很小的额外计算成本。
-
-**3. 梯度惩罚**：
-
-梯度惩罚（Gradient Penalty）是WGAN-GP的核心技术：
-- **原理**：在真实和生成样本之间插值，约束梯度范数接近1
-- **插值公式**： $\mathbf{x}_{interp} = \epsilon\mathbf{x}_{real} + (1-\epsilon)\mathbf{x}_{fake}$
-- **惩罚项**： $\mathcal{L}_{GP} = \mathbb{E}[(||\nabla_{\mathbf{x}_{interp}}D(\mathbf{x}_{interp})||_2 - 1)^2]$
-- **优点**：更稳定的训练，避免模式崩塌
-
-梯度惩罚基于Wasserstein距离的对偶形式。理论上，最优的Wasserstein判别器应该是1-Lipschitz函数。梯度惩罚通过软约束实现这一点，在数据流形附近强制梯度范数接近1。这比谱归一化更灵活，因为它只在数据分布附近施加约束，而不是全局限制网络容量。
-梯度惩罚的实现步骤：
-- 在真实和生成样本之间进行随机插值
-- 计算判别器对插值样本的输出
-- 使用自动微分计算输出相对于输入的梯度
-- 计算梯度的L2范数（使用 `norm(2, dim=1)`）
-- 惩罚项为梯度范数与1的差的平方的均值
-- 这鼓励判别器在数据流形附近保持1-Lipschitz性质
-
-🔬 **研究线索：最优正则化策略**  
-如何平衡重建质量和潜在空间的规整性？是否可以设计自适应的正则化方案？
-
-### 10.2.4 编码器-解码器架构细节
-
-**高效的编码器设计**：
-
-编码器的层次结构：
-1. **初始卷积**：3×3卷积将RGB图像映射到特征空间
-2. **下采样阶段**：
-   - 使用多个分辨率级别，通道数逐级增加： $(1, 2, 4, 8) \times ch$
-   - 每个级别包含多个ResNet块
-   - 级别之间使用2倍下采样
-3. **中间处理**：
-   - ResNet块 + 注意力块 + ResNet块
-   - 在最低分辨率处捕捉全局信息
-4. **输出层**：
-   - GroupNorm + SiLU激活
-   - 输出 $2 \times z_{channels}$ 通道（均值和方差）
-
-**残差块实现**：
-
-ResNet块的关键组件：
-- **归一化**：GroupNorm（32组，更适合小批量训练
-- **激活函数**：SiLU (Swish)，平滑且非单调
-- **两层3×3卷积**：保持空间分辨率
-- **快捷连接**：当输入输出通道不匹配时使用1×1卷积
-- **Dropout**：可选的正则化
-ResNet块的处理流程：
-- 第一层：归一化（`norm1`） → SiLU激活 → 3×3卷积（`conv1`）
-- 第二层：归一化（`norm2`） → SiLU激活 → Dropout（可选） → 3×3卷积（`conv2`）
-- 快捷连接：如果输入输出通道不同，使用1×1卷积（`shortcut`）进行匹配
-- 最终输出：残差路径与快捷连接相加
-
-<details>
-<summary>**练习 10.2：自编码器架构实验**</summary>
-
-探索不同的自编码器设计选择。
-
-1. **架构比较**：
-   - 实现VQ-VAE和KL-VAE
-   - 比较重建质量和训练稳定性
-   - 分析潜在空间的统计特性
-
-2. **损失函数研究**：
-   - 调整各损失项的权重
-   - 尝试不同的感知网络（VGG, ResNet）
-   - 研究对抗训练的启动时机
-
-3. **压缩率实验**：
-   - 测试不同的潜在维度
-   - 分析率失真权衡
-   - 找出特定数据集的最优设置
-
-4. **创新设计**：
-   - 尝试渐进式训练（逐步增加分辨率）
-   - 实现条件自编码器
-   - 探索层次化潜在表示
-
-</details>
-
-### 10.2.5 训练技巧与稳定性
-
-**1. 学习率调度**：
-
-常用的学习率调度策略：
-- **线性预热**：在前N步线性增加学习率，避免训练初期的不稳定
-- **余弦退火**：学习率按余弦函数衰减，公式为 $lr = lr_{min} + \frac{1}{2}(lr_{max} - lr_{min})(1 + \cos(\frac{\pi \cdot step}{total\_steps}))$
-- **步进衰减**：在特定步数将学习率乘以衰减因子
-- **自适应调整**：根据验证损失平台期自动降低学习率
-
-**2. EMA（指数移动平均）**：
-
-EMA通过维护模型参数的移动平均来提高生成质量：
-- 更新公式： $\theta_{ema} = \beta \cdot \theta_{ema} + (1-\beta) \cdot \theta$
-- 典型的 $\beta$ 值为0.999或0.9999
-- EMA模型通常比原始模型产生更稳定、更高质量的结果
-- 在推理时使用EMA参数而非训练参数
-
-**3. 梯度累积**：
-
-在显存受限时通过梯度累积模拟大批量训练：
-- 将梯度累积多个小批次
-- 等效批量大小 = 物理批量 × 累积步数
-- 只在累积完成后更新参数
-- 需要正确归一化损失（除以累积步数）
-
-💡 **调试技巧：监控潜在空间**  
-定期可视化潜在编码的分布，确保没有模式崩溃或异常值。
-
-### 10.2.6 预训练模型的使用
-
-使用预训练的自编码器可以大大加速开发：
-
-加载预训练模型的关键步骤：
-- 从检查点文件加载状态字典
-- 实例化自编码器架构（需要匹配预训练时的配置）
-- 加载权重并设置为评估模式（`eval()`）
-- 如果使用不同的数据域，可能需要微调编码器或解码器
-- 常见的预训练模型来源：
-  - CompVis/stable-diffusion 的 VAE
-  - 各种开源模型仓库
-  - 自行在大规模数据集上预训练
-
-🌟 **最佳实践：迁移学习**  
-即使目标领域不同，从预训练模型开始通常比从头训练更好。自然图像的编码器可以很好地迁移到其他视觉任务。
-
-## 10.4 Stable Diffusion架构详解
-
-### 10.4.1 整体架构概览
-
-Stable Diffusion是LDM最成功的实现，其架构精心平衡了效率和质量：
-
    - -

    ┌─────────────┐ ┌──────────────┐ ┌─────────────┐ -│ 图像 │────▶│ VAE编码器 │────▶│ 潜在表示 z │ -│ 512×512×3 │ │ (下采样8x) │ │ 64×64×4 │ -└─────────────┘ └──────────────┘ └─────────────┘ - │ - ▼ -┌─────────────┐ ┌──────────────┐ ┌─────────────┐ -│ 文本提示 │────▶│ CLIP编码器 │────▶│ 文本嵌入 │ -│ │ │ │ │ 77×768 │ -└─────────────┘ └──────────────┘ └─────────────┘ - │ - ▼ - ┌──────────────────────────────┐ - │ U-Net去噪网络 │ - │ (带交叉注意力机制) │ - └──────────────────────────────┘ - │ - ▼ - ┌──────────────┐ ┌─────────────┐ - │ VAE解码器 │────▶│ 生成图像 │ - │ (上采样8x) │ │ 512×512×3 │ - └──────────────┘ └─────────────┘

    -
    **关键参数**：
-- 潜在维度：4
-- 下采样因子：8
-- U-Net通道数：320 → 640 → 1280 → 1280
-- 注意力分辨率：32×32, 16×16, 8×8
-- 总参数量：~860M（U-Net）+ 83M（VAE）+ 123M（CLIP）
-
-### 10.4.2 VAE组件详解
-
-Stable Diffusion使用KL-正则化的VAE，具有以下特点：
-
-**编码器架构**：
-- **输入处理**：接收RGB图像（3通道），通过初始卷积映射到128通道特征
-- **下采样路径**：
-  - 4个下采样块，每块包含2个ResNet层
-  - 通道数递增：128 → 256 → 512 → 512
-  - 每个块后进行2倍下采样（除了最后一个块）
-  - 总下采样因子：8倍（512×512 → 64×64）
-- **中间处理**：
-  - 两个ResNet块 + 一个注意力块
-  - 在最低分辨率捕捉全局依赖
-- **输出**：8通道（均值4通道 + 对数方差4通道）
-
-**解码器架构**：
-- **输入**：4通道潜在表示
-- **上采样路径**：
-  - 镜像编码器结构
-  - 通道数递减：512 → 512 → 256 → 128
-  - 使用最近邻插值 + 卷积进行上采样
-- **输出处理**：
-  - GroupNorm + SiLU激活
-  - 最终3×3卷积输出RGB图像
-
-**关键参数**：
-- **潜在维度**：4通道（极度压缩的表示）
-- **缩放因子**：0.18215
-  - 编码时：`z = encoder(x) * 0.18215`
-  - 解码时：`x = decoder(z / 0.18215)`
-- **KL权重**：约1e-6（接近确定性编码器）
-
-💡 **关键细节：缩放因子的作用**  
-0.18215这个魔法数字将潜在表示归一化到单位方差附近，这对扩散模型的稳定训练至关重要。它是在大规模数据集上经验确定的。
-
-### 10.4.3 CLIP文本编码器
-
-Stable Diffusion使用OpenAI的CLIP ViT-L/14模型编码文本：
-
-**CLIP编码器架构**：
-- **分词器**：使用CLIP tokenizer，词汇表大小约49,000
-  - 支持小写和大写字母、数字、常见符号
-  - 使用字节对编码（BPE）处理未知词
-  - 特殊标记：`[PAD]`（0）、`[START]`（49406）、`[END]`（49407）
-- **文本处理流程**：
-  1. 分词：将输入文本转换为token ID序列
-  2. 填充/截断：固定长度77 tokens
-  3. 添加特殊标记：开始和结束标记
-  4. 位置编码：添加可学习的位置嵌入
-
-**Transformer编码器**：
-- **架构**：12层Transformer，每层包含：
-  - 多头自注意力（12个注意力头）
-  - 前馈网络（隐藏维度3072）
-  - 层归一化和残差连接
-- **嵌入维度**：768
-- **输出**：77×768的特征矩阵（保留完整序列）
-
-**关键实现细节**：
-- **条件处理**：
-  - 正常提示：通过完整CLIP编码
-  - 空提示（用于CFG）：编码空字符串""
-  - 批处理：同时处理多个提示以提高效率
-- **数值稳定性**：
-  - 使用float16可能导致数值问题
-  - 建议文本编码器使用float32
-  - 输出特征已预归一化
-
-**文本编码特性**：
-- 最大长度：77 tokens
-- 嵌入维度：768
-- 使用整个序列（不仅是[CLS] token）
-- 保留位置信息用于细粒度控制
-
-🔬 **研究线索：更好的文本编码器**  
-CLIP是为图像-文本对齐训练的，不一定最适合生成任务。专门为扩散模型设计的文本编码器（如T5）可能提供更好的控制。
-
-### 10.4.4 U-Net架构细节
-
-Stable Diffusion的U-Net是整个系统的核心：
-
-**整体架构设计**：
-- **输入**：噪声潜在表示 `z_t` （4×64×64）+ 时间步嵌入 + 文本嵌入
-- **输出**：预测的噪声 `ε_θ` （相同尺寸）
-
-**下采样路径（编码器）**：
-1. **初始卷积**：4通道 → 320通道
-2. **下采样块序列**：
-   - Block 1-2：320通道，包含2个ResNet块
-   - Block 3-4：320→640通道，添加交叉注意力
-   - Block 5-6：640→1280通道，继续交叉注意力
-   - Block 7-9：保持1280通道，更深的处理
-   - 每3个块后进行2×下采样（除了最后）
-
-**中间块**：
-- 分辨率：8×8（最低点）
-- 结构：ResNet块 → 交叉注意力 → ResNet块
-- 通道数：1280
-- 捕捉全局语义信息
-
-**上采样路径（解码器）**：
-- 镜像下采样路径
-- 跳跃连接：拼接对应层的编码器特征
-- 通道数逐渐减少：1280 → 640 → 320
-- 交叉注意力位置与下采样路径对应
-
-**时间嵌入**：
-- 正弦位置编码（类似Transformer）
-- 通过MLP映射到各层所需维度
-- 使用FiLM机制注入到ResNet块
-
-**注意力配置**：
-- **自注意力**：仅在16×16及以下分辨率
-- **交叉注意力**：在指定层与文本特征交互
-- **注意力头数**：根据通道数自适应（通道数/64）
-
-**关键设计选择**：
-- **渐进式通道数**：更好地捕捉多尺度特征
-- **条件注入位置**：在中低分辨率注入文本信息
-- **跳跃连接**：保留细节信息，避免信息损失
-
-### 10.4.5 交叉注意力机制
-
-交叉注意力是文本控制的关键：
-
-**交叉注意力机制原理**：
-- **Query**：来自U-Net的图像特征（空间展平后）
-- **Key/Value**：来自CLIP的文本编码（77×768）
-- **计算流程**：
-  1. 线性变换：`Q = W_q × image_features`
-  2. 线性变换：`K = W_k × text_features`，`V = W_v × text_features`
-  3. 注意力分数：`scores = Q × K^T / sqrt(d_k)`
-  4. 注意力权重：`weights = softmax(scores)`
-  5. 输出：`output = weights × V`
-
-**实现细节**：
-- **多头注意力**：
-  - 8个注意力头（典型配置）
-  - 每个头独立计算注意力
-  - 输出拼接后通过线性层
-- **维度配置**：
-  - 输入图像特征：`B × HW × C`（批次×空间×通道）
-  - 文本特征：`B × 77 × 768`
-  - 注意力维度：通常与图像特征通道数匹配
-
-**空间对齐机制**：
-- 每个空间位置独立计算与文本的相关性
-- 允许不同区域关注不同的文本token
-- 实现细粒度的文本-图像对齐
-
-**优化技巧**：
-- **Flash Attention**：融合kernel减少内存访问
-- **切片注意力**：分批处理减少峰值内存
-- **xFormers**：使用优化的注意力实现
-  - 内存效率：O(N)而非O(N²)
-  - 速度提升：通常2-3倍加速
-
-**注意力图分析**：
-- 早期层：关注全局布局和大致位置
-- 中间层：物体级别的对齐
-- 后期层：细节和纹理的控制
-
-<details>
-<summary>**练习 10.4：理解Stable Diffusion的设计选择**</summary>
-
-深入分析SD的架构决策。
-
-1. **分辨率实验**：
-   - 修改VAE下采样因子（4x, 8x, 16x）
-   - 测量对生成质量和速度的影响
-   - 找出最优的质量-效率平衡点
-
-2. **注意力分析**：
-   - 可视化不同层的交叉注意力图
-   - 分析哪些词对应哪些图像区域
-   - 研究注意力头的专门化
-
-3. **文本编码器比较**：
-   - 比较CLIP vs BERT vs T5
-   - 测试不同的pooling策略
-   - 评估对提示遵循的影响
-
-4. **架构消融**：
-   - 移除某些注意力层
-   - 改变通道倍增因子
-   - 分析各组件的贡献
-
-</details>
-
-### 10.4.6 条件机制的实现细节
-
-Stable Diffusion支持多种条件输入：
-
-**1. 无分类器引导（CFG）**：
-
-CFG通过组合条件和无条件预测来增强生成质量：
-
-**数学公式**：
-$$\boldsymbol{\epsilon}_{\text{guided}} = \boldsymbol{\epsilon}_{\text{uncond}} + w \cdot (\boldsymbol{\epsilon}_{\text{cond}} - \boldsymbol{\epsilon}_{\text{uncond}})$$
-
-其中：
-- $\boldsymbol{\epsilon}_{\text{cond}}$：使用文本条件的噪声预测
-- $\boldsymbol{\epsilon}_{\text{uncond}}$：使用空提示的噪声预测
-- $w$：引导权重（典型值7.5）
-
-**实现流程**：
-1. 编码文本提示获得条件嵌入
-2. 编码空字符串获得无条件嵌入
-3. 将两个嵌入拼接，批量推理
-4. 分离预测结果并应用CFG公式
-5. 使用引导后的噪声进行去噪步骤
-
-**参数影响**：
-- $w < 1$：更随机，多样性高
-- $w = 1$：标准条件生成
-- $w > 1$：更严格遵循提示
-- $w > 20$：可能过度饱和
-
-**2. 负面提示**：
-
-负面提示通过修改无条件项来排除不想要的内容：
-
-**工作原理**：
-- 标准CFG使用空提示作为无条件
-- 负面提示替换空提示，引导远离特定概念
-- 公式不变，但 $\boldsymbol{\epsilon}_{\text{uncond}}$ 现在基于负面提示
-
-**常用负面提示**：
-- 质量相关：`low quality, blurry, distorted`
-- 风格相关：`cartoon, anime, 3d render`
-- 内容相关：`text, watermark, logo`
-
-**组合策略**：
-- 可以组合多个负面概念
-- 权重语法：`(concept:0.8)` 调整强度
-- 过长的负面提示可能降低效果
-
-**3. 图像条件（img2img）**：
-
-img2img通过从部分去噪的图像开始实现图像编辑：
-
-**实现步骤**：
-1. **编码源图像**：`z_0 = VAE.encode(source_image)`
-2. **添加噪声**：
-   - 选择起始时间步 $t_{\text{start}} = T \times (1 - \text{strength})$
-   - 添加对应噪声：$z_t = \sqrt{\bar{\alpha}_t}z_0 + \sqrt{1-\bar{\alpha}_t}\boldsymbol{\epsilon}$
-3. **部分去噪**：从 $t_{\text{start}}$ 开始去噪到 $t=0$
-4. **解码结果**：`result = VAE.decode(z_0)`
-
-**强度参数的影响**：
-- strength = 0：返回原图
-- strength = 0.3：轻微修改
-- strength = 0.7：显著变化
-- strength = 1.0：完全重新生成
-
-**应用场景**：
-- 风格转换：保持结构，改变风格
-- 图像修复：配合掩码进行局部编辑
-- 细节增强：低强度改善图像质量
-
-### 10.4.7 推理优化技术
-
-**1. 半精度推理**：
-
-半精度（FP16）推理可以显著减少内存使用并加速计算：
-
-**实现方法**：
-- **模型转换**：将模型权重从FP32转换为FP16，使用PyTorch的 `model.half()` 或 `model.to(torch.float16)`
-- **自动混合精度**：使用 `torch.cuda.amp.autocast()` 上下文管理器自动处理精度转换
-- **数值稳定性考虑**：
-  - VAE解码器可能需要保持FP32以避免颜色偏移
-  - 文本编码器建议使用FP32保持精度
-  - U-Net通常可以安全使用FP16
-
-**性能提升**：
-- 内存使用减少约50%
-- 在支持Tensor Core的GPU上速度提升2-3倍
-- 批处理大小可以增加一倍
-
-**潜在问题与解决**：
-- **数值溢出**：使用梯度缩放（gradient scaling）防止小梯度下溢
-- **精度损失**：关键层（如最终输出层）保持FP32
-- **颜色偏移**：VAE使用FP32或调整缩放因子
-
-**2. 注意力优化**：
-
-优化注意力计算是提高推理速度的关键：
-
-**Flash Attention**：
-- **原理**：通过融合CUDA kernel减少HBM（高带宽内存）访问
-- **优势**：
-  - 内存复杂度从O(N²)降至O(N)
-  - 速度提升2-4倍，特别是长序列
-  - 支持因果掩码和dropout
-- **使用条件**：需要特定GPU架构（Ampere及以上）
-
-**切片注意力（Sliced Attention）**：
-- **原理**：将注意力矩阵分块计算，避免完整矩阵实例化
-- **实现步骤**：
-  1. 将Query分成多个切片
-  2. 对每个切片独立计算注意力
-  3. 累积结果
-- **内存节省**：峰值内存使用降低80%以上
-- **速度权衡**：略微降低速度（10-20%）但大幅节省内存
-
-**xFormers优化**：
-- **memory_efficient_attention**：自动选择最优的注意力实现
-- **支持多种后端**：Flash Attention、CutLass、Triton
-- **自适应选择**：根据序列长度和硬件自动选择算法
-- **易于集成**：只需替换标准注意力调用
-
-**3. 批处理优化**：
-
-有效的批处理可以最大化GPU利用率：
-
-**动态批处理**：
-- **原理**：根据可用内存动态调整批次大小
-- **实现策略**：
-  1. 监测当前GPU内存使用
-  2. 估算单个样本的内存需求
-  3. 计算最大可能的批次大小
-  4. 留出安全边际（通常10-20%）
-
-**多分辨率批处理**：
-- **挑战**：不同分辨率的图像无法直接批处理
-- **解决方案**：
-  1. **分组策略**：将相同分辨率的请求分组
-  2. **填充方法**：填充到批次内最大尺寸
-  3. **分桶处理**：预定义几个标准分辨率桶
-  4. **动态形状**：使用动态图优化不同形状
-
-**流水线并行**：
-- **VAE和U-Net分离**：在U-Net处理当前批次时，VAE可以解码上一批次
-- **文本编码预处理**：批量编码文本，缓存结果
-- **异步处理**：使用CUDA流实现真正的并行
-
-**内存池化**：
-- **预分配缓冲区**：避免频繁的内存分配/释放
-- **张量复用**：在不同步骤间复用中间张量
-- **梯度检查点**：推理时不需要，但训练时可以权衡计算换内存
-
-💡 **性能提示：VAE解码瓶颈**  
-在批量生成时，VAE解码往往成为瓶颈。可以先生成所有潜在表示，然后批量解码，或使用更轻量的解码器。
-
-### 10.4.8 模型变体与改进
-
-**Stable Diffusion演进**：
-
-| 版本 | 分辨率 | 改进 | 参数量 |
-|------|--------|------|---------|
-| SD 1.4 | 512×512 | 基础版本 | 860M |
-| SD 1.5 | 512×512 | 更好的训练数据 | 860M |
-| SD 2.0 | 768×768 | 新的CLIP编码器 | 865M |
-| SD 2.1 | 768×768 | 减少NSFW过滤 | 865M |
-| SDXL | 1024×1024 | 级联U-Net架构 | 3.5B |
-
-**SDXL的创新**：
-
-SDXL（Stable Diffusion XL）引入了多项架构改进：
-
-**1. 级联U-Net架构**：
-- **基础模型**：生成1024×1024潜在表示（128×128×4）
-- **精炼模型**：提升细节质量，专注于高频信息
-- **两阶段生成**：先生成基础图像，再精炼细节
-
-**2. 条件增强**：
-- **尺寸条件**：原始图像尺寸作为额外条件，改善裁剪问题
-- **裁剪条件**：top/left坐标信息，帮助模型理解物体位置
-- **美学分数**：训练时的质量评分，推理时可控制生成质量
-
-**3. 架构改进**：
-- **更深的网络**：70层 vs SD1.5的35层
-- **更多注意力层**：在更多分辨率添加注意力机制
-- **改进的VAE**：更好的重建质量，减少伪影
-
-**4. 训练策略优化**：
-- **渐进式训练**：从512×512开始，逐步提升到1024×1024
-- **多尺度损失**：在不同分辨率计算损失，提高多尺度一致性
-- **噪声偏移（Noise Offset）**：改善极暗和极亮区域的生成
-
-**5. 推理改进**：
-- **分离的文本编码器**：使用两个CLIP模型（OpenCLIP ViT-G和CLIP ViT-L）
-- **池化文本嵌入**：除了序列嵌入，还使用池化的全局嵌入
-- **可选的精炼阶段**：根据需求选择是否使用精炼模型
-
-🌟 **未来方向：模块化设计**  
-未来的架构可能采用更模块化的设计，允许用户根据需求组合不同的编码器、去噪器和解码器。这需要标准化的接口和训练协议。
-
-### 10.4.9 训练细节与数据处理
-
-**训练配置**：
-
-Stable Diffusion的训练需要精心设计的配置：
-
-**基础超参数**：
-- **学习率**：1e-4 到 5e-5，使用常数或余弦调度
-- **批次大小**：2048-4096（使用梯度累积实现）
-- **训练步数**：通常500k-1M步
-- **优化器**：AdamW，β1=0.9, β2=0.999, 权重衰减0.01
-- **EMA衰减**：0.9999，用于稳定生成质量
-
-**硬件需求**：
-- **最小配置**：8×A100 80GB用于基础训练
-- **推荐配置**：32×A100或更多用于大规模训练
-- **混合精度**：必须使用以节省内存
-- **梯度检查点**：在U-Net中启用以减少内存使用
-
-**数据预处理**：
-1. **图像处理**：
-   - 中心裁剪或随机裁剪到目标尺寸
-   - 归一化到[-1, 1]范围
-   - 可选的数据增强（水平翻转等）
-
-2. **文本处理**：
-   - 清理和标准化标题
-   - 处理特殊字符和编码问题
-   - 长度限制和截断策略
-
-3. **过滤策略**：
-   - 移除低质量图像（模糊、低分辨率）
-   - NSFW内容过滤（可选）
-   - 去重处理（基于感知哈希）
-
-**训练策略**：
-1. **多尺度训练**：随机裁剪不同尺寸
-   - 基础分辨率的0.75x到1.25x
-   - 保持宽高比的智能裁剪
-   - 提高模型对不同尺寸的泛化能力
-
-2. **条件dropout**：10%概率丢弃文本条件
-   - 训练无条件生成能力
-   - 支持classifier-free guidance
-   - 可以调整dropout率影响CFG效果
-
-3. **噪声偏移**：微调噪声调度改善暗部细节
-   - 在标准高斯噪声基础上添加小偏移（0.1×均值）
-   - 改善极暗和极亮区域的生成
-   - 需要在训练和推理时保持一致
-
-4. **渐进式训练**：先训练低分辨率，再微调高分辨率
-   - 阶段1：256×256分辨率，快速收敛
-   - 阶段2：512×512分辨率，主要训练
-   - 阶段3：可选的高分辨率微调
-
-### 10.4.10 常见问题与解决方案
-
-**1. 生成质量问题**：
-- 模糊：增加CFG scale或使用更多步数
-- 伪影：检查VAE权重，可能需要使用fp32
-- 颜色偏移：调整噪声偏移参数
-
-**2. 提示遵循问题**：
-- 使用提示权重：`(word:1.3)` 增强，`[word]` 减弱
-- 负面提示：明确排除不想要的元素
-- 提示工程：使用更具体的描述
-
-**3. 内存优化**：
-
-内存管理是部署LDM的关键挑战：
-
-**减少内存使用的策略**：
-1. **CPU卸载（CPU Offloading）**：
-   - 将不活跃的模型组件移到CPU内存
-   - VAE可以在U-Net运行时卸载
-   - 文本编码器编码后可以卸载
-   - 使用 `model.to('cpu')` 和 `model.to('cuda')` 动态管理
-
-2. **顺序处理（Sequential Processing）**：
-   - 分解生成流程为独立步骤
-   - 每次只加载必要的组件
-   - 例如：先编码所有文本，保存结果，释放编码器
-
-3. **注意力切片（Attention Slicing）**：
-   - 将注意力计算分成小块
-   - 循环处理每个切片
-   - 内存使用从O(N²)降到O(N)
-   - 轻微的速度损失换取大幅内存节省
-
-4. **VAE平铺（VAE Tiling）**：
-   - 将大图像分成重叠的块
-   - 独立编码/解码每个块
-   - 混合重叠区域确保连续性
-   - 支持任意大小的图像生成
-
-**内存估算公式**：
-- U-Net前向传播：约 `batch_size × 4 × height/8 × width/8 × 1280 × 4字节`
-- 注意力峰值：约 `batch_size × (height/8 × width/8)² × num_heads × 4字节`
-- VAE解码：约 `batch_size × 3 × height × width × 512 × 4字节`
-
-**实际内存需求示例**：
-| 分辨率 | 批次=1 | 批次=4 | 优化后 |
-|--------|--------|--------|---------|
-| 512×512 | 8GB | 16GB | 4GB |
-| 768×768 | 12GB | 24GB | 6GB |
-| 1024×1024 | 16GB | 32GB | 8GB |
-
-🔧 **调试技巧：逐步验证**  
-遇到问题时，逐个组件验证：(1)VAE重建质量 (2)无条件生成 (3)文本条件响应 (4)CFG效果。这有助于定位问题根源。
-
-## 10.5 实践考虑与扩展
-
-### 10.5.1 不同分辨率的处理
-
-LDM需要灵活处理各种分辨率的图像：
-
-**1. 多分辨率训练**：
-
-多分辨率训练提高模型的泛化能力：
-
-**训练策略**：
-- **分桶策略（Aspect Ratio Bucketing）**：
-  - 预定义一组常见宽高比：1:1, 4:3, 3:4, 16:9, 9:16等
-  - 每个宽高比创建多个分辨率桶
-  - 将训练图像分配到最近的桶中
-  - 批次内保持相同分辨率，批次间切换
-
-- **动态分辨率范围**：
-  - 基础分辨率：512×512
-  - 训练范围：384×640 到 768×512
-  - 保持像素总数相近（±20%）
-  - 避免极端宽高比（限制在1:2到2:1之间）
-
-- **分辨率条件化**：
-  - 将原始图像尺寸作为额外条件输入
-  - 编码为连续值或离散桶
-  - 帮助模型理解不同分辨率的特性
-
-**实现细节**：
-1. **数据加载器定制**：
-   - 根据原始尺寸智能裁剪
-   - 中心裁剪用于推理，随机裁剪用于训练
-   - 保留宽高比信息用于条件输入
-
-2. **内存管理**：
-   - 大分辨率使用较小批次
-   - 梯度累积补偿批次差异
-   - 动态调整以避免OOM
-
-3. **损失归一化**：
-   - 按像素数归一化损失
-   - 确保不同分辨率的损失可比
-   - 避免大分辨率主导训练
-
-**2. 分辨率自适应推理**：
-
-推理时处理任意分辨率的方法：
-
-**策略一：填充法**：
-- **方法**：填充到最近的64倍数（U-Net要求）
-- **填充类型**：
-  - 反射填充：适合自然图像
-  - 复制填充：适合有边框的图像
-  - 常数填充：简单但可能产生伪影
-- **后处理**：生成后裁剪掉填充区域
-
-**策略二：调整大小法**：
-- **保持宽高比调整**：
-  1. 计算目标分辨率保持宽高比
-  2. 调整到最近的64倍数
-  3. 使用双线性或Lanczos插值
-- **智能缩放**：
-  - 小图像：先生成再上采样
-  - 大图像：分块生成再拼接
-
-**策略三：滑动窗口法**：
-- **适用场景**：超大分辨率图像（如2K、4K）
-- **实现步骤**：
-  1. 将图像分成重叠的窗口（如512×512，重叠64像素）
-  2. 对每个窗口独立生成
-  3. 使用泊松融合或加权平均混合重叠区域
-- **优势**：支持任意大小，保持局部一致性
-- **挑战**：全局一致性需要额外处理
-
-**最佳实践组合**：
+
    关键参数：
    
+
      
+
    • 潜在维度：4
      • 
+
    • 下采样因子：8
      • 
+
    • U-Net通道数：320 → 640 → 1280 → 1280
      • 
+
    • 注意力分辨率：32×32, 16×16, 8×8
      • 
+
    • 总参数量：~860M（U-Net）+ 83M（VAE）+ 123M（CLIP）
      • 
+
    
+
    10.4.2 VAE组件详解
    
+
    Stable Diffusion使用KL-正则化的VAE，具有以下特点：
    
+
    编码器架构：
    
+
      
+
    • 输入处理：接收RGB图像（3通道），通过初始卷积映射到128通道特征
      • 
+
    • 下采样路径：
      • 
+
    • 4个下采样块，每块包含2个ResNet层
      • 
+
    • 通道数递增：128 → 256 → 512 → 512
      • 
+
    • 每个块后进行2倍下采样（除了最后一个块）
      • 
+
    • 总下采样因子：8倍（512×512 → 64×64）
      • 
+
    • 中间处理：
      • 
+
    • 两个ResNet块 + 一个注意力块
      • 
+
    • 在最低分辨率捕捉全局依赖
      • 
+
    • 输出：8通道（均值4通道 + 对数方差4通道）
      • 
+
    
+
    解码器架构：
    
+
      
+
    • 输入：4通道潜在表示
      • 
+
    • 上采样路径：
      • 
+
    • 镜像编码器结构
      • 
+
    • 通道数递减：512 → 512 → 256 → 128
      • 
+
    • 使用最近邻插值 + 卷积进行上采样
      • 
+
    • 输出处理：
      • 
+
    • GroupNorm + SiLU激活
      • 
+
    • 最终3×3卷积输出RGB图像
      • 
+
    
+
    关键参数：
    
+
      
+
    • 潜在维度：4通道（极度压缩的表示）
      • 
+
    • 缩放因子：0.18215
      • 
+
    • 编码时：z = encoder(x) * 0.18215
      • 
+
    • 解码时：x = decoder(z / 0.18215)
      • 
+
    • KL权重：约1e-6（接近确定性编码器）
      • 
+
    
+
    💡 关键细节：缩放因子的作用
    
+0.18215这个魔法数字将潜在表示归一化到单位方差附近，这对扩散模型的稳定训练至关重要。它是在大规模数据集上经验确定的。
    
+
    10.4.3 CLIP文本编码器
    
+
    Stable Diffusion使用OpenAI的CLIP ViT-L/14模型编码文本：
    
+
    CLIP编码器架构：
    
+
      
+
    • 分词器：使用CLIP tokenizer，词汇表大小约49,000
      • 
+
    • 支持小写和大写字母、数字、常见符号
      • 
+
    • 使用字节对编码（BPE）处理未知词
      • 
+
    • 特殊标记：[PAD]（0）、[START]（49406）、[END]（49407）
      • 
+
    • 文本处理流程：
+  1. 分词：将输入文本转换为token ID序列
+  2. 填充/截断：固定长度77 tokens
+  3. 添加特殊标记：开始和结束标记
+  4. 位置编码：添加可学习的位置嵌入
      • 
+
    
+
    Transformer编码器：
    
+
      
+
    • 架构：12层Transformer，每层包含：
      • 
+
    • 多头自注意力（12个注意力头）
      • 
+
    • 前馈网络（隐藏维度3072）
      • 
+
    • 层归一化和残差连接
      • 
+
    • 嵌入维度：768
      • 
+
    • 输出：77×768的特征矩阵（保留完整序列）
      • 
+
    
+
    关键实现细节：
    
+
      
+
    • 条件处理：
      • 
+
    • 正常提示：通过完整CLIP编码
      • 
+
    • 空提示（用于CFG）：编码空字符串""
      • 
+
    • 批处理：同时处理多个提示以提高效率
      • 
+
    • 数值稳定性：
      • 
+
    • 使用float16可能导致数值问题
      • 
+
    • 建议文本编码器使用float32
      • 
+
    • 输出特征已预归一化
      • 
+
    
+
    文本编码特性：
    
+
      
+
    • 最大长度：77 tokens
      • 
+
    • 嵌入维度：768
      • 
+
    • 使用整个序列（不仅是[CLS] token）
      • 
+
    • 保留位置信息用于细粒度控制
      • 
+
    
+
    🔬 研究线索：更好的文本编码器
    
+CLIP是为图像-文本对齐训练的，不一定最适合生成任务。专门为扩散模型设计的文本编码器（如T5）可能提供更好的控制。
    
+
    10.4.4 U-Net架构细节
    
+
    Stable Diffusion的U-Net是整个系统的核心：
    
+
    整体架构设计：
    
+
      
+
    • 输入：噪声潜在表示 z_t （4×64×64）+ 时间步嵌入 + 文本嵌入
      • 
+
    • 输出：预测的噪声 ε_θ （相同尺寸）
      • 
+
    
+
    下采样路径（编码器）：
    
+
      
+
    1. 初始卷积：4通道 → 320通道
      2. 
+
    2. 下采样块序列：
+   - Block 1-2：320通道，包含2个ResNet块
+   - Block 3-4：320→640通道，添加交叉注意力
+   - Block 5-6：640→1280通道，继续交叉注意力
+   - Block 7-9：保持1280通道，更深的处理
+   - 每3个块后进行2×下采样（除了最后）
      3. 
+
    
+
    中间块：
    
+
      
+
    • 分辨率：8×8（最低点）
      • 
+
    • 结构：ResNet块 → 交叉注意力 → ResNet块
      • 
+
    • 通道数：1280
      • 
+
    • 捕捉全局语义信息
      • 
+
    
+
    上采样路径（解码器）：
    
+
      
+
    • 镜像下采样路径
      • 
+
    • 跳跃连接：拼接对应层的编码器特征
      • 
+
    • 通道数逐渐减少：1280 → 640 → 320
      • 
+
    • 交叉注意力位置与下采样路径对应
      • 
+
    
+
    时间嵌入：
    
+
      
+
    • 正弦位置编码（类似Transformer）
      • 
+
    • 通过MLP映射到各层所需维度
      • 
+
    • 使用FiLM机制注入到ResNet块
      • 
+
    
+
    注意力配置：
    
+
      
+
    • 自注意力：仅在16×16及以下分辨率
      • 
+
    • 交叉注意力：在指定层与文本特征交互
      • 
+
    • 注意力头数：根据通道数自适应（通道数/64）
      • 
+
    
+
    关键设计选择：
    
+
      
+
    • 渐进式通道数：更好地捕捉多尺度特征
      • 
+
    • 条件注入位置：在中低分辨率注入文本信息
      • 
+
    • 跳跃连接：保留细节信息，避免信息损失
      • 
+
    
+
    10.4.5 交叉注意力机制
    
+
    交叉注意力是文本控制的关键：
    
+
    交叉注意力机制原理：
    
+
      
+
    • Query：来自U-Net的图像特征（空间展平后）
      • 
+
    • Key/Value：来自CLIP的文本编码（77×768）
      • 
+
    • 计算流程：
+  1. 线性变换：Q = W_q × image_features
+  2. 线性变换：K = W_k × text_features，V = W_v × text_features
+  3. 注意力分数：scores = Q × K^T / sqrt(d_k)
+  4. 注意力权重：weights = softmax(scores)
+  5. 输出：output = weights × V
      • 
+
    
+
    实现细节：
    
+
      
+
    • 多头注意力：
      • 
+
    • 8个注意力头（典型配置）
      • 
+
    • 每个头独立计算注意力
      • 
+
    • 输出拼接后通过线性层
      • 
+
    • 维度配置：
      • 
+
    • 输入图像特征：B × HW × C（批次×空间×通道）
      • 
+
    • 文本特征：B × 77 × 768
      • 
+
    • 注意力维度：通常与图像特征通道数匹配
      • 
+
    
+
    空间对齐机制：
    
+
      
+
    • 每个空间位置独立计算与文本的相关性
      • 
+
    • 允许不同区域关注不同的文本token
      • 
+
    • 实现细粒度的文本-图像对齐
      • 
+
    
+
    优化技巧：
    
+
      
+
    • Flash Attention：融合kernel减少内存访问
      • 
+
    • 切片注意力：分批处理减少峰值内存
      • 
+
    • xFormers：使用优化的注意力实现
      • 
+
    • 内存效率：O(N)而非O(N²)
      • 
+
    • 速度提升：通常2-3倍加速
      • 
+
    
+
    注意力图分析：
    
+
      
+
    • 早期层：关注全局布局和大致位置
      • 
+
    • 中间层：物体级别的对齐
      • 
+
    • 后期层：细节和纹理的控制
      • 
+
    
+
    
+**练习 10.4：理解Stable Diffusion的设计选择**
+
    深入分析SD的架构决策。
    
+
      
+
    1. 
+
      分辨率实验：
+   - 修改VAE下采样因子（4x, 8x, 16x）
+   - 测量对生成质量和速度的影响
+   - 找出最优的质量-效率平衡点
      
+
      2. 
+
    2. 
+
      注意力分析：
+   - 可视化不同层的交叉注意力图
+   - 分析哪些词对应哪些图像区域
+   - 研究注意力头的专门化
      
+
      3. 
+
    3. 
+
      文本编码器比较：
+   - 比较CLIP vs BERT vs T5
+   - 测试不同的pooling策略
+   - 评估对提示遵循的影响
      
+
      4. 
+
    4. 
+
      架构消融：
+   - 移除某些注意力层
+   - 改变通道倍增因子
+   - 分析各组件的贡献
      
+
      5. 
+
    
+
    
+
    10.4.6 条件机制的实现细节
    
+
    Stable Diffusion支持多种条件输入：
    
+
    1. 无分类器引导（CFG）：
    
+
    CFG通过组合条件和无条件预测来增强生成质量：
    
+
    数学公式：
+$$\boldsymbol{\epsilon}_{\text{guided}} = \boldsymbol{\epsilon}_{\text{uncond}} + w \cdot (\boldsymbol{\epsilon}_{\text{cond}} - \boldsymbol{\epsilon}_{\text{uncond}})$$
+其中：
    
+
      
+
    • $\boldsymbol{\epsilon}_{\text{cond}}$：使用文本条件的噪声预测
      • 
+
    • $\boldsymbol{\epsilon}_{\text{uncond}}$：使用空提示的噪声预测
      • 
+
    • $w$：引导权重（典型值7.5）
      • 
+
    
+
    实现流程：
    
+
      
+
    1. 编码文本提示获得条件嵌入
      2. 
+
    2. 编码空字符串获得无条件嵌入
      3. 
+
    3. 将两个嵌入拼接，批量推理
      4. 
+
    4. 分离预测结果并应用CFG公式
      5. 
+
    5. 使用引导后的噪声进行去噪步骤
      6. 
+
    
+
    参数影响：
    
+
      
+
    • $w < 1$：更随机，多样性高
      • 
+
    • $w = 1$：标准条件生成
      • 
+
    • $w > 1$：更严格遵循提示
      • 
+
    • $w > 20$：可能过度饱和
      • 
+
    
+
    2. 负面提示：
    
+
    负面提示通过修改无条件项来排除不想要的内容：
    
+
    工作原理：
    
+
      
+
    • 标准CFG使用空提示作为无条件
      • 
+
    • 负面提示替换空提示，引导远离特定概念
      • 
+
    • 公式不变，但 $\boldsymbol{\epsilon}_{\text{uncond}}$ 现在基于负面提示
      • 
+
    
+
    常用负面提示：
    
+
      
+
    • 质量相关：low quality, blurry, distorted
      • 
+
    • 风格相关：cartoon, anime, 3d render
      • 
+
    • 内容相关：text, watermark, logo
      • 
+
    
+
    组合策略：
    
+
      
+
    • 可以组合多个负面概念
      • 
+
    • 权重语法：(concept:0.8) 调整强度
      • 
+
    • 过长的负面提示可能降低效果
      • 
+
    
+
    3. 图像条件（img2img）：
    
+
    img2img通过从部分去噪的图像开始实现图像编辑：
    
+
    实现步骤：
    
+
      
+
    1. 编码源图像：z_0 = VAE.encode(source_image)
      2. 
+
    2. 添加噪声：
+   - 选择起始时间步 $t_{\text{start}} = T \times (1 - \text{strength})$
+   - 添加对应噪声：$z_t = \sqrt{\bar{\alpha}_t}z_0 + \sqrt{1-\bar{\alpha}_t}\boldsymbol{\epsilon}$
      3. 
+
    3. 部分去噪：从 $t_{\text{start}}$ 开始去噪到 $t=0$
      4. 
+
    4. 解码结果：result = VAE.decode(z_0)
      5. 
+
    
+
    强度参数的影响：
    
+
      
+
    • strength = 0：返回原图
      • 
+
    • strength = 0.3：轻微修改
      • 
+
    • strength = 0.7：显著变化
      • 
+
    • strength = 1.0：完全重新生成
      • 
+
    
+
    应用场景：
    
+
      
+
    • 风格转换：保持结构，改变风格
      • 
+
    • 图像修复：配合掩码进行局部编辑
      • 
+
    • 细节增强：低强度改善图像质量
      • 
+
    
+
    10.4.7 推理优化技术
    
+
    1. 半精度推理：
    
+
    半精度（FP16）推理可以显著减少内存使用并加速计算：
    
+
    实现方法：
    
+
      
+
    • 模型转换：将模型权重从FP32转换为FP16，使用PyTorch的 model.half() 或 model.to(torch.float16)
      • 
+
    • 自动混合精度：使用 torch.cuda.amp.autocast() 上下文管理器自动处理精度转换
      • 
+
    • 数值稳定性考虑：
      • 
+
    • VAE解码器可能需要保持FP32以避免颜色偏移
      • 
+
    • 文本编码器建议使用FP32保持精度
      • 
+
    • U-Net通常可以安全使用FP16
      • 
+
    
+
    性能提升：
    
+
      
+
    • 内存使用减少约50%
      • 
+
    • 在支持Tensor Core的GPU上速度提升2-3倍
      • 
+
    • 批处理大小可以增加一倍
      • 
+
    
+
    潜在问题与解决：
    
+
      
+
    • 数值溢出：使用梯度缩放（gradient scaling）防止小梯度下溢
      • 
+
    • 精度损失：关键层（如最终输出层）保持FP32
      • 
+
    • 颜色偏移：VAE使用FP32或调整缩放因子
      • 
+
    
+
    2. 注意力优化：
    
+
    优化注意力计算是提高推理速度的关键：
    
+
    Flash Attention：
    
+
      
+
    • 原理：通过融合CUDA kernel减少HBM（高带宽内存）访问
      • 
+
    • 优势：
      • 
+
    • 内存复杂度从O(N²)降至O(N)
      • 
+
    • 速度提升2-4倍，特别是长序列
      • 
+
    • 支持因果掩码和dropout
      • 
+
    • 使用条件：需要特定GPU架构（Ampere及以上）
      • 
+
    
+
    切片注意力（Sliced Attention）：
    
+
      
+
    • 原理：将注意力矩阵分块计算，避免完整矩阵实例化
      • 
+
    • 实现步骤：
+  1. 将Query分成多个切片
+  2. 对每个切片独立计算注意力
+  3. 累积结果
      • 
+
    • 内存节省：峰值内存使用降低80%以上
      • 
+
    • 速度权衡：略微降低速度（10-20%）但大幅节省内存
      • 
+
    
+
    xFormers优化：
    
+
      
+
    • memory_efficient_attention：自动选择最优的注意力实现
      • 
+
    • 支持多种后端：Flash Attention、CutLass、Triton
      • 
+
    • 自适应选择：根据序列长度和硬件自动选择算法
      • 
+
    • 易于集成：只需替换标准注意力调用
      • 
+
    
+
    3. 批处理优化：
    
+
    有效的批处理可以最大化GPU利用率：
    
+
    动态批处理：
    
+
      
+
    • 原理：根据可用内存动态调整批次大小
      • 
+
    • 实现策略：
+  1. 监测当前GPU内存使用
+  2. 估算单个样本的内存需求
+  3. 计算最大可能的批次大小
+  4. 留出安全边际（通常10-20%）
      • 
+
    
+
    多分辨率批处理：
    
+
      
+
    • 挑战：不同分辨率的图像无法直接批处理
      • 
+
    • 解决方案：
+  1. 分组策略：将相同分辨率的请求分组
+  2. 填充方法：填充到批次内最大尺寸
+  3. 分桶处理：预定义几个标准分辨率桶
+  4. 动态形状：使用动态图优化不同形状
      • 
+
    
+
    流水线并行：
    
+
      
+
    • VAE和U-Net分离：在U-Net处理当前批次时，VAE可以解码上一批次
      • 
+
    • 文本编码预处理：批量编码文本，缓存结果
      • 
+
    • 异步处理：使用CUDA流实现真正的并行
      • 
+
    
+
    内存池化：
    
+
      
+
    • 预分配缓冲区：避免频繁的内存分配/释放
      • 
+
    • 张量复用：在不同步骤间复用中间张量
      • 
+
    • 梯度检查点：推理时不需要，但训练时可以权衡计算换内存
      • 
+
    
+
    💡 性能提示：VAE解码瓶颈
    
+在批量生成时，VAE解码往往成为瓶颈。可以先生成所有潜在表示，然后批量解码，或使用更轻量的解码器。
    
+
    10.4.8 模型变体与改进
    
+
    Stable Diffusion演进：
    
+
    | 版本 | 分辨率 | 改进 | 参数量 |
    
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
    版本分辨率改进参数量
    SD 1.4512×512基础版本860M
    SD 1.5512×512更好的训练数据860M
    SD 2.0768×768新的CLIP编码器865M
    SD 2.1768×768减少NSFW过滤865M
    SDXL1024×1024级联U-Net架构3.5B
    
+
    SDXL的创新：
    
+
    SDXL（Stable Diffusion XL）引入了多项架构改进：
    
+
    1. 级联U-Net架构：
+- 基础模型：生成1024×1024潜在表示（128×128×4）
+- 精炼模型：提升细节质量，专注于高频信息
+- 两阶段生成：先生成基础图像，再精炼细节
    
+
    2. 条件增强：
+- 尺寸条件：原始图像尺寸作为额外条件，改善裁剪问题
+- 裁剪条件：top/left坐标信息，帮助模型理解物体位置
+- 美学分数：训练时的质量评分，推理时可控制生成质量
    
+
    3. 架构改进：
+- 更深的网络：70层 vs SD1.5的35层
+- 更多注意力层：在更多分辨率添加注意力机制
+- 改进的VAE：更好的重建质量，减少伪影
    
+
    4. 训练策略优化：
+- 渐进式训练：从512×512开始，逐步提升到1024×1024
+- 多尺度损失：在不同分辨率计算损失，提高多尺度一致性
+- 噪声偏移（Noise Offset）：改善极暗和极亮区域的生成
    
+
    5. 推理改进：
+- 分离的文本编码器：使用两个CLIP模型（OpenCLIP ViT-G和CLIP ViT-L）
+- 池化文本嵌入：除了序列嵌入，还使用池化的全局嵌入
+- 可选的精炼阶段：根据需求选择是否使用精炼模型
    
+
    🌟 未来方向：模块化设计
    
+未来的架构可能采用更模块化的设计，允许用户根据需求组合不同的编码器、去噪器和解码器。这需要标准化的接口和训练协议。
    
+
    10.4.9 训练细节与数据处理
    
+
    训练配置：
    
+
    Stable Diffusion的训练需要精心设计的配置：
    
+
    基础超参数：
    
+
      
+
    • 学习率：1e-4 到 5e-5，使用常数或余弦调度
      • 
+
    • 批次大小：2048-4096（使用梯度累积实现）
      • 
+
    • 训练步数：通常500k-1M步
      • 
+
    • 优化器：AdamW，β1=0.9, β2=0.999, 权重衰减0.01
      • 
+
    • EMA衰减：0.9999，用于稳定生成质量
      • 
+
    
+
    硬件需求：
    
+
      
+
    • 最小配置：8×A100 80GB用于基础训练
      • 
+
    • 推荐配置：32×A100或更多用于大规模训练
      • 
+
    • 混合精度：必须使用以节省内存
      • 
+
    • 梯度检查点：在U-Net中启用以减少内存使用
      • 
+
    
+
    数据预处理：
    
+
      
+
    1. 
+
      图像处理：
+   - 中心裁剪或随机裁剪到目标尺寸
+   - 归一化到[-1, 1]范围
+   - 可选的数据增强（水平翻转等）
      
+
      2. 
+
    2. 
+
      文本处理：
+   - 清理和标准化标题
+   - 处理特殊字符和编码问题
+   - 长度限制和截断策略
      
+
      3. 
+
    3. 
+
      过滤策略：
+   - 移除低质量图像（模糊、低分辨率）
+   - NSFW内容过滤（可选）
+   - 去重处理（基于感知哈希）
      
+
      4. 
+
    
+
    训练策略：
    
+
      
+
    1. 
+
      多尺度训练：随机裁剪不同尺寸
+   - 基础分辨率的0.75x到1.25x
+   - 保持宽高比的智能裁剪
+   - 提高模型对不同尺寸的泛化能力
      
+
      2. 
+
    2. 
+
      条件dropout：10%概率丢弃文本条件
+   - 训练无条件生成能力
+   - 支持classifier-free guidance
+   - 可以调整dropout率影响CFG效果
      
+
      3. 
+
    3. 
+
      噪声偏移：微调噪声调度改善暗部细节
+   - 在标准高斯噪声基础上添加小偏移（0.1×均值）
+   - 改善极暗和极亮区域的生成
+   - 需要在训练和推理时保持一致
      
+
      4. 
+
    4. 
+
      渐进式训练：先训练低分辨率，再微调高分辨率
+   - 阶段1：256×256分辨率，快速收敛
+   - 阶段2：512×512分辨率，主要训练
+   - 阶段3：可选的高分辨率微调
      
+
      5. 
+
    
+
    10.4.10 常见问题与解决方案
    
+
    1. 生成质量问题：
+- 模糊：增加CFG scale或使用更多步数
+- 伪影：检查VAE权重，可能需要使用fp32
+- 颜色偏移：调整噪声偏移参数
    
+
    2. 提示遵循问题：
+- 使用提示权重：(word:1.3) 增强，[word] 减弱
+- 负面提示：明确排除不想要的元素
+- 提示工程：使用更具体的描述
    
+
    3. 内存优化：
    
+
    内存管理是部署LDM的关键挑战：
    
+
    减少内存使用的策略：
    
+
      
+
    1. 
+
      CPU卸载（CPU Offloading）：
+   - 将不活跃的模型组件移到CPU内存
+   - VAE可以在U-Net运行时卸载
+   - 文本编码器编码后可以卸载
+   - 使用 model.to('cpu') 和 model.to('cuda') 动态管理
      
+
      2. 
+
    2. 
+
      顺序处理（Sequential Processing）：
+   - 分解生成流程为独立步骤
+   - 每次只加载必要的组件
+   - 例如：先编码所有文本，保存结果，释放编码器
      
+
      3. 
+
    3. 
+
      注意力切片（Attention Slicing）：
+   - 将注意力计算分成小块
+   - 循环处理每个切片
+   - 内存使用从O(N²)降到O(N)
+   - 轻微的速度损失换取大幅内存节省
      
+
      4. 
+
    4. 
+
      VAE平铺（VAE Tiling）：
+   - 将大图像分成重叠的块
+   - 独立编码/解码每个块
+   - 混合重叠区域确保连续性
+   - 支持任意大小的图像生成
      
+
      5. 
+
    
+
    内存估算公式：
    
+
      
+
    • U-Net前向传播：约 batch_size × 4 × height/8 × width/8 × 1280 × 4字节
      • 
+
    • 注意力峰值：约 batch_size × (height/8 × width/8)² × num_heads × 4字节
      • 
+
    • VAE解码：约 batch_size × 3 × height × width × 512 × 4字节
      • 
+
    
+
    实际内存需求示例：
+| 分辨率 | 批次=1 | 批次=4 | 优化后 |
    
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
    分辨率批次=1批次=4优化后
    512×5128GB16GB4GB
    768×76812GB24GB6GB
    1024×102416GB32GB8GB
    
+
    🔧 调试技巧：逐步验证
    
+遇到问题时，逐个组件验证：(1)VAE重建质量 (2)无条件生成 (3)文本条件响应 (4)CFG效果。这有助于定位问题根源。
    
+
    10.5 实践考虑与扩展
    
+
    10.5.1 不同分辨率的处理
    
+
    LDM需要灵活处理各种分辨率的图像：
    
+
    1. 多分辨率训练：
    
+
    多分辨率训练提高模型的泛化能力：
    
+
    训练策略：
    
+
      
+
    • 分桶策略（Aspect Ratio Bucketing）：
      • 
+
    • 预定义一组常见宽高比：1:1, 4:3, 3:4, 16:9, 9:16等
      • 
+
    • 每个宽高比创建多个分辨率桶
      • 
+
    • 将训练图像分配到最近的桶中
      • 
+
    • 
+
      批次内保持相同分辨率，批次间切换
      
+
      • 
+
    • 
+
      动态分辨率范围：
      
+
      • 
+
    • 基础分辨率：512×512
      • 
+
    • 训练范围：384×640 到 768×512
      • 
+
    • 保持像素总数相近（±20%）
      • 
+
    • 
+
      避免极端宽高比（限制在1:2到2:1之间）
      
+
      • 
+
    • 
+
      分辨率条件化：
      
+
      • 
+
    • 将原始图像尺寸作为额外条件输入
      • 
+
    • 编码为连续值或离散桶
      • 
+
    • 帮助模型理解不同分辨率的特性
      • 
+
    
+
    实现细节：
    
+
      
+
    1. 
+
      数据加载器定制：
+   - 根据原始尺寸智能裁剪
+   - 中心裁剪用于推理，随机裁剪用于训练
+   - 保留宽高比信息用于条件输入
      
+
      2. 
+
    2. 
+
      内存管理：
+   - 大分辨率使用较小批次
+   - 梯度累积补偿批次差异
+   - 动态调整以避免OOM
      
+
      3. 
+
    3. 
+
      损失归一化：
+   - 按像素数归一化损失
+   - 确保不同分辨率的损失可比
+   - 避免大分辨率主导训练
      
+
      4. 
+
    
+
    2. 分辨率自适应推理：
    
+
    推理时处理任意分辨率的方法：
    
+
    策略一：填充法：
    
+
      
+
    • 方法：填充到最近的64倍数（U-Net要求）
      • 
+
    • 填充类型：
      • 
+
    • 反射填充：适合自然图像
      • 
+
    • 复制填充：适合有边框的图像
      • 
+
    • 常数填充：简单但可能产生伪影
      • 
+
    • 后处理：生成后裁剪掉填充区域
      • 
+
    
+
    策略二：调整大小法：
    
+
      
+
    • 保持宽高比调整：
+  1. 计算目标分辨率保持宽高比
+  2. 调整到最近的64倍数
+  3. 使用双线性或Lanczos插值
      • 
+
    • 智能缩放：
      • 
+
    • 小图像：先生成再上采样
      • 
+
    • 大图像：分块生成再拼接
      • 
+
    
+
    策略三：滑动窗口法：
    
+
      
+
    • 适用场景：超大分辨率图像（如2K、4K）
      • 
+
    • 实现步骤：
+  1. 将图像分成重叠的窗口（如512×512，重叠64像素）
+  2. 对每个窗口独立生成
+  3. 使用泊松融合或加权平均混合重叠区域
      • 
+
    • 优势：支持任意大小，保持局部一致性
      • 
+
    • 挑战：全局一致性需要额外处理
      • 
+
    
+
    最佳实践组合：
    
+
    输入分辨率 → 策略选择：
+< 768×768：直接处理或轻微调整
+768×768 - 1536×1536：智能缩放
+> 1536×1536：滑动窗口
 
    
 
-
    输入分辨率 → 策略选择：
-< 768×768：直接处理或轻微调整
-768×768 - 1536×1536：智能缩放
    
-
    
-
    1536×1536：滑动窗口
-```
    
-
    
 
    💡 实践技巧：宽高比保持
    
 训练时记录图像的原始宽高比，推理时可以生成相同比例的图像，避免变形。
    
 
    10.5.2 微调与适配
    
 
    1. LoRA（Low-Rank Adaptation）微调：
    
-
    LoRA通过注入低秩分解矩阵来适配预训练模型，在保持原始模型权重不变的情况下实现高效微调。核心思想是将权重更新表示为：
    
-
    $$W' = W + \Delta W = W + BA$$
+
    LoRA通过注入低秩分解矩阵来适配预训练模型，在保持原始模型权重不变的情况下实现高效微调。核心思想是将权重更新表示为：
+$$W' = W + \Delta W = W + BA$$
 其中 $B \in \mathbb{R}^{d \times r}$，$A \in \mathbb{R}^{r \times k}$，$r \ll \min(d, k)$ 是秩的约束。
    
 
    实现过程包括：
    
 
      
@@ -1388,7 +1626,7 @@ 
      10.5.2 微调与适配
      
 
    • 嵌入初始化：创建可学习的嵌入张量 torch.nn.Parameter，可以随机初始化或从相似词汇的嵌入开始
      • 
 
    • 优化过程：固定模型所有参数，仅优化嵌入向量 $v$，使用标准的去噪损失函数
      • 
 
    • 集成方式：将学习到的嵌入插入到文本编码器的词汇表中，使用特殊标记（如 <concept>）引用
      • 
-
    • 多向量表示：复杂概念可以使用多个嵌入向量 ${v_1, v_2, ..., v_n}$ 来表示，提高表达能力
      • 
+
    • 多向量表示：复杂概念可以使用多个嵌入向量 $\{v_1, v_2, ..., v_n\}$ 来表示，提高表达能力
      • 
 
    • 正则化技巧：添加嵌入范数约束 $|v|_2 \leq \gamma$ 防止过拟合，确保与原始词汇表的兼容性
      • 
 
    
 
    3. DreamBooth微调：
    
@@ -1586,7 +1824,7 @@ 
    10.5.6 实践建议总结
    
 
    ← 返回目录 | 第10章 / 共14章 | 下一章 →
    
             
             
-            
+
    diff --git a/html/chapter11.html b/html/chapter11.html index 5f10a60..a62e00c 100644 --- a/html/chapter11.html +++ b/html/chapter11.html @@ -3,10 +3,11 @@ + 第11章：视频扩散模型 - - - + + + @@ -37,7 +38,159 @@

    目录

    - +
    + +
    +
    @@ -252,7 +405,7 @@

    11.1.3 运动表示与建模

  • 显式运动表示

    • 直接编码运动信息，如光流场或轨迹： -$$\mathbf{M} = {\mathbf{v}_{x,y,t} | \mathbf{v} = (u, v) \text{ 是位置 } (x,y) \text{ 在时刻 } t \text{ 的运动向量}}$$ +$$\mathbf{M} = \{\mathbf{v}_{x,y,t} | \mathbf{v} = (u, v) \text{ 是位置 } (x,y) \text{ 在时刻 } t \text{ 的运动向量}\}$$ 优点：

    • 可解释性强
      • @@ -554,12 +707,12 @@

      11.1.5 视频扩散的独特机遇

    • 语义级：场景、对象、动作的高层概念 -$$\mathbf{S} = {\text{objects}, \text{actions}, \text{scenes}}$$ +$$\mathbf{S} = \{\text{objects}, \text{actions}, \text{scenes}\}$$ 通过检测器和分类器获得

    • 结构级：视频的叙事结构、事件序列 -$$\mathbf{E} = {e_1 \to e_2 \to ... \to e_n}$$ +$$\mathbf{E} = \{e_1 \to e_2 \to ... \to e_n\}$$ 表示视频中的事件流

    @@ -749,11 +902,11 @@

    11.2.3 帧间信息传播

    对于ConvLSTM： $$\begin{align} - i_t &= \sigma(W_{xi} * x_t + W_{hi} * h_{t-1} + b_i) \ - f_t &= \sigma(W_{xf} * x_t + W_{hf} * h_{t-1} + b_f) \ - o_t &= \sigma(W_{xo} * x_t + W_{ho} * h_{t-1} + b_o) \ - g_t &= \tanh(W_{xg} * x_t + W_{hg} * h_{t-1} + b_g) \ - c_t &= f_t \odot c_{t-1} + i_t \odot g_t \ + i_t &= \sigma(W_{xi} * x_t + W_{hi} * h_{t-1} + b_i) \\ + f_t &= \sigma(W_{xf} * x_t + W_{hf} * h_{t-1} + b_f) \\ + o_t &= \sigma(W_{xo} * x_t + W_{ho} * h_{t-1} + b_o) \\ + g_t &= \tanh(W_{xg} * x_t + W_{hg} * h_{t-1} + b_g) \\ + c_t &= f_t \odot c_{t-1} + i_t \odot g_t \\ h_t &= o_t \odot \tanh(c_t) \end{align}$$ 其中$*$表示卷积操作，$\odot$表示逐元素乘法

    @@ -859,7 +1012,7 @@

    11.2.4 分层时序建模

  • 全局头：覆盖整个视频，维持长程一致性

    • 通过学习的门控机制自适应地组合不同尺度的信息： -$$h = \sum_{s \in {local, medium, global}} g_s \cdot h_s$$ +$$h = \sum_{s \in \{local, medium, global\}} g_s \cdot h_s$$ 其中$g_s$是可学习的门控权重。

    时序递归与跳跃连接

    为了有效传播不同时间尺度的信息，需要设计合适的连接模式：

    @@ -878,16 +1031,16 @@

    11.2.4 分层时序建模

  • 时序残差网络： 在时间维度上应用残差连接，类似于ResNet在空间维度的设计： -$$h_t = x_t + F(x_t, {h_{t-k}}_{k=1}^K)$$ +$$h_t = x_t + F(x_t, \{h_{t-k}\}_{k=1}^K)$$ 其中$F$是时序变换函数，$K$是时间窗口大小。

  • 门控时序传播： 使用门控机制控制信息在时间维度的流动： $$\begin{align} - r_t &= \sigma(W_r [x_t, h_{t-1}]) \quad \text{(重置门)} \ - z_t &= \sigma(W_z [x_t, h_{t-1}]) \quad \text{(更新门)} \ - \tilde{h}_t &= \tanh(W_h [x_t, r_t \odot h_{t-1}]) \ + r_t &= \sigma(W_r [x_t, h_{t-1}]) \quad \text{(重置门)} \\ + z_t &= \sigma(W_z [x_t, h_{t-1}]) \quad \text{(更新门)} \\ + \tilde{h}_t &= \tanh(W_h [x_t, r_t \odot h_{t-1}]) \\ h_t &= z_t \odot h_{t-1} + (1-z_t) \odot \tilde{h}_t \end{align}$$ 门控机制允许模型自适应地决定保留多少历史信息。

    @@ -973,8 +1126,8 @@

    11.2.5 Video DiT架构

    时空Transformer块： 每个块包含多个子层，处理不同方面的信息： $$\begin{align} - h^{(1)} &= h^{(0)} + \text{SpatialAttn}(\text{LN}(h^{(0)})) \ - h^{(2)} &= h^{(1)} + \text{TemporalAttn}(\text{LN}(h^{(1)})) \ + h^{(1)} &= h^{(0)} + \text{SpatialAttn}(\text{LN}(h^{(0)})) \\ + h^{(2)} &= h^{(1)} + \text{TemporalAttn}(\text{LN}(h^{(1)})) \\ h^{(3)} &= h^{(2)} + \text{FFN}(\text{LN}(h^{(2)})) \end{align}$$ 这种设计允许模型分别处理空间和时间关系，同时保持计算效率。

    @@ -1111,7 +1264,7 @@

    11.2.6 轻量级视频架构

    深度可分离时空卷积： 将标准3D卷积分解为深度卷积和逐点卷积： $$\begin{align} - \text{Standard 3D Conv}: & \quad O(k_t \cdot k_h \cdot k_w \cdot C_{in} \cdot C_{out}) \ + \text{Standard 3D Conv}: & \quad O(k_t \cdot k_h \cdot k_w \cdot C_{in} \cdot C_{out}) \\ \text{Depthwise + Pointwise}: & \quad O(k_t \cdot k_h \cdot k_w \cdot C_{in} + C_{in} \cdot C_{out}) \end{align}$$ 参数量减少比例：$\frac{1}{C_{out}} + \frac{1}{k_t \cdot k_h \cdot k_w}$

    @@ -1146,7 +1299,7 @@

    11.2.6 轻量级视频架构

  • 稀疏处理：只在动态区域进行完整计算 $$y_{t,h,w} = \begin{cases} - f_{full}(x_{t,h,w}) & \text{if } M_{t,h,w} = 1 \ + f_{full}(x_{t,h,w}) & \text{if } M_{t,h,w} = 1 \\ f_{light}(x_{t,h,w}) & \text{otherwise} \end{cases}$$

    • @@ -1395,9 +1548,9 @@

    11.3.2 图像动画化

    全局运动（相机运动）： 相机运动影响整个场景： $$\mathbf{v}_{global} = \begin{cases} - \text{pan}: & (u, v) = (\alpha, 0) \ - \text{tilt}: & (u, v) = (0, \beta) \ - \text{zoom}: & (u, v) = \gamma(x - c_x, y - c_y) \ + \text{pan}: & (u, v) = (\alpha, 0) \\ + \text{tilt}: & (u, v) = (0, \beta) \\ + \text{zoom}: & (u, v) = \gamma(x - c_x, y - c_y) \\ \text{rotate}: & (u, v) = \omega(-y + c_y, x - c_x) \end{cases}$$ 其中$(c_x, c_y)$是图像中心，$\alpha, \beta, \gamma, \omega$是运动参数。

    @@ -1458,7 +1611,7 @@

    11.3.3 运动轨迹控制

    1. 离散点序列表示： 直接指定关键时刻的位置： -$$\mathcal{T} = {(t_i, \mathbf{p}_i) | i = 1, ..., K}$$ +$$\mathcal{T} = \{(t_i, \mathbf{p}_i) | i = 1, ..., K\}$$ 其中$t_i$是时间戳，$\mathbf{p}_i = (x_i, y_i)$是位置。

    优势：

    @@ -1620,7 +1773,7 @@

    11.3.4 风格与内容解耦

  • 长程风格一致性： 使用全局风格编码确保整体一致： -$$\mathbf{z}_{style}^{global} = \text{Aggregate}({\mathbf{z}_{style}^t}_{t=1}^T)$$ +$$\mathbf{z}_{style}^{global} = \text{Aggregate}(\{\mathbf{z}_{style}^t\}_{t=1}^T)$$ 聚合方式包括：

    • @@ -1728,7 +1881,7 @@

    11.3.5 细粒度属性控制

  • 滑块控制： 连续属性的实时调整（速度、大小、亮度） -$$\mathbf{x}'_t = G(\mathbf{z}_{content}, {\alpha_k \cdot \mathbf{z}_k}_{k=1}^K)$$ +$$\mathbf{x}'_t = G(\mathbf{z}_{content}, \{\alpha_k \cdot \mathbf{z}_k\}_{k=1}^K)$$ 其中$\alpha_k \in [0, 2]$是用户控制的缩放因子。

  • @@ -1901,7 +2054,7 @@

    11.3.6 物理约束与真实感

    通过这些条件控制机制和物理约束，视频扩散模型可以生成高度可控和真实的动态内容。下一节将探讨如何高效地训练和部署这些模型。

    - +
    • diff --git a/html/chapter12.html b/html/chapter12.html index ed60252..843e1fe 100644 --- a/html/chapter12.html +++ b/html/chapter12.html @@ -3,10 +3,11 @@ + 第12章：文本扩散模型 - - - + + + @@ -37,7 +38,159 @@

    目录

    - +
    + +
    +
    @@ -267,7 +420,7 @@

    12.2 离散扩散模型（D3PM）

    12.2.1 离散状态空间的马尔可夫链

    D3PM（Discrete Denoising Diffusion Probabilistic Models）通过将连续扩散过程替换为离散马尔可夫链来处理离散数据。核心思想是定义一个从数据分布逐渐过渡到先验分布的离散随机过程。

    前向过程定义：

    -

    对于离散状态 $x \in {1, 2, ..., K}$ （K是词汇表大小），前向过程定义为： +

    对于离散状态 $x \in \{1, 2, ..., K\}$ （K是词汇表大小），前向过程定义为： $$q(x_t|x_{t-1}) = \text{Cat}(x_t; \mathbf{Q}_t x_{t-1})$$ 其中 $\mathbf{Q}_t \in \mathbb{R}^{K \times K}$ 是转移矩阵， $\text{Cat}$ 表示分类分布。

    转移矩阵的性质：

    @@ -289,9 +442,9 @@

    12.2.2 转移矩阵的设计

    其中 $\beta_t$ 是噪声调度， $\mathbf{1}$ 是全1向量。这种设计以概率 $\beta_t$ 将状态替换为均匀随机状态。

    2. 吸收态转移（Absorbing State）： $$Q_{ij} = \begin{cases} -1-\beta_t & \text{if } i=j \neq m \ -\beta_t & \text{if } j=m \ -1 & \text{if } i=j=m \ +1-\beta_t & \text{if } i=j \neq m \\ +\beta_t & \text{if } j=m \\ +1 & \text{if } i=j=m \\ 0 & \text{otherwise} \end{cases}$$ 其中 $m$ 是特殊的MASK token。这种设计逐渐将所有token转换为MASK。

    @@ -329,6 +482,7 @@

    12.2.4 训练算法与实现细节

    输入：数据集 D，噪声调度 β，步数 T
+
 1. 初始化模型参数 θ
 2. repeat
 3.   采样 x_0 ~ D
@@ -381,6 +535,7 @@ 
    12.2.4 训练算法与实现细节
    
 
    12.2.5 采样与生成策略
    
 
    基础采样算法：
    
 
    输入：模型 p_θ，步数 T，温度 τ
+
 1. 初始化 x_T ~ Uniform(1, K)
 2. for t = T to 1:
 3.   预测分布 p = p_θ(·|x_t)
@@ -694,11 +849,13 @@ 
    12.4.2 长度控制与位置编码
    
 
 
    位置编码策略：
    
 
      
-
    1. 
-
      固定最大长度：
-   PE[pos, 2i] = sin(pos/10000^(2i/d))
-   PE[pos, 2i+1] = cos(pos/10000^(2i/d))
      
-
      2. 
+
    2. 固定最大长度：
      3. 
+
    
+
    PE[pos, 2i] = sin(pos/10000^(2i/d))
+PE[pos, 2i+1] = cos(pos/10000^(2i/d))
+
    
+
+
      
 
    1. 
 
      相对位置编码：
    - T5风格：学习的相对位置偏置
@@ -721,10 +878,12 @@ 
      12.4.3 语义条件与风格控制
      
    - 简单但占用序列长度
      
 
      2. 
 
    2. 
-
      交叉注意力（Cross-Attention）：
-   Attention(Q_content, K_condition, V_condition)
      
+
      交叉注意力（Cross-Attention）：
      
 
      3. 
 
    
+
    Attention(Q_content, K_condition, V_condition)
+
    
+
    diff --git a/html/chapter13.html b/html/chapter13.html index 339d9b4..e795910 100644 --- a/html/chapter13.html +++ b/html/chapter13.html @@ -3,10 +3,11 @@ + 第13章：扩散模型的应用 - - - + + + @@ -37,7 +38,159 @@

    目录

    - +
    + +
    +
    @@ -482,10 +635,12 @@

    13.2.1 图像修复（Inpainting）

    高级技巧：

      -
    1. -

      多步修复： - 粗修复 → 细节增强 → 边界优化 → 色彩校正

      -
      2. +
    2. 多步修复：
      3. +
    +
    粗修复 → 细节增强 → 边界优化 → 色彩校正
+
    + +

    1. 引导修复： - 文本引导：描述期望的修复结果 @@ -525,11 +680,13 @@

      13.2.2 图像扩展（Outpainting）

    实现方法：

      -
    1. -

      滑动窗口法： - 原图 → [重叠区域] → 扩展区域1 - → [重叠区域] → 扩展区域2

      -
      2. +
    2. 滑动窗口法：
      3. +
    +
    原图 → [重叠区域] → 扩展区域1
+      → [重叠区域] → 扩展区域2
+
    + +

    1. 多分辨率扩展： - 先低分辨率确定布局 @@ -560,15 +717,15 @@

      13.2.3 语义编辑与属性操控

      2. 全局调整：

        -
      • -

        风格转换： - 照片 → 油画/水彩/素描 - 白天 → 夜晚 - 夏天 → 冬天

        -
        • -
      • -

        情绪渲染：

        -
        • +
      • 风格转换：
        • +
      +
      照片 → 油画/水彩/素描
+白天 → 夜晚
+夏天 → 冬天
+
      + +
        +
      • 情绪渲染：
      • 明亮欢快 ↔ 阴暗忧郁
      • 温暖 ↔ 冷峻
      • 柔和 ↔ 锐利
        • @@ -724,10 +881,12 @@

        13.3.2 基于扩散的超分辨率

        - 学习真实世界的退化分布

      • -

        渐进式细化： - 低分辨率 → 结构恢复 → 纹理生成 → 细节优化

        +

        渐进式细化：

    +
    低分辨率 → 结构恢复 → 纹理生成 → 细节优化
+
    +

    技术优势：

    1. 语义感知：理解图像内容，生成合理细节
      2. @@ -737,12 +896,14 @@

      13.3.2 基于扩散的超分辨率

    实现架构：

      -
    1. -

      级联扩散： - 64×64 → 256×256 (4×) - → 512×512 (2×) - → 1024×1024 (2×)

      -
      2. +
    2. 级联扩散：
      3. +
    +
    64×64 → 256×256 (4×)
+      → 512×512 (2×)  
+      → 1024×1024 (2×)
+
    + +

    1. 潜在扩散超分： - 在潜在空间进行超分 @@ -943,7 +1104,7 @@

      13.4.2 3D物体生成

      优点：概念简单，直接扩展2D方法 缺点：分辨率受限，内存消耗大

      2. 基于点云的扩散：

      -

      点云表示： $\mathcal{P} = {(x_i, y_i, z_i)}_{i=1}^N$

      +

      点云表示： $\mathcal{P} = \{(x_i, y_i, z_i)\}_{i=1}^N$

      扩散过程：

    diff --git a/html/chapter14.html b/html/chapter14.html index 9c4518d..2495ecc 100644 --- a/html/chapter14.html +++ b/html/chapter14.html @@ -3,10 +3,11 @@ + 第14章：前沿研究与未来方向 - - - + + + @@ -37,7 +38,159 @@

    目录

    - +
    + +
    +
    @@ -108,19 +261,23 @@

    14.1.2 一步生成的实现

    一步生成是一致性模型最激动人心的特性。让我们深入探讨这个看似不可能的任务是如何实现的。

    生成过程的革命性简化：

      -
    1. 一步生成的魔法： - z ~ N(0, I) # 采样噪声 - x_0 = f_θ(z, T) # 一步生成
      2. +
    2. 一步生成的魔法：
    +
    z ~ N(0, I)  # 采样噪声
+x_0 = f_θ(z, T)  # 一步生成
+
    +

    这两行简单的过程背后隐藏着深刻的变革。传统扩散模型需要模拟整个反向扩散过程，就像倒放一部电影，需要经历每一帧。而一致性模型直接跳到结局，这种"时间旅行"般的能力来自于对整个轨迹的深度理解。

    从信息论角度看，纯噪声 $z$ 实际上编码了生成样本的所有随机性。一致性模型学会了如何解码这种随机性，直接映射到有意义的数据分布。这个过程类似于密码学中的一次性密码本（one-time pad），噪声就是密钥，模型就是解码器。

      -
    1. 多步细化的灵活性（可选）： - x_T ~ N(0, I) - for t in [T-1, ..., 1]: - x_t = 采样过程(x_{t+1}, t) - x_0 = f_θ(x_t, t) # 细化
      2. +
    2. 多步细化的灵活性（可选）：
    +
    x_T ~ N(0, I)
+for t in [T-1, ..., 1]:
+    x_t = 采样过程(x_{t+1}, t)
+    x_0 = f_θ(x_t, t)  # 细化
+
    +

    尽管一步生成已经很强大，一致性模型仍然保留了多步细化的能力。这种设计哲学体现了"最好的系统是灵活的系统"。用户可以根据质量要求和计算预算，在速度和质量之间自由权衡。

    多步细化过程中，每一步都在纠正前一步可能的误差，逐渐逼近真实分布。这个过程类似于数值分析中的迭代求精（iterative refinement），初始的粗略解通过反复迭代变得越来越精确。

    技术细节的深度解析：

    @@ -194,7 +351,7 @@

    14.1.3 与扩散模型的关系

    ODE轨迹的传承：扩散模型的概率流ODE定义了从噪声到数据的确定性轨迹。一致性模型学习的正是这些轨迹的"高速公路"——直接连接起点和终点的映射。

    -

    蒸馏过程的数学本质是：给定教师模型的ODE轨迹 ${\mathbf{x}_t}_{t=0}^T$，一致性模型学习满足 $f_\theta(\mathbf{x}_t, t) = \mathbf{x}_0$ 的映射。这个过程保留了扩散模型的生成质量，同时获得了巨大的速度提升。

    +

    蒸馏过程的数学本质是：给定教师模型的ODE轨迹 $\{\mathbf{x}_t\}_{t=0}^T$，一致性模型学习满足 $f_\theta(\mathbf{x}_t, t) = \mathbf{x}_0$ 的映射。这个过程保留了扩散模型的生成质量，同时获得了巨大的速度提升。

    1. 独立训练：开辟新天地
    @@ -651,15 +808,15 @@

    14.3.1 新型神经网络架构

    14.3.2 计算效率的根本性突破

    1. 稀疏化技术：

      -
    • -

      动态稀疏注意力： - 只计算重要的注意力连接 - 稀疏度随时间步动态调整 - 早期步骤更稀疏，后期更密集

      -
      • -
    • -

      结构化稀疏：

      -
      • +
    • 动态稀疏注意力：
      • +
    +
    只计算重要的注意力连接
+稀疏度随时间步动态调整
+早期步骤更稀疏，后期更密集
+
    + +
      +
    • 结构化稀疏：
    • 块稀疏：以块为单位的稀疏模式
    • 低秩分解：注意力矩阵的低秩近似
    • 蝶形变换： $O(N\log N)$ 复杂度
      • @@ -673,12 +830,14 @@

      14.3.2 计算效率的根本性突破

      动态调整：根据时间步调整精度

    • -

      量化感知训练： - 训练时模拟量化效果 - 学习量化友好的权重分布 - 保持生成质量

      +

      量化感知训练：

    +
    训练时模拟量化效果
+学习量化友好的权重分布
+保持生成质量
+
    +

    3. 并行化策略：

    • 模型并行：
      • @@ -725,10 +884,12 @@

      14.3.3 模型压缩的新范式

    3. 蒸馏新方法：

      -
    • -

      渐进式蒸馏： - 1000步教师 → 100步学生 → 10步学生 → 1步学生

      -
      • +
    • 渐进式蒸馏：
      • +
    +
    1000步教师 → 100步学生 → 10步学生 → 1步学生
+
    + +

    • 特征蒸馏： 不仅蒸馏输出，还蒸馏中间特征

      @@ -908,13 +1069,13 @@

      14.4.1 科学计算中的扩散模型

      1. 气候建模与天气预报：

      扩散模型在地球科学中的革命性应用：

        -
      • -

        高分辨率气候模拟： - 低分辨率物理模型 → 扩散超分辨率 → 高分辨率预测

        -
        • -
      • -

        极端天气事件预测：

        -
        • +
      • 高分辨率气候模拟：
        • +
      +
      低分辨率物理模型 → 扩散超分辨率 → 高分辨率预测
+
      + +
        +
      • 极端天气事件预测：
      • 生成罕见事件样本
      • 不确定性量化
      • @@ -998,10 +1159,12 @@

        14.4.3 人机协作的新模式

        1. 创意放大器：

        AI作为人类创意的增强工具：

          -
        • -

          灵感生成： - 粗略想法 → AI扩展 → 人类筛选 → AI细化 → 最终作品

          -
          • +
        • 灵感生成：
          • +
        +
        粗略想法 → AI扩展 → 人类筛选 → AI细化 → 最终作品
+
        + +
    diff --git a/html/chapter2.html b/html/chapter2.html index 5b16132..c4e052b 100644 --- a/html/chapter2.html +++ b/html/chapter2.html @@ -3,10 +3,11 @@ + 第2章：神经网络架构：U-Net与ViT - - - + + + @@ -37,7 +38,159 @@

    目录

    - +
    + +
    +
    @@ -64,7 +217,7 @@

    2.1.1 生物医学图像的挑战与U-Net的诞生

    2.1.2 从分割到去噪：任务的本质相似性

    为什么一个为医学图像分割设计的架构能够如此完美地适用于扩散模型？答案隐藏在这两个看似不同的任务的数学本质中。

    -

    图像分割的数学表述：给定输入图像 $\mathbf{x} \in \mathbb{R}^{H \times W \times 3}$，预测每个像素的类别标签 $\mathbf{y} \in {0,1,...,C-1}^{H \times W}$。这是一个确定性的映射：$f_{\text{seg}}: \mathbb{R}^{H \times W \times 3} \rightarrow {0,1,...,C-1}^{H \times W}$。

    +

    图像分割的数学表述：给定输入图像 $\mathbf{x} \in \mathbb{R}^{H \times W \times 3}$，预测每个像素的类别标签 $\mathbf{y} \in \{0,1,...,C-1\}^{H \times W}$。这是一个确定性的映射：$f_{\text{seg}}: \mathbb{R}^{H \times W \times 3} \rightarrow \{0,1,...,C-1\}^{H \times W}$。

    扩散模型去噪的数学表述：给定带噪声的图像 $\mathbf{x}_t = \sqrt{\bar{\alpha}_t}\mathbf{x}_0 + \sqrt{1-\bar{\alpha}_t}\boldsymbol{\epsilon}$，预测噪声 $\boldsymbol{\epsilon} \in \mathbb{R}^{H \times W \times 3}$。这同样是一个确定性的映射：$f_{\text{denoise}}: \mathbb{R}^{H \times W \times 3} \times \mathbb{R} \rightarrow \mathbb{R}^{H \times W \times 3}$（额外的输入是时间步$t$）。

    两者的共同点在于：

      @@ -604,7 +757,7 @@

      本章小结

      下一章，我们将深入DDPM的数学原理，看看这些强大的架构是如何在一个清晰的概率框架下进行训练和优化的。

      - +
    diff --git a/html/chapter3.html b/html/chapter3.html index 2fa0496..82f3c3e 100644 --- a/html/chapter3.html +++ b/html/chapter3.html @@ -3,10 +3,11 @@ + 第3章：去噪扩散概率模型 (DDPM) - - - + + + @@ -37,7 +38,159 @@

    目录

    - +
    + +
    +
    @@ -195,7 +348,7 @@

    3.2.1 重参数化技巧

    更重要的是，这个公式使得训练过程具有极好的可扩展性。无论我们选择 $T=1000$ 还是 $T=4000$，计算任意 $x_t$ 的成本都是恒定的。这与许多其他生成模型形成鲜明对比，后者的计算成本往往随着模型复杂度呈超线性增长。

    3.2.2 噪声调度 (Noise Schedule)

    -

    噪声调度 ${\beta_t}$ 的选择对模型性能有重要影响。它决定了信息在前向过程中的衰减速度，直接影响到反向过程的学习难度。一个好的噪声调度应该在以下几个方面取得平衡：

    +

    噪声调度 $\{\beta_t\}$ 的选择对模型性能有重要影响。它决定了信息在前向过程中的衰减速度，直接影响到反向过程的学习难度。一个好的噪声调度应该在以下几个方面取得平衡：

    1. 信息保留：早期步骤应该保留足够的原始信息，使得反向过程有据可依
    2. 充分扩散：最终应该充分接近先验分布，确保生成的多样性
      3. @@ -397,7 +550,7 @@

      本章小结

      DDPM为后续扩散模型的发展奠定了坚实的基础。下一章，我们将从另一个角度——分数匹配（Score Matching）——来理解扩散过程，并看到这两个看似不同的框架如何最终在统一的SDE/PDE视角下完美融合。

      - +
    diff --git a/html/chapter4.html b/html/chapter4.html index 53e3fb1..9f38ec1 100644 --- a/html/chapter4.html +++ b/html/chapter4.html @@ -3,10 +3,11 @@ + 第4章：基于分数的生成模型 - - - + + + @@ -37,7 +38,159 @@

    目录

    - +
    + +
    +
    @@ -121,8 +274,8 @@

    1. 无需归一化常数：绕过计算瓶颈

    实例：Ising模型的深入分析

    在统计物理中的Ising模型中，系统能量为： $$E(x) = -J \sum_{\langle i,j \rangle} x_i x_j - h \sum_i x_i$$ -其中 $x_i \in {-1, +1}$ 表示自旋状态，$J$ 是耦合强度，$h$ 是外场。

    -

    配分函数 $Z = \sum_{{x}} \exp(-\beta E(x))$ 的计算是 #P-hard 问题——对于 $n$ 个自旋，需要求和 $2^n$ 项。但在连续松弛下，能量的梯度却很容易计算： +其中 $x_i \in \{-1, +1\}$ 表示自旋状态，$J$ 是耦合强度，$h$ 是外场。

    +

    配分函数 $Z = \sum_{\{x\}} \exp(-\beta E(x))$ 的计算是 #P-hard 问题——对于 $n$ 个自旋，需要求和 $2^n$ 项。但在连续松弛下，能量的梯度却很容易计算： $$\nabla_{x_i} E(x) = -J \sum_{j \in \mathcal{N}(i)} x_j - h$$ 这个例子完美展示了分数函数方法的威力：即使在配分函数不可计算的情况下，我们仍然可以进行有意义的推断和采样。

    💡 开放问题： 如何设计高效的分数函数估计器，使其在高维空间中仍然准确？当前的神经网络架构是否最优？考虑引入物理约束或对称性。

    @@ -158,7 +311,7 @@

    4.1.3 分数函数的几何意义

  • 不同区域之间是如何连接的

    • 性质1：梯度流的不动点与临界点分析 -$$\nabla_x \log p(x^) = 0 \Leftrightarrow x^ \text{ 是 } p(x) \text{ 的局部极值点}$$ +$$\nabla_x \log p(x^*) = 0 \Leftrightarrow x^* \text{ 是 } p(x) \text{ 的局部极值点}$$ 但这只是故事的开始。通过分析Hessian矩阵 $\nabla^2 \log p(x^*)$，我们可以进一步分类这些临界点：

    • 局部极大值：所有特征值为负，对应概率密度的峰
      • @@ -344,12 +497,13 @@

      4.2.3 基于切片的分数匹配（Sliced Sc

    实现技巧与优化

      -
    1. -

      高效的向量-Jacobian乘积： - python - # 使用 torch.autograd.grad 计算 v^T ∇s(x) - vjp = torch.autograd.grad(s, x, v, retain_graph=True)[0]

      -
      2. +
    2. 高效的向量-Jacobian乘积：
      3. +
    +
    # 使用 torch.autograd.grad 计算 v^T ∇s(x)
+vjp = torch.autograd.grad(s, x, v, retain_graph=True)[0]
+
    + +

    1. 批量投影：同时处理多个随机方向可以提高GPU利用率

      2. @@ -403,7 +557,7 @@

      4.2.3 基于切片的分数匹配（Sliced Sc

      4.3 噪声条件分数网络（NCSN）

      4.3.1 多尺度去噪分数匹配

      Song & Ermon (2019) 的关键创新是引入多个噪声尺度： -$${\sigma_i}_{i=1}^L, \quad \sigma_1 > \sigma_2 > \cdots > \sigma_L$$ +$$\{\sigma_i\}_{i=1}^L, \quad \sigma_1 > \sigma_2 > \cdots > \sigma_L$$ 动机：

    diff --git a/html/chapter5.html b/html/chapter5.html index b5ee605..412524d 100644 --- a/html/chapter5.html +++ b/html/chapter5.html @@ -3,10 +3,11 @@ + 第5章：连续时间扩散模型 (PDE/SDE) - - - + + + @@ -37,7 +38,159 @@

    目录

    - +
    + +
    +
    @@ -114,7 +267,7 @@

    SDE的诞生

    深入探索：从离散到连续的数学严格性

    上述推导虽然直观，但数学上需要更严格的处理：

      -
    1. 收敛性：需要证明离散过程 ${x_k}$ 在某种意义下（如弱收敛）收敛到连续过程 ${x_t}$
      2. +
    2. 收敛性：需要证明离散过程 $\{x_k\}$ 在某种意义下（如弱收敛）收敛到连续过程 $\{x_t\}$
    3. 唯一性：需要证明极限SDE有唯一解
    4. 正则性：需要保证系数函数 $b(t)$ 满足某些条件（如Lipschitz连续性）
    @@ -450,7 +603,7 @@

    5.2.4 实现细节与挑战

  • 多尺度分数匹配： - 考虑不同噪声水平 ${\sigma_i}_{i=1}^L$ 下的加噪数据分布 $p_{\sigma_i}(x) = \int p(y) \mathcal{N}(x; y, \sigma_i^2 I) dy$。

    + 考虑不同噪声水平 $\{\sigma_i\}_{i=1}^L$ 下的加噪数据分布 $p_{\sigma_i}(x) = \int p(y) \mathcal{N}(x; y, \sigma_i^2 I) dy$。

      • @@ -564,7 +717,7 @@

      概率流ODE的深层含义

      1. 精确的似然计算：通过瞬时变量变换公式（instantaneous change of variables），可以精确计算对数似然： $$\log p_0(x_0) = \log p_T(x_T) - \int_0^T \nabla \cdot v(x_t, t) dt$$ -其中轨迹 ${x_t}$ 由概率流ODE生成。
        2. +其中轨迹 $\{x_t\}$ 由概率流ODE生成。

      概率流ODE与神经ODE的联系

      概率流ODE可以看作是一种特殊的神经ODE（Neural ODE），其中：

      @@ -818,7 +971,7 @@

      本章小结

      这个连续时间框架不仅统一了现有的模型，更为未来的创新（如设计新的SDE、开发更快的求解器）提供了无限可能。下一章，我们将探讨另一个优雅的连续时间框架——流匹配（Flow Matching），它从最优传输的视角为生成建模提供了新的思路。

      - +
    diff --git a/html/chapter6.html b/html/chapter6.html index 8b27cd4..5a8347a 100644 --- a/html/chapter6.html +++ b/html/chapter6.html @@ -3,10 +3,11 @@ + 第6章：流匹配 (Flow Matching) - - - + + + @@ -37,7 +38,159 @@

    目录

    - +
    + +
    +
    @@ -138,16 +291,17 @@

    6.1.2 传统CNF的计算瓶颈

  • 轨迹积分：沿着整个轨迹，我们需要累积散度项 $\int_0^1 \nabla \cdot v_t(\mathbf{x}_t) dt$ 。这要求在每个积分步骤都计算向量场的散度。

    -

    这个积分必须与ODE求解同步进行，因为我们需要知道每个时刻的位置 $\mathbf{x}_t$ 才能计算该点的散度。这创造了一个耦合的计算过程： - ``` - 对于每个ODE求解步骤：

    -
      -
    1. 计算当前位置的向量场 v_t(x_t)
      2. -
    2. 计算向量场的散度 ∇·v_t(x_t)
      3. -
    3. 更新位置 x_t
      4. -
    4. 累积散度贡献到总积分 - ```
      5. -
    +

    这个积分必须与ODE求解同步进行，因为我们需要知道每个时刻的位置 $\mathbf{x}_t$ 才能计算该点的散度。这创造了一个耦合的计算过程：

    +
    • + +
    对于每个ODE求解步骤：
+
+  1. 计算当前位置的向量场 v_t(x_t)
+  2. 计算向量场的散度 ∇·v_t(x_t)
+  3. 更新位置 x_t
+  4. 累积散度贡献到总积分
+
    +

    • 神经网络调用：每个ODE求解步骤都需要调用神经网络来评估向量场 $v_t(\mathbf{x}_t)$ ，在训练过程中这意味着大量的前向和反向传播。

      @@ -160,11 +314,9 @@

      6.1.2 传统CNF的计算瓶颈

    想象一下，对于一张 $256 \times 256$ 的RGB图像（196,608维），每个训练样本可能需要数十次神经网络评估，这使得训练变得极其缓慢。在实践中，训练一个高质量的CNF模型可能需要数周时间，即使在强大的GPU集群上。

    - -
      -
    1. -

      训练的不稳定性：直接最大化似然需要精确的ODE求解，但这在高维空间中充满挑战：

      +
    2. 训练的不稳定性：直接最大化似然需要精确的ODE求解，但这在高维空间中充满挑战：
      3. +

    • 数值误差累积：ODE求解器的每一步都会引入小的数值误差，这些误差会沿着轨迹累积，特别是在高维空间中。

      @@ -174,7 +326,7 @@

      6.1.2 传统CNF的计算瓶颈

    • 梯度爆炸/消失：反向传播通过整个ODE轨迹时，梯度可能会指数级地增长或衰减，导致训练不稳定。

      这个问题的根源在于链式法则。考虑简化的情况，梯度的传播大致遵循： -$\frac{\partial \mathcal{L}}{\partial \theta} \approx \prod_{i=1}^n \frac{\partial \mathbf{x}_{t_i}}{\partial \mathbf{x}_{t_{i-1}}} \cdot \frac{\partial \mathcal{L}}{\partial \mathbf{x}_T}$

      + $\frac{\partial \mathcal{L}}{\partial \theta} \approx \prod_{i=1}^n \frac{\partial \mathbf{x}_{t_i}}{\partial \mathbf{x}_{t_{i-1}}} \cdot \frac{\partial \mathcal{L}}{\partial \mathbf{x}_T}$

      如果每个雅可比矩阵 $\frac{\partial \mathbf{x}_{t_i}}{\partial \mathbf{x}_{t_{i-1}}}$ 的谱范数大于1，梯度会指数增长；如果小于1，梯度会指数衰减。在深度ODE中控制这些谱范数是一个未解决的难题。

    • @@ -187,9 +339,9 @@

      6.1.2 传统CNF的计算瓶颈

    - -
  • -

    散度计算的复杂度：散度 $\nabla \cdot v_t = \sum_{i=1}^d \frac{\partial v_{t,i}}{\partial x_i}$ 的计算是一个关键瓶颈：

    +
      +
    1. 散度计算的复杂度：散度 $\nabla \cdot v_t = \sum_{i=1}^d \frac{\partial v_{t,i}}{\partial x_i}$ 的计算是一个关键瓶颈：
      2. +

    • 精确计算：对于 $d$ 维数据，需要计算 $d$ 个偏导数。使用自动微分，这需要 $O(d)$ 次反向传播，每次计算一个维度的导数。

      @@ -202,7 +354,7 @@

      6.1.2 传统CNF的计算瓶颈

    • Hutchinson迹估计：虽然可以使用随机估计方法将复杂度降到 $O(1)$ ，但代价是引入方差： - $$\nabla \cdot v_t \approx \mathbb{E}_{\epsilon \sim \mathcal{N}(0, I)}[\epsilon^T \nabla_x (v_t \cdot \epsilon)]$$

      + $$\nabla \cdot v_t \approx \mathbb{E}_{\epsilon \sim \mathcal{N}(0, I)}[\epsilon^T \nabla_x (v_t \cdot \epsilon)]$$

      这种方法的原理是利用了迹的随机估计。具体来说：

      • 采样一个随机向量 $\epsilon \sim \mathcal{N}(0, I)$
        • @@ -217,8 +369,6 @@

        6.1.2 传统CNF的计算瓶颈

      对于图像等高维数据，即使是 $O(1)$ 的估计也需要仔细调节以平衡方差和计算成本。

      -
      • -

      实际影响：这些计算瓶颈的综合效应是灾难性的。一个在CIFAR-10这样的小数据集上训练的CNF模型，可能需要：

      • 数百个GPU小时的训练时间
        • @@ -227,7 +377,7 @@

        6.1.2 传统CNF的计算瓶颈

      • 仍然可能无法达到其他生成模型的性能

      这解释了为什么尽管CNF在理论上优雅，在实践中却很少被采用——直到流匹配的出现改变了这一局面。

      -

      ### 6.1.3 流匹配：回避似然计算的巧妙方案

      +

      6.1.3 流匹配：回避似然计算的巧妙方案

      流匹配（Flow Matching）的核心洞察是一个范式转换：与其费力地通过似然优化来间接学习向量场，不如直接学习连接两个分布的向量场本身。这个想法既简单又深刻，它彻底改变了我们训练连续流模型的方式。

      要理解这个范式转换的重要性，让我们回顾一下传统CNF和流匹配的根本区别：

      传统CNF的间接学习：

      @@ -263,28 +413,22 @@

      6.1.2 传统CNF的计算瓶颈

      流匹配的优势

      1. -

        计算效率：

        -
          -
        • 不需要在训练时求解ODE
          • -
        • 不需要计算散度或雅可比行列式
          • -
        • 每个训练步骤只需要一次神经网络前向传播
          • -
        +

        计算效率： + - 不需要在训练时求解ODE + - 不需要计算散度或雅可比行列式 + - 每个训练步骤只需要一次神经网络前向传播

      2. -

        训练稳定性：

        -
          -
        • 避免了通过长ODE轨迹的梯度传播
          • -
        • 没有数值误差的累积
          • -
        • 梯度计算简单明了
          • -
        +

        训练稳定性： + - 避免了通过长ODE轨迹的梯度传播 + - 没有数值误差的累积 + - 梯度计算简单明了

      3. -

        实现简单：

        -
          -
        • 训练循环与标准的监督学习相同
          • -
        • 不需要复杂的ODE求解器或伴随方法
          • -
        • 易于调试和优化
          • -
        +

        实现简单： + - 训练循环与标准的监督学习相同 + - 不需要复杂的ODE求解器或伴随方法 + - 易于调试和优化

      但这里有一个关键挑战：如何获得训练样本 $(t, \mathbf{x}_t, u_t(\mathbf{x}_t))$ ？

      @@ -296,12 +440,12 @@

      6.1.2 传统CNF的计算瓶颈

      更具体地说，考虑以下困难：

      1. -

        中间分布的未知性：给定 $p_0$ 和 $p_1$ ，存在无穷多种可能的概率路径 ${p_t}_{t \in [0,1]}$ 连接它们。每种路径对应不同的向量场。我们应该选择哪一种？

        +

        中间分布的未知性：给定 $p_0$ 和 $p_1$ ，存在无穷多种可能的概率路径 $\{p_t\}_{t \in [0,1]}$ 连接它们。每种路径对应不同的向量场。我们应该选择哪一种？

      2. 向量场的隐式定义：即使我们选定了一种概率路径，对应的向量场 $u_t$ 通常也没有解析形式。它是通过连续性方程隐式定义的： - $\frac{\partial p_t}{\partial t} + \nabla \cdot (p_t u_t) = 0$ - 从这个方程解出 $u_t$ 是非平凡的。

        + $\frac{\partial p_t}{\partial t} + \nabla \cdot (p_t u_t) = 0$ + 从这个方程解出 $u_t$ 是非平凡的。

      3. 采样的困难：即使我们知道了 $u_t$ ，从中间分布 $p_t$ 采样通常也需要求解从 $p_0$ 出发的ODE——这正是我们想要避免的！

        @@ -309,28 +453,26 @@

        6.1.2 传统CNF的计算瓶颈

      这看起来是一个"鸡生蛋"的问题：要学习向量场，需要知道中间分布；要知道中间分布，需要知道向量场。传统的解决方案可能会陷入迭代优化的复杂过程中。

      条件流匹配正是为了打破这个循环而设计的。它的关键洞察是：与其试图直接处理复杂的边缘分布和向量场，不如构造简单的条件分布，然后利用边缘化的性质来恢复我们需要的目标。这种方法既优雅又实用，让流匹配从一个理论上有趣但实践上困难的想法，变成了一个强大的实用工具。

      -

      ### 6.1.4 条件流匹配框架

      +

      6.1.4 条件流匹配框架

      条件流匹配（Conditional Flow Matching, CFM）通过构造条件概率路径巧妙地解决了采样问题。这个方法的优雅之处在于，它将一个复杂的全局问题分解为许多简单的局部问题。

      核心思想可以分为三个关键步骤：

        -
      1. -

        定义条件路径：与其试图直接构造从整个分布 $p_0$ 到 $p_1$ 的复杂路径，CFM为每一对点构造简单的条件路径。对每个数据点 $\mathbf{x}_1 \sim p_1$ 和对应的噪声点 $\mathbf{x}_0 \sim p_0$ ，定义一个简单的路径连接它们。最常用的是线性插值：

        +
      2. 定义条件路径：与其试图直接构造从整个分布 $p_0$ 到 $p_1$ 的复杂路径，CFM为每一对点构造简单的条件路径。对每个数据点 $\mathbf{x}_1 \sim p_1$ 和对应的噪声点 $\mathbf{x}_0 \sim p_0$ ，定义一个简单的路径连接它们。最常用的是线性插值：
        3. +

      $\mathbf{x}_t = (1-t)\mathbf{x}_0 + t\mathbf{x}_1$

      这就像是为每对起点和终点画一条直线。虽然单条直线很简单，但所有直线的集合可以形成复杂的流场。

      - -
    • -

      条件向量场：对于线性路径，计算对应的向量场非常简单。如果粒子沿着直线从 $\mathbf{x}_0$ 移动到 $\mathbf{x}_1$ ，它的速度是恒定的：

      +
        +
      1. 条件向量场：对于线性路径，计算对应的向量场非常简单。如果粒子沿着直线从 $\mathbf{x}_0$ 移动到 $\mathbf{x}_1$ ，它的速度是恒定的：
        2. +

      $u_t(\mathbf{x}_t | \mathbf{x}_0, \mathbf{x}_1) = \frac{d\mathbf{x}_t}{dt} = \mathbf{x}_1 - \mathbf{x}_0$

      注意这个向量场不依赖于时间 $t$ ——粒子始终以相同的速度沿直线移动。这种简单性是线性插值的一大优势。

      -
      • -
    • -

      边缘化的魔法：CFM的关键洞察是一个深刻的数学事实：如果我们对所有可能的 $(\mathbf{x}_0, \mathbf{x}_1)$ 对进行平均（边缘化），得到的边缘向量场 $u_t(\mathbf{x}_t)$ 正好生成了从 $p_0$ 到 $p_1$ 的有效流。

      -

      直观地说，虽然每条单独的路径只连接一对点，但当我们考虑所有可能的路径时，它们的集体效应创造了一个将整个分布 $p_0$ 变换到 $p_1$ 的向量场。

      -
      • +
        +
      1. 边缘化的魔法：CFM的关键洞察是一个深刻的数学事实：如果我们对所有可能的 $(\mathbf{x}_0, \mathbf{x}_1)$ 对进行平均（边缘化），得到的边缘向量场 $u_t(\mathbf{x}_t)$ 正好生成了从 $p_0$ 到 $p_1$ 的有效流。
      +

      直观地说，虽然每条单独的路径只连接一对点，但当我们考虑所有可能的路径时，它们的集体效应创造了一个将整个分布 $p_0$ 变换到 $p_1$ 的向量场。

      这种方法的美妙之处在于，它将一个困难的问题（学习复杂的全局向量场）转化为一个简单的问题（匹配条件向量场）。更重要的是，这种转化使得训练变得极其高效。

      💡 实现技巧：高效采样
      - CFM的训练算法惊人地简单：

      +CFM的训练算法惊人地简单：

      1. 采样时间 $t \sim \mathcal{U}[0,1]$
      2. 采样噪声 $\mathbf{x}_0 \sim p_0$ 和数据 $\mathbf{x}_1 \sim p_1$
        3. @@ -339,10 +481,10 @@

        6.1.2 传统CNF的计算瓶颈

      整个过程完全避免了ODE求解、似然计算和复杂的采样过程！每个训练步骤的计算成本与训练一个简单的回归网络相当。

      🔬 研究线索：非线性路径设计
      - 虽然线性路径简单有效，但它们可能不是最优的。研究问题包括：如何设计更好的条件路径？例如，可以考虑测地线路径（在某种度量下的最短路径）、避开低密度区域的路径、或者学习数据依赖的路径。这是一个活跃的研究领域，涉及最优传输理论和流形学习。

      -

      ## 6.2 最优传输视角

      +虽然线性路径简单有效，但它们可能不是最优的。研究问题包括：如何设计更好的条件路径？例如，可以考虑测地线路径（在某种度量下的最短路径）、避开低密度区域的路径、或者学习数据依赖的路径。这是一个活跃的研究领域，涉及最优传输理论和流形学习。

      +

      6.2 最优传输视角

      流匹配与最优传输（Optimal Transport, OT）理论有着深刻的联系。要理解这种联系，让我们先从一个直观的例子开始：想象你是一个物流公司的经理，需要将仓库中的货物运送到各个商店。OT理论研究的正是如何以"最低成本"完成这种分配任务——只不过在我们的情况中，"货物"是概率质量，"运输"是从一个分布到另一个分布的变换。

      -

      ### 6.2.1 Monge-Kantorovich问题与Wasserstein距离

      +

      6.2.1 Monge-Kantorovich问题与Wasserstein距离

      最优传输理论有着悠久的历史，可以追溯到18世纪法国数学家Gaspard Monge的工作。Monge最初研究的问题非常实际：如何以最小的工作量将一堆沙土搬运到另一个地方来建造防御工事。这个看似简单的问题，实际上蕴含着深刻的数学结构。

      Monge问题的现代表述是：寻找一个映射 $T: \mathbb{R}^d \to \mathbb{R}^d$ ，使得：

        @@ -366,7 +508,7 @@

        6.1.2 传统CNF的计算瓶颈

      1. $W_p(p_0, p_1) = \left(\inf_\pi \int |\mathbf{x} - \mathbf{y}|^p d\pi(\mathbf{x}, \mathbf{y})\right)^{1/p}$

    特别地，$W_2$ （使用平方欧氏距离）在理论和应用中最为重要，因为它与许多几何和物理概念自然地联系在一起。

    -

    ### 6.2.2 动态最优传输与Benamou-Brenier公式

    +

    6.2.2 动态最优传输与Benamou-Brenier公式

    静态的Monge-Kantorovich问题告诉我们最优的"配对方案"，但没有告诉我们质量是如何从源移动到目标的。Benamou和Brenier在2000年提出了一个革命性的想法：与其只关注起点和终点，不如研究整个运输过程的动力学。

    想象一下密度分布的演化就像流体的流动。在每个时刻 $t \in [0,1]$ ，我们有一个概率分布 $p_t$ ，它从 $p_0$ 开始，最终到达 $p_1$ 。这个演化由一个速度场 $v_t$ 驱动，满足连续性方程：

    $\frac{\partial p_t}{\partial t} + \nabla \cdot (p_t v_t) = 0$

    @@ -394,30 +536,26 @@

    6.1.2 传统CNF的计算瓶颈

  • 速度场的特性：最优传输的速度场有一个重要性质——它是某个势函数的梯度（至少在适当的正则性条件下）： - $v_t(\mathbf{x}) = \nabla \phi_t(\mathbf{x})$

    -

    这意味着最优传输的流动是"无旋的"，没有涡流或循环。

    + $v_t(\mathbf{x}) = \nabla \phi_t(\mathbf{x})$

    • -

    ### 6.2.3 流匹配作为最优传输的实现

    +

    这意味着最优传输的流动是"无旋的"，没有涡流或循环。

    +

    6.2.3 流匹配作为最优传输的实现

    现在我们可以理解流匹配与最优传输之间的深刻联系了。流匹配可以被视为一种实用的方法来近似求解最优传输问题，而不需要直接处理其计算复杂性。

    理论联系： - 流匹配的目标函数——最小化模型向量场 $v_\theta$ 与真实向量场 $u_t$ 之间的L2距离——与Benamou-Brenier公式有着密切的关系。让我们仔细分析这种联系：

    +流匹配的目标函数——最小化模型向量场 $v_\theta$ 与真实向量场 $u_t$ 之间的L2距离——与Benamou-Brenier公式有着密切的关系。让我们仔细分析这种联系：

    1. -

      当使用最优传输路径时：如果我们在条件流匹配中使用的概率路径 $p_t$ 正好是最优传输路径（即Wasserstein测地线），那么：

      -
        -
      • 对应的向量场 $u_t$ 就是最优传输的速度场
        • -
      • 学习到的 $v_\theta$ 将逼近最优传输映射
        • -
      • 生成的样本将沿着最优路径从噪声移动到数据
        • -
      +

      当使用最优传输路径时：如果我们在条件流匹配中使用的概率路径 $p_t$ 正好是最优传输路径（即Wasserstein测地线），那么： + - 对应的向量场 $u_t$ 就是最优传输的速度场 + - 学习到的 $v_\theta$ 将逼近最优传输映射 + - 生成的样本将沿着最优路径从噪声移动到数据

    2. -

      线性插值的情况：在实践中，我们通常使用简单的线性插值路径：

      -
        -
      • 条件路径：$\mathbf{x}_t = (1-t)\mathbf{x}_0 + t\mathbf{x}_1$
        • -
      • 这不是最优传输路径（除非在非常特殊的情况下）
        • -
      • 但它仍然定义了一个有效的传输方案
        • -
      +

      线性插值的情况：在实践中，我们通常使用简单的线性插值路径： + - 条件路径：$\mathbf{x}_t = (1-t)\mathbf{x}_0 + t\mathbf{x}_1$ + - 这不是最优传输路径（除非在非常特殊的情况下） + - 但它仍然定义了一个有效的传输方案

    为什么线性插值也有效？

    @@ -431,26 +569,20 @@

    6.1.2 传统CNF的计算瓶颈

    研究者们提出了多种方法来结合最优传输的理论优势和流匹配的实践效率：

    1. -

      OT-CFM（Optimal Transport Conditional Flow Matching）：

      -
        -
      • 使用最优传输理论来设计更好的条件路径
        • -
      • 例如，使用mini-batch最优传输来估计更好的配对
        • -
      • 在保持计算效率的同时提高生成质量
        • -
      +

      OT-CFM（Optimal Transport Conditional Flow Matching）： + - 使用最优传输理论来设计更好的条件路径 + - 例如，使用mini-batch最优传输来估计更好的配对 + - 在保持计算效率的同时提高生成质量

    2. -

      动态最优传输正则化：

      -
        -
      • 在流匹配损失中加入鼓励"直线"路径的正则项
        • -
      • 这隐式地鼓励学习接近最优传输的解
        • -
      +

      动态最优传输正则化： + - 在流匹配损失中加入鼓励"直线"路径的正则项 + - 这隐式地鼓励学习接近最优传输的解

    3. -

      多尺度最优传输：

      -
        -
      • 在不同的特征尺度上应用最优传输原理
        • -
      • 特别适用于具有层次结构的数据（如图像）
        • -
      +

      多尺度最优传输： + - 在不同的特征尺度上应用最优传输原理 + - 特别适用于具有层次结构的数据（如图像）

    实践意义：

    @@ -461,27 +593,27 @@

    6.1.2 传统CNF的计算瓶颈

  • 灵活性：可以在效率和最优性之间进行权衡

    • 🔬 研究线索：最优传输与生成质量
    - 一个开放的研究问题是：在什么条件下，使用更接近最优传输的路径会显著提高生成质量？这涉及到数据流形的几何性质、噪声分布的选择、以及具体应用场景的需求。特别是在高维空间中，"最优"的含义本身就需要仔细定义。

    -

    ## 6.3 流匹配的数学基础

    +一个开放的研究问题是：在什么条件下，使用更接近最优传输的路径会显著提高生成质量？这涉及到数据流形的几何性质、噪声分布的选择、以及具体应用场景的需求。特别是在高维空间中，"最优"的含义本身就需要仔细定义。

    +

    6.3 流匹配的数学基础

    流匹配的有效性依赖于一个优雅的数学性质：直接匹配条件向量场可以正确地学习到边缘向量场。

    -

    ### 6.3.1 概率路径与边缘保持性质

    +

    6.3.1 概率路径与边缘保持性质

    让我们更正式地定义这个思想。

    1. 联合分布：我们首先定义一个源分布 $p_0$ 和目标分布 $p_1$ 的联合分布（或称“耦合”） $q(\mathbf{x}_0, \mathbf{x}_1)$ 。最简单的选择是独立耦合 $q(\mathbf{x}_0, \mathbf{x}_1) = p_0(\mathbf{x}_0) p_1(\mathbf{x}_1)$ 。
    2. 条件概率路径：给定一对样本 $(\mathbf{x}_0, \mathbf{x}_1) \sim q$ ，我们定义一个条件概率路径 $p_t(\mathbf{x} | \mathbf{x}_0, \mathbf{x}_1)$ 。这是一个随时间 $t$ 演化的分布，满足 $p_0(\mathbf{x} | \mathbf{x}_0, \mathbf{x}_1) = \delta(\mathbf{x} - \mathbf{x}_0)$ 和 $p_1(\mathbf{x} | \mathbf{x}_0, \mathbf{x}_1) = \delta(\mathbf{x} - \mathbf{x}_1)$ 。
    3. 边缘概率路径：通过对联合分布 $q$ 进行积分，我们可以得到边缘概率路径： - $p_t(\mathbf{x}) = \int p_t(\mathbf{x} | \mathbf{x}_0, \mathbf{x}_1) q(\mathbf{x}_0, \mathbf{x}_1) d\mathbf{x}_0 d\mathbf{x}_1$ - 这个边缘路径 $p_t$ 描述了从 $p_0$ 到 $p_1$ 的连续变换。
      4. + $p_t(\mathbf{x}) = \int p_t(\mathbf{x} | \mathbf{x}_0, \mathbf{x}_1) q(\mathbf{x}_0, \mathbf{x}_1) d\mathbf{x}_0 d\mathbf{x}_1$ + 这个边缘路径 $p_t$ 描述了从 $p_0$ 到 $p_1$ 的连续变换。
    -

    ### 6.3.2 向量场的推导

    +

    6.3.2 向量场的推导

    与概率路径对应，我们也有条件向量场 $u_t(\mathbf{x} | \mathbf{x}_0, \mathbf{x}_1)$ 和边缘向量场 $u_t(\mathbf{x})$ 。它们通过连续性方程联系在一起。一个关键的数学结论是，边缘向量场是条件向量场在后验分布 $q(\mathbf{x}_0, \mathbf{x}_1 | \mathbf{x}_t)$ 下的期望：

    $u_t(\mathbf{x}_t) = \mathbb{E}_{q(\mathbf{x}_0, \mathbf{x}_1 | \mathbf{x}_t)}[u_t(\mathbf{x}_t | \mathbf{x}_0, \mathbf{x}_1)]$

    -

    ### 6.3.3 流匹配目标函数

    +

    6.3.3 流匹配目标函数

    我们的目标是让模型 $v_\theta(t, \mathbf{x})$ 学习边缘向量场 $u_t(\mathbf{x})$ 。损失函数为： - $L_{FM}(\theta) = \int_0^1 \mathbb{E}_{p_t(\mathbf{x}_t)}[|v_\theta(t, \mathbf{x}_t) - u_t(\mathbf{x}_t)|^2] dt$ - 直接优化这个损失函数是困难的，因为我们无法轻易地从 $p_t$ 或 $u_t$ 中采样。

    +$L_{FM}(\theta) = \int_0^1 \mathbb{E}_{p_t(\mathbf{x}_t)}[|v_\theta(t, \mathbf{x}_t) - u_t(\mathbf{x}_t)|^2] dt$ +直接优化这个损失函数是困难的，因为我们无法轻易地从 $p_t$ 或 $u_t$ 中采样。

    然而，通过巧妙的数学变换，可以证明这个损失函数等价于一个更容易处理的条件流匹配（CFM）损失： - $L_{CFM}(\theta) = \int_0^1 \mathbb{E}_{q(\mathbf{x}_0, \mathbf{x}_1)} \mathbb{E}_{p_t(\mathbf{x}_t|\mathbf{x}_0, \mathbf{x}_1)} [|v_\theta(t, \mathbf{x}_t) - u_t(\mathbf{x}_t|\mathbf{x}_0, \mathbf{x}_1)|^2] dt$

    +$L_{CFM}(\theta) = \int_0^1 \mathbb{E}_{q(\mathbf{x}_0, \mathbf{x}_1)} \mathbb{E}_{p_t(\mathbf{x}_t|\mathbf{x}_0, \mathbf{x}_1)} [|v_\theta(t, \mathbf{x}_t) - u_t(\mathbf{x}_t|\mathbf{x}_0, \mathbf{x}_1)|^2] dt$

    这个形式的妙处在于，我们可以通过以下方式简单地获得训练样本：

    1. 采样 $t \sim \mathcal{U}[0,1]$ 。
      2. @@ -491,38 +623,38 @@

      6.1.2 传统CNF的计算瓶颈

    2. 用梯度下降优化 $|v_\theta(t, \mathbf{x}_t) - u_t(\mathbf{x}_t|\mathbf{x}_0, \mathbf{x}_1)|^2$ 。

    对于线性插值路径 $\mathbf{x}_t = (1-t)\mathbf{x}_0 + t\mathbf{x}_1$ ，后两步变得极其简单： $\mathbf{x}_t$ 是确定的，向量场就是 $\mathbf{x}_1 - \mathbf{x}_0$ 。这使得训练过程完全“模拟免费”（simulation-free）。

    -

    ## 6.4 与扩散模型的联系

    +

    6.4 与扩散模型的联系

    流匹配框架与我们在前几章学习的扩散模型有着深刻的统一性。

    -

    ### 6.4.1 概率流ODE的统一视角

    +

    6.4.1 概率流ODE的统一视角

    回想一下，任何扩散SDE都对应一个概率流ODE： - $dx_t = [f(x_t, t) - \frac{1}{2} g(t)^2 \nabla_{x_t} \log p_t(x_t)] dt$ - 这个ODE描述了一个确定性的从噪声到数据的变换路径，它本身就是一个连续正则化流！它的向量场是 $v_t(x_t) = f(x_t, t) - \frac{1}{2} g(t)^2 s_\theta(x_t, t)$ 。

    +$dx_t = [f(x_t, t) - \frac{1}{2} g(t)^2 \nabla_{x_t} \log p_t(x_t)] dt$ +这个ODE描述了一个确定性的从噪声到数据的变换路径，它本身就是一个连续正则化流！它的向量场是 $v_t(x_t) = f(x_t, t) - \frac{1}{2} g(t)^2 s_\theta(x_t, t)$ 。

    • 扩散模型通过学习分数函数 $s_\theta(x_t, t) \approx \nabla_{x_t} \log p_t(x_t)$ 来间接定义这个向量场。
    • 流匹配则直接学习这个向量场 $v_\theta(t, \mathbf{x}_t)$ 。
    -

    ### 6.4.2 从分数匹配到流匹配

    +

    6.4.2 从分数匹配到流匹配

    分数匹配的目标是： - $L_{SM}(\theta) = \int_0^T \mathbb{E}_{p_t(\mathbf{x}_t)}[|\mathbf{s}_\theta(t, \mathbf{x}_t) - \nabla_{\mathbf{x}_t} \log p_t(\mathbf{x}_t)|^2] dt$ - 流匹配的目标是： - $L_{FM}(\theta) = \int_0^1 \mathbb{E}_{p_t(\mathbf{x}_t)}[|\mathbf{v}_\theta(t, \mathbf{x}_t) - \mathbf{u}_t(\mathbf{x}_t)|^2] dt$ - 两者都在学习一个与时间相关的函数（分数或向量场），以定义一个从噪声到数据的ODE。流匹配可以看作是更广义的框架，而扩散模型的概率流ODE是其中的一个特例。

    -

    ### 6.4.3 计算效率的比较分析

    +$L_{SM}(\theta) = \int_0^T \mathbb{E}_{p_t(\mathbf{x}_t)}[|\mathbf{s}_\theta(t, \mathbf{x}_t) - \nabla_{\mathbf{x}_t} \log p_t(\mathbf{x}_t)|^2] dt$ +流匹配的目标是： +$L_{FM}(\theta) = \int_0^1 \mathbb{E}_{p_t(\mathbf{x}_t)}[|\mathbf{v}_\theta(t, \mathbf{x}_t) - \mathbf{u}_t(\mathbf{x}_t)|^2] dt$ +两者都在学习一个与时间相关的函数（分数或向量场），以定义一个从噪声到数据的ODE。流匹配可以看作是更广义的框架，而扩散模型的概率流ODE是其中的一个特例。

    +

    6.4.3 计算效率的比较分析

    流匹配在训练效率上通常优于传统的扩散模型：

    • 模拟免费：流匹配的训练不需要像扩散模型那样前向模拟SDE来产生带噪声的样本 $x_t$ 。它通过简单的插值直接构造训练对，避免了数值误差和计算开销。
    • 路径灵活性：扩散模型被锁定在由SDE定义的特定概率路径上。流匹配可以选择任意（通常更简单）的路径，如线性插值，这简化了目标向量场的计算（例如，对于线性路径，目标是常数 $\mathbf{x}_1 - \mathbf{x}_0$ ）。
    • 一步到位：扩散模型通常需要先学习分数，然后构建ODE。流匹配直接学习ODE的向量场，更加直接。
    -

    ## 6.5 实践中的流匹配

    -

    ### 6.5.1 路径选择：线性插值 vs 最优传输

    +

    6.5 实践中的流匹配

    +

    6.5.1 路径选择：线性插值 vs 最优传输

    在实践中，如何选择条件概率路径 $p_t(\mathbf{x}|\mathbf{x}_0, \mathbf{x}_1)$ 是一个关键的设计决策。

    • 线性插值：这是最简单和最常用的选择。路径是确定的直线： $\mathbf{x}_t = (1-t)\mathbf{x}_0 + t\mathbf{x}_1$ 。对应的条件向量场是常数 $\mathbf{u}_t = \mathbf{x}_1 - \mathbf{x}_0$ 。这种方法的优点是极其简单高效。
    • 最优传输引导：虽然线性插值不是最优传输路径，但研究表明，使用更接近真实OT路径的插值方案可以提高生成质量。例如，"Optimal Transport-Guided Conditional Flow Matching" (OT-CFM) 提出了一种修正线性插值的方法，使其更好地匹配数据流形。
    • 扩散路径：我们也可以使用扩散SDE本身定义的路径。这表明流匹配可以被用来重新推导和训练扩散模型，突显了其框架的统一性。
    -

    ### 6.5.2 采样算法与ODE求解器选择

    +

    6.5.2 采样算法与ODE求解器选择

    训练完成后，我们得到了一个向量场 $v_\theta(t, \mathbf{x})$ 。生成新样本的过程就是求解从 $t=0$ 到 $t=1$ 的ODE：

    1. 从先验分布中采样一个噪声点 $\mathbf{x}_0 \sim p_0$ 。
      2. @@ -535,33 +667,37 @@

      6.1.2 传统CNF的计算瓶颈

    2. 高阶求解器：如经典的四阶龙格-库塔法（RK45）。
    3. 自适应求解器：如Dopri5，可以根据解的局部复杂度自动调整步长，通常能以更少的NFE达到高精度。
      4. -

      ### 6.5.3 条件生成与引导技术

      +

      6.5.3 条件生成与引导技术

      在流匹配中实现条件生成非常自然。如果我们要生成以条件 $c$ 为指导的样本，只需将 $c$ 作为额外输入提供给神经网络即可： - $v_\theta(t, \mathbf{x}, c)$ - 训练目标也相应地变为条件期望： - $\min_\theta \mathbb{E}_{p(c)} \mathbb{E}_{t, q(\mathbf{x}_0, \mathbf{x}_1|c)} [|v_\theta(t, \mathbf{x}_t, c) - u_t(\mathbf{x}_t|\mathbf{x}_0, \mathbf{x}_1)|^2]$ - 这使得流匹配可以轻松地应用于文本到图像、类别条件生成等任务。

      -
      - **练习 6.2：设计一个流匹配模型** - - 假设你的任务是学习一个从二维标准高斯分布 $p\_0$ 到一个“月牙”形状的二维分布 $p\_1$ 的生成模型。 - - 1. **网络架构**：你会如何设计向量场网络 $v\_\theta(t, \mathbf{x})$ ？输入和输出应该是什么维度？时间 $t$ 应该如何编码并输入到网络中？（提示：参考Transformer中的位置编码思想） - - 2. **训练流程**：写出使用线性插值的CFM训练该模型的伪代码。 - - 3. **采样比较**： - - 使用欧拉法编写采样过程的伪代码。 - - 如果使用自适应步长的RK45求解器，你期望在采样速度和质量上看到什么变化？ - - 4. **研究拓展**： - - “月牙”分布具有非平凡的拓扑结构。线性插值路径是否会遇到问题？（提示：考虑路径是否会穿过低密度区域） - - 你能否设计一种简单的非线性路径，可能更适合这个任务？例如，在插值中加入一个与 $t(1-t)$ 成正比的垂直于 $(\mathbf{x}\_1 - \mathbf{x}\_0)$ 的项，来模拟曲线路径。 - -
      +$v_\theta(t, \mathbf{x}, c)$ +训练目标也相应地变为条件期望： +$\min_\theta \mathbb{E}_{p(c)} \mathbb{E}_{t, q(\mathbf{x}_0, \mathbf{x}_1|c)} [|v_\theta(t, \mathbf{x}_t, c) - u_t(\mathbf{x}_t|\mathbf{x}_0, \mathbf{x}_1)|^2]$ +这使得流匹配可以轻松地应用于文本到图像、类别条件生成等任务。

      +
      +**练习 6.2：设计一个流匹配模型** +

      假设你的任务是学习一个从二维标准高斯分布 $p_0$ 到一个“月牙”形状的二维分布 $p_1$ 的生成模型。

      +
        +
      1. +

        网络架构：你会如何设计向量场网络 $v_\theta(t, \mathbf{x})$ ？输入和输出应该是什么维度？时间 $t$ 应该如何编码并输入到网络中？（提示：参考Transformer中的位置编码思想）

        +
        2. +
      2. +

        训练流程：写出使用线性插值的CFM训练该模型的伪代码。

        +
        3. +
      3. +

        采样比较： + - 使用欧拉法编写采样过程的伪代码。 + - 如果使用自适应步长的RK45求解器，你期望在采样速度和质量上看到什么变化？

        +
        4. +
      4. +

        研究拓展： + - “月牙”分布具有非平凡的拓扑结构。线性插值路径是否会遇到问题？（提示：考虑路径是否会穿过低密度区域） + - 你能否设计一种简单的非线性路径，可能更适合这个任务？例如，在插值中加入一个与 $t(1-t)$ 成正比的垂直于 $(\mathbf{x}_1 - \mathbf{x}_0)$ 的项，来模拟曲线路径。

        +
        5. +
      +
      - +
    diff --git a/html/chapter7.html b/html/chapter7.html index 7b5bc15..c269144 100644 --- a/html/chapter7.html +++ b/html/chapter7.html @@ -3,10 +3,11 @@ + 第7章：扩散Transformer (DiT) - - - + + + @@ -37,7 +38,159 @@

    目录

    - +
    + +
    +
    @@ -800,22 +953,24 @@

    7.5.1 训练策略与超参数选择

    学习率调度的关键性

    DiT对学习率调度特别敏感。推荐的配置：

      -
    1. -

      Warmup阶段： - lr = base_lr * (current_step / warmup_steps) - warmup_steps = 10000 # 对于ImageNet规模

      -
      2. -
    2. -

      余弦退火： - lr = min_lr + 0.5 * (base_lr - min_lr) * (1 + cos(π * step / total_steps))

      -
      3. -
    3. -

      关键超参数： +

    4. Warmup阶段：
      5. +
    +
    lr = base_lr * (current_step / warmup_steps)
+warmup_steps = 10000  # 对于ImageNet规模
+
    + +
      +
    1. 余弦退火：
      2. +
    +
    lr = min_lr + 0.5 * (base_lr - min_lr) * (1 + cos(π * step / total_steps))
+
    + +
      +
    1. 关键超参数： - base_lr: 1e-4 (AdamW) - min_lr: 1e-6 - weight_decay: 0.0 (仅对非bias/norm参数) - - beta1: 0.9, beta2: 0.95 (比标准0.999更激进)

      -
      2. + - beta1: 0.9, beta2: 0.95 (比标准0.999更激进)

    💡 实践经验：学习率与模型规模
    更大的模型往往需要更小的学习率。经验公式： @@ -896,27 +1051,27 @@

    7.5.2 混合精度训练与分布式训练

    分布式训练策略

    对于大规模DiT训练：

      -
    1. -

      数据并行（DDP）： - python - model = torch.nn.parallel.DistributedDataParallel( - model, device_ids=[local_rank], - find_unused_parameters=False # DiT不需要 - )

      -
      2. -
    2. -

      梯度检查点： - 节省内存，允许更大批量： - python - # 对深层模型启用 - if model_depth > 24: - model.enable_gradient_checkpointing()

      -
      3. -
    3. -

      张量并行（对于超大模型）： +

    4. 数据并行（DDP）：
      5. +
    +
    model = torch.nn.parallel.DistributedDataParallel(
+    model, device_ids=[local_rank],
+    find_unused_parameters=False  # DiT不需要
+)
+
    + +
      +
    1. 梯度检查点： + 节省内存，允许更大批量：
      2. +
    +
    # 对深层模型启用
+if model_depth > 24:
+    model.enable_gradient_checkpointing()
+
    + +
      +
    1. 张量并行（对于超大模型）： - 将注意力头分布到多个GPU - - 使用专门的库如Megatron-LM或FairScale

      -
      2. + - 使用专门的库如Megatron-LM或FairScale

    🔬 研究线索：通信优化
    在多节点训练中，通信成为瓶颈。探索梯度压缩、异步更新等技术在DiT训练中的应用。

    @@ -931,13 +1086,14 @@

    7.5.3 推理优化技术

    - 典型加速：2-3x，质量损失<1% FID

  • -

    混合精度推理： - python - with torch.cuda.amp.autocast(): - # 大部分计算在FP16 - output = model(x, t, c)

    +

    混合精度推理：

    • +
    with torch.cuda.amp.autocast():
+    # 大部分计算在FP16
+    output = model(x, t, c)
+
    +

    缓存优化

    虽然DiT不像自回归模型那样受益于KV缓存，但仍有优化空间：

      @@ -966,11 +1122,13 @@

      7.5.4 架构创新的研究方向

    探索降低注意力复杂度的方法：

      -
    • -

      局部窗口注意力： - 将图像分成窗口，仅在窗口内计算注意力 - 复杂度：O(n²) → O(n·w²), w是窗口大小

      -
      • +
    • 局部窗口注意力：
      • +
    +
    将图像分成窗口，仅在窗口内计算注意力
+复杂度：O(n²) → O(n·w²), w是窗口大小
+
    + +

    • 线性注意力： 使用核技巧近似softmax注意力

      @@ -1041,12 +1199,13 @@

      7.5.4 架构创新的研究方向

      7.5.5 实际部署考虑

      内存管理策略

        -
      1. -

        激活检查点： - python - # 仅保存必要的激活值 - torch.utils.checkpoint.checkpoint(block, x, use_reentrant=False)

        -
        2. +
      2. 激活检查点：
        3. +
      +
      # 仅保存必要的激活值
+torch.utils.checkpoint.checkpoint(block, x, use_reentrant=False)
+
      + +

      1. 动态批处理： 根据输入分辨率动态调整批量大小

        @@ -1065,16 +1224,17 @@

        7.5.5 实际部署考虑

        - 通道剪枝减少隐藏维度

      2. -

        编译优化： - python - # PyTorch 2.0+ - compiled_model = torch.compile(model, mode="reduce-overhead")

        +

        编译优化：

        3. -
      3. -

        硬件特定优化： +

      +
      # PyTorch 2.0+
+compiled_model = torch.compile(model, mode="reduce-overhead")
+
      + +
        +
      1. 硬件特定优化： - 使用TensorRT或ONNX Runtime - - 针对特定GPU架构优化

        -
        2. + - 针对特定GPU架构优化

      鲁棒性增强

      生产环境需要的额外考虑：

      @@ -1116,13 +1276,14 @@

      7.5.6 社区发展与生态系统

      标准化努力

      社区正在推动的标准化：

        -
      1. -

        统一的接口： - python - class StandardDiT: - def forward(self, x, timestep, condition=None, **kwargs): - # 统一的前向传播接口

        -
        2. +
      2. 统一的接口：
        3. +
      +
      class StandardDiT:
+    def forward(self, x, timestep, condition=None, **kwargs):
+        # 统一的前向传播接口
+
      + +

      1. 预训练模型zoo： 不同规模、不同数据集的checkpoint

        @@ -1231,7 +1392,7 @@

        本章小结

        ← 第6章：流匹配 | 返回目录 | 第8章：采样算法与加速技术 →

        - +
    diff --git a/html/chapter8.html b/html/chapter8.html index 52e519e..8b03e34 100644 --- a/html/chapter8.html +++ b/html/chapter8.html @@ -3,10 +3,11 @@ + 第8章：采样算法与加速技术 - - - + + + @@ -37,7 +38,159 @@

    目录

    - +
    + +
    +
    @@ -808,7 +961,7 @@

    8.5.4 实现优化

    ← 返回目录 | 第8章 / 共14章 | 下一章 →

    - +
    diff --git a/html/chapter9.html b/html/chapter9.html index 470b68f..f2a9b5a 100644 --- a/html/chapter9.html +++ b/html/chapter9.html @@ -3,10 +3,11 @@ + 第9章：条件生成与引导技术 - - - + + + @@ -37,7 +38,159 @@

    目录

    - +
    + +
    +
    @@ -148,7 +301,7 @@

    9.1.4 训练策略

    随机丢弃条件信息，训练模型同时处理条件和无条件生成。在训练时，以概率 $p_{uncond}$ 将条件 $\mathbf{c}$ 替换为空条件 $\varnothing$ ： $$\mathbf{c}_{train} = \begin{cases} -\mathbf{c} & \text{with probability } 1-p_{uncond} \ +\mathbf{c} & \text{with probability } 1-p_{uncond} \\ \varnothing & \text{with probability } p_{uncond} \end{cases}

    $$ @@ -363,7 +516,7 @@

    9.2.6 改进与变体

    只在特定时间范围内应用引导，避免在噪声过大或过小时的不良影响： $$\tilde{\boldsymbol{\epsilon}} = \begin{cases} -\boldsymbol{\epsilon}_\theta - s\sqrt{1-\bar{\alpha}_t}\nabla \log p_\phi(\mathbf{c}|\mathbf{x}_t) & \text{if } T_{start} < t < T_{end} \ +\boldsymbol{\epsilon}_\theta - s\sqrt{1-\bar{\alpha}_t}\nabla \log p_\phi(\mathbf{c}|\mathbf{x}_t) & \text{if } T_{start} < t < T_{end} \\ \boldsymbol{\epsilon}_\theta & \text{otherwise} \end{cases}$$

      @@ -417,7 +570,7 @@

      9.3.2 训练策略：条件Dropout

    其中： $$\mathbf{c}_{masked} = \begin{cases} -\mathbf{c} & \text{with probability } 1-p_{uncond} \ +\mathbf{c} & \text{with probability } 1-p_{uncond} \\ \varnothing & \text{with probability } p_{uncond} \end{cases}$$ 这使得单个模型能够同时学习条件分布 $p(\mathbf{x}|\mathbf{c})$ 和边缘分布 $p(\mathbf{x})$ 。

    @@ -700,7 +853,7 @@

    9.4.3 动态引导强度

    基于当前生成内容与条件的对齐度调整引导强度。可以提取中间特征并计算与条件的对齐分数： $$w = \begin{cases} -w_{strong} & \text{if } \text{alignment}(\mathbf{x}_t, \mathbf{c}) < \tau \ +w_{strong} & \text{if } \text{alignment}(\mathbf{x}_t, \mathbf{c}) < \tau \\ w_{normal} & \text{otherwise} \end{cases}$$ 其中 $\tau$ 是对齐阈值。

    @@ -1076,7 +1229,7 @@

    本章小结

    ← 返回目录 | 第9章 / 共14章 | 下一章 →

    - +
    diff --git a/html/index.html b/html/index.html index b6289e6..3d2dcd7 100644 --- a/html/index.html +++ b/html/index.html @@ -3,10 +3,11 @@ + 扩散模型教程 - - - + + + @@ -37,7 +38,159 @@

    目录

    - +
    + +
    +
    @@ -117,7 +270,7 @@

    附录C：信息几何与分数函数的力

    从信息几何角度理解扩散模型，揭示分数函数作为"力"的物理意义，建立与能量优化的联系。

    -     +

    From 8f06eef7b14a971b98bb2fe38cf51922112ea0af Mon Sep 17 00:00:00 2001 From: Shuchang Zhou Date: Sat, 23 Aug 2025 17:36:14 +0800 Subject: [PATCH 62/62] Add files via upload --- cover.jpg | Bin 0 -> 217916 bytes 1 file changed, 0 insertions(+), 0 deletions(-) create mode 100644 cover.jpg diff --git a/cover.jpg b/cover.jpg new file mode 100644 index 0000000000000000000000000000000000000000..81e2d5acac28fd24d56ccde88c8426e82fc871fe GIT binary patch literal 217916 zcmb4qc|25q^!J^G8Dp5SWj8aH45@5cvdlHs6vo!_Eg^iVEGdzFn6ZSAr3EpAtSy#G zsVtGLvLwY9QPyPNvX1BWdtT4;{QcbfGMLX@&OP^>_c@<)-k-hxy-@&fX?DyEfWZI& z2JOJ!AYcq2;D5Kjp9p9}awGq4Xl`yUZXPrS!-MAG!C-M%3@<+~4-cOJA3qL{7r69C`>FoXbXuNja5062^b z_E+Bjv%%m9Bo{Xd&4Yo)J@5c@XE+kUh2%n^A<0Eyz~6BJZW2mR%}B`B6)i05AEkbq zUCARNM{ShXu)A=zXK|mVaddvwk0k|rw`*zdL`@1li|sdcaL*{Le%91`L`&O@nXagF zGUlPjzX8`7&~2puN`Qbq{+}TKR}5&_5Rw=U{~tk+TnHp2G4OX-fW#%JCS+vGEi0_< z>MtS}bsMEYwPVX`R_-&t(5P_Le(^}pkEOl;04xHMS^yycP=Lkvr#8Pd`)r#>c!V2G zQWOlfONlXzar)UJdJB~my2;{?N2L`d&~?@v3VzqNnu-~gMfut|r!h}xbJo&E3x+|% z1XvIVj4P*Nf6&C2?b|iQ<%3M3jnc};z0ThQEu=`s@_%UYmih5AOtt_qoK^tpv#@!Z zum@Ev{_e~ad9TZCRxgTn>q>iw z-7KNQOR!s+nhl7VBD(u#IZJ%L1n1NZ=zto@6TnK0*uKyrx(7{Mr@!>?4FCmAgn|>y z)1Ze%kT-Vg>;R^r)7kdjo|8=6{l9mEx37@7rD%_Ml=1<8^A1>^x@8tDFO8)h?y$c} zvCsZsqFzzF>J_>=9g%XM29y5-ii7%j`bG4cph_kPFCbr^&q5%J(<%k8mhxa9h2hP0 z^fJM^HL7d+B*VRCh30MU5f-abTIH?hA*e)j=;ls(TldiY&9c_nzQ~-9=DTk7nttg# zhL)DWvRsyE7(hfK8mY1R%kwZK$uP~o2N=7QAOSj_&Tt*c zH$?*8Or)edM$`qv7fbW@q79J{uWU0!hyn9a#13K405}ycjE9T8jTYyg22Ys^GTnyJ zsyGM4h@^5u%{-f?Y$ln3ptYmZ`$>}frUHnrPIxzxrfrEsGgZi_K22Er6lmzBrN2M6 z(F9L)VRC_Fn$fryjHlwA2$s1Fz(qV{cxX{6Ca@}Db-EsL-&h&mg{>uSOkx7Zz=Pdb zyq+9v7%i?dj3GF{K?J!8v1}^N%a=)(UL5qO^1-e8DVTq{oHAU?krQ(wu%qVhZ~O(1ZK4 zI-Gt3ZR^&9rWBhVpOvg}3qMhI@VKt;WY?6+T zs)a_NHzU-}jpw$xO^uz(2O5o~xeYMF05uj516Ao5m>b$eY?zm|NkWK$VpJ{4dn{uT zpUZW7572a9rle9Ug~nBxi)bWWl@^slx=$=1dg~R-8TAR6_z&0>qNHi>UtqjgrHFBS z{*W&oN76JAr>4m1f^zll-CvtfdZgr==6M3IR?e8W9lWGA)&aJhA4@5Fzp3~N2}?0K zAczkoimfPM&_`IvKcK3Osjf1t=4uj=27gUfssaoxxA~%0$TSByV4DucaDmu$dt>9R zd}4RJa~2EFy_<@w;!AW#pz+;x2tx}PMy&^^LA#9_(Aw~D;GMdrBwIp8T_b}GDKCzB z06Cy3HVvnv; z1?Mu9_rdwFNZ1ORtG)*fGmB;P*~K{^(6(Wz46qvtc&gw%B9cr*s<|*ikbKd2{KvCw zZah227V)hr2_7$hBn-xwjzPk1_W`x5R86rJBbGQdNf@A^l^Yd+RNj18iar~djoIfv zz%#1O>~9HWgFg_k9ymP03y~o+tts{n<|fxig%=ssXAvn`-rlOr{sUFBCL+lVE@cQ* z1qeMosy+=E`GDqHaTM03c?GXhQDv~!yTZGCvN{II--x;mR%!oNzC zDyJw8HWgcUs3QF`Eo4d%RU&*CjM_ZUERBZhaRR7tZV2$$CM8hFdEo%-p%F~f+-C6H z(+I~}9Wwv_AvF)G%TmpvN;OK#+;+{Nb)fJeZ}@oZRh63)+Le}gLq4Q!Dl z`QtCBumi#c5XJr-8x?QL=5J9dg> z47w?zgqx1*!^jhfNFWLT(OQ_>No2e$VwoVXE+`f)YK$Ojs>TScyn_*O`2f`m5AA?> zSAc{9oes=1KsxtPqJ;42RS=EveF;i0)4kBMM~N~t?yyw4;ibw7LpCU@$LjWM*R-8y z_Js-SGV;O@A&f^&Uc%+*DGch+QMn5YgK>&UUd^&V&p-? z09^L+N0MV3Pr@|+S~w_;hr`AuSy*L+BpWeN8za^gMn)8yS~Lg~Yn16jN|lvKo61gc z?HDnu>7+|u-jpNYb_fY{tHh{df7sEN!GqDTg8fZoErJOVDHTiOC3EBJz@1DrY;Xw; z6N`a#hl-{Hpcokeqv`wf7*(!HvQ4MyZWwjqyCS0jD7?stb!8!CN{}=b{pdQCdzwbY zVW!nwA*C{Y4PfX=^D$qWki_m(dW;x`UD1vK6vp{%lHqfeVXoCzT~Ye+RT|v+-`2*}u@jgw=ZUqVh#g zxN@%&G|_l(JRb%^9WMyC1#bZ(?SlK879FxB#L?*kz;y#W{Pm%xq7J;;FdD6;?^!GA zIxLVV88LVz^ilqc4?p(xj(u0?j2Ns}FIYxzs(=YBJeuIJpHYTl4c6if<89diFtmEU z`aaMB=Z?StWB{NGfg<~xuh3!krZV9o-2%f_0`XiHH@Wojm+pHDclT$K|14W^!+1u$ zv<|*z?r%{Wr$?If1QJ3DTr>6g5?@jI&}iBg>1;m<2DFwTB}qnTf;s@%3ZKP8G(}i*2oyZj!cMBA( z0jet6XadlftC_5h!&0~&Z7z*-2J4R`;4mRyCgKuVct8_B#9q-4=W z;O$hnNJx zhLqWcWgrH4SqnM7cui>m$&ipf}G%Ow$-paCgP15G4foxTAmr`S6(TKoG4D z$Ky*Zr`btl#5i4TG75UfFpM~e2!KPeGnmSfDNEI&0j=(^q+k}7h|7YlgXVR+sZqli zv=uMvlS7AECg9>mzON+)8pIDfaMjrMakm7~Qf`xIZat`|(Frslr@Ze6T5OrhYHT%u z-Kw+DRI70ZxCNLowEz{0BY)F3Aux&^K;`4DpvJY4#7IXfsMC1Hzq)as++RwLKFi+x zMR~FC@nMdJNF~|!Q)`KCI!b}jw?r;cG`dizv42mW| zYjuMF^&Zz5vn+V)bx~w@-!iCUB@P=b^Wr5@z0~QEhdSu3Sxl-!n;Uc`cKp&Lqs==; zOeSH$6mB2@lY-SdcqN_gGKC^J*_*+X?jyTW0WnaMTq_a)xSGL$n;ozBw+N%5G)Nq6 z6zbBOS(bbPi9)k`e`ZIm>@TUpMMRd>MNSb+RXx|_6Km<})6{_nHW2_QNvJryU*%OY~PyGyV}tUG_a z`%7HzfHA>;tPgrVHf0~SbPo~X%Sq~AyY>02u53oH5k0ZySM@* z8qu{rO)P~Alj_0_qf`e(1DVz^pOkA1!_Zl7hGkV=r%x{@vfi;Qz`-ivaQ)0twA&L01oieBh;T+hC`Ln_ zpJA$vTM9dMw+>}^u0NJ3*U7K?T)gwsK4m0mvhcRTc>KF&BG}|kCULD&q5MYVDkV#l z-g>1pnSmgqn6B}=w5ZNIQd(CY$s{t|b@Je9XrlnFz};`tB) zYYtGo!e_Ibpm6R^pPYyW4k}(;@}?*pfkGk`F75@zh^{Pw*lF&l6di&B;MdO<69H4P zkW%0=-s)kg&3HBxeX?P-A^@5PHct0Kyl6AR)A0o$qRW6*qE<&satQ)&`f8u*2dtvf zL|hV@z3}v`zjjU-BX`J?4z>;0#qVSgxh#*MHOVAkOPNN)O(#W@5q&_z3bjy-x*;K~ z%EY6OR1B6r+NqC&N1Bnb`SQ-_>&RiB}18rkfp+wVC_zYUivt2x%6Yqc#b)A8x zZ7d{O8^la|tFmF-jlAP{HD9LKssp$1AtoHQI{TyvZb>pLl~uXy@Xr^iFBTR< zFFBV5Q@5Z<4egi=w@+ZIU<}TV4df=I!bYG}Qg2lm=nPeMIL2G3vPD9Wxw9m&Bp9G< zyDPk(QM8-NSm?ph`NxrnPQCr~u#9fP&r*a;LX@kfRWx4;x>s^PcL-N#pmybGfU;Na zX*Wd=tE?V;Z@2JqGf5fTs%7n=_l$A-XWp)b>&k%@hwSu(=a3co@QD>Gpy3oKz}kQp z-F!Z)!sJOJoo^8`@<|&oXYB#D!DZ1PT-12FAn^||S!9&gLlaeLGaMB(a2}>olpuF| zSRA-LfH_>2l#ONbMZ=;E%jM~H9-ySFCgL{}wnj~vOi3Y{OQ(0yWv{THNX0Ttz^8pM z<%=IF%a)J{nkgYrS^F9$oV-vaw5a458U}(@IFbJso9(_o4z>)6%Xn!*KWzqYde4&6 zPr&3p9$@uHp{&#GrG#sVg@5^XqUA>cxmzIyQ_|m+o!)z@8+zn z9`@UGJLCGj&dzQV|JB6+! ze;oA<3O6b%mM*yL6OgxC<%wIn_co+1tF3ycy`*45!|-i$Ip;gS&6#}DV~x|Gq~ z*Jsb^@D?ou9cPSB_;~oZ-&TA4>!W+-`_>8io3OgHUmXE0e#e3h7K#mv?w)?!;rMV{ z3U}6D@_28ZS^o{bcjX5pb8ei3>CrbkR`Om2eEVFIGL`PVrG39%z+B|ZIrEZ7rSJp% zcOM36!5&t8ZbtRqzHVN8VMoFvU03>A%zrH-XML0VZggkK%nzu34;j|BoZ3C#@{DsJ z>w9+c=6Gdo#EIm}$GtDkY@*;VFRicPJgU69h7{g?lev5A@S29_n98}p0*AW}7lToA zH$++edK&@h&vt)$M8?>1COtMvBcJc<`cjL{Io>dQFhytPz)#9-XTh)Qk+1GY?023s zkq-NjzS7lr;B4glLePHB)eMfP^Y(p;P`#QGr}~FveeP%-Wq$48wMcc_)wb;u5we6i z*r`TA%Efn*+0cLoxHEP@v{zwHeQRwGcy?|FPU*Tb=wL>fy?#t*4|s2V5?6F~PCev* z26H=~Q1&H#Qz3l$az&32t{#c4*&X{e%WM<3FJs^i<^CPfkv-Rom zB>}D0+3%bhemT=MRwRd3{_E6XA>+RC(d>ZMYWD&kk7f(p+FXVm?2pAhT(SF8LF2xs zqv-)Q)rEAogxat0$cII&$O)a(Z?F&N6KDFik`@=}SEY-0|HX^yDk zZp;uN_EbugzRX=2!gI%{!ad;Y#gKK5$>Xa93XyY}ffV%vIM4Iq?K>mSBNBi;!1}`# zKaOLZ&+k3p;{Cur&QG6p_wICTn@uuYUJ*FgR>NlmdEtM z&>PQ+gP)y#tl$12*EoMjBXYiEA#Yo3_0;P_`MWZw+Uc#&oH6YN*=LnFytw91!3^~s z{fOgtB5ut&tG%blY+T+SSzxQi!MwR2S$Vs=?s$K_nKs@XNItT-Iq<7vhOx7clAILw zK7H}`_@j}YpyuK|;7E%B_ks#0W!~l|9(wr0KkDtuDW-m+BX7cNdamNMsvw}PICP{&c* z9ZX*Hzi;DybS!Za&+{i;^A|cr>EeG#*c1+@MslqR1djAvZ!`;k>-6a1vf$k}hi6m;K&t~9Xj@o(qzOQj$ub7_onjT&M2d5ioy zWz|3Q@H3Z-x4_8f5!u@r9Fo^+!QzRCWE+p}tGfpxuPlrH>fMMLQCR)4cu~rJSNxpH zn|}HazIW9pz89oFc=GD2)mbY&wdhv3?!9X-uXL3hIJ(8G`E#%KRON(0@T|z325T&> zd?)T-c0r2bcNIsgvi=~o+*2v90-Ln%2Zv~Ol*%!_tK5BHaPoIJr_0&9>|$f=i!2NI zuJ!XUC*|wyzK8!U%2Kgz4LHlQjrDy>v^K9~E3u&L?`%u?T;2a~YEhZugE{epNr08)x*C=;?!RTdEu11=vW zJFly{ni~&&+yLvQOC=zYF;fNp`WGtR_vjS?2T&QPWO%;J)C6e!EK2N!nI!Q zo7mjWqt4RCQ(fQdj7uMTQU(Y`ySVi}x%c|^FKZukdCN!7j+Tm4FT70_I@rlxd;j@Z zUW)G4hemuqmV45Ex?D`Y-|YUXpmw}CbC#F3{=Q*Ye(0C1SK*A;)>V#zUOzNm!yYkw=w8%%N%n$4 zj(Pigy#Y;=7bm8gDH{n72AAFM!`rn#K5gW@a_lhFyzpmP?q|ws3gvgEOdeBrQ|Ydy zMjQw8dlh$ihgz~cUO*Y-N~?=$hS6@HIw8IbUykM8UEv18v;yjxQDh+|o~ggDo< z(^+0?Mk#kBat?^5*lY`gUlx7klw-rMcbI{MKS9Nc7A)6mc&s`a2&&*Waue zZ!?~AoP(WE6BW6xXCAp_XTOdy<*1&;J)qz5{-wjDba5b9t8NSS3etR7|;`R@V#E?fLUks0NN?`NHiwvHK;u_^oB6ld^v zJ-5$mhw2Zib-X)f?`PdzcNHUgEA{~0i0Tgg5zoX8d_|;vHqhPHmqT<3Ww>_XpfwOY>C;qVO?x8^Jg$T5H`j@Ij zN|I&dultd2J}fOk0|!H38-F_a`hbv)Af2u$v42K-wL(v{dw!dDHr_h3adfU|bZ(+p z=f4+l3b7*6>ie5xxK;$Q7KNH0>MDA4fN$yeb9_vi8>pi|E` zZCSs)??HH8HFLW9Th_2Z>#%ZO!!^+=^&O}4AKQ94X?`BZz{A(Kq&EM%wrNorE~*w; zs8XAEU$laAJH`DKx6_Tc=Dm+|okxFGaQL!0y@#9a_JA+vTeqmYDMP5lM~Bq%6#u!z zZ8-ag!ufy(b+_u5EnuW^dW=($yuj-ms?{dh$JT7dVht4!U{MfnucH&^-0Gy`L zf+255e7;j!zj>0-w0w#)c(~NLJ(BRkuj(B0s(;nHp+5oX)hn0YkB;vFJAT_D)-{~M z^Nn+!v(>f?l+?4Xmc16m1gk6lfEN0k3OjPuL*thr)* zr976M7jR4GOsl9m;SToJ*PUlqb}u$W_B?-*IQ47^VSVw^eVFX!Lq+Z$a}o#^WC=pdeWS|OS}+Y?s(@ukCb06yz}t}*S{Yn zx~0}>>=jI9Awp?1dM-o8Skk?S?ka9}trx>BDvzSp&@E7z0Z4W{5vhzM zFEarK)lr1BMr$<|vr#atdme z(_PH8s`B-}ug70>b5<|bWKC>qyj6Su(Unsksj!vloJOhKS;*uB>;ZwteSa$%Nbpqb zxMJl)EZHYc$zlzyGCz|P`E3?vG-bX-uKfld68RN&#maB+EVqZ z*b{yp!#>Y#C(b3)OJ;_x?3XS-2Ux!uN#P$nMlw39%a({K0S_sC;^#ECv%@=Yg!@k< z9h^|wmlV(v!bS@W>KKF&d#pyMT;jb7NBNuKhT|lwhU;XEFVbClQKXxEo57fT5(Sqs z|3gCSNCklQS5~O`*->52tz?GM?ZKHRA1!p;ia&V3PDIU=5UI6DDXm}218C^5O;!&a zcPGL!n!iy}rVO54J5?m2_P3Lzl&2a>B#z}mvlT%JQ}xJDkJ}c6r79*d#5c645fxT- zH5+NI@d9EgaA}Oxm%)+AagwW!VySvL_$U2Di_U91SDp-@U*B!lYCN$AoI;N`S~YvR zZjcMx+XbzgyvN$z(SjkjyEpd_V0`7*2DFSk>x5hr6;UXJ;l(Pv;@#ev>_hQsK`7Sp zDVOAH$@arq$ZJzQlJNExGxHuRmaI*dH~ri^i-YklN#4Esq{leht$wJOc*gM3T-1up zfPG}iC~pdFDtyLg=dK0vv$k09h;Nxs`agsewLQRc;jP1f@pnbkMab`Oo?nk;DrR$@ zkImSBxmztEP?AmQ(%%CfIV{|5>wfz)qPKo}`N5~{3@%e}ur)PB<&nh5?H6iiXxyLE zS8PdbZpX<4B9!7T2~J!_>E5(=ulSk%N3T-n>ObXo7RuK-OL+!)k#??et7DQ zZTPXByU%u9e?HdY(-v6MQ|rC6WJg&ko&K^1bl)7I{1F#3U~LRo>t6WzUG4M2dw|B#HyK~KxB@i~ej#$a@Kpj{-s*7G zd&1;eHY$m1>lOfujzJRN(pXjCzWrn`1RD7y>7FM>07teZ0*)?evGVuV2lI|(+;D4$ zyz(=a@M7VU+hJln!~>g#nwnJtiIKALUS3A7090b`_UthM9rhb`h`KI207#a?uRp{K zgQcMUSfxGa764!hv261ksPiE7qKyW16GcFIj!!dT*kGUIaXXte)wFH*db6N=*M69P zR9nY^b?$xn)YCf-hE8`br{}pB%&3;Dru}E2VDsT{wc{h*=32eP?2fP$ zH4g9i*06rs2e=^u@o=2-RrLOTBo5CSA;)gY10{~ zoL_YxB|b4=cEM<1NMI0+@k7oY#jZOD+gMNew1^<3qpybW)mdOX0l(bW!bmAS?38o@ zy>Nb$5?$zyTTc}p?tQxCh=)=x8wVu+v0<2v@5}Ama8yyGf)V0DWi6avd{CaPY1H6` zsO1xG8zI>V4{3KAI1HfiVZAPl*Es>FJczS?b)hO}FrF2XW3_FS zO$X$u$iVHTae89ytv+OgdCm7E^jtT@kC3a67`{rssXO zdj2SHeV;oQ)bmMrpJ5y^BhDQ$4ttP1VnRfuobT`=cKPQiq=gB?^ygYv<0dOMRl**q z7hD|K&9A!}dH+Gok*GAT(_9uZWnKc*IEWqAV(G;rCgT7^@s9Sr z^scZnQqIk&GQg;ETux3wd}DBB_7U}bDh_ z&zSeOoF~k7E?5MYvJ~H_P-bJc9_sf=hskY@P?EAKfhQH)|4pX)@3P9}7DLpBNkP>< z2LQ!8lPG8N!x_JibBZXHTeu!dn%C08KFO?`8sDx|#7$5vQW#y=vrpDqrde*#kK1sL!+x-ZnbqwKj;jZ>+|tYdRbF}i0Dwq2l6*W8^EJv zvs?I^BGXD90lLE57%x&!DMtUicT+@jWidV zrWeh>e$XxaU}}ekzgnn7Fy2r`3#7cRr8DAn+S@i+N~uQy?JZ@D@0AgqE>lUQR#!V{ z{$Z&#t57L@q&^MLc(K4lN-w`FBwnSoOk;ePkz1~?6H~qIG^63|aJ=wvdc}xOH-0m~ zFrJFKmb6Y4?&RM@C`T(I!d6Eop^z*37Aj{O>JrzCX`Ia<>Cc?GxFY)adodri@-<3<;dvVsT!YDy3G)4 zUx#|40uSqVA12k8B{yjBnkZTV9^57pOeM*0x<=Wixf?AIO{um7vEablO$N4n*|vhA zZpy;J(q?dgGKNMx*|f^!ePPzIK<5(=H80uuD(G?EI-7P)Gw(l2*5)hDzk!Fj)F$^S z$n374QLDuM0K!tyjBoC6;-lkis9}VvgO`*D5V;^01g4em~msGKgrR6&isj4IGXtbvE z7gyFy>Get$VH|270&@cxsEytyfcVA*{Q?@7sVNs|02mw7ogiei3ehO=fE6Dy?-ONP z!4pS16cBU?k)`ak)hNCPxF7Ca8h@a=dwXZ$%bn_j&O3P=%h8~-w_EcIw69?5xdj(P zWIx>9)@_FM58L=r>&`yj1BP1HDMnjz%_&6xvp-617p_vyJ$9_aeU=SgFNr)D82NC= z@g_sBi!WLFL|79jH(mJhM5m#3^;4c*NAtVad2_3S7}P6`!w>(pOHc0C-C_+O(qm)O z817O=ddc;s#^g71xx*2b_@cQ_XrQZsTweKJT^!??SVrbeic+iPgFz;swQ-d}I_ zNxV^Oh4{N>;m#&qE<3!QZ(!H=61fc~(t0pDTm+IWdrExs(FqHgSBAj@cDMEXKK-gH zl6R^YG<2fjM_lV2jSxu>UP!m5!I6KYQw7>kz}#{NOsFmrXKEz$Qn4M73TKZjJ20)y z?Hu6qEYWKjym3}DJ5R;i@vm3vT>q={Oj7BX5JuVuLGN&X8`p|5bYS{ z>27M_d4Y{Eyl2)CQz@Abmm5#w*8fXqJ<8fQFbuTlsoVy}K8e%5%7e7Fvw@(vbSml- zaD5mp1~w3(UiaNJnDiHS`Np`K56Z3WwwLWwg0m5XXMrP*iOW_Q??heuFgx5BWZa+v zZLI?30e9h92JcBhq{|7WWH-k`EI}+O7$Wk+4z>NI`#@kTO~avWnaWs_nD_s%o`9Jc zBgGXzPWzdL^7f&*CzCaw-KANHyWRCREtB^m+Bi36QaCT5_5d`YNt>1mIQuqP)_b7w zREOGKMt7F~5U10+e@mlIn2OnNSigOMeWZCJ64Jy{& ziZyN0i>ivhDcq$s%3pV!l+O>5_qj9}6-YK(dZm_0jIglFj&BJSM)FX`stT1}f4sg5 zf-I$%h*#~Pz0Q0{**)1SL3%r1NGH|+DBZtWf;R|$RnyfYE>3tFzCK-woSibT@kxEC z?WWVNSZ5jE9A&T-)`zqXNv?B+A!@>8-or!#Vq;y{o zSM<^At7s#i$!ja1`IBK>8S6CQLguPB6%zyuW2lK};0Ky8mY|WEX&dF&Cw_-MFD!$IcV;$YC-h7&qK6q3BmMM_xQs%^aB?~ByV$HKrt7l~6OByOubE#r$X6|UC z5QzFkD{xT#Js?SRDOTY7;&S!}5C|gLQBmdW3R)=dj;m9ufdlfMxkkigo#^k6>pLb9 ze*fvMoL1M)PyPWc$Mkzbl&XN)QZYAWJ^+p4sI!qr%WPR#CefQ7%HnSW)Ah?t zvVMnlt`VR4v(L|VMfm-EI_okptP?QGB^MXr{MzH-#VmA_P~yHN>?z63$ljsT6UBhglK$}L68E*UYq$-ZXkt8Fqiv)44VID?dbBRI z2}Rw`L6U@OjMm=46~$Wp?0Ycw{?hLXWyiiD!XUFoOTS(l^uT~~Un1M>1pHf#U#L~# zi+=LMjQy^A<~>#qgyhOVn=>kG}ojoh*8)qC-6{Ji1x6 z%V)Vn00Tp;y{jeHUGnn6nQ95iUeThpL1_-cy98-%=5QW!C_$b3`)N!eO;5R@c5S3j zlZNOjV`7sx6s&Hcr`**ov^WR$nMnsx3$5=V>~Xtek>7d69~XIww0|zty<Nqz)P436)OVlvrY1R5To4;=Z3D%eE8KIYU$_tq^yJ$`l75R54uyL{gBe zW+1sA=csv}t4i1~;dV4$7|lO3t%(8r{v#a8FiSY1m{oKt_-*Ub>H7WZ%eFdX2Qeyr zlW5#}g((3Gfz~nM?C9u0G(x829Eo=584f4nSOH=j}Fxwd>|zUx!mBMsMH)JtF91I9m0TA@@u z-1Mg+&Ht-k9B);#sG=+I@<3DZHO$Ezw~Xss2aYsW z@p@kPR?LaZ*9%XLM(tdcm++9$d=?2M^bM-`kg3@5f`^OCV zub=sE)c-D^D5fl&Q6&5;<=lYMO#S+{a1~npcremVeytL((RbbgD(Xh(ynvX($=OJ= zP%d8f==yZbqWKlakxC%?q@g9BTke&wprP;NlW30Ibqwz2P56>mmSVx>z7K+?e~ z(lN8Ik*?89F~fLnoYPlRFFg;)aiep=3^GXzS`jguq|TCz%pn}fvHTFi-YIgb|E#zB zv%)>X(iQ5+%EMBba2ig=0;-?*4***b3CtZE^yAsBUk(EJc$HTtjl(cu@pX!n#E+*ut6ck^+#x>~3Cwv|?(Ps6WTpSuPxIW+Y|35z9-T02 zl*i`z^W44>J{-o6V|mp9JF{4pvg=3R6;i1q~D&Ak(KgBLaNhkW~EG3r=e`J3T2P249?T=hek?wGLbxuzv{1Bn4|^j8hVn^deRn(AGi?2K)qXC z*Db&?)J6a(_a$FW7OHPVE6`+ZXmkto>UKKl5+ahg(snNQ&HB-G_Ik)@L{#lB{zHqG zoZQX^ysi6r$=SQc(Og&tYg?sy>6~;<<&-2;r^#Fyb}st&-*b=h|4G=jF(&M<{V}K+ z`p4>0m%Ekg?9!<@MYr|f-pY#|M~~LFmll7%({rxH{_V%qtE#%pTiB&*-yU{$^!SQJ5sCJCF z#NKa)QcL!Gr`^fl{M3)P=-;ss$*YgX{&*hz(@PGd>gP)4COk;Pe!GE7U6P0dh zGH}>&Jg6;x2w7T1xi7=~X88Ww1FqT1qPOh%kSG5nJ}H09PENOO^uGPHxHwBUXGJdg zoV(O5JxxvQn!?MalHZ4RYRu|J(qDX}SU*?zpx-}vR2CW4@Y3C*&^>tm?exp%&(^PK zcFYx&UO!xyaBR0fvRFXp{T`4aRiDs!);|1g+lSuVn*95oPAvnvdMc~&y{1AchmciX zLomdT8+y5kJZHE#4+|8|)jXCdTUU6yy>Ec>!IE%k`@|7ZOov(1h*OOx^fzN{6*1zUm)qfvyz4A}UrpoP4d=-5sX7-;LJ>TJb z?FZ_$-b;-Pp~<%)ii!^Bc5+T?PHx*?Xl<2ybs;lFuKFDRzV93L9X(PCPi$wqdagAM z9eBPO~E&~l7$DF=Di`IdLbcp z*;Y~-|9wqM7@5<1kCF7@GLSx~Rs1Lx6LRCMu&r4u_w&bYAON7iw=#DIn;8*Sy65^k zEiLE0rn+xRXOhD)jJEbJ4+-UelzXt>>^(Vklt0nm6q;0mJ&&bdB&7Tzd{?OHE#&0ceQ;1N0wuu$>i#J9xW^J9wX&V=n7Q z4S83>2dfJE!|^y&nHLWg4y&2t+kP}^_q||e(s{cz;xhNMHY30#y$6tj)=`J07ND)B zwV`EGH=*UJ?PzeM6b%HIG`QNOIf+ZZNpyuk+e zQnE_uAySXtCgMIO_Y`+}e}y{9-Kl%POVQ~K+-r%qJ93NsZ=km0tr5=0UpXfO1B$Vi zq@zcckBs_29TER>WVqIO#bdT-bk!mu2Hy16lj2T(`LRXkrNJx%qe7RU!MM1si^($i zDcA4z+B!j8uI=iS-{NzweQ6@**aq&#yB(>SX~z-c5{CGWgE^Won8=GiTXmDl*63S&L= ziSmZ`bc8?`kMv5O%HtRlsZoB|@5-)mrqW&PA00F`JASfjs6^@2@Ku^{J8H#2c*y$b zm_Y|T{lPedvgS`9FqYXE>Aeo2@0YM@sE+(#+>vx5w_yw_5GLy-?R*7`#&$crgohur zSnpQRquRRMz9}GxWA*MXH|0J#pkEuTgW!W&4w=fYSlLlvs%~SVrj#QcXBQ)TRaVPvVnu_-*wYysi>N~KA6z5?mW{&{cPRvYtl`dI^A0D zc;Vshxtj290ivh0Mt{&6XyOti?!e?(*bH#M%a6{zk`o7w22gTKQ~`r)sU-sKdJ|6g zo3l2fC34?%30Gl()I{Im?r5DBYNE@z{t*v}@yoZv3mDxw%3r_U4hVM~eN{}zKf0}{ zdZdcaAmZ{6_r#~N`-QuWVO)EFpF?t;P2gcp&dQ(Z(k0ZhzHfJ&WByaGzn|^eY;&B! zn5Z+nJh+u>m#q1Z?iImnVNzrNeScy3)R)iS?vL)1xHGh7LXyA_%t>q*!|`3h=>zNg z-kuB9SiQA$XzHDz%A(>;twEoIo#6(y5szZiYR^a_{})GR8P??c_VJOMGy>8M(h|}+ zx+Eo}ML@bk=`ICEqcn_?6r_<>V00thvC-Z9p8Nm2Bwldr;J&Z(`o`z1!7H`>W7Ir< zd)bF`>i0@y!^(;J%*T4ntVY>p4HF&I z6fYgb9Dify!GN*6mxStUMVkhR{m&jeHQF(Zlg`SUapXQ@%9BwcgWWHJw3=|4Wmc1k z!2hw{RxIfG2DwRs!{om4g`YmkBu=8|6&oex=+Lu32_eJk%D{#BmXC9tTJ^gt%N;|R z^pTS4;{k8i)9R8_l=r{pa9QV<+Fd(1^bL`=#Fl>iD=0aNhk?)EMnM4b^2#l6z8KBQ z<5#NuV)cxR;dgG=RoO_EaeeeJw!7FiGXDn{H^sK*e)6*i^LRG>1 zu`QIrAJ4)WrG@du!~#*T*Y<0Bc+{0CuLNf@{TC!+I;H~5vNRQWc)E0DZ4!{`cr&D_ zJ2-W-yO@I6V4`PBn{1S3-`#$_5SmS0?>?|J6<`MDtC&mGwV|uI<&F*rIZV%i0asIz zw&2Rb&YWez!JJ;le#%o@1&X>dWsdK6{;5v>Y1*L8ohzel0*>9WxJ|a1GMGC%x_gzk z0l!`~SZe(bw368Vl-4IGa^hxjyC5b~?beQM_kmKPQVj!DM!XNy_6!PFIsi4V5%#!N zuYuwo>||3-xt$BPdvfd!$O+ogMh_t>04|Nz?9N+o21{)Sz)tv}$5e*Na7TuN%R{7$ zpuk%f#!4<3UXQ$E#LMI? z6wod-2rX$CF{Ur{(IgHIx5`h32v`yjrAvyL%efs$@P8l^+>1Eu6(0W^`s2(&dX4xV1V z(1bh3ob{7^4csueSXxW#Cj=ue&q>CbNFG|{A8qndOcVb0_J*oKWm`@X;U&_3;aW49NCN^#kHI-M3NkavUvY zN@hAhV0UrrX1EI&CtW#~d{WU!%~iQqc-+I$l=fc-Tu2pgGjQWQ2niJh=2_3$=|@!9 zcd4-vG>o5%6x0k18`AQ?_gSo5nl;eH7Mt|78GMjwz}1;C6_X|yI5-e}TLrP?#8Wuv zS&c`L6X;vk94U*GJ^A6Vk^x9=i;M!M6yPJFk<)d4LC5L^<51KQh;`BazAKl*T(h>N z9VcS3Wr%Z5#S~bw4y=0AA7}ERh0uHrm9oUy;-@J6!_8DM zC}u>V>nepVZ#w%P7TMG230TXDw@>OiD3r{PrDG7&9di4%6@NYxCUtwfYNjKSh&f>`>_4@rP zhy@G2^vK#70S-QD<_)WScYGG2jhzgk;-S(C4b$~BLk_CbwT&DP$szqa5vdaA-)~$A zwkAIm4zWT@T`Cja0oR30`P#DJ{xRxs&u=liI}|j%1k&+lpXew?5a)1(pSD~gB$KN} zuBJ#6W>Kz#Yugr_ikvTp@@|#3!qz1v)=ovGr_lRXi7MBiPrc6;nWeSV$~_I1tLa96 z=de=nvd_u9fj?*{_pE6`ihc*K@Q6&f-Z|LceZAxxS!cSxQ229YPxt!g`&f-;5cVx; zTJXxR{XFM!r=G}VY(x<3i3HgOu1kkseV>#RZroqtnrhvq%}uD2p`0$s7OD(;;i8aW z9}u1LTvAdAg82$>`1_B(7Aa=Yze=xk&U`v8JJ|e9-L>>BybY-iri|+)*uQHzhB@Lo zzY*%Q99ipI-;|2~Xl%Z*v-Msyar^apJZ8H{qiw=2+YcI<3orXa#gf44&+9Io?_7iz z(#Q3OnJS8s!7s#5)afv~SgS#aN`EjqhHMQRg*STmuP6`|i@`NdgpBuAc7gsy?S(=! zy~arOoLsIac&nlDZbhk=``laq?my$d51ILPj-K`N4c?h2dGYkeF>ceDYq*g3i+-nm z;+jbs=B`wu)Pp>tWI#18l+8fAZngjE#F+abZjeqh>E*f1z4Ey^$%(fN6NPp@bU#v! z6~u@}Y{58BMMVjX>`eB@<`Y(sC61WTp)U+cwnGQnx|K;lJ)M6qpO{iF3^}8u2N>9u z;#~RRHF6~}K+hT<2anR<@6xC@9oG+b9t(NO>J(@gLO}l4F;(6Q;R^xD!N3SJkakE2 zQ5g|B(f?lWKn)uNgA?b4?ld*$$*j$-7zlmufC>)}vJ;mO46 z6TCrBRKnn`L`^`I)Cc@|Y_CU3;j@opyr*wS^w}(PzlJhj+PRaAWyqY*`z(Ij!;gZ@`9U|51UJw-c{IjzZl*35SUP1))c?J1yWlb z&j4X9f}{B;$Rv&vLXrb~g-#&lvkwgOlDTccfO{|2TOIrb{p;u_2|rRS5h4NsB2t7N z5nJ;z8oIJ)9RoD?KA$6He{}>6OoS$SKThm3PYHo!Uv>jO_qhSoOQLX?(@_~mGt43x z9UK7s?oyt{7ou2EIU)(y>oT)MwmTLtIntc{8Eu8!0Z6iVK0{#87G|J0BSfr!%p)ZH z*Ho}T6w9--TOi3*<5tF`dRq=y1Gb`fM71wtM4un*ItA`C7J|XdqGC(l%i4-d{T?D? zZXvNtIgN(UcWejcknH1ZLaA|LmfHiOusyiKKc9boWsqi0onS04%md=^<>y<}f9YwO zdtE19tv3)pzho6o3lMnQI)?ARSrnj4F0Ldlye2Bz{wI7+qFN+8o~zw_wQXz9$e`@X zHC&^(qP(yotRt$#*df!NT98DZ(P|^9=tX-qbwgK(ESMp(Zcu-y(J>t7z};WjdM0SIAj0`a;utH$TA%0{pea&BZ^2Yyvf_azB^ne2(wIi5ej>{?;HyM%Eq zNA3hH=R_V5iq39#IH4Be3nDqsH|{Fps&FH^et8h#yO)zkFJ zseN9|%6;m6)BB5sRMh96hM>Y~igx6s+3B-i~ju;DDSUgk+A_`O&U59y+u-aArD!>s( z53_^=9M>1x|9fd`-xh!)y}JmLV?+Je66pomt%Ayw?|`51N2*c#vSUWjX~Vmqd_>ql z$G>lpQNDVQC=JhQE1z-@T}Dv{obZ+PDE6ty+nkceD(=!e`*;ZEPY^R)~q+XjP!FVr4ujxLox@`94jQdrWcxqK3?aPru z_^smhR$=HY*yOciG&MUk{p;?1DxzGocdjMNlSg&!fw0uEyt_8(+#g@{htBW6Cy-k% zy_gy49&!Mp_ChFc!!`zAdL?@sm2)te)>(^te1ddE8067KCiQ%~_u)+IkbZ>fW4iYW zZLWc?gzGYw6zj4rvfvRXHJwytpKs81Xnxx z2Wd-<2Yi_5yV@=BE6u;(aMzW$X+`n5Rh-ZCh+9|PW}C(guJom2%s zM(t~MXtz`vgY!fb~N1lvBC(ZPx36F&AK)Q#&_dkcT8Jld~kj&(EL^O z*oadMyMA!?2#_#89F zBZGaosc&S6_s5#VcRIB4A8^X9%)+BvU!4Xw+I{v;Q&f#AG`>YHnxm?Hzi&!-oX}9H z`-Y$uxAZ)0R;j#7XLYewIhfH_5F}UXGoqE z)i6B<_cz0Uziz`85ll4MQu^a%0rv{JjI;>Oq0bD2rV8v*1X);>xm7lwSQvqxJ-yXf z_V9+CTf*UcKtn*sdKRRy9RJTFLsFU7;$EJ%qI6jgV=Ik`B`RIaEZ&%vYS5(4>VKny2a#+f@xM@Y zSj-9eaRGOXkc?0J9e#{Byg+{SRT++^55bcIaH;*NhK_m5iDMnUc-j*Z>h>?CR$46# z^HOYCDHQA*xED%tCMEqP>^l!NCZ-t-$R%bah_G0qk<;MA6e%Gzl5m+2Mr z7(|x<3Cv>ImN?MdN1{LBt(!Aw=o_A}5n#FktX&|_CA!4GpdzL9K*orXTjX_^0K_Mf zp-b6}u^62-K{;g5&{Y=Nc64;iIS-kXJTviIbS%ci?Aj)rt<55Rph| z@RF*-%azf@IyfS*|x5<&@)kNT(eDZQqMGzn|hvnNe zA9g19`lC&iK`~si7}I0&GDBd1;rrx3`c5YeJSM8m$7+_MpsEoMHgDE$#UF=LoI_dO zD^v7mI);30Q<16KQ%+L|KE^6s9T?u++AIAeL1%kzj@cq^$lP@%&jX_UHKC35VSxI! z+&cW(&u&UV1(+gsIJodLsQO9|jgrDr4iALAty{p}0gC#B^Rp{VE&@c%ARw%tMhr#6 z?mvhAt#gH1(XX+05$Zuxtpr5Cts_K@KNzM5mE5e|S9c6r1oJ?}O_^kbotflv{cjin z#*zrFc76n2{{KKW0L2tNB#;Ojb%uc@2=4R-1@1lbf?#U;GmJAT$K~U>L{PP|-{p^6 zjX*$nk(rj&nzhAZic#~q7bCRNju+BdrSXLS9+YdUR|;G@v;PpwEa<}?#JVqbaW@$Cc; zlC~~o;p1G79BmK&$Ki|gZ;wYZCq|bEtQdw9brx}{!Scfa+6#@^CO|_YbE~FT#uOGF zVj6Odkg3<6;AJydKMzSrJj;z&rJO@7dMDheB?0%8hdFM8qS5dy(S(*KE=!zO5_vK} z3P=_S#2iSnF_)+q;w9&QFxDgpN#lJ$v;vmEr&WpTJu-$mS>!dW z8|}IKnY4+eHH3!v=Y1mNHaSEDV~SmljaFF!$ZWbqV6u0_VC7|!ieQM!LGFTZNZ;L- zb$x=;PNTC0vwr0y243>SKtqtIJzt^G{}fi1@bsWpj;Ga5dk6t`5+@r z*2sOFj|G7?Mj^AqH3>6Eq2)Wp0txvpKP)Km zUL3?J7HxBa0xuPCM$txvHHg69kA6Tew8Q2>Ho8fo0Fy`?jdsv3tUp;$Cys%N$o-Iu z@G@QJjM7iYV8G)X^Xv9N^VIL{D|)H@FyjzN*6Vi~5mJ&|UR=W!mGXr7Kgf8{7S#{;|9J zB{RuZ!v!VEZ`U_};j{N&C~s8$rkuTz@Tmc!cce&@4ma`JYLzD|KU-n{2cRcXPnzu) z669Yd_gy;B-z7A4>6kSMM-xbpbygFR4n^Ov{jBdXMyq)ayQpY4=;xY}O)H zgTACjX}-=YK*3)QG{^r3`U1BGVr6oe*XKu(OsY~6E<_QkQZjwoMbD&Qr%IIQ{=4Ia zj9}+%*S!khKN$-$KtF;#Ky%$EMN~wfNg(cJ*bPbkG@7!s zC4ug_J%RRI1=08Pl?hiOXDoLB2apz4tH~H?qm;10nXSM>_+Bem9~#T-g{isHaufog zJcBZ4A4M?vF_0^u?}f++q95dAT<4=*Xcr;@`F|WJd}Q)P0wb^}=)ilCU5Aj*=N$m= zp-n&u6cFlT5Ok=eLE^a8a7qhtUCR0B&11Ctz0mdy@W|8O2b*fco?>k8yDe?E>=q4E z3h?K~hSrvTCu1;@2oNlCViVKlU-XRiX<7k)6@d+AET~Qe2 zk4gPJg0LJdx19(?_hqjjf+1iUAmw8I3`nyXKiwT)wAFkU0*H3l)LL zuCb$m@XEi?qKBmSH)=Cl4V7c_g)4+$##JU6K39G_X&o=(j1LCxW%r6fuqoXK7OEQ= zqPujNCxhdq%Uv`n*pKF4y^hL6tA7R;Nt+DEaDTjSs(bTUh_#Awd+jp58d=*X&KtLH zp{HK@Q7xKuQW~Bg$VjuKvei<*+P&-S2<7pc(l-A4rs3t6W0N-yFI`x(`z7W#WbTf( z5eSswg4g|KMl5b&@{!5f&1j9nsYfY{LuBD`w4yuAtXImFcyy%HxBqbsH@u?%EH`7) z@u{|E{M?lka*YT<4!hT_mqrBD5-=ln_w%2O7%sVZJx#=If#bCVjHuwKsUM`F?KLDi zYPG-?(@n&uMK@*dG8W*G1r~Y_0ZwZq-g!j zZfO^#Q%E#sjrojv_e2Aot)yRuArsRyScX-WoL&!0AZR;=Nh=whWpm6Xk->lKaC?G0 zL0*A&s?=qlgfvD1^T_Y6+$@RZa>?q!5(2cm5|u>e(KP1!H98Jb8PPr4q9AwdkmI@9W#J;Es?md@Hlm61D-x=#%=Fem#!c~{01(51Qn=tPNI z1aX%b(X1y6Ug1BifeA_#_w;UFRTJ!vL5!IT9@r;GAP7Jm-VRm6R29+rtw)}lPTRex9`4Njwk>|ALfn2k# zKD{0ZO^;e7d)lbF^0Fx@*<)qVjhQTc`xQ0^3E{>T>CJ$Wn$MM0{!~+Xn_=@m$H9Fo zhE5VSMSJOUK6q?u(?NtO`!f~>PMgWs%=vDHo9kDtuz>p_plx6`Q(9RwFj`Y=@#q2+ z)<+(+ZpybsC2Tta=JIqGWK7HnWtM>_i$LacWl=mgGC)$ySyXf}HHeENNbYY=r@>*- z+Roy-t9LKquowJ$+YiKO;3qRYfh^eE94;+U$!3TweX!m*htwuDo>fq6HDpjzY%#-C zHcd|iA*{=|^%#Bls9X0)bi~n;yt!fZQ{1N9zRsx-36da2M$*&uDY8k@T&&KJ?|p#& zCMcyuwthaNQi%<+py9bG{=QVJG;YRH{q)sXz%&rVO0(9IHFuli;;m3T)+j(iNK1t6 z_%X#5uZ=8u3Affy`ajOeI<#`W@$~Sk&A_C}?Ahe41EFu2YZN}$ixAIlM)&iAGEMTmKGR2MW6A3T z8gpXX2q^PX7=TDtK0dpEGG9WKfdVMxNWy0j%>}4OF{47jc{X3sk8@FbxFv|Xun+;a z{PETUElm{vPmKcvZcsOr&Ironzqs=aoqtvmNw7G;ZuKtkr$AOd4FmW$)%=ksNT6sQzksT|Cy~XgHT(%Xo7b4(K z%FyOppnReI3?M?Y)6QT3c`I-o5%%&7`Vj!UeBt3%Am8Z6iTS^+2Jejk(Q#x&!lh0& z)ggpTz~=_G^D_f0N&ScR-6vc*ApbC&8_kXan*03!Kr;)0 zyOR^O7k5suU$#P5acwgWuXqd`a3i?CRPWl?&1&}j%6LBHRFZV>bCc_1VR`Y_p%RPq zMgxez-{e&kZBMgo?}kftGp(L+nJS5Az65{*$5c(1upw-_JEMKU^I%fg88S-wZQAbJ z^}L#zLEoqS2J5VABlVQG;#!0dypmP1ZrzcqlXtH)cPqYXehtZXM#Np3CYfekk0zLJ zrc7-$k)>v@C&0lo5M9sODbB?F-Pfn(7;*hyn?a;j8R~F2 zDZ`=s^Iu7KxgC+-FG@`e?Tedi5@~0&j%C(5X~-EK9=dc^?@?;Ii*TvXz~pZ-u01|# zGKa20z@6Z52=T=6{pq}PBDzccfbbxk+1I4|?lWRT^Cmvlh~Qs)u{Fc?w%?qCI|>JL2sZ3?M(kRSgHTn1<A#qHZRuI-{t*~75?jeTg+^{vv$Wa)crEEA5UoC0-{rFXFR~i)#bDWqW#HTyt<2zKptOyYb=m zqrVP`h5PSmC@bkC4G9*-=f_kH33O?;$5N6+@UEG9`C^vUu8uijP^P|{$=N5|+{Q^k zL&nnmhQG;Qkc@aXG}of=?B-33-d6;pn@+qUldX=ee14DdZC}pD5={MmG~X-So2@t- zzYI&&Dif0Q`!L;CTL~i)?YWCSTO%GuY`de3CtB~bRe#g4T0e;(HnnbN8%R(!ARzDL zd~ja8UbmOU{oIVE@99^E7Ot6@dlq%eq!rJ{-E`sgDr&TufP{}WEh(P0rw1_2))}2i z5u6o9J1WPPsSE-JK*60 z!L+TPfU+->Cf~Cjbj;jlVNHQJ3XB4c;PycGLr`dW#aS5N9#mrp!q0SW71q}JIR88;u9gTF@bp1a#^l`wo%Vc86lg$ z2msIFAU6>OtSK+FIWAg|bY7;)5As>sV?F=i5?sYa?T>Cd%CauY8PP0WcJIq{wm7jG z2LRbYCyq%Q zZ4W&T9VqRcLHY9pF`&}n))+=;wg@F`QUPcglicg)P`^TU7ZF_1qJLja#G~R7Q}vYK zkH3Q(x38D!O#Z~)l+Ns%887GNjnnu{wbIW=zeP$M#>|*Il$U#LXBH%dP^x>`T}OAw z@l#uEC+*&uR)SnqZq1vv#b+R{}&*Mtxsc zkmjihv5M%nnVH@H%75n?w*?b-m*1?;SytK~DDA$d39wrucRin%wsFqrE>u=rKSdXp zQ~E?Zi(p-_1;bk%`oVSs;7i%n@oGr>@IuD&uMEi}gQ=Ig{?T%NNBaC6l3UjKJX@c} zY9_2RUJBSwtxkk^cHwTSin{!)zWbQ_4fv-#3D)-fws0dAAaj<~;P34(>y9zM7`@>7 z*6oT~FzwUVYt$fY)~h-vjMqC;+nDN#=*X_`7MYX5tJWRm{gk>ASNF=RzlFJPI2CBi6FI$^vj5_<=jy{Cm_$&n-ThWC4NXD~T92^gY1r45nI&-Zy@b1Q zlY+QIc?GL=a3#0?3KNL!M1Lm82CY(wQOFng+JVxyBrup6$X?&EN-4UyHY)TD zrHedsYPyQL>e+zRCl)q2a%Smcr7w%L>&`o^_hf4%SWp>?{hgAuK1+#eV#6OrtzB@6 z2eeHcC8gcgwfNj9DgW~u(<+my`0T2sPacaeHEBFaa1$Wt{aiWka$)Mi#BcGSJH_0n z<~i-$%dua63A?N*noGwzp<}KEW#yDlsqSK%r?}^KXA>9C1M+f*+MP8^%JOs_RE^BM z+Xfu>xj20-1kVS3SFR!wO%&vERZF6JEiR zkaO(VbjH9tR%SNa!@CTh&061kxVswd8~1pJdf@ zu8TW&D?MGu@V|}Di1vdN6tb`@z2t@S#3c6NC09kvt>D=M!7octvA}Sr)!-jp?fUy)=EcC+$#tN0GYoqcq|JFb<797LB;>7zkuD-F{R9py}4NniDKq z*75H1!)^?l(@u2}Xm%SI7(M#^43B+AM)1@T+cdwU}T9F<2)d(YW+h_TXr}k)rLIqS0tzn z*etP*!+kyI1gB;mr|f&dkqA9ZQ=?d92e}B;I+dANmFcv{XIxiFQJ z_pLbOK;XBJ*K^QjVOPPqUL}a)a*!C=z90gV?p@z+M=K|7#(R*=W;|KrL}7pdgyEXIR>J-0-bG z$V?GOG9r8la@Zq0W934o?S%|@lisl8uAy`MY7V14#fzNyGo5!6(b4sQRdrFInV?T8 z#dayb7T0i>Shdr!*BeI+UsDio*Nz*{&1mfu8WK*1^BdqpuX7xV92l4hJo2Xfw8 zWGIgWDo&OC>8oA{p4l2ZA>XLmXU|!gV37H24%4?lD5qVlbjJLp^WN|eFE3?o;@kV} zXSfjbr&$z#k*Rif#+K)oiL&fC8-9rlPe+AQ#=nmlV6W-^EG6ji%WLV1P@Xq?V*UeT z+D#N92#wJJ+NQHT?LPpSSw6JUXIa|>5q|~@WPIgks`Q$`HD>=;m&whThNV&7Q+n|e z?s`z+=IcAUKJr_2CEkn5zBxB}mEUpcjsQYt94H}sC`_*XX{mbe)<+h+$O^-^XL@s7W#m^YmtvVob8IVCjZzXXkNqSSEEc- zKM_>o&zP@EDergAR60B6B6n@YGHCvMTT%)x49EcM540M+u0qt?e1+WEpZ=P@^s1ln zs+*XZ>X(u{ZRPlo6guor1MxH^)Rtv{v2It>gWsxFYjV^`<$Qi-J5H6`*x%*+OxZ}? zx;i=2Ay7zdo++t*jN23P@edK7viBU#aE7)2&PCpkkXmLcU9!;ehZTIc*^w^u=lgd- zw8$Hwca!yXSxY{9^QN1UGL)}DbVnaMF;kkkTwL^LHF|WNpEp-IztU2i8y{a{=X9Q< z5-tD1xgJ19^rq`(Cw7F#p9W}FVulg?A=|xH<582=`PCpzxntpIj(6g(anI*2eqPcn z26z61L;Kp`&Y@LGMjdaQm=5FH)z24+D{FCI_bRC1ar(C3Ts`izcA1MO_ z*Ar^iX5sA)9kj@b!#-Lg9Zc^}5_)8Bm5GW<7~=!tSgSBoLj02bYfMlkhf%sZDe6j< zWaJj%dXL;xu3E^p;AiVoja=R(IhW)m-|Xy}N-dcyX#&CzjJf z|JroU=VVBFGx^xYg!Kd31Ii+ygt*4j-uT(R<@I(n{nCqzKVNiI z^TJAgwA*;)+1I8FP#CMY%Mhl`i4V^te4%UD&Jq1q(V%Ir<>8>obYd7rN-7+$RpnJ3 z3-_0|`|+|oDmF6Qb-s_k$!W9hw#+c-?NON1u?zp1RduTL$kQa1!)F(;{3-VAY=B3s z{XU*_p;E5hSQ$f6X-ed^CoM#-EsrLTvAxbq3;VNYe?@i7TE;%u#QEo+p>Jh1*X5sI z5!~cxy;0dA?(69~vi*JDGP0Nw{Cm%rQpD=6h3<)vTw18dfloTe{{;ZmjlO&ueBf)< zw+ocwF;mJePIidpaT8aymRuV3{Hp5CVx8Ra`p2rZM+y9;-*gXM=7O~UQwnY%ZPP+w zb#hcPjJE|-)mrveJ zF6+oGv}s&LDcyJz#WGbyj>xoLZFfByWbEr-d&FH*(ve*CJW?A=@4s(xC!gOL9b!ES z6Vca0mRml2+2}i3e>3txd3t5MI^UdNZjj+w14q(po9F?X{{Cztdg2Oq3E75>%a*Cx zq6%QKBMD0FHCWa5_+pr}-J`PL0t<)3@bFZ6D#_0!B`Gp;*&^fOFGh--K8zJ{dl9!T zs_Y7<&uJ0)o@9Es4X2Np1NBq1W=cN~k{^a&lQuG#wxIOU_svoNwq<%U0d*jJ*`jy)@3(g7% z#|apShO@Dw9lmnE$?BZAcvUN2b;0BRW@E7Ll6mDfd`BYG@vB)a7}Kw&W%m1q0JwVo z9l%R-+4SOg?%`LC!MsC?E^z?xN&o@@FmfG)NF2Z!(1W`G9^ZUVh(#FMBaTyqlEk%K z^h$yJoVCphDG}}X7m>yax$aAZ-nR8;oz|;X= zm|vV;Qex|&O#0@P|5zg0hXvC*;ljqj3<>?op?CM*8^CfqJqs5~IQQo}vMN=rvm0Uu zb$1(e(92u-|3CpUObw<_eeow}Ui@)2v{_08$#ei2Au(TyC=^)r~#2nt5UfyT_sL3jBe zB6Pqa4tZbxjbIPEj9O2TMMm&FUq1d%1C`K`NJH*ujS1FCd(`_Sbb4k04>QLaxGL*< zVjonx*=dL})783?66>Y6?GQ&ja@fpL8Lv|mMxHA>cwVwhAD8m0T{ZX9tMrTd_5y6w z<*jQZgq*FI|8JL!4yZ!@lH#~A4Z?CzexDecpW}OsNX_a&w ztnR%I9c@`(~f=z8@QaS-|EqaIqQs)E(nqg_oYH{iWttzY=8YFF{5)G!8fD&s#s z=iQy8(e9TG0;Ku_#e+aY-~%D`xG267cCsjr?EZ~CnLw*lU)*1M#`$;XV)t?NW2q z^a%=CQfzgYjP!TXKEuPl@j9^jru<=!zYE4^_;>ej|I5F;61Fv(?LzRsxeMl9OP(8A zFD}89qK+1>GukUAz%5K)fA)(5il0WqHWZ`iF=cZ|J>=C#T$p+3UMsKRpWf2RM#+a< z7X$9Y3=iAbS5*E9bi)gy89HL#x?b3`U}5MHvFK+dICl*1ebCH?NE~qu(1ZI?1alWqwbG%=EeR`=_K%`zn(^1bh}ZLLWQyrtI38UpuGh z$TB8KL^>MdooS*ymN^bs86QV>P>Lc3@3l((^kpKAUYn%CBxIO$G8}BvoBjVt+4SVR zRjm^B3@ZC+UbaF@tH|7f(I?A4*nKiY*|lR8YX4wZn-r;d;^wZ5Z#W2Wb$=a$f9;Z& zeLn5ZdHq+Mom%sLFcC z`MuKW$NI&2RmYjxJ_j|Q+D=fe#dGm|sQ|mBGl|a~6(~R9H`Uz^<~qCEhKnAKOZSYu zEgDLZQ@m`x+|ydCvpJCgX~<7Q7HlOA|1zazpOS*@qyqn#OQ57Fr&l;R>Pup)z3UR@ zFe88Jy_u~?=t#)^fxVKf+8J;(ISDZZ$k6#~`sU&dMN2TY*G&HIS}LV?A~)TY^;-40 z=@X=L3u9-F2I^9cjkB!M2S^P`Sd=B@jqy$^e;brV0?ZjG8?C$^sG_Wahnwda@%<8> zaMkKKhxs|&wlcmZtV!MM$Cf=Mg*Q#-xdn;gq7&7vaur~J->!%LJyE)*$xxc~+%d*^ zbf8ZYISH8g+Ni;p9s2Kf9ZzwU;(mJk1CZe-zFf5iX*((6d?y9L*?%J*^f7Sw=oLY~ zPcqRFV3!y$vNgn{Y%p@MFb21gs9>rvu3-FfUYji-omD|i;47^*_VP4Fw-N@O*(`&3 z@rS;8rw5_Ah6ll!i_F$#MJ&_$5r4e5_}O!KH1x~Tik3ER9dy}oE)_G;4t_S~FWm{& z|17_GRCO!-lJ-PxY3-hTAn3K@jtbPPF4psBLMTedc|CmN!oD6P+2(urGUYK%IiCA{ zT*)wbWG^|ApdC2lW%Hq+Z5&oX*>VsllHiK~*c%$q2<838`M+h-Op-nMe0mIw@;D)s zPzY2m8u6ivQ%>hUkm%AiXSZ`$ywW8AeEuIVUMqF)?uP*9*ou9JF;%+r?gp zQQrVYE4nNI{?Hc)?bA}EAfi)|&Bp{-liz@4&^B5AuC?|q-!F?S6~^~Fkh^<`bBVDo>V$K1K894(-`BAS;D z*_Kq>(7*rc*9td9*_BbcRfR!{uPMw(d5M)M=CE6i8PY@ZzSbn)5u{B0K-T-|32)p= zTU6ODPaj>@7-z&&_oJI-(!LuP2-cT*T&qKMZo~8b4{AY`zMyf`V!ls5aYrAlYJekR zTeo%PRrycZp9cZF?Oi7S0KBr9rbhRmiSVhtarvtM04bDC=crws8xx20cU)iVI#(wy zkbqBhzeX(-$r$*0qA@ABjO>7=CO68cGwG-3wA+GOtYdHTzJLD1rC$s6GS*W4k5>o$ zvfuQqvpfpYa(_o!Q+_lxs~@I+?|-1q{D;fea-F}5`?+$@9TeTZ`Sm$H7ExZz#mim~ zs$Zicgw?tmf>r!NyF&PC_=jG~`e@$XS2o)N3{=kFf7)hQNA+ZC_%En(RoOj|dr>{S zD%>mE_bC39t$9UY;03=z3W55^Sl?-x968+6QJ;93=lY?|g}*n2kJFVqbK^9;8D`J6 zrfHv|IDw?NpwNH$YTWNX{ZRh^a_su8?K`Bwtki7XW92oI~%uJQGPU)fpL93 z{{VKhZO-Dh&k6e(@9kB>&^zh?Kl+lR`ahO+xEJd6Ke9iu^Ok;QdNcHWa-VEY9&AD9x)1*V zmeemF>IeS-LnLp*P27*I{B;@NpAZ@SEh}~(eH^RcA^D^GquSGLBj5!QKI2W1{{XAS zf&QRhtJc4lAK3ZpIGaAOeu<*dz#US06Rm2q^rNH$@?Qz{G{5TC?0XmqDzuFQ^uI>u zMZ#y`@``5m86OeJ)ebSG?<1QKZW7#4nL+r)E zh@LR-@-oolpEFFu{8!~YN1Unt=hD`-1do}&r1n1#+Qzl`KeW?!cMqdxAHjWx(;sdt z{m(Ny^BUi>-?rBg{h4{JG_)}4T_009o}$T9If?K+$KsNjY#$7r$zcVg@9>gJ=<2-| z9YOk$T9PzlU}+Rh_tohI=V`j$iW@j;Jmi($DWqr(Z5l# ze4iq{zP*&JUe5ad&3@1jNd}J9-Z7=5aW59i*h@^5?Qz`3<~%)sl1D6qpbPH0CsUqP zZo3~S@^ffVmwG;rdk7s2*}^k`Y@Eq=&)UTU_u3$1<9;{bMZ;K^3-!@rnreyj6;sBBhdNu%ho7OPu4 zh5BLcl+`?4(iUi>YpN~!LZ*3|4($_Fo=p72PW)G?^xaSJmQVLJW*!qdX#&}#k z(}TM#R6u%SnTzJ{TAa7%Z~p)%Vqa=L7W-ck{{U)!EIg0@04pm-{{S|xyXg?_#ew1G zX-LU?5jE2LTyU;7o|=KK*!fdVR$X~UI1>3T4>o^8?VlJo;Wo7$&YroC{-l+DdcQP( zbbF7J^Q%rVO%C7aV;}5=`pta8Ke6*R{&qKc_6nGh&wQUA^XD9%SY!*8L!T`s004T~w_^41QQGM$kN(A9#Vj{6+LBB$w zb|icOdSPE;huO}1EM=_(W_1pc)OuPP3XAQr^pV`56Vo`ot`A`V{^>Y&9MW2F;gOIQ zxLaMz`ES9Tp(y!A6u1DZ`3gSlPj&$yXVGBS8(vJ3I_{+46nb}q)I3&hzqD4%S>YF2 zqW*P_e^H$7;gPl%HCEdzTxA!plajmrTO2fVT|6^;q8)#1I&@iNHsaCLqV#kO9-gbo z@^3>583F-xKtGZIKmd6l1OR{#0sue=P$&ar0zd?LD8dh#0d1Z3RDf~a00ExJ2Z4kr zV?Ig&5R8M2e$~GX9z4(j5PgsU2#Od`gZdx=j_3n$sYlslK@+m8koe^38W{6w z`1i±L4UT@|;8m+F2;^=khB@^WwC9<<=s8!Ek?_$N!KZ59|V6*_}d)=zPgM_`M6 z3>2mDw;#Sl#J4*PyUl#hT)>x6>N2iRU9sB#0F&POYcgFw1~x)F?v|hIa*jP|${j1l zt!HGl#Mr2!yG=bi8}?fq;j^?4LE_+g0KS)?+U>xt%gW&SZ>b=v>J}upX2HOR^1-SZ z-S(+5^up@uaqg>=kDxfdr45`HiUF>=Rp4%1dJUJ8SLHur-r2w}c@@$P@s*U91`;=& z1nfgjN$5xBpXu3S!r9#K`TqbT<0Em)*>Sb^oiOln_naNR{H^*iDY?V31LRaODLLLm zpeRV-0RumJtH@{5Kha|MJA%5uCp@~wU_bgsk$gAQ-}g)QJzO3tH=l354DlC^93-)6 zZW-zLuJ;-(O9jSwq^^pXG6vIBMqSMz0G?@BFgM>lmlsCOh89n$XN?)u_i zUm~S=k(zSS*##WV8;^RO_AYSv z?uyg3cgyX46`sjur8892N<>gn)5hMuL7)wQ^Z|Uz@3MWVZL_(_MQxuJ{j7bVYkj16 zwOOoUidt@liF|bgvzyng0MAhwgzJcjYVePK(o*O|QCNnn#P5d$wG7 zJ$L#eH`82FVeNIbyYHoc_b;FNqx|^4(Cz7*L7RW+UvpdR{ij)zmuo5#2c9WwGx@Gh zr#a5o=xopb04<&n_Aoj2tKn;WwE%bj08&(cdiuV-ufb18m4mf%KGSQbV@2u%+*+#$ z{{ZQCugfAs^WJt6rqfLw=9^{{ZmC;kg<9 zcIe-y>dK$)UN_VnVaX$_2mIsfpB%DyF|PpY{!86J_5MjJ_&UGLiv3aSey8XDg}9-m zAN>y(`+IGB7W?!Umc&jR>UxT1Ma~CsB&T>M zwnv)yf2nJ6y-lte>flK@XziZd9?VxiX?`7BDRix6H9o1+6>?VE#Z-lmR5n&}O#|Ek z<>mo|JF}WIu`7q9btTiU?thi=&G{6&V(F73?vzozv4r%Bi?dS1gwDXq48 zC@u6*gP#rvSQ#6AaMp$J)1Rv+IeBNVt`Cvlq~eOUC zX`cDm$k@@loaYb#8J|3v7Dy(N0XMlOH?D|>X3el3*CPREVZoHLe<2H8tS{9 z6dwT`2U zgy!)ca4Ky#nn_`J`AYcQ2hFS5r|KLT{nKYGx_sB=XT85ikF&=WeV({^sVKOlVz)`C zZcx@x*dnWKLv5^NWv_dj!eeXYBxS550LGGXNFOKHGpWwIzKH1_o;6acwHdv$n0}W1 zS7?t)aN|T7V>e0f6*sptKO9uCQ#uY}I|n{s272-wbU5t#W~VFM--L}Bt!XBDOW1t2 zKV+U2W!oJ!PJZ`1uN$f9W!S${uAj({n?I!`ji1`a>k%iGO*dx_AmghhUtjdJJxn>k z^RuPfVv+P;*pJ!@+wB9uyCuq6);m;b+GuS0j+mc~wNWrMPmkzK&?E$HlIHbkUnAA9 zr-zW@*V@lQnX4h(j!*5m`aY-Q#-*2woG7`_TXk(jF++B@S2)K_bnx03$(tw#!k9+T z!DF1 z@i;|KK}Q6A$=C+9zh9d8i+l2Cx6GOAaRhuH_Ne1r{?MFf)*Mj~OHXgE{!MA8m+eDu zfrXF)57~2oGC8~9(l~Zsq4fMe!Ql2kIy`Hw^)E?yKJ#cWMuM<21mej?Kl+`E;BWl$ zf2%!I{?w0!KGzTD_M_sq+y4NSmEAoHLi_%Vw}%FJ*`J$6Z`e#{+XIDzAN;ic0RF?N zDt$u#0O*`dx_|kM`&Y&X0m5BsN$ICqUy=YFb{R$la5`+D4Y9EbGChl; zr2*3_6h9;a>D@F1-ztDUhpHlo?SQe67n+HbMMeV|KrCZqD2_UXiz*D~d?PM^mSb#fXqF>?t>+Sj!w~NQg`9IcCaq2IB2=u0g;g+W3 zCk5(mk)H zvFDxB;pzVXrdwvG?HySSXCAfFshS%NHQdm~0T>OZia38b%J;sTjF(NWQu6sed+NEV z^$DfyWjGD-Pkv@M{Z&3k(RcMP@)|s@hP!j%{{T~jaZfF}Ru0_VGQ3K+*pJyC4B!{R z{Jues>nS~>25y=VkrX|~M&DJQzQZW^JDuy|(jzCa*>S(jZ;ykRNO#+@!rYk(PIh{p zssfYF*gXM46eJ^jtfQ^+4}E@){yFe>g*+tGmaZakGfwI1`u$TiTr{@|=EEbQ_ey37 zIZphg&2Z08gs+JDimR>4UY%{Nc}J^-r(Z1|q<^-5vYSsUxc>m6vO5cicjOm`96X7C z?X#)ME8P?)_S^PNrfGbfdeY<%=uIQD{{V%BZ2ljV{{Z&b?~lpN_=);Vy`8kJ1I~q( z@vd$gh~c84mWrG^&GXeYgO}BT$I*1v(X#G(andzBile===l=k-Kee|Py`(C|F0Hsl zYSVDaC8pE1$GNm@cs~o~dBdtC9YKB?)4Ny>>+8B_MyCVse8}^1GM&6G5yehG?pL+F zaLzZhdt>x=dqwbTfSPY#4lC<6*{UyBItS6fD5@$SEK$?Bu6PkK+XozZ{p;j@qs7U| zx-zO8Ngj?Bv4mf9Hb2q@?N7iyJ8){xrTAg3pLx4c>N;zK;Wo;;Zde-x>~p!MiLE=m zqZ!WqI<9Vmhkib9b&zRj+m&=IuSoJovmURpaQoUDhx*%8+~T*{tk-i>Uso#}=0gv= z%+lf*3yI5s00K!NeMeWO%kbx23vy=;7L~tq(mtDN&(a6%pK#Mxi)Akpoh?OOzNQG8 z%QbNY?}^Q5&x3)IK+i?+we)QDD9P91p49E7rn`@hw2XXol<`R3SF$MD;hf-xfI|Hu zGL&GyW9O{XlhN8ej`)S6xKZsLqqv2yuEyJ9v>Sn|sua@Hczz`e@iX9wu6fJe(Xcqq z{%gtWl-qtAjVo=P7%nlha(X_1@l*7L`z`7o8*1G-Vb>Q5yOqwzUqeS9`8{77WS&}g zvM^rwfM_mo+~5WB6m*RK_{qadX!R$3N-b>pCr-l^H9T$@EQyV9@*pqJ_qeV59vq(A zX8!=d{x<7BXYM20_>-aJjrDY`bv0caf1auTBA}|=&O-v@#rrU6FseeaLM3n<9l<^y8#+hI8zaCw;fy@p zIh)jWVEs3J@4DZ$8n4c-wWZ56&I^8&9voQsXJxi=rcG;k)^VDb-D_yA5V{E*`iUJM zCM0MLY;I#fz{WAZRhD1Vc~0i(OSH7-RO?P}lgd8Up3&BhEBi-VIN8Cgjrz=O7Md6+ z>gs9RO;-hEFPN7#xp>DcjTt)}xMK_5=^ZvyW4f|ZdpI($gSWn;y6{uW-{Edp1(tNIs4+n(-yzdW9*4@r4!X_ ztF59!GHL5{?O}U;GZP-tenhVZeG@hhi0ti!)yv$`c%%AOcps;&b4SAaCF@z;$RYz# zNc(LI9of=4QR27*zbjaC(<7?r$LJY%JzBd_uH3roj}K?f9xZWuTyei$S8*4JH%8Xo z>zc@#Bag#|ng(aXf)-@*M&4t9a!D?6B$7|sbo@AB)T)8w-FvcIJ;}g7(oMmx5O7aK z@V@1sb=7@tnX^;SRaDcmg|NvpMqXLZP#jy#P6+^!*e{sN`hPDb`CG>)t6pU>g4^Ws zXSN3%wBNK>8tQnPrEHf=RRq?W8+fO=cwRp|0zl_}$?t9tIL7(d^j`k}L&CGCRO4rs zdHJ_O*{;Jw;XfAj{{RFvtuDUdwfKi4^tqqo@$>H27Bt6_3=Q37j`aG`3^osb4 z{+YWB`@*Z(hFZ#IRMPycMSoo1Ov)Q z4qr>t`V26nt+SaPW>$Br_QS#F38ON{EMSgl8e5$Cj4yJ{$})^sClqI){sIpl1TKqSY&T-}ZcJB9TfKNeWH@uqK-d3jbw$?hgc+3SjQ zJQL$ql;XY0%Tsr!({*yyK8l`ZMEQ%U<%ys@{{RTVkQ3+%ol_2Z)Habk(eq$LNx*h+zGfdxWT`1Rt`9}$QsUCt z^J%T{*vQEr3qyY3zSS<+rSN#uYEo=jJx^_wF%jyaMV}*-1bdHE(AbY%in=IgwiYcB zfkc8MoNbMfqKkdbdv-#MdGuJa2Xrz*MnE_~A@oq9K4n6Se#!x3B}N2(NQxg+(L_qc zwx0nREiTPFE}@}jt(LAUGo=Ex^odJdv9kqq6V`=GH z;Tu30$mS&E^*KFOm_yTA-pb{-vdHdt&O4;G`9)7>XyHc{c$oVTU5np(+sNbdXEP!7z@(kJToTEp2bC{#1{J2-yJ2)&hHk7-Ah`= z;PRgrIC1ZcE<0|qw+`JRt@$?A`mP3TAFdO6Dq`h87*TMnB@J1MI6H(E=G+N697N=$Z}Lv6JOdC-7fy(0}bU`k$5kX%_SQpZihh zFK13NaSwu*tG1xhx*p-GEcNv5r@2za9NrW&H!p&BNgEy-T0BjN9L*SrRLDjP=9TVy-HzFFiu$@J zhCMK*r}m_L-fgzzTPv*c+0?iSN4{Tw{{U4#-G$B6zshFLjsF0BS;DxY;U&tc?QRJq z^z6JyengMiV%zd?8}Ir1{%NiWE)B;*pMnAXZ{oK90HZ~T-7dt99@ErgVmq!E`ObuL z=ew?Yd7imjgDE-K*yn#V1sNT;%g?GK5`)}Ee=wc_MelLO9fg;3*9^yB41tnPoX-2y z?q0-uDLu}2+HaqhYAMBo%-}uH{f|7?DiwCbyw(JKO}PT(2%OzTG@z; z+9C_UHMNW#f$!!d7>2RMC~5Koauxo}PV3=&31%PSQ9iL#r$ ze>IeMuO%t`zZE=y<~~Oq_e8Y04G?k2&NKB{_cg(fB{Po01!FEsh0FlSBMKy+BSUx3 zZi{CtWbjiY`Kb9sdgNh1 zBitY({Czqrp(OqEJ3p1!I9=PMRL94d+G15FSjV^PD0j(J%`7C7D=4>Uu0W?xWA&N%1uW7@Y zMhHGcEK^N)K+jG-N?kwZr#|HJJ;J-umW7a1e4`y~Jj#+yts^z$=~_cW@jpfB`)?hs z)>9pkwQi)2rPUFP$Uf5@A2*4DFhjXmcb9mz{vujSls|10)Pj}L9oC?QK~^9L(?h%J1T%= zVF)ZB40b>rJ0K3o1b`F(s09ig6YWjOu!erpL4lvG6p zd;rEfCV=pOF}~^ngaMB=K=$%bngXthh?M{UfG}`?eFj!uzygINfLp1e0-zC;VWHdax=M+`Z9gCO7ui->4*h&?vng(bnF)^Uo(-yeWUD=SUC5tC@Gm6Y2>=Px*rSx!xci);GWh{{SP^ZT_n5>Mi;lo?k@&0KSLraK0)3 z0Qc6Y0C&y-UNvdBAG9QJ3*HTL$=zo+qg1?`c8NG-C)9pxHTg{A;O@6)1ERUk1~5L0 zieH@Gj$J3(IPcwTOfrEaXMKqBS#Uy&&VHV#LW{QSeG~;5T^ww5lE@g)H*<~vS?Vj6 zW4?4yWmP2D@M`JaPfSQRSgUJmi6bt_dm!fy85!7?k<$bc2szvkMlhRGTaPHgro54H z4n01Asl9~JOzv<($$q1HE7Dr-w+y=7Xt>rjuH-FZokt^nYTy;iF-DXIPP z(>6l6&2A`_ZI1nJhu&^lcJoOGGgxM+wp2q9ap())z|c-M8Qog4XtG_gl5Df0ab40e z=N?;hTXn8YLOXOoN2f#o03_OATYWnz`VD&#*pHY{qCX@3$jCw7r@E_>G7c>RC7|cN zR$dHBQoq4tr67?TOUU#CKfz?8*w)_%y!cQ0DsTGBPT93?vg1X*-9dVwrnyB+X|le0 zhQ%~(k*##INEp`u>>M${e3nnt&Z$be;mU0uwRjL|HqS5nPjI5e!2UYwjuq*PjmEy) zVKi)prr_w^Q7fgSif5M?*v9>-4ghGt1FH7AUR?6=)wX$O22EW*~RM|v&tabnl=k8a@NRi~Vz8R82KxFjYs*?MtE%s{rrS^ ztZ3;Y02#sZE1oyXZ8@zPlZsu^Wre!F@uqI{*K2&z&|Iz4HfSU*#F0wVmb;b1sPzkH zbR`y_DVr;4{m^?W8Lv9uRkha(jB?zswWG$Xs(52evO9OZz+eoVlZCI;jS%}+2+n`* zY|8ONhS!c2Y6$f0?(1u>np$?%39Zxkv4)p9pb|je;robK;$b=1bQ^<(JTC@Gy)GpcG?2;^^2-ed7Q z$)hB#d3kWgag4mOLbl@O{2^Yhk=4`NA2rgds-_r3ax#Ch2PwlE&H8eIm8vyY3mlUE zrZuTOr{J=qt#vg-wPKzL-865EiCN4W%s$h6oI4f1%KO)y8=O-`6Wo*bcPBkQYPQsL z%}zUf9eano1l8Bg4^zdlRYL`?)=Zx7E8XKx!Ly4nF}GdFTvp`jUY3p<^I=WVqg=Aw ze3vUdCb=bn-C_{Rr6Ys^jkiDw0KoH94`e_{11JFii0*({9!a1XC5W4ZzLKp5L_uaG^I z0H_2&5CQ>w!hm=^aDX>J2mmSvk3;}Re4_#?08|nlVF2;ypdQEuvIFdl3o8&ueycU) zt*va{^gi}i0DtwDpTVo_`U7f>{-@?YSSKvc=yq%5a)0OpPF22kGM*dWr)<2%t^KR1 zD4gG(S_uCD0co+q9a`06^A11c<)gjy>ZMZNrOAKo5cf&N8j6VzGv~3`WN|&owNr2R zg17xSANpBq$8^8)Y5KA%SxRr+FZ>st&+h*Kr!LGVJl2Y>ztmobQ2ziSo;O4P0KJdy zaNZ|;cWR$Z?iZ6!)2XnZe{w2AjXJB#a zxTX2di1;~tr2wfI@hu#k(!Ize}*>MsoOMd z)C{Y0NXtuU>E@qt-+02yJc=9AKe_h-h1vgH}nE7RCSgzR2kya&JZ$gt4?B_$=LZYg){YVFGS$=@^ z$LOV1h(jWb#Yvb^r z{Y`(l>QBQy7{Bd1ImSx;Ri^wOGwxF-u=*oh@-)#B;eoio>An>0dftH&Mm;)XDZP6U zi1yCswpH*qvOC~!^aHwuBe>{4iWG_Y9Cj!KcNz8jkO|$lIY2JGe2@s|ws!PFi1`(d zfG?QN6ew@<{wM{o^Yv5+pZKU!J&8M@77zzr)4&1Kb&F;29rJ>l8xH&ZQ$dR#dXJAK z(1`N7;)LI$OpbNfV5-I#~t0|-*hXCzn1tl?Bl)`<;yfN5>d2O`W>U$ zYgzE`L+e?tTJiuMV`!kA`S7EYJM-hR^K)Tsup4#cnpy-0qZe z+H~;DSDU4tK2tk@+0n*xoL~(1Tr|;>Rc%!H{Y%rRzZV(D-{9kVg709pRbTBILf&dD zH(6TRI;(_0)DBP(TCaNhPnch@qM=2wFScK zKxFam&MX;h~;QKfX)D3RglTP#|XaEz7HYWm3_UjTqb!!k|A}!HLR|tw?S1@ zb1?<6Q^x20ybbwU4?(^cu_;OwZ}T*dpo-R)xf_iXRF^uNeHF$ln<0>~l{Depvw(JU zK^ejISy5-HQj_~%!G)=(ruIfZe6>py#J(B7oMu`<1Ez3RnNGVN{OHGR@$7a!4{&0S zQRthlxR;4`TW!nT=7xgG=mhmuFYU9oW=?%qgPGNGE67wvx380~%AqKxb6dWTmd|RV zxzDTgG{vhnkAuD36B&Hl!h4#&i~W{IIapfxq4N8LDBEwoh@ ztHhIdGP%S)m5<5fXd4h0sOU>lljR&aJvJ9!uHKq4pm$vD`<{!DEO$_-5TZZ;WdLK< zKs|=afE`c<+31B96avP6s-{5@@3{dSAQ%b(3Kc)+68`{g-CsdNk2C;)Fn}?XWf%issR;p&$WT6L$N@r!$x;FVhK}k0#uiJ-ByRc~hT7#H{Sfo` z1@_$mDO1}1PtAU@(#lPI9?bSh<5vN+UX;7&UNc(hfu7>)l|6NBuit4)9Sm`paMrxB zz{caAToB>D*k3#KcSq03%UM`_t!VA~H>%;&k1SlREj^rHj+*Y@#Evj(&1q(r#kSll z`Dh==SG|Ga>t&KZ*zbn5yy_3&yMRAG7OvI34hRE^sR;Et=)z+B8A< zV#x3OR&U0O9|v`~l5}wy+Z{^cf1K%F4qYMNAc79-YCxdwo`bO1Dn?Ur?u023p3Um9 zZS0MnlKmalpVnU0ns$E=m|JakTIUn{zsbZP{qu$5{YO1vYvk?e`*yZ{e8?Tw!9Ee{ zo@ML+S|G;d<~TtWOdb9zcS>>Q)~{2eWjtKCx8d+;$cJ@o z`0DOl{4VBc`zOqHEA(w`{ilLV)4~cB1tQVW6*>AbgmdfUzN6FyF zzfmDxXI02}xRajwd?TY04tDZ=ziB1B$G+?Hm*a!nXDIfxvHt*+p3J;cvo)d4mr2}Z zVE(jFnHqlf1<{8-%$Q5{HQKjZJ{XraP}y;_+8xu(Wqzd|Vw*e(@X13@QCCq76(u~i z6%{fz2w{ddNhGp6?6Hh!E_;t=v=VzMWZ_!wlhQw8BW;V3;cV@~C5-@&c3JE1sxt~jHrX*5p{ zblqk4_gV{~q@`%cVEa-?_YlbA8)feyqdjwgwB+R1iw^r`q-R}nwf4mJc8mQI+()@k zHmhIpb5B?*UfhaHUAk+TkI~Y-@V7o;ts}^utLE)lC1q%=)}y7_#$JjY2xMHh)Iqzsef*0gTtxQ4WD z;s)#0$-b;u_uDNTwN)!#qI-LW{{W&}UfykS+<2?R%XXTYX7hfnv{C-Cnk3}J}rHxhB%|bjv#PrS5#<@Bx$;fHQJrNAdUEZQ^ZaiEHby@ zmNVJSJ9KbsfdlGsGbzo7sZ_Rk_R%_MK(R<9_YYGli_Vn%8ACPP-#rm;-(MMk= zS4{r^HJ?U(yT>=OClzpi{GO2i0PSO68G*NxU+#LgcxS^Wh& zY4I)(Tl+YEjlL;yw#`Sab)Dud38pR)iRfKXNNO$>(6|EGSq54njl*`jM`gnVFoFsB zeE$HcYR8*~I__twkAW$z&7P5G=!M}RrSRtB{<(EgZahZQ&^9pd?0973)0ue>>Wsea zt!V9CI=Ad`t}A|tt}SV}Z3RS>wJ`^^{F1T7uV`}#Yp~!(T1fIM>MD}53dp`0I)c}a!9ll5ip4p+&IY{s=)6lmaLP^+JpliylXw{{Y1bh>{tT)C7}S;J!`Mhnt<=V%uCjJP1R#K9k;DeKB!DtV>Q<|oggd3- z8)CbjjLyB`_Os!o_FXxxwEXsKlwq%ZEai@K8sG>gkdgSVOni#+V&zjZ?d^JH7&Hd0 ztGP=Sf%hCQ6)nfL$>|g^J9LvRb)a|D)-5QvJsZGwp}vUcerT_Ri2*pXS-Bf z?wO*Yh?y=i$;e~m=EuVuw)k_5;H@*UcfRMsJ0+#y!o{a=vEG?rp3_+c$u&A9I%@ zCK%FDYsu93UBHbEKAEbi;u9x|`9ohdB~)VL;j)*Lrb7;M-#)94BFhxCmed(vk+kxM z31(gcj%n z=zs{>0BxS?XaFD;Kxgtm0RR*-LEQ)}52-)|0o4Y>0RX?fMhCK_8#a-<_gP2CWxYrF z#Gl)D=C!{hLaL0zP=Y|%6bM;YV35jyW97OOF_VH22X$Eleo6s?uE4?p zpc0^ac_;xuhn~wIH9#l?6a;|Er2suvArGKgXb7BiRe2=58?J}Tt#h1>stEr8WG}Sn z4^?mVKREirE#xQq9?$k^_Ds;+a^Zbeuej=cK|y*KDvAKwV+nzbU||jndou60x#sVM z;`RRksj~WJbg8XeEXKh|`w2QGfcpj!sYPsTce4^!O;Q+EFVp6Ei8+*%13QKB?^ z1N2zhg?AtIEz!WA)tW`^Z;*8LkdMkDzHjPz_R$D0c6apU_qKfk_K)I(+!o;F{{V?_ zv>()hmS>CtOirqWk^noB$2<>G7s+GS>rF)TXD-#Vd!?zf>dOpOv9dbLRqBjL1BO{G zJk02P!E3)2k8G=+z0o(^kAxg%;jM26c&n;-Wn99;r>;`dQxXUgQJ>mUym|9L_>a#a zevi{~Rz@sm?s&O1_D!SSKcbU`Z=llp!;H5&URU0#qp(_}b8t;9G3TgzeH}ab53M@+ zzo~LNtc_do$=iWmqUG{>H;p`UeuCpS2KY~GoHnanUuSiG2>56qr;u`=E_vS$JtK1P z@o~Lc?6>`>>axz+sC=DMTG^x2nlDgk>08Xpt)jAp!^}$y*hk{It9`SKzf)|#D@W(L zhEm&gKa3AMAYgdLPD4N=9nMA<>eNj-BPo0zJ2?IBDEj^EH|&3C;D(N+*ShM@PgBGj zMu6e7{9R|#w`k{Cf6rGW<(%KSRHNprewLQK!$zZ(*$BRi(jiY%Rx(ARN_8&(KIjti{PU;q5TBR4m z@{F=6jnUISB;GAoZ98_jSZ{Xescx3Ksc35H95Wc2~>*xgsG zydOPe9B0|?eWvy{_HMQNI&hMLinf9u^2<;`6@I3z<;;e6H!Y=Wx`?3%kO8r9d-}Mq z&U&viq7ZP&v2CD{vgmOLG2J^L{#NZr|4@Pf7$-$3%(Q>WM#@XjdA)^Zu-Z7x4kt@rJtvG zk#u+J##GQq>1bl2k)O7!iSEPWm=0z(Gn^L(haQ8DpQao$RGa=^lcIe_GNtMAcmb_z zKx;-C(XjMiU)vb{vG9))Qto?VAY^lW0?*hGCv4>Uk2L`u`h5_h#(rLi0QWoZ=73#B zcl1$$J-aFe<}>)H$}Y+jUY=+G{v|*nJ$FH|bV7^jfLO-(L%pUbx{1ALcbs* zD<_6V{iZ#qEpX3pLQA&9;@1pEY3&uQN4Il>{h z0E3+4w^gF6p$YmG$Ae_z=lsbtQ2Sjs2e@53ZRs;!n0!odb6i^BatJsegV#Q3B>X=H zX)^Hsx4qUphgICGrVf$Z&UCU#%G{E3l5hb(AhdSZTw0F^$s;&)&bF=9miaa2lf5$E ze3l8O5YxJyucvcH9~K8D%)uUbUSrCpDc4?`MpBe}e%6yl{{X_e{VT)XB}shJwt2Nh zw%IK}qpcL7vqdxGEsMl-m}3AW?lI=LG8|`)oteT5+-|ZBo21>}^d&9I~cqDrT0Vu2;!4k~z}4 zLV2A0o^1N(IbQuXLB)3XFlp@BboQ@ilD5%QXxXnc8kp6|?{#s?*V9P`J_y?u4qu(g zDP?uE)SBeiC@D6q@N|w4a3W4DX-mGntku^Wea2gyuty_W!xYX9Yux!Whi5K3bXuWY zYg?Z5c|A|6!v^Tk;+khL)*43T!);pyKBkV_a`2~Q&SVa0hN3pOWv=DMIfqf|vzkt} zamjKgcc9=;5&=X(thfL-=%OfjE20JvYzN6a0s5dB$8`X}$C3ezDpBmF zgAwkCBt(p?jFQsF3=@H$JPfa1%t|tpm5@!e&!5K2$i;E=r=*|B);*^$w;e~s zid&U*^>aZcowC(XKCS*F=ALR8<^7}jx!x=1$vxb0fwJ+wmaa8bWpVbC{{YF=^<3v= z@tmIako}#QB-OQ1{{TwgP=4kW?DZ%7mUulPJ^8RtidWcv(AJVT zRqPLaeh+nI%~Cc^7oXYSAGeHsRcmO+%vi9>VTyE{{W?*PU@h0*Yr%;!POj0zjEiow_0fVvEB1kJde47e3#V{ z;t@S81+BBZev=CJ(fcOq3S5u+M(1gyAdKavvNw_UMpu#0psdVMeht}8sBIRXql1fo z`a|}Ai%VBjnJ#(`tl3^2_Kg{DiAe8|jF|F!#O0S<#(0@8UKqu(TMhgiQ}m(mN~-0n zv=CaC0GwAIX(%&}R?33zpD z;V%s|-wiB|=BBV);-eC~tkQv*WpVR+%bZWD@N;i@S4!9Jc2fmh6i=91*N&%(-=rr@ z>iR0TKFMU(mc2b^aCgFKp{OuPApYF5Omp0Fud2ks^m;_3{I#>sw$A*N(e=PEbF>k+ zFbCz)e2=!zN=L)LXPzBWYL9DeEyJ6wFp`!XXHykaP8&KpDv9SUK8L^qBO<7d&<+@PC01;zdpSuS6tKThe{X;>}#j<(gR zDxtvTe34T~_l$QBl8LT9uXmdIY#h16qszD3gU-IS__W#ds{a6XWsb#gzf>^2mikHS z9Mk*4INb6-*zQmY}Sb=~pY9Pc)M|pBX#g z0vbGnKwqg~Qw(ZjTz(Imz4uF#6;T+HmZl^7@IUB7NeAW*3hK5hb;&bTa_pAT`U2pE z@~2YpV?t^w$sZ*}%S+no=5&tcagp?qxx}95B;>Ej@?qO#qP|)5(0ht!%3o_c4K}X* zAh*3MSUIWhTBlCiryg<51q^Q=_*~`oeJW1Al;)2&Dk@nkXV~HZ20{70*y-`ez#7a3 zx3B|XFuo#B-1T25@y%!Gwcrij>sxuf>OLUcD=rl?Rn$uRoH6suEQRlO8xNa`_AB~} zCYUHfDI{{dC^xw>>e>1(J(=w_wD%|uyfqY)M^OvE$`>@YMmRaH1+jt%ARnSz^#)z> zahA0I0RFy0!>$i#_0?bUnB=E?4lR@x5L>ng!R_Q%fZI}1M_XHo@&oj2(EEqBBW>`s zwX`;y{WmG<*2ea*0zCc@zTd7%&!*P@07Q8>k=8_!^iSJ=C)p#4p#K2-xj*~NUop~_ z^J`zJ-G3Fc;)e?OjeOw;6LkLo6SUNEOL5b8Cf3CauH|Iy1hz<=M&Ld-J%o;&*+8<6*-n1^Ef;*hC2Ul3CBxtX<%hB=480rBB4;gEQ z2s^LK@^G)hpKXz8e4j@d#@P2JTX9F&>)EG^(#=<_cu`~*I*hs38+#4Dx19d@mJ-tA zoS%$19^kFC^(>rs_Dt6*E0SwRhP|RcMK$kAS}QeQ0W~FdrjCt{noU1*4EN_o0Vmz& zU~6S??8h_{*pq;Mix29JHC{x2sl#_ohPPYOK7Ki`X)Jpj*EE*7t_7|H91ua=5OyH1 zu8onhDsb@6B2jRCvMHXs5x1Jm#EwYmu<7zbi20tK&3WX8CIKVzxKnEUJQJ_Pv z{K|m&eo7S!$wG%gx&eHGfC(Sorir2_u<}&MiR;|}&#q7aJ9k*Jpz5PRk$alZU7mqQ z72Diwhb0d@_P#F5YPRZMY~I(&nvA35%y9QYXvr^gMa6wXchR(x(8)cn z;P@Qarj(2{7Y34AayM^KxwEq8+La4`CJs`U`DW99)q1Y~0HQt8yN=ph!P3#mH8r@o z(O1m){{UwkY-^f1$zTL}V`b(kYQ)rh`7CShmgN&%;MWfIcDa)A6`uQ7Y_)$gTO<`t z9PcgW!A za>mJ`a1wJ8dy)ri73a&c>2bl!8>5qNWk&?O)6?EHgtvYmiS1F`C6=bSwwh+tI+rc| zo4hujQ5iTH&U&v_oQc&^uC?Iobjd*|`8tQQu9M;|ZlAkdwCyFPp2a;wpo*^I-`c*d zm>kRi5(8S{oZ$8gUsB1c*`(V{)nsZ-dY(*8?^f|gfb@568C>eAB!cqS+@PM7;r{L7 zxQ7;lg4~hzPX4Q+o88r@!R;eWxET4?tEC=dbG;FutM$FoTAQ?&I;%`rH8qrR^T`vR z_75ZXEzWa++p6i7OlpU1ual-!!TX$oglNhD$rc4qnE@4>O+Lt!N{1S8}ya zX&q1Q@NYmZZ-ZJx3KV$VP%V%Ld|;`d1aHu)fDp0p1>0qi3?L4Q04R_ng+L$xfG~hz z0MH2v2M9qFXa+KcK!APr>4X3>|bSH zW*!=G*FxWJ`lh=1OL(KXnh2zzt7BN&cS6I=VtYs~_@o&*1K~ZFo%Ih^%fQKsr}F6Q z`g5V-^-MQq&+gyJs(WY9S*$#7lS2M}^bK6z8Y8Yz-bp2`q|&o7^vsE5*T(KT&!d_3YU>FmL& z)Ks*9p5huP-H*O!FNpe{U(SqwL)F1rj?CxjTe^y0XWc(*$>zCh8a9FE*r}?eKZ{zl z{W81rclsIUJyo;G{{W+lir@M<_KKy`6|?wut$#@CB*DiGZEHEEq zzTb1%Yh1IFdtPyM+!FSD)w;@xaTVHHLu#`VlbZUU*+f7e(aWBHvb%6`-d*vl*wbwL zAmn^m;mv32Epepk;E~M~7t2(Qes}mQAw0zSoMfLouhFvWQNopR@R8y|d$~!Up*IoF z&HWc=@n4swoKJnD=H@g{;{E+h`;(iByMJYoXg^Cl7yo_hI&(5O&_0I_LRQp zE8TvE)f5s@UG)7!?Um3x5Lql=4n{`pa1C=$Le~N|EA?D^p>;8`zE1+^xXq?n)6>^h z)WJh)qn5I|u2$1g(?rf`C#ZSljyAMzT<4a6Jyypk)frC5;MEwpOSK<*xC@}`I9oo43p|{kQZVc>&zAileK4tkvZK~U+V(@)6OHfIlJ@~K1`z&9jBEhKJTETA9 zS1V?gsi@{0f#w&-HvUbPtC0G!%j!CI6xT(weqSi_FS;)>DIZR*w)if#%DY8R^Hp$3 zO)vHy(#L)TuabndB>oRpOM~Dd+EOlG;@`P`c2RN7{{4J~EDR$Hx4AG27ADK8s7o%9?ISsPkH2vMg44z17sN``2h47Dc$;Mt$>g`Ew9};-^sy(H+ zFU4&^!wpNuJ|pJWS1YaaOQ@@wD{bz1H1!NTc&Asq*DY(bRDf90fR@X8&9~VBRuE+lXU0$4eJ}cqD9P2jkX%ny1{BEVN&}y5G zqT&QLYo$Z!ZTC6vHx|>>%Ns+U*xu=I{58PjZPy24wL=T0xwt|pv}HW3r5^6?4*B{q zW#;y_pffzV^6A^Vxt`)npNNSho}}(cE6nP^&P)k%8&6?RKiaF&29Y1L+*XX?pZg^2_@Vbgh?W2mgeRJr&eQBHo53g?Np|KEt zx%?5L>^cp+&}>H_dZ+|?dLc#MY^VjlTy2ynyP#lyE~+$CERNrbpbt;)P^1r40KRAk zk<$wi>}BoRM^oMGH$72pvDQ>tEY6L$3fS40sf>pV4?VK9S(8;$Rn79v(W+8|np`4- zbnWrhH|loUD*pgfM>wT*Z-jgiDcm!grf{Ra5wo{^l~pF3jLlxXr>WuP9}n52Y><1k zW2+^*#|QH2ob-+F{(#QFEMo`i_c#3vn~!SJ3-_JC!fB zvvecc_h*D=HSU^t);H$Ipl-TK8b^s4X?-)~G;tH~_^&-Pj=c`}T=@3cRWXf|+cQct zp3~sK-z`=O8*QFTMg7+*y2?jQa)8phCeX{`Iie8ae{1l7;^BeuVRX|gZ0=SrJ&dN| z56aEAg&a4sYZ@!P^7*PQ*5A}lf>>xPW@Itfj$zKi;^6Qxfrc@}=e8G})GxlKtExVI z{sc7NJ_W{0HkP>DC)J!g(=`@L4Lc#BtYoZnV*O%yjDe-^bIW=Gu-FWMxp3t;#X{G! za*~7acRn9`D(d|eVH{P|lj;3)Znsb}stY95Q@1e;JeEE9V;tN8%62(R^>k%bZ?;E^ zcUh)(`cPc>*_GpVtDyFQ&^GJ854b2Ab14lGUrOSBh6jJvBVSN5lkS&za$z+_5wg zF}CB>FFvI?%eG5eIWRGId$DkjH~#>U^>tbnhhAt2FBfw|<|w zhSl{(UJc(ta4stD8(g@lf4x*mb`FxJ7-7TNhUc5bJ#zAMj@Vn(jy6WM;PJBh!>c+N zaf8$MHR02By}dKldrw4$>k^?Knxz0d& zsY3_{jP*bm9l$^{&?m5B*+4CjqCHWNey9cqe>HSbqCtWX6#zQ)Kp6BuFg+Cm>Cs{a zssYtT0|}r3R0(6zJb{sbs1l6<5UP4)mnP+*k1e{dew6_K0I(O={XCSam+pKI)=})b z59J#qa?1@vYM_=_XJ^@#DIFWz@^eTd?_WbYDzo#X&yS}f>OabpU$I`}bh+LuWx3vN zb(ads`FvWM%7@Q1oUILSGu}&`hO_~bumE;enroqUR+3+#t0wDmrQd9uXH@oT4VPaC zobb+SN!T1lKqZ7_a&=Yz08H9FAEo+joky+Fk6YH+%=qu2FWPqVS6wq1S3#fix?oEh zPiKR>56^ERSD8wj>Qe2}KcG7A(VbJH>d8a858WPTzB#`7{rjwCEqOjc!b$0w%_2bL z^*ep*B`!8&7%u&@yG%>;W1Z0B1#(N94w%LHIc$dnWaqYfm9!LGdiMG$y_0(&U5_mK zg*0MPdD{&=R#9B&jp+Kd`Y&xxp!R8~xxIuNzNxxS(tmlenBX7%Xs^${qnCDTkHPI> zq^d_d{VkVA9V^32FgX%l?iFReejOuN5B}frTmF}h@+8-?HT4cEK66{HH!D5Lj`L-o z-R?H(m}_XI{{X6}hCw7w`aP{bMfTYcjg_?4(>#i$*)HSnF9*1dY~tSwG`|yVL<)UF zY=*Jy2R;?Ezm&^v*hSmCW<=?Rxal;i#uHbrIG#tt_!l2>zsucko|f zb#7G2evIPnNwn{^&l2N|zMa)K zI%}Ogk-L@6@u=zK5;Tp$59T2GjIYr86OH%@KOPSoGwio$`dRF2?OUe(qjViD1$A^3 z+WN;!99QdGorlWifZu$C9p4n29kN*BTJFUBe^|h?2IkWHAA{1yzBfakCS#AD#~cjy ziL7PsTxsg6O+gfGftR~IQKhVOZTl>c;mni{-XmR(#4dauuaSWDTjTXMU5yKTm~I98 z2k;AkdX_zLr>&Q3-l3;yZ5_t{09e|WQF9DA&_>oWHav~F`Ae`!1Oh?n&FeW?@$Iqc zeufodS5w+9J+J+%bnmlXgQ#sKT_t9`yg=ye7J~5iha8W4ouhWc8Oh1VJAh!^k~DPe z8#C@uOOJBo-l&85J}cbrHP>r}Ro>%SEcMm1zN(_7&cu>V_ZPlWf23YZvOAryze`oc zQmIRXw0!KFl>6V4>_@Qw0JX-S_JPp!dQVVYV}pp+3N}M^qM6*UxJMWbZFE1=4;U|K z-H$HF!D&C9bzYlh4X#mNWB&ky=&`Sj)u+BrnZ|!+9tnFuGM)TU(De5@$|jamTp*~D zlCl7LwX?$JyO%ri5?h_{xp4FD#Cxhn$<-S;k*e_H*(cd&*~X%NAy_n}1-`P?3+8?L z`E!!3)DhtGJ+f3hwhx4yxuK^7@4DNO)pB#6qUHS&g2sg_xa?XNTG%*?qb)k?NliUn zn)gmB=x2N`jLi#)<&%`|1Ayik>_J|1w+GtIsVOa^U(=XZAUEZ%i-o9Y8lu=nUUSD8DBk4O}LWXZKig*;bPReIo_1^5cWpVwe7lFI3s4O zsg1$xb<$dkn;JpbhE%=m81usGv##aZyJcfASd~Y@IS1(;;wQ6RR|W1|E!8*LDK)Jd z8Cj-n)`*)?Rd20e#BPu`;erP=nBUGuSm$zr;M{cdN10|yok{E6vmCmqg-$YhK79Kk z@p99_4`{6;#4SZLqOrj&_WP{OZ!w0JrYA({a5uvoV|m6;D^APode#)Ov0P)zJX|{! zR&agKx7;kcvc(O`(OpM)v|S+Pig+B_ih7t{G1O(QX$$iYn@6}#sQN;A9 zljF(6y&QY{q`aQU)0(G({?M8@KTlq?&bqMG#vLpKMOMax`?A3Nx;JmTT+m07@|UfL zKHg%{+T|M-*C@tmuVtTSeIhaM`00LhtD?xDdyBj1-<_vs#p! z{-z3=)836w+E3dvgdWb88rUmu^cS6AB6qlH$|>6|L#89)H5{afA_sEk;~)^w{%})0Xn$cem`c z9%F;o;VYgpRoLYy?V{>#Ehb~N4W@?4cADKos3n&GY>)6iUDd7!26Os}jB&na;Z0j)0sW50FFmziBQ zXyTS+V{fLTy+0=ozgez2Pf*s_Z!kbBt#t;Tsf>GNjJ>A>WNhG9O1d+PQTIEmO3%74 zgL9+M+)~um8oo5y^xZ9<%Vl(AR#I|OF_JOCzp;-wbAdgFpOIWLlq-^@E`LI+YpMDz z?Z1<+SvV)hy;Y(sb?sKW@hUYXxH4)=#=dFlY1#{z(&Mlvd;#WH7DOpmcFW2*C)KfN zztD;}CY#ZfdZwmID6f{AZD^d*wu<31**ubR95W>Y3p_y0$oTS0ppINf{?Ru6tR~XCt^?Z1NrZvJ&3?j*8qI zTaSXzSF+uvxPwzic(&Z`^z;`3$*8L9TH2YL`=&zLTY|?sQq$Z;k$0lhxL8Zan zw679>U1@ujvaDRA()Evy#Xu@*+YA&n4+NH0Fdq@^IqEU6Z+xwG-8VHg{Z9w@RaHq@ z%X`^*!|i{1;bw!>dLrj#v)$}EVw}}e->ubA#@XKYWwAOL2y~>5VC-iY8S9m<4L{~T zCam6-4xu$<8&Wx~wCK(#>*~!zc&WTn>Dr1JtLmuiR7|Llt4ZV^<&N8q`USH1=wQxoEDNPB@{Bjy(# zOxusAAA@Siahii%==D+IriZm@Dr*F~dYWhj3tIUklLgIl2R7h=>$k~v)m3ncj=4S` zJ34k`xk!BB^zpMi?aTfbWc(oH#@Nrr z(-|7_W8JkhXHQn9oMj!h&L72HDXDaK6=$^H?RL5wo9cb=_$_QyGO+FoW62GS;EZQ= zo;{y$YvAsp`tmAmGiS1Ct~6@R8(DSInp&o+%`9(kzge2*Q&Tv6>s>o9A~aUhoA)d?@>`$V$?CK*@>9u41xg45)c}f{0zf4|AOrw_ zF}eYdGyrjg0DxFf1~NTR1~xz#R008EHc=q~3IPaBpUyYttV8fnsTio2Z{K(3uzpNR zUDPr`g-{QwfHB`F2lZ7HSw^%##^`|61aL~40|N*L^+NAJhz1DgnjjPafOz>T7{UNR z2mwR}K1%QgJrjUS%}oG36+l??Kt6#&Gj7o*`5j=u{&~OdueADeUX+pf_ttOzqQBVK z$-whpM$^{_`1H260D@C|@@bz4>psn8!-(+4-mj*Z41Zv*9;f$X=^t7C9?ky%>O5q= zOs^2C>fyReEHw^^<+$c=UHcK-dM&suIud94LrpNq##P%C){i)G2S8b`^)gj9Dtm2N zZW%2!Es8RGm&U<|XUt&l-=gBm$BbU$d?(cZ0O6(wSFO($Di$w~b49o5+rFKvf{yD* zV)0MxWohP$U^}t>56h_T0_D?^*0g^$^?re$(5`jnR?=SQXp|P{x8(e`TyjlYv(Kx2 ztmQJ22_vaJ`USJ(Nfcgjp8IDxSnSqQk-%hf^h88cF93oMP5La;Nrtw1mw~^e6IbvL zg_eF6Y2FstZdBHn)kg3vMMbJ=%vzLQ@}l$>7n zYRSu%O4D2%RGe-*73($K!N|3vv2dr`6WRlUdM*4u;qIxoLu7SK)p0{zYL2b+?v#S| z#`h717iHX}92Yx%_VY4&J|0z`q}L}@b1Z~=QOtGTw$yw`)_1LctE%Fuy z5k_Ci)-|kP`z>o&)`64LsXMOBY-+J9^y)O(W3lc=y)y){z9*6z_LiJ^5W3s@du05W zJ~>CJVf`gu)l}3`P|@8qY!Sf|VqtEb4sdH)0Nv7@oCWj0`ezPJy|cA-3G2baIH|>L zZN_bBRm2V;R#DYn>mY)fX{jk0O&ggDd0Fr`Y~bTP@I05Rg@s>EtJ15Kb6a$;mvoI@ z+jP3wZgjV+9n!Yja-n~TOIt%y`g)3Y_H=TvhcNnrx7$oI6NRg3n5jw+ac8EqN9iW^ zr_t0<+ip6F$*UlM2DSIgQ(aP8Is-H=jJW!_t|z%G!n5g|8yn@X*z1o`vMWt&tE@js zm$fFSqLPNybQ=R+l03tCz23DY z-mg$0c*_Rb5?D`ihC&*uF=S=WWw`0kFVc?G!^9c2u;EDcLJublGH1+Xb>I zr@1o^9tlxgE>@d`HQvo|tDv}1N#j!0(a!iMf=0^_`ih<5-RFSwGf+2~mVIcG_1dhdaVf36lFY@8H^37Le+j`WW z1}5FczB1YEboMJh7q!j0*+&?LmWGp2*1=Ct8%7$)<79!XXd4E!02XrTm{XIKt6MQy zcfu+vUJYvbf4^#LgYP<$`EtA5C2LsvyNzU(Q@yPiXfjCR;sDqJcI>(+rmT4O(zJ{x zWbA#?dn^g+Jo^>8QI!1nFy-=Y8YhihUg4!Uqv7WhHAbDL2R`j>x=R!p^YC(G{{Urh z-O}*y`=tf5d@`(u37M@y?LqAws_7p=f8(aPsilx|$q2m510LTeHXcr4=vEbUY#QGC z6J}2~{q8SEF(u@MkX(n9ijlN?WLN!zX$E5gOLUG`R+`8pw&bQY5^)s=OX z^>WwO)=yPcP(hlad0iy35#7&mCErrIDXO}n)oVtn*()C8_EV**tDviGb-t!*TBaX{ zdU+ijjrl#K5%en;jYXVW6w4c|tMap9sp6Lt>nNRWtKwF!o{`PvbQ53e9T{(tX_Ewf z7O&yBZSh(*emf&t?lpFXfJ0i=_n1%JFL9;BVzBj zRaYbt2RS3qs>(!x)BvE^uze7_5$V1HjBG?;VGNNRZiNv9f)oTu9))7V7exw$HdM%4 z^d&}tD4~*h84NMK?~%ccV+Ko{dH@Gfn+>JQHr++R-YIDtNWW@r1$nmH$OqnPDT`Rp zdT07STrCSCzZ*4GmqpU_;Uw9nk>s{7lY5T5kG920FLNlT5uA7l*#v?`_kwIvbr_6>&*V z2?rQx&olmGE0(zDw%J>8scq`hM>_-qmE=baFne5D z*1IH=yS4)zR+Sf0Q;P6(s-bI*(mPx{VdL(L;f))sY<4Sks>MYFF+Su(6?Ki3xQMna z{icj(9r|}#e-l;HbN4)HbgVnB?~dDV`WzQeU#ppSrnuN>IW=V+MNQe-f_leC;ys|h z;EmW|z&{Q*F2d$%TAXC~J%?J-k9P-0({k}!id;Ip*3)Q9eye?Z8$&(HqNJL-IbsBf zVu{C=Hx?dTj<_2x87k_U>@u#1R{N7W-wC~zIDc8f%NDV@Ya63)Q^6hT8mbD0Qwx0H z6XCQG&Ehws%Zd1#ow_WY@}JqRKSM@FO^xiCOjue{50b;;u5E^p=) zEOX0QEN^pL&hkf@?~aRX;GKJ{Qy|gEKJDn_$g-+s>N$PMcrG}y-F>9B6SSol6zsB9Lqi=! zvc~FZd0yt@v-CB;noDLQc!Y znlE>r?F_*FuXiz*;4KFa_}p=xT)U<>SyyhO+L1qpLn6-QE+tQItZ}32Jv}3zs#x$VipE=u_&2LnvyL1X zey6c%ik51f52tFM4RsT%ecCp@RtGu7qYeZIe2K;a?XGv$^%j~(n{61~Vk&n<#$Wj| zPvcgZ)Lav)(ygqeb=szh^yZd13!NDUnqFayFYqclXzp=u{ zT>V#@E>F|e_B?K}Mo0ps1Obeo7BZj_81+}kVj%e_0RVa`0RSKb0Dx!&r+_e<1Kf91 z2#;OR20my2gain}03A>aC<#ZO5x+H*L-0_kAk<1g#$N5ds~LGGu}xwSDvBPc1@%w@ zsB9JT0Zjp_fMdE1h6-p5bXb$zJN*?aU^AYofIeu5goPwJCV(gb7#=g(0P(j(06!!I zwke<(S3qP1K#mj$MF`EiLg3R@k13h{>iZ9-pV>5g57vn*Du1EfI7jU7uXx>SzFhP* zMVP+9Ej&}xS5>+RB=K73G_dj(mA43u4-l<8+RNe^;tgrLGK56L=@Y zZV*jH7QL~>KrTjMM4I7qH_W5G~1CaVEVr z$^MM={JQO}cF5t^x`sNS`GqZ#PiLn)*NvHtF(oxsIiRnkhOUxl4;G$L%*PSX`Gfso zg0pl+_-ymKuT8<~^g6QOq?x_y&KXoipyaO7j+VLxvz*dA=As}5;iP{$K3I35>bz@V zC|Sw;_w_IMcV|wNtm*H%A0FqLC3y}c`Qc>Kk0<4mQiE}q4SN(^Na$9xTVCZSyB!8f zh{X_bCvWf;de8_^eiev2+j z-pCM7Y>yyR*4YJ*GnI77vIGnsilwqPfDYLDER<64H?%~w_5La6fCOiJe{!DsK?|3D z$~~84N`=sf2dF4CM+ELkO%xAIsMd;^9{qlb1R@Wr6oFBck7bE?7CjX%z~?zC6xw)Q zsBOASh&C-tcYw`FZLDPSundw1L%!P_AEL#k;?nYH%BkHBbldB_OIp$3GQu|KSG2g+kFRfUX4#=^ z)jHYzR}JircDNu8q|c|huVu3V+*KV82b$3n5FcBE!F(ZOw1 z!7XoHr0+E}weV6%8%=emcPte{lpL^Roc{oF<;UtY<|h>S_%ThcO)AeIuf0*(?$>#3 zv^CW+!BeENwr4eMiknE+-1N1g?Pt^$+S#Ig zCF%+?>E&Y|fFcC*MhQ4`ahGEOaK`76A635DFDTsM=`TCky3z2jP3kTqzf5TDOLVQW z(A(+jD{j-#idm@M<~N+ZkLBcJUgqTW#_Cg(Wwp0+TKx_Ti`G1MIJRl@+$h%9o6X=@ zrlq;XW}0WzT^VtRLjM2>%_c_3=X_sjr>W|*x?jptvFSetM6>Ct32V=>yK2n~a@V{& zn~NI%09jSmUTRusEOz+dCB7U4kBpp?%maw!JDu`($B#Q}uOVYaZEMN4G4xXGOHCO) zNm0cMoOazSRi$T}LfoB49j4(~Y-8IehRFGUXw8_zA;ZDnmo4hGSry*(E$GIosgK_H ze&<2G@EeG>-WgR~8>ely%}o`3MO)?5_bI5MZ3u2a@K{3&veE$D;DAn4u9rCQ^l^U} z#aHP)t(`mB?}plb(ZXsArPNX1r?~-JD7rJmr=kbqb0RJ{3?St5b#XbtU64|$UK2;m z{ZE;hc0z_CX&eG-jU}#liKw*0IE{3$=sHvHG}gM0D}0$nUexGTb$! zIDmc~mNH4c#JTx8skuY8bK$>Zr*PLt>pn65u+ni>LrHA6(noBTXyjY4T%kI3F)%NYBG|Hzu?O%`tYmuruIWacpNg~-CqSY{;RqTFHS0Ht#uwF>7u8o zk%7#UkOSfKb2|gf1+{j?IPbyY^*B$dVyw(%sVDyc1q*@T%>~l$Wa18i)U?yOt~zQf z)y}$B)JF_|5imy3K$+a6WOFlil0hq#I^4F?m+Ez6#`$8#RmmsrTyUpDUAU-k8g9*Y z_nJ!iYHR8yxLhZes?@+;3@xaO8GONjJDBV_a7e%_qMEG9ZP&s%x}H>Ut5&k-S?Ha8 z?D51`-Yq(_P6yxYqM93o(K?D6mc$s>u)xworFI*+Jf|d_Eae$u+xD{>a;WOK-^^Y; zj(>BC(WUs49s690X)mH$YpqQkt<3j1$X(F|gkXxpvE4+D6P; zyI_>zwv7If(EL5pIv(V8Wo>mo5g~Jp6cN-DPc=KpYj8m2b4y8gUdz#*G^mVbynn&w zPctU|psA`q%U*ZvVa6~q(OE5cJ-G5UHKMRNLZKl+01PMtZzKS5+@^vS5C%TvKrl1c z=!9W~N-S-XfCxY&1MGlGXb*G%RW66J0UYOkh(I2Hnt((FKqv;m`$qiMQQpW=sR!O> z+x;WIGO?GEY^C#4MFLSF;4*~RCX4JZsstZ0uF5gjb%vZxJ15nu&&U9n*KBPc2d zx�r1^_~W09b+gsx&YTHc$_;pcMldKqHg`86h?U=72|{FC_47x)A=txOvML`=xz% z(`}_Rd=J*kbE*D^t38?cr>ZzzV87JqPjE6^buO8utQBw>8tPf6mI(uQ9InHL4)|Q( zQQ*~^WF5W|XE)M$*J4K1S%2*l#mmPS_*-JX>M9xWDrRiA;g|; zS2P{)OLKs@KAFRg4t%2z4kxMgPE*dngyrQkNA_PJ@t;q|S_@>A?IY8X%j^2PYYxVb zoBCF6o~u=hhMDS~DrhT3-IAH8g`=el+{5v7R~NPX~=9 z!bjQ5;{=>W@sanhZoKGNwKMb{k@dx~N;ywvpJlV%?9(~HeY}b!waSNrk<7Td&*LR_slCGKD zvco9DnsJfnK^P#6f(RgxL0nRgEg#RFLjxnGUh(py+ay@K2kY5tU$MdakSDIk9Tr>H zCR#;GS~~lL;+EZStgV^dBBiC4cb}sgRx_P-f0-n|aT@17V76aZ=>2JGqmtov(OQm% ziW0`lRaa-Jf*8xr7##PoHKoU9f_FVKu!co5mtc<3-(dEyA9k-lnFv#2)D3 z4h`pVaR3fyG;VvXIXQIU#ZLFFnL@c(`(kt${foVwZ6U_t)?n!0`vf;;Q*EGrC7W>rHz#&K(`5>n@+EEtMCWo8jbabd*px znpvcK$ZJ3YVV-9lnhDuyzaqSCJ07<5jnJxAcr~*i+m!BbertMP2C3~mA%Y3W-)+&y zorK!*U)U`YY7Iea)6vyMO#7vEH3Mgq63C3wwlMbrzbi|!alQdqTQyZuvG_(+uTp9| z@_PqRevW-Lr!R8oy8i%dP8iba#=bZiX0BkSn9UhXMh}UoBtM z84{0rrMRA)uq#haT0FzXP7iCo1ZcC04q4Hedvtd=LkH;GSKPW*;X1IPvOxV7Ct za4jux1Q5Oa49fb2ef9AE4jb{_JJ*zG-XwdID*y+S{6k~pS9DVOG0-87 zbOopN#qzr8SYm8Z7D(vW#xbsQ-v0mv;A{p!1cE?3Io(RE8A30YC!?aASzen)Plgu1 zXF8rAYf8Q->TOj`t(ixi8%JrT@oDFq!*R^#kdlsG-?0f3Nsx@*mzTa+b^*K6`@ zrn;jRtvP)y4P|Xdxlz(jRZvGUik275{C6R&1d;27-tDfn{Kk>V3gv727Rq871cDAj z;+Z@V9uGN_IOOH)&7HY%oc33~xX0ArA0+hWy=#)S%F}bSRzBT$wpLr}<7ji~t0~_E ztp}kjcn-nrae}d;+V4%(Et@Ay>tAv#i1W_NX{jAA*HR3mg4AELm8VEg2xm##C&{euedxp4C@XEO&djw?P#= zlLz<)S4#Geh9;$*C=9or-NWBkE25E0JlYkW&g*#?UG@%Iks#!bmTxx)8jZ1lU4QUwW zB$egeO2|@_9}mgC5mS$8*DSnktm2g=4!+_S4=S#fo3%`qdP`oLw6sAzR3WmyDe7F{ zOQm4=p}}t^4>ska&a(|u6&k0{>dkFMOLJQ_UKD96h^sZF*0Y3FH+r|nEV1cw)RZ>JgBMg)uhfdy{F!(-h$wX(n&F`IhLzG* zOMM*m+G=e@TO{`SM?aOX+nX}VelHEuW!QUx=FUR6?k;bZT#BPKoSR6$pn~fzlGfB( z&cjz`xmVQ9T|Gqw<|wUE%P8?F<`I{NHa18b%ETM+5Bcbgy8j|k~x*A%V_!&`ABrfFTo5qMn+)19z=4d@i?ox~52>HL@aj!L7H>hm$ zu7s@8jJMn=bxr2+NpPX&Hu`#L#1ztUW$t8w=atVdZagvuz~?;`sw!#sKL^s~LUFNr zNi_VO-%#*=rmukZ{{Uz%C2Cpk6%MjQ+8Z_6H^CfK(u_jJJ|Ei2Cs#)yz#yJ&isp^~ z0Cu!TCS*GZtiq-v9<{3Z8U}Dun1#&gl~JBjpfUlcNp6{ zqh}w>+h)t_R!%auNhEbkhO^b&9I!z=^csgmY6@1!*&&)Z>aABY(}y-#{vQrDK<^_5f>_SP7mTQ$5; z%-@a&NCP2oKNlz@Jm7(avJP-hOItL;Sd!i~FS(;{(b4d(!KyV@ryOsqeygglea_!h z$(zenO@jXb+OdPfl35;pDE=G(IdFDeb=Out?Q`eg@H&jMGSp~PuHSd=QKZ!R!sBk6 zTX7#tNvWi+jkjxKB%y6Y5z@#=laZNlhvEYz&OZ-O3CiU4ZI|;J+C3Q4iAJ&0?UVU5 zt{3p`#i}(;eyD?1Q0W@`wL{ryvQ$wC#MH8k85_-pxw|_Yfb!s;ict?L`ns~3rJ=GLfsQJ8Mje3em~%$^$3Igxq30J z@=E7aER-vIlPfo-7RGOi(C|9pU}PepP?abk1OR{#3+RA41pxg~k%Fju0O`3xi2#W1 zfIA=$q5#|=43sF44;|DaLR1geDikqi(Y6ay}R9C~4NuM0-40ZaU0s zJt1eN_p76*tk;Wt0l}`8T0684b6cEc+>dbjtUjc*P^+?EmwcQ*O4RLkS061iH^$8Y zsyJc7IBYu3)g`{+U&OoRbPaLHo|Mr*)=a`WvDg?tL%1PvbR3vwbqPwZ3M>Brv(W3f z^P{Im7I5}!Udys`ajQ-=_3@wnCjzKJQmd$Hyny1a(~s=~lRBReAT~%f6{- z&T1|hcv@PZSlV`P!yCGE?6%X?H)8KTzo7kLI<8U6e0-jFu7bANSo&Jn9~7)VWy1^V zsJ1pmN+<3eGpSRTTC%BZveY_m%dYK_+wWwAS9xyFSl&jiOeM5;-Fz$2@1Gj6KKV4##!p z#gZYoG^bEd>bg9UWm$UgX8-bqS`7C1;<Pl5Bv5>m;=`<#9a zQkC{AkaRKE)g=vFZvQ7x5d~-%V-GC|qKPmrX@%H4sx&%E0L9 z=BY9djoi(~c?*MqYe*wHC)YA2-Idk4*SVMBYg|p~nx_rDi*=T$<9@Q>R}eLY9*MkZ z8!N9uv)sM*lC}W$hRPgX!pKN?cQN>e;{bxU-PXG?<9$)y{fP`k-s0Z}K-1pGe$AXw zvfb-=Kka5N2SzpuompFRw0Lxo(KtBCQ%{D*NDYooUy4TMxGwIw7hKD!uTrng;LYMe zrqeX;AbU3O9_7IuPsU$oE-~sIQ67YrNrn%PYo3u5x@LsA}RZzxD zUC7xc4-b1sD{u>l9HYs6wk9<;bvq$AtsbqmN;F4LlD7qa^ml#s5Z2W^V$~O#TSR3z;&y$<+qk$Y8x^Pz6 z?FH=BSE^rXH@0cZ#+}p-WVN)_(f}gxp4{_uInlQq&jd))2*aAYvGek)zEoy4zbT_l zn9!UQ;pE&kCj~u}_y?(IxJAa>R=&JyN$vD=UiDQ4S0%E~Q&Pc!1v5EaG%O{gm-D-G zvHK%J>N(kJSJODC$JzUv9Tim6B^LHs+kJ}cIxCBONsElSuA%%i;Vrrg#n!&s!yQ%H zI+)ApDWV&QZ4vZi{K;|u0QoV73R7-g5k}R*e`XJ8`yQyJ z;0Bu2`Uh8OOFa68w)@>+t){$D#epLmCyMt+ASI)GeWA04akg2xy()2ejY=~3_9SVi zA$^`o+DC>S$b3HbX3!jc;|`zJnu7PLD=u`fSS|OD4wmI4GR)E9IiZFaqhlCJW5bJ% zF(CL>n{qmaW@NGPWR!pUEUCw?m1NByi(D+>wbR+pP5Vi3Zqq%!nhV8Uhge#@@@ke+ zRlZkAOC(+~FJxSWkp`W}mI6mGd!4@%KHO}XV&y&iqa2KS?5SBt=u`HH;ckoIR}Xk; z!}+W+yNVZUTXiO`xEZ7`rHXEUccKxOaxm`havB_b2H@e#XG+M(&dRdcKjp`Sjd=jP zKtsPux@e4b_cN~h0_!a|Y~ha^D6Tv_v)m1@MqKXKO4;ir6Wu9X!p2*i&^cm<5lPJU zlHz1(*n^%gsVTB|RQtGZkM3^ivx=@yMyj=OHogNGI`nY9&>`{0>a!sMexe#mcq{W zD83%ewMwkmI@;0X&K^kGt#PG1GJllbZGpHrAikzNerxJ4vM&}=e+QdIYFGMysqNou zA7vKtC)zVz>l*$!@V`pgYpSW6b7k)E8*rg$qk)cdsmL3a0QP0WBb4mEPXnn=yj4o6 zzv;o~=cc^H;-3FnpCf&K&VN zSD6|fFyh9s!~$?RZN|S6n9FW5oV~wOdbSqLt!*T5z8mqP<;E^5+pBnG>}|t)rER-P z8%-9Tj@ulR7W#h>Nb35DWou(=fdPT?Ik*pS1;y^qr0^q;NAvG%f3Gj}Ic0yS^%y3O zne7dvHIBCSMbvuRj65{qjW(&$ms?FHoYh)3qMgjFWYab}h$ZkGc|>LWg{1PAI61A$ z1D(ZHvBS-e;io4Zf2)7}o0V$nyITIny~YkG-MxtKHl70TGR>yxYwb3Q8tq%Cu2y)e z>u+}omKVN0XZ?zB%rrD$fc{Wh%a?jMc;CilJe-L?I!Qfg8nQ3^9;>YvKFB`M+SZ3f z`$yfacFi?yG&*j(TG7){S)z^zZf`FiWRmB?+&7jdxQ2{@)oAM-J|3k>Khxj!79Y)okVnB;3g!6n3VIJw)bb0PR& zO1L+z{FzqO@pF>oz2X-UwI8wH2RK{9z6VInKd5!qnWfhHpHwoMDXQwumHs01k*e!uiAwBTvpekJeX;6IH^vWZeRHUER)W^o3;hj} z(W&lMchynZs%58PsGgpb5`E%O?DG?jY?JWwHQG9)9TwM#4Y+(8u_Udn*)_?EF~N4 zk@TV42jy*la$P98nv*;`$~OnDdatl(@wdpZ2W%`~2#tXm+z+`z?12bSQ$UFwfI{q# zC_NM|#mn1dDk4X!#jj%}rwn zUFT_vrdCQpXpznz3}K`YPDU_PRO-oJ34cR5z3^>3IQD$Gaf680%_X95^b^oofONMh z=3|57CzLt7gozj&2D`5i~_^{XsgvpV43lRBkG4!ED}Q5|K&QfXZ!tE{@N zs+!+5(rR;61-3>szn(B~<1Z<3ZZrJe-9qxRFURT<>~d+Z=ylg;VsL23=}N8~acf=0 zXV$e^qg>o7{91i6YK@XXPT0u}f@34ebE9*CB)pO_gOjk+db+y)&JyxrC9Zd)e$x6I zS86UOYR(aHM(3cd_j?UI7YVI4ie@>L6FQv!(8&>REUb*QIDyVHxZEylXIG%Eg6@7l zVR9%~+NMV|rN!Al3tVxJj5n3U z=X4h8O+{&vuja>>$~&(MJ)Nkp^jtjSE~wNxa(W>R1h7~lqvfD%4ySZ+#`7bbWUBE? z9$e#sM%fqxL|>^c*X;d{Uagz>ObN}$Z}vBvf3qh7ZhE4!{{VZn$uv?h$oeU2WMw>3 z$mf^H;yaAsG&qKGi~zlF!B-jmz8Ue0>iF4IYf*j6^f+zzh8ix_aj0buqqWUTL4J;! zO-Dg^k+*q=yS8UW%4T7coRC_e9Pt_oJ) zXRB_c(bX5;AKQi6vgL2Ad~_9-EY8_HPuUYu&B)0^IdkEG@rSj*oz9qAV6r$Z(G*u0rX@i7Lgb&)fBJc@~q_!Z} zWR744y5R-2Z=cZUvoE%5CmHualHuKo!>MhM`#xJZo$l8|f0kCuZM6qe)zi23vOY?t zf>{1$;xcktdh-GnZpN$Zt}k0W?7QuapN+FlI{dpS@vDZsMYQoFOGisq{dsrOv<$6$ zcSe^ov9eVb$4$!9$;`%(OI+yOKrX@AqGW2zA=%FczM0gq{TnvDHrblh-per5aIV)= zr0H%DYuklUf})1oLgq2=d%5RjQFp@=BEW297d6=Eu#}W1*rWYT7`;y-n>|Z6C_Xjh zuTjDuXzny=8&3(ijdB)4Y^jc0RF!knvfRo@+UC4Y$j>vT4&^Ly*fec}*9)qY;p$2L znn!LAQ^Af?l^Tx^d*hRkP;mE(wi>uNdp{4LsGz5*srM<}Y7^7=vX@3`B&pfXU=1aJ z^gOw409qC_I?K2%Z`n# zmfv4VSpNVVMNK35Sq(d6z-bNTaO>aXv{x$YuhgF`^zy8`D=p*I`DT%agHYM^9ZmKN zwdRvRzUwSE9XLJFrgt&m2Flli@fQYz$>-5%$eOczTK$ht0|tFNvNBFddH6=Tbfnk1 za@5@)bH2rNvOV<|R@K+A!%z@?1wTZUH~M><+6OS!zlx@O$nx-D1g6(>2EW zF6ll^>5|I8%YY~Ze8L$B?0_(UFno{#06+)@jq-#Vg#|#n=LiIPhF2}!RNEq`evg|N2pcxrW zgv54P6p8_;1_43jm*$}~GCb2;8WF+zE8wBJ5O`36!XoHlT><)G3K>uU+hC|3c2H<} zLJOy5N-^kwXagTKDiI4M!5Ot^oOpGh{{T)r=j2z_eLD8$d?(gj()8Q?PU*tl32~oa zTB|sV!WbZ$eJ5KCvP9b70;Wk~EU1lo?*&E}fqYv!MCx^zZFz#M&r?ys~vPimS+$peXfEnGPF zni)v`ax!)x{__sb9=IcQ)GHR!&*E~4=9Qwyp@bggB zS#FfPM|Cl+rE3haK_h7Sz~=-EhhsR%=G%4fne|tb)?*tyGvDzO<>Z$q*Cju^+e5z(`n*$B~@(FZrGz^pl^up>a*c-@(j;q&52vHqO}FfOwP$k z=4;q~(!R``a@F3`TGr8}IAeaVpI2%Lu2##uRMI+y@J{gfr*&pLIN2B=9Jm(pU=Ep> zJwpn9@d3)IFo~wiY(iE{V?k?e#F=%E^8qrb++tc{3 zYpMONkKGz5Ta1jav+G{}0Al|DYFd}JM*~k}0oXjh2`2#hXMaK#Jzih+)NAMe0Pta4 z6QXC9OrNzm{+9dtucceok2hSNrQ(~JQTjS~D(sMHwT<0}EjZ>ct=lK&zGoFR)ux}p z>RHA*W){U!13yQ0t6-IaNw~X1hKFu(Nlr<}Tx_;pn(EN)Ud9ps0Jd$JeFJ@qPJ0Yo zH7g)xTkM=;vt1{q4h7Q14}$z)^aQjFot7DuPTruS73|FEddG8Tptz-|_~FJ)MtGm> zx9w+PqtF-ncpp(ma=g<}$)~DY8(S+SiddZ^8gb5B_QRa*xp_(R@uOZVbmdgrUkk~$ z?cb@_FZnp<47FaLy3NNAW&SaHLfNj@4kj{%_N{&@-%)Lz<4o3(1hY6d4ftYU=)>X2 z&~jQ2ZcQ?Rt1620qrbP`lT2;y-Bv&9R^k4IwEGrCt~K`-_?x1x8j|It>uefhPifn! zuBfh>sm#qo$0JN}0>=DAU^Kjv2ms9di#o!ERY9e_y`p1Qu{So(W5r!pr0$-^{0q`H zy;EzezF2Pe*W7KeRWbE6jG59okCrfbnAdHB;e*TCJT&CGEZrIVme`lgBub$M;(9Sei}_OIY9DT;EnvI^i6;IG2NG zNwGHRpXE50wEqAT#~HZ&t~iAZ##$Qdtd!Q{&5`a@z(D~Wu;#_jxBX#W-$uuVHVh)X zwYG5QPrm2+8=tYq6L@E$Z#wfr@oxK7Vbk16($nd;-e8BsZ3K^T<&onD4a42>5I`Vj z0FpR5_BFRgyC_?5dpC61!8t;2$+PhHRPZy0H%=(~Hr=?l4f}??OrxM|diIKi@QY<_ zGfc5MN>UtUkHm9W^49@~!T3X*S;dn^UQJczMmn5*j*8`7PE>Enb8OZ81NK$Y+Pdq* z9x&1ITZvkx(>9*BRNF1HQd{iQv;P1)JDl?7z5f6UNNZ$siEA5%x0%J+nbxNje0w1t ze{%l-D*`R2w$ChRs`^bmtMt|0sFu=NZua`AP7AqVhIriLfC)HjNx%f0Y!}hwQ{Rm$ zq31`RjWzhF*(b)%o$ZmtEf>YVXIA)iPUv&rjipcg+&BTJd(AqZXX+l z;B@lB;psFyTu9Yw`;oIY#Vgy3+A`kBoMh3QA-HiWqg>o-X<*b^3gcw9ww{hklQndh z@ZsSYXig{adyUi=%3B8#tyENU z-fR(xD(Rn2*N+U07Y`WLOOa)EiAOk^(m@q;63Vvd8=VjRCDjp%5WdKymklFi zZ>Fl;H?~o``$79Mao)jYtM;PNI`$2DWTJ-KHm1>2Q#IF`Xuik2M?1M%{r7NbIVTQi z!$xnWXW-c{!AW+@*_f=FFH6?;H2x9s=Y!lV;wKWQnZsQ{aN$P~?GjiWY&S4&^t726 zaGbfVCB(=}bC&Zk2OdIQyDO(=Wmg@^cP@XauB@6Xn_k7np5w;_xOCn)>CPJHZBJ+!6M4xoJDCMQl}7 zH`~UclHpMtOb0aaG0u1mc1B&y4%>saH{f*q%C7ZtC&$7u$;zg6_Q2wVZ?HSBakS4f zxQ{9H^4T9H0vtv+*-aH9CvM52gF|_@C=i|iCzRxNDio$iRfySIfz&bA(>~`E($ThN z8kR!f*&i1$<_#ne9gN_f=>GsiIKE1^$*mO^imB{0l~lIZ%1ty?GB!zBA7JM+0OR!j z^;+MPWTd3{J6?_URj$^&7O&!sw^~};bftGYEY6XQCLifKQa}eA&3Dvw^4jb+>Fes@hFX~-fxN}BMl&P-0I~-8TozwdNx8GsgdC!pTr$#{ zx;j~e=AIgn%I1bj32x&Vz$0rRHFDZ?Jlix>H3;$i|+RtnrWh@E}&#|{v&6o z<^z%EKLc@-pFAyBda-F%wx5$FTYGHSH3o*_r};BQ#H~qZyj0lke2~*!>Pw|$oTHVD zE^#DaH(*ChZH1z&+Z^MqhAT|3 zYe639zytZd0nQnQ_3BFSy42%*l`)p&j=XyP+R{eT?K7-yw`*-Cq0u}{y=q&`0-`s^ zK;IpdG!CZ?sGY&B#17Qsm?B0=r_DQu%f2oGSrSA6YH60z; z-64wWW+LfXPWYK0jU8)T#yyRDc|=XzeW8Z6EsGg z&=>oaY?Z8zI@)@wiE5uxV`-{qJg1%}x}p2*;!A)%vFP-f;q zkFkK@CAQ0?IQVWJ(o^0n^|TZYeUhG`&8UdfKj3Uq^EK^sW)l8{WbS&eCo0cU9o0S$ zQ9)OwA3o<)z578-{w!)58f`(L>oi>mZC$noQ@R(vW|o!~$l=P#n;|YQ4LRlbcLiz0 ziiat^nys~27geiin!|6LK;unC>xWz`{{SlLsOzVWcxrAJHb+f80~pu%H1F`*TIbK= zd|;fgfI#RyCw20zsPeu~pPnuT9M!4|Z`<7K+E0P{KBq%}m$cj;VAN2L)r_^&O8Q7B zCTrgVn=aWt8GkdSXy6|xz00Qq3FAfji){H%s=lhg>-RyWroXwh z-XPMqi;HiyS{j2;Uzrp!+bUl|41_XVmh-q`CbW`486=*VE27Lgr)P6~eus%q)Ok2~ z--Lo|el}v@)V8ZEQ&PjDZIljthDS1#M$p*W>=wAj&`X>F&iE$;g}OL3scsT&9%cUk zSKg$dcA8%WGsO6)sqWNP%N+zzTwLcy;@7r7U4ij(k_r1=Pj#2zX-|IV3;MR^r3D@z zjhfs#t5wiYI(v0krixk18&KLvi^K2^1IQSJC`(Ib@^d_np}pwKWozd& z@0HbbZ1AI;k~u_q=ajXh?YC{f`Rub9O?q>W1~m0c@uM3mvG6}wqdpg{0 z`fj&~7cE&e)tY{oPX$BkMA278;*Mz=*J1SMnq8tGl0o0P@^8bl7TCD157D|e)Y$!6 z&qql;aif+uIN!4Bmy_tyW5DRJGVnYoQDYsDqCRL4!VnOmJ8XbR1E*9VAq0g(LXjY# z7~Mtyp2&c+vH^{_6`>s``70Pe;W4WS6H>{m(>j z6WVK3`#%cW8%CP9UTt@ph^i~uRVD0+6wzg6Bk>j&??{L!hm+7jzEoGvTx{{`zT9(wtTO~teiP6e1UGVJSTG9(g zQM&5-W2MWat0UdC$@MQ&k5zG$R+2GZ&NKKtW797^1zT6M)wb~_zeC38ao13<_dScQ z^*@8-M&`HSaUW~dd?q~~VrTRZ;ntHlR-)BV%UOvVjGPP=>B5a8Vxj2Uv>nQtphR0J z`&}0`@Nqb9t;LH23HU`dt{l3Tw~>FBvSy`T04eeFdLW+K!&oFum0L{v#X*$4@peC1^Wy0n{F&V!bO`n(j+y-gTal zi}f}GrrkZRAHm9XWz&g#Jg{7NLj6l!4wAi9i?gU{+yxcM{{R3LJvq6*V-PLKKwgGaCHcKyiyTI-z`FQ8;g67R~qKa)kaT<%sor5*CiUp)=R-BTT19bG&5WrAqj z9LX5&&TD`m_A1V`Y+Ni`Oz@+)y`kz0_3u?*D|IHNy477Sw>eDpm6dPjmZCxc=6UXL z0Qv=Lg>={H*0h(gWhqIyN%C#>uV_9y*mR>bHIIyX#)88XUhfqI7ik*EV#Yi;-TdPj zjQlNd1F#E$^t>s{)RZ|kEQ=!@CTUh{-S@N>K_umNN{XbEWgZuUQk>ImKP5UVrP9|8RV}XTT|*6YLJFwqYNUmg5e|{a)({@e z&%*4D)^o18wcNZBN>SQR$x15wg*7zPG}j8qDXMYf)5lXIVw)W~;|G=BP*yXp6Oxl$ zqIb$M?N7->P_j{PO^{wzmN=j*-C7PNU9yZL8hkj_(U)`;; zsY*T>QTTg2H?g?D1QECVm1-?%7`FV7jwVD1hBmMrk1KJXnno#bisavxNMWa#U^~nW z{`H(6XMI(E>x?&XS>0r14(8-q*7 zC&bY5*SH4{6Fa5d)G}1=pV+)3(WfSwYTo^YY)ax_cZ8m!TUUMK!KWe_-Uv=o5n%EdXyW>om0X6An)JDrqOQ zM!U7>EFUEdcUfzGOpzBiD-_p;RLi|d8L+03tKi< zReSG}Hk~D?Xep<#X)E0Y7MZQL-J3IYGwGc9=)>GOg+xOFc!zeox28hzvN79}vOJ@y zDQ|wqap4~XxN)v5n*RWaTxhz|+-a>hnJDS5)YmrA(o{ykd8KS|;|y^uE$xGj%fady z*)&cRzo|cZOqqu#=twF;Gw1%3Fo|}g{gH#&2S5mQ%+^Xr~d34fL zbG#D9!yBX#xH!4NgPR?EYpusuyQZ3-lXP2rC&9m5eUaqT)l}7VTCMt;&wXT;>RP$+ zW`@yURQ_sLO9UhumYCc8*V*O(00G$^t?Na~#iWE*;?$Repxn3(TWaBhw5`_W-C)~g zrPPtZEg6PD@OhafJIN-W4#rCx%nxVrFDFdk){&rZ1ndtFw!wCF zv{TDi+9tYaYBPtIM)iCHO;n=JYrsMv@G)8rg z&R2bti+zpxK1#S+*W;<@)A=$QyHZ!`x_SrHkY<7>#^%P(R)9~ZQgPjJ)sGB)>;6w) zt99%8#TClUCcX`Bp5H7}HdoUL8pmgm;FdTI`AG8Yvztv4S){i-w2Fwsvl)JK@DJS!mmYJbJ(GJqy!Vfm)s$D-{r(FN@@DAR*%4&E6lKq2 zdjfC?`-kARJEG;>a>}fUR;o$%m$w^b`sZk)wD@pGM{SVG_qGOyVE225=X2e2(dpN8 zr?%TYiRR^GVn+=@YCihp!PMBQTS-wtCB8XcWDgU%GtR-}JqqfKqdOG4zoDYJ-&HcI z74P-Yj+0B+p|e!YG&SF?n3j;BzG#EmWBf1bUsdO%hpe*+a06-r^07iNs3?Viw5Sl0; z5267dk^n$70DxIg1^^jCjDSXQvJgaMY!QIRq5-fF_T(O`DESYRThwn+A;(v{^HN+h z9gtY-W!Pa*!=jB9_z*vOzD!03rc_}DH&m>B_d(ZiYbShuD?O$UqCFqS8rg(#D*BW-Rw$j=-uh&Yya%EK=H4H5=9~GqYImN}qF`>>O zt{`kzm-T&C&myVSEk6eDqx&I;VzwJwGv3skF5pG4gLmt<3T>KQx4QVFTLu!{2brtd|yJ}@d~%{dmo6JHhG0ajh*LmayG*Fj9jR=B+uX0V}_GQn6;&j zGNMfhtxZlWAc8P^sm+v#gfOp?k5_! z+U)wS&n}VGw9-Wz9$y7RTl;z$@sAOJ_5QPZ5%-S!t9QlDuP5L2u8oQHUN_&T#|-nf ztkU;=9ebL?d5yj-U_L2h-YMcgW?0?buHWQA9YXVV_oja|^}dUd(6XhCdf|9~CK!yB zU!D&Uy^E*I_{WcLNO9Cw{=nhl6ULov+>}9CmuvBeaWIfGIv*GVkZM)I&LtaBmOr) zEcaAwiO;6XCGZI61JM2o>p(}$Z~PK3L}JDqUX$R@sOg4*k);sGwQ+BDSsbi_-CEv3U#u^;VHyOz}D+Hd~Z-Z-b*9H;e zy2Yon1<6kvg?7yMqdTNE9X6G%s;;imwv9m?^ixu{n&laDB74B)nV2Alu#Jz*cUmv5 zS3`+wM#`nxE$GBkQq){(BxNii&J2=b(BJ@LL355t9RTUn_T6RO+oa2_%Vy=FwJxoT zPgiNp6J>&~wUWB*D=FGrT|`+J4s%`z=4fYD5Ju-^%asZvFH&;;n>wp*3r5?)TMrBP zpKI4I;>M+tn^PEJp4D@zsdE_-aDP4{XY-FQ5=7UO*+S!3W3yafeWpw5@~E z_arNlmp%^n7qzas;Z~26PU+4Z*3Si&=-NBI#{B#;8uww+(Xov9VQULs8qv^T;0y)x zF~O@M&G&gatdFAB&L^rS{dK6d2BzYKnx>;wUfC7O#|15&kut15Xykv1hq4xoHKB|= zzzm$PS{A%`Dru77()(ugc1=IUO(X2_ty38n{#Ora*QLSnb@ef!LN9N>Mdz%({-k%pHt9N-7IXO=VcY90^{N^ zJ=~9|9wUA>?gq=sx|;D+sj=~|CQ-${$ojQE=yknSs;n2whxs#Mqr2+cgq0NXI)ctX zsbpo@jnX;9Ha6sMleRnV4+R*rwY3$;$-`z<6k3yicfms4L&QD~Qe7@wSJ%;MtwX8n z1n^oQds$CorvQdWA1gB>T8M7OtSRC8WL2k@}ArH zmYOPp1fw`+0o#~o7+mwoUzx45+Q;a&#xkdUv6qu8OQayDb6EB^pfny*2Q#0(GTe3@ zcUmmT-w5<*=ylNhHMR0qb&i>U{>iLpdvO_SON&YC+azOlu36aM37vn#;loL37eHugfaWO;=M9b#&x= z(*q`kHn)@(KP?1}@&ZA6f0WzVKHs^md?OE6rR`M>lr@fQfHlB0WE0JY4f>oMkC9za z$dp%Z&MPpelpBKkj5XJXVTZt$A>+87c!opc!Ts=l&T>BWy1ch0dDry0)2Ao*d>E@H zoVn?n#XhID!AUJerbh^3s)$b$d4?U99lM^Jta7_@Vc6u?>~(a^n=mBpj8wmKkMX|I zFw@uT{Y^NhsHv=kx+-RJ(+0^XFF5_u4=4b3C3D*47{a~m`%j|sBa_u9WR{+ulJI%q zxjk07v-P+x2`oK~#-UKNwoow=h@w;h9;v+nD9A+$NMLS&GCYs~L7>OUQZW&>P@+Hz z0KxJ=2RJ}1pCkeq$^oA&AQ(c1-H?HwRS3y5?YF+_$H?|Ar`~7(0BHVcKO`a5VrAeq zRWf-N5BMsSW5|UFJPxXCfzzTDfkY6MDDX0|Cc^`$R3PQsB>?f<1ObdA0ID8G(MANS zC?F&dfq~`tpcn%vQGfyhTPOsY8U;Wd)I&le)n(y>V$u%eHD?`}{8!TS8S2R;@O*F8 zvHNRm@7x!5rK`2-8$}EdyG-1!8giRdP8#DhG=BXjC~h|JoaZ=6ow1JDTRP-w_3NFU zdC|%A`?`46)n9{H;$$;ZyGz|UoW^P`8)3OTa}Zzrk+GhB$Un0Fka}q_J4Lb$)$7Nxq*7UN1PiM=y|;sJI}4Jlju&hV@)X}43NJx#e0eSjGme2 zJ#9k-)lSS~IqJQNB+}8oxiT7B!A&MI&`x`;_D@KbTO@SWX|mfp%pvSNzc5#wD?a00 zcXP?1RZDTT)MjW&V0YSR=)DS@WRF2c7OoA7$*VvOWX~>VsoW`L8|56=VztUQ3R>D) z*u;>?H|jFD+*~}Ke4ye^cv|?&Tmfm@1tTXHv||?2+Bo+WI7}|FzV~5Zj$y}2*fOrpQ1!&NG!k5;3`N&wOPJb_XQyx7A&2 zj4*MITpu(`MhurJ=syLSk8s04`3}3PW3b2g3nWdC8*B$v88$9a*dT0Nqsc;`Egq;+ z1))Y{BF~vqV`NKl*s0{Hk;YT@GDIY9263`I{24FMrUw52f}N6bNY8_4j@hA)4(qRV zdYY}eskatV(pj4bY$lhG7gRb;%a1lkD8@10E0)RM>!>C6e4P-C9eZz*_l8^%*Sur7 znr$a<{zC(~XSmI@5I79rp6=XiH^B#G&7GMXDEG^q_zH1@(>os&^w%5sSD~$1OHn&d z8&uU#qNcrDt*naSD_-BRG_m|et{Y$i=VJt~5}cYcZE~NMcG2nEzBJ8ei<;L--S~ZB z($)_6j>x!DdsRo7h>LdTG&-5-NpZc}YH;OsZ= zW2rQ64JbIbrg({awOnnKlvUMqw4{mOQ16B2o}we-G1+-7XvzMm#ut%iREAa3qWEbd z)tdhREvww-+)B24OIUOTMuNKNH(a!Ht0&ab+=ZYzdZ^nYOP^H!XGj^6(}#}`gO?t- z=c+g{wO?PA>~>2b-sHYKZ121j;sr%^u+zFPhWFO$%XQC7n%kZ3=wp_u&nLpj>4|Ft zAuVvghbQecgVZl0sAAaMt#4cSGOp#14astJokbr2I7P%q(s4e|TX?PFTyq+`t!Z@B z@iq|Fh`b(NbM6RtgJthtSuW zhSkzr2Q;?>7-#c=hxvy+VmUU%T&>VI5f^n52eq?-2mX2GT| znqKJnZ1yKnXq!#0f?B!fbiO4`#-Zh{%#Yd6alkprJy+5^H`7v&Z+89<$SeAquc`7Z zowM|N7arR+IB)Y>*>h`cbhVY$Z1Cc^Obg#k&WFH3kI=zV+3Kakso{Icb~*8}C(N#wbakfB9vC;<%wqO!);$)Per&$p00 z7bK-Qt#>o%@%mJ0lhhOT+wf+*I(C*)nS(%aahT$=^C$4?ULs44bE{>iFCz7U^ zus!hZ>5I4J8QfzdJyxZ1Uz>we`lc>B{$Jg+VyZP{E@ag1rVVQvVs2VCIqG}lbi(P3 z>z6w`3H?Uv-ExkLVXEm^2P0bCvHxxp1P=;^%wUq9jk2;Ko}z&vVbyBXnUX~AM=gRnz3Am;J2RwqCh)6-7Th!7*HYOWDGEjco-gP0Usc;KnPP~V!>Bs z*ue8b3<3WD1O&0R{{Tb-*%3o1034_`3VGNLRdfp|UvBS|4 zS=IjM(EV<6OY(29HIYDVZS7y2*`X6JCF&x2LGotlN9 z+mA5V3@g6zpJ7N~?(tr;KL4dh{Si? zlrbW5NY3ZJ0%!&uxN#sWpaHx5y*jFl2g*qMJNCd?XvR#JCjBwysj0|0JhvHD80gT&=k5Z~hJ((kX;r)%;=Gj@p3w@_gvgutru2i>*p(ngE zz=g!qG3*Y@WX8i7=HDw_k$d%4-o1_WHvY~IZ9OejJnpBcrji+0?ng%U7P+p^Odjg@ zZFl<#YCA~jx`)|!j~Z7;{{WZwtpOw!VNS}kF{+8~5Wnoav99Lj^V@Fg&9ACr|E|&AEAt6I=r^_ZM=BA@m}Hjj^Dyg92@1z+i`;MDyv%;yF~bTgIdt{H=XC7 zI0vHe)1s*V06Ct|O~!c*%h?>eOV??ViZrVfea!ZtPE z1dS{YbJ`q68UgQ>k0zN$7;@Yn&pe)ttAwB39cbD#6|;%D_dr!}+Qoa(7M(3!1UHLe zr12_lcFJjG=VUICjsdd<=Q2Hq;wP|L?#QaC_s%<)&#}bt>sBiyxHc=Uoa0S(G`upk z$6ayKpQ~i1ufJ5>n#$?sbTUaaA!IzgVAYr3oeTv+2;^TCA zK3}T!TKau5ecnD!?Qy>8r(B(_BdCtysM`>>&0JvpjT8Xq!laGa79?$Tu1)^C*{3&>bTDvf9sd_*XUsHweZ~Rl-A2DUo)vDnx?Le#OP|954;@>*%_rY+QLhe;=pbzU@8y z8_R818_bYPa;JhgDVQQ;F|(1a9mWS!-z9l!QKl|1eov~NCEY>7cgJ16$l7UWZM4-b zosh`s14r|~2D$w*0O&EcK|#lIdOg1ajp99)+J4E&P#v9>mH29Mny zxX)E11s+k<^ObOMy(YKDiwf;W3vvM&1e|SbERIt6iTgt*BzYCKo~u?@cc(4r@bW0g!kivj zX-l8zS=Lw4)mH}DO+zX02{k39`wWw|!_jJ{`9?3*YkT%CWz^(ezXqh@m$_2Qs$rtG z++&)YzNTRul#__TbTYK(CC8w~c3xjmrg>LFbx(!l>gkb!9Imxr10zXs<(p?IbxTz8D%4W{07@ffw`v-9%A7f#8;&5gB3yH9C9{>$sd2Cme# zRTo>1o|2eM9a!f;7{)d@@Z17=fJpC>wPE!taH63bJD=*$XQ*_}q12~5iPEF*!ZLbe zM%pUqZB_SM<*o^56TYU3wem#a%1?*QCt&Tm42r8f$IUw;P3)JB0*tycjv$*q$;#0mFQGXL7xYvhB;JDNj<-^3%E< zJ3e>DuKLqyZ^5uq-8@TVCcdh&3pjk$UhUzQ#SEDNv9af=b5^$UUgc9={{Sb^1{C7OyGPM2a@I<Y)P}@>LXJqd8Mx ze{uo#O%Pf1D(J`+0}B>L2$4goppb8TgxLu4lhI`!L7md1wpy0|08zj1FQn)%RyFz` zFZDcose=7aO8X+$X-zN0YVIj(o@ZHfC6-&O*vN#gbwsm8NdOH!PHH40$bhr@uFGMI z3Tg8;k;C+@F?kcVf0ii0`%3Bk6K3LUmrfiv!_!)ZkM*?-L+nI-=Axcf$NvCkWu|-E z{aG3|#s_!P`BvG8>c8{F>7H-Y81+?@-am;gm~I6*ql-Fa&UOdC$GY`$mho);na9!J zZf$?MK89;!{EQHHA%1I%;Qi0tGtaua9`bTeRqE9Cjgc}MIFE#StZp^fc57z#!aYBN z^PlE9%wvbdM{knoiCQ5nG05Im2Jg2;ntCR*YdV8U(bb2^?(OD1a2G{)IGgIpl|Bs) zM%;AeNpoJ|06%PJBj&oCBYOLe-uPuN9Gk|Q)o@%R5Y)U0G4P!IrOS3apt$gPnKU>( zvp+OZRK{C?a=Ghn9u9T5@^P*&aKbwFe!aC(2UG)zSke6GC+UJb*S&?CDKAQ1572&+ z`mTLG&%@+B!SHz}iyAUpymgw|-A#*yG3LBe#^2`}2K87S#y@HQ0F3_eUG~yS_goru{0f#w+i zw0zSRj2z>)Wk>|$zQ|%A-M8jA^Gy-5O&Hy+>9)%xj2k2Y z{*mA6FtX9DvY=@lj($m_2F1!feHGC*Fw^Cc+@UrBy-wa=MRl_5MY!$V9|c^IBLj6b z6XcEn+=S7YA3{)@3|EU8!PY?KF^E#L-sC&4)Hg zIf07N-63*CK+V#qjUKq9bD{m1Gzgb(wu8t zn91pFlxA$66N5>8UQ0P+Rov1f`I}6C-bd%QNO683DmO-yb#) zmO3s8$@aHC5xquBX}#>+c!R}mGz(+24!yfwX?zNJnCd!!=-&7U%Q=DS(mwUYi-U^g z>r#$|I~038jWXB7JLN8#W{aq*HJWj^dTZ3S$qpi#q8xw=hTs;G(~mzzzTA56pRF~? zwi0psU%A^Yd}a2L)fe3>tn4z~FCVMlQ&A0KeL{hx-u;|*=r=cyy0skjdgX(`=ntKia0=T zIKT|c!@Kp{KPc{;FZAhuY3SuSJ9t_!ddq{2Q&Yum zr@755ZF+9oQVl#&m_tLHc|%Lz;j@{H4apqDtfN(VDPzTb-t6%J#y~m0I8=sQ@7qDf)NWmPF{^`P7XZ%eyi*HZ%O*07e>?qG^?bU_ zBU~Pu_%T&is{K_BzSk`kwu+kD7bIqy0Sk5j7d+=B#~pi>-5Mc=pup+$ z^y^!X-!E-=Gve9eO)bW@k_cHd!`yqrhN0a5U`mE#kMR_sy>gxKdoGgZ!wR1Q2<_AU|*R`XW+`}WV=)4@x zqZvi1NyVOiE!j8bZV5_BZ%mU(jgrd!iJIy<9g{L9DmAxAr?V1A^YlA`Arh4d7%){b^Ga{NRz6U)j8!phd=B}`*se6Q$bG*1dI*MU!4M{s2YTcUkK1nl@*7VQt;?PTX{bXs$M zq=pM{aC7~SPojMpm(=U^;Wb>JE4k}~B|)O}+zy7%Us)UKt#dV%4h(2*R$MU?S_WOd zPEImDOI-TCO|W*wY7hIb-1H&PaG>LjlJ_{hw!AYjaGuL(x>PpZ9MC#BnD)9r=EV`n zXfBKbK;_%1*p1g79a$N)?X=hF=lhwuV{R2d&bWr8TfYClZ-BG*yH#98dGtUymQIZ({i%C7oSxzoMXN5v|3$t z4Zl)D4PdjrIvaZ-ZFjkHwXeb5!I;>eJbc$(IQC#}9sJA2+2`bS9DcCjWNOr5`IJ_X zjMQ(^_jg3w40UtQS5WB-A2xgjU?t!Kf=_fqMGBAeiGQ}^ z_^hSmgciLO0wJ(j6aXOfSeT3qeNYe05-xyzk&tMBkPSd1p2$=KJZhOsqK}dd5mEpaMGu;QFo0lv=)oc8q5?QsMe+>Bn8=!_=lvUh z-d{=38g@y3hs^y>zm)^O@E*xksxW z$1wio`Mxw9Pu%T?ZjJ}6NcW@AV6RTCBqOaCx;TzzZ@yHw!HtPCvs%tA$A8^kbiXmo z%xkxKz#eOQDE7xikZWXJhivZtO6;CEW*YNkg5eW`qi#;ytl?{mGK8ET2R6FdD{K`m zo|D8dH08hymi)aJpAPM`yg)9{SlAdB}?m# z7AVKy_}{HQmY+hoUyt`yK6mhGM4V-7?bnmwTOpDGC$__X!9;+D3G&CP5HdE)yJT#D zL;`miK3UmhfRB9V??MYB&!X@(t13r88RT#EN4YvFI(?&ZOW={Q&lF1_$#u!N4 zbm)B6NY>d=tadlw(Pg6zlMHS*Bg^QTF>E7CG<7bwr!!mG)AnQARM zYjow;QGT?biI%w_h|8ZMK`8TPX!)B_MNL_f1zQiYA7%o!!3Y7z1)i0b@CKE$e1bUCguq6NZeQ z!_8K?8!u@oEz(h3C#$*py-hnKG<4n(d8%`thYn%016!A5_2{s2l9EwdM#UJoHs2+X zW5K~=v#{t+>t^)yYm9fvyl{n=+m^Mb(RRH>Rb{2sEjGKHuyTh>NbTPlE(aOMWzC$U z3Z1&!M@4Ylxkq32lHgwqxM`v3?wVq9tmAi72-FpN7};9JQ?j;<)Kb>9?R1TN3vSHO}iuZ!5h|FlX0>0@^tfWwea>$L8&zb){9Wz z?{%@%K*(vC9260F5w);2$1W~wn&MrZ{THp%x_q(}TsD`x`9CxIuj-mQYMoQmq~8V? zQffU{Z?{cixJ6{F{cQkyDyg6EE`k?*rUHJ;kDf9+FQLWh*s`y(W={Q(pA(q;U&5Fhx}Kob=|47d=4fHw%DicZq~g#>N!g&qL1Ck5mq*$ zA&EI%xnc4-*!nLP%bfX>=i5i!;$Xs^ta$P7vty2#l=Ol+NMjL3?7Lt|&*r&jCf?cY z!lhMz%3Kz;_ZCpVL6$sVO5cn)e2=f9=alql$jSUP8**RN(=R%&5WGavU7P?;04tv- zCKT7)+3{K3dS07r&do})?IlBrc`YAPh4Z~bsmf9QThm9(+mmiY(|cbf)qSFRXdPKg zbEd9=f;>JK9Q;fU=th1V;QE5Rdiu<=T8!IF@6N%q9xCdrQ;+@(RX2+zQzK6n6CcUC$0YGTB6fi`t<3mWn5Qt&d6h^hv964t^qp? z5sdU)c=o~+`qpv!cs_$Wr{DO+gO5K~;l5F`*fd={(?Rdm6{e;vidts79uOpg-eNij z6P}suy!@W2D02k0?)A=(tm)rR)A=(yoY(qSgJHJF>qWMoNVd&Q4Li$)M6$pn4Ra4O z-OACNbl>K=tc-G{_?0)uguTyh6T23l;c%%c-!Fc~HP=hcQMXl?F=>+F;5MYNh=V!? zhXay3;dawTJX2GDcDJqad22f|eUgj*Ui)|KTv6Ocox0r}Q5^)#qGYUORS`7d?<0~} z-bQ)GHptj5Hc{)<1s(1Dc>bq!GUL;-EpqLYQupWk8obx4it4zkUli9jM;vVMtH*>( z$OO1xjI?ZXhYc+P6 zj@?-6b#`iHF@wzb@Gx9R%UkQPT-hBaocm*$DX!@Fg1%7t90xBXUJNZb zvAX4T@oSvl0gjS_s14lqHpBQW{R;~h7peEt`Luqe^fzDXeL~pb-nUx!JiGwz zzVpfZ2q@8*CS&?ARdhg53+R9d?}P+MLg-1LG$4?n-3kZ>fDi@{fC9e5 zV(Get7U%$HssZ;vKavrRgD)R6DQ{9SQz-I#zcpEl@<0sku__)1TzwQ_jQWH?k6dA0 z0f3_eRTL4TXcW-_8UUaX1cj0)$3+1w1qdP)MMC*3hKY8<#DGV1D7&kmJOl&zriu!H zPz(eB6GZnKB8SmXW%Tjonr_)({MXU+1*y&chtB;^unKoSYrvU87sRjn$Me z_>`AAMq`?yie?r{!JUa83&11-V`w-8uT!hwE}@3$@coaN=^1~3%U1h)mwwPZSc{DO zPOsLqR5H+8n@de?w$Vsi&reGWTv`Zk!V8}HAAyiLfXTw2PxQyqaotjTlY3_VwVV7# z{{U4k7lRwYhq68>X~#U^3f6ADT&4Vp{>L9lj(H7`L6n6q>Ztz9vU(lF5ytw7+mo0m|F5H;N{4rdmXyba1OTQun&iP z73NB}vw~Ez+B%qLaqwggBdF+B)fR~BXsMBmlej|;MUmNE5v}=TulPAF!(o8GS39M=a6jVD_94agRNTUqMar$)|IAk@{~z>U4FyNp!s4 zcDUK&Em@}Pw3YH}MSsK_`$~C(NNq$UkjWdK#|Li25O)h~;iK~3s5&j33o=;tEg7>` zWk$Dg_l)_hk~OwSH*B2avFNf$!N`zjr{1#Bt;nh)8P0lbl2Dz*n!(U8pQ32R$dG}@ zZd@y)2Q-NacV`Epc9=VKO|-5faD5g^Bh}g;x*qKq3YhwzsRK%t*MJwU2Cn> z&7z)4d1)bRj&)00nB#Ciy5q4ux~)yw+x)XQxN_uM3)GO=8D^)UriJ36^S-h$MDn%F z4e*@o;ILqjF|j2l4a;qXZll_a{+_JR?9n&R*Ozs;7 zfB^twK8u>@Un#E7%kFjK*;B3ezD!MSw7*x?P*&Y5q^_3PQyok`@JqmRTpf%P(2>8I z*(`dc2~{38v}=w`l#^b@*K^ko;$FFJ;{AFW2G4e?j^y{r1oiY4wXirez3~D8aT^i# zMlgD>o4*#$onNO!yPEw^Pt}f0`={agGd|LqAAvL)>9KHwRMcOfk|`?g1_(q{@V&#I zmKRFjJ-z6D+hoqrQBBehp^cI4t*VcQT`-ZhT zev)xPY^609OH`$l;;Rni6S{NaNg!w&HzZ^ovI_9;>6KpNe}2>bPFp(4p*oa&d>IQ4 zoYLG8(Z8zneKakoteNvx*MiYmQYATg4M~+K>3)~Zr1&`fsUVdMZ<1J+er2CdTcS{-6i12&pdSS84I8B41n{v9$)ZW(Qm=& zrwSw9yg!p#y6RTbwajbrhk19x)pXTyZJs7yR8+(5W{-2d%RG+c$>uxv-FSEBL2pOL zXLUDgdgRC4DkK`zOXT%3?Q4%lBala(t|+c|SCqbfB+9v^qV?q1Uk zM{BBOZB@O#9DW>AiJKV9Hu!Myu_J8Zd6U*;R8*e-07iFF9Gn}KnGuSQx_<@Nyiahu zT`oFu*6#|UDIM;vr)$MLWDaoBFg8670m9GlP<6%^OSP_7CSCK&%d*auQ*nH2TpJaS zh1IZ01zlUspMo<0wIr+pb^3ON}qE&D$P=R<1uYPi@S zrzV-cH}YaRVhwO}+3@FaxES+XF2rH zw)jm%Y>D`ewoHIaUUpyu1G?EySW~6jj}FCvw93G=LT~S+F<7~Zlh|pBp zLHFv-O!`>rLz`|g0ADQ4bBj5fxp?Y31+E=yE_n|gs=Rs9Jt=)R(P`;9J-4n^49dHr zoM6`X?v2M$@ykI~F}AC7YGaA z{SrQRFD2aA(%p&h(m5}*WpyP-3@f0atd44NTS+7_xvp%{4s(!pkle(eHf|n~yyI08WR-xJQ%rUwbYO*-(nZW?{EbfLQfa03kpLpc(W~3nMwk>gc)| zP>B)1D&Nc^(Rkg8@JoSq+9Tr;r@U zpdzT)VEHOkOB*amGlfx5l?W6Y1n^QoCcw~w>ZlqJH}XP{Bn%FUa#UpOE)AMOLHi%Y zeGfo-x?A`>F1;S?c>d?9J&t%s!u~g3byk()6-3ZfM{TB((Jeh+fios_&JHnxd1Q7P z(aJ-H3E5}$M^MPYuDdb3d!AoH!J{V0)qj?_H=k**V{3;D_;XFIH14B@>2A_gVw$ca zZ}6(>8$H5l4AK^!Ttv!Hh$!URGPC&ocQty5B=s*lKk@%6ZR(k`csx zJn#OGi}MTave)ute5Xx%&8fflBj1|Ez|ghFA7=%891rMgc~LkPvUoKe*P}}NO_7ev ztsdjf-n~{gGeyYlR+pCBPCuj2FFsF`hF(ldFgjGSe( zYw^lCzNpfY(9UjF*uEjV+TDZ4_peHuy+x*a6l8a<*%@6Itm)@tZFP?=aQ&NkhT!=X zqauc-+>IGnvi#9Dd&Q;;y$sZo2D&+zSbn1mRaUyBq;X?pPZrf=IB4=W9JoOL01VjQ z7!MrM+3MYa%P0dd6WOl-XUO5*j(yr~^?v#IXX#n~ht{1h*+=+<6>eZHv z9E!|@xb*CBu8ne-1k)XO9^;lc>q@>vjZ%eg_> zxjUS7D<0J!27aS{OGzL&&o6&9HSTSVn<+Y+=NRA7MzzZ_Rv8O6k-usPE>%`rYpPR&FJqURK}@Va(#Pt07<{#Uf@=+1nI z>b_U1Q3+(Lv8?Cclj*v2{W^OtslE8%kF$QZvT(bJdY4XXodW}Bs*b9elycEJd8p<9 zgHO&$b7BoR%ZcfnsnoG<%g2Mqe6NF=sn=BH-nILl*5QqP*WCqS;e6UpOI@j>Wu~HO z17FIir zmG6Q>BYEU|+whm3!{PWwbAUSTyXe4``3e$WZoRx8nstAuDaXZ?l-sGN;rTgq?zn1N z>1*YSlgD{^Z~?4f1PBp ztrYTA3TL(^mbBEmHx@)m$RvS`uNGMfQtj^khjlb$Q;zbzKehYlsLD#Y%^{@l>Sd^i zklJEg@aCLl>SmO@HU1-yGlP0_ zJFvhjitO5PW2*J~A5Vw$_Fqt&yFa@}MzHC6XsMe~4OB5xHaEHPGyNMwP7ClmgTKjm z*V$$7Ps#d6Ncw)L*Xq+Q$ggi7+{m!j-7T?D#SJ+z#WF?1_Iu}=2umHCd`=k**6va zkDt%_pAV&4;fo(rj(yRm)bTG-YMLtgOKo7c)l-34PZSVy8JgTQwWYlX2b&~sh3e7K zF{zrI-qG??`ja!M(_|@b4RVq&@=)pxMQ^OVYTbA#=Cy*@D5~7|R7?BBF@WqBr5R#$ z>s1)_Z@b+tKe^^YjNY+{EX=%~W5;WJ{{UkzcaKI<(A()PH5aL?Y3=5w0wf+Eiu^sz zEq35!J8{u*;4G_eve_sly?&>$)uq#_#G-{M%6+@j*0ySv+vS#c?sq$_ii*0XCbjWF zG|vI$+a0r$j=pQ$$fn-tR|z#AljbliqENQm;ko-F4%F7;ZKPwg6jbb?mCvZEi=DnH zaM_M_G63ueTQTtUb8h|b!aMRZ>9-mwV(Yid(T9@%0HqABaIsY7&dblfzkUAzE!V9D zb#Ux$9u@xphqdl7(k@$3p(cV3dONiQE{*PVjhn_Ue?UV>85!AYgspA%Nk7orIO6Uq zb;)t(j!HFE8g{yxh7CGjZknC~%DE?QDz>--?<5LI6fLuqychg+OoBVg@%t52ok`AKMvOM?+-_fr^Pol#cw$ zOUaJPVPH{%*+3mt@KGT~0ug{4D99o=!Boh7H&Kv#bxwi$On|r z074B2f!REO!SX`rmNr6y5Hf{A^(v5-0qCF}07OAyQkfe$<(5zEe-ORii1l;*k1MOk zx|REzW|h=6dQ(){HD$fAn%f=5n&nJn8EBRn8ut3*Ey484`aFsul~bn0w9lS{l~PlO zlzI<}9AVZh;1-6YwCii7ZM#@dYCApNI>)+Ccx^r2DWjJUB(_5w{DkEE4lV34^8GKR z7vebDf5=HmKt+AsBPmbdDQRJ3(*wazWfQe!4J_HgwDVMWdjCiph= z%-Qt&m63iA4tqdwvcA_+`}}Z!FQkb6w8k3ApkM*D4ISOT#6P2h`=xvQT)W`Uf9h_Z zPg=(QCyKQ-`I0z3cK+hD_V3C0bd!j=fbKU6YepLpI0wJesaHTm_8{-*gF(1C$n{jk zk4yNDU>w?$GgZ$!gRI&If0Ef_g$ zs>W}Tu_NZPNYg15nHNlh=CerD=2woH&KNxwY9^W5i0TJtts&?p|BUpDIF9zN?Nh$7uJmjs5LcZRV{~1)>qo* z_lYSlHFWYs##2+Z&oXm;oR&0vJM{oATRMdmK}y&6{2qlEme`zNn_sb8Luo6o6*Wei z;ogU`($QY&MNHCNT`Pm?c~6QZmzd$Ljjar5X!)&K84<&bvM%N<*+o;yu~7xjgQd~? zJL=1S5O0v{TX3zZx7*uXd0N`JFA~lGYhZ|$;m4T#XYAu6I~C>R^~hU~2;#@jx$9x{ zl|}Q0Th_cA7XvL^OX5!x^k#?F+Mc^jT6Fz8>n-&&xsQ^9j+~xWwf_LROPk0YAR}Th zu<9!t4;EKZ4(UtIk;@FMpI$XPJ7T|6(ckr$MC7#E{RdHTj2z`HrOwUQUh2zbnj2FzrRmboM0{F!g9GA; zj%gVrl6jhT13NEUrgZBqoTrerv+~cZeyN33#bDjGy|!}+DeCVvC*YD-%J(>(&Pm*# z&3!|ac=1U;2jp|E{;79#w%nhwzFX|<7U*m&VfT7M`jYV&E-x(v?s3;(zH~{OJ z^vpaMRZMWT!sWJPDcK}YvN>RE4r^P?!0hkySS@RgPQ@8j4%CuGt;XdQ3?<>r1*4qj z$zx=aTlY9JvtdLWqSn!&U9bN7>2p>Z8yS_w#ExJN%pPtzUM^mGTx|H9to4~>os!m# zQd#_0a~B=SBR)&!F3NM3_I$;*yJfPqK)1Hg8w~X(wex&Y@(x278P0t2yot_IlWn7| zLlf|Q(Qnn?kI>mHT5nO^?M<~;R8}(C;<84>`5obxyJqsYr!mgM(Q?Xgsrrjs{STz+ zJvXUm^xXq$beCQ{80J7mjbb6N2=HucUrWaDnD#k(=x;Qec$eIrH;5|ZVk zVtka8bgXD|pnPCpv+Rao{6*b>_3Bq9pDg53}*gr>O6m8)!ePtMPc&Fhe(CBq6W_W04R*XZpmwCw*1ivveNzh(*JU)V%W3}r{*5k| zUz=Uk)l_ym8kyS3A~DSyr)lOG$poCZZ@TpEz*ke)=HibMjJacEJFBTR`l8!h@gl!h zR9mYZOC1}jD49=&LK&AguEVJE`mTPJg&YVkMZHJUx^<{DwZhS^)9bd- zTGuZ))odHZ+&pb zPH4*d8D_`ATRw4gJc)3TnXT0I)jk!r<5u^3qe+GburS2O;oATK!Pu>M_R~|8#TlfQX=`fGU6}1aZ{> z@#ugsvH_0E9RVJp2!kUkqKvA*lt3^CLZ~E1Wr-Ns_S?60louo|>OamU{@cGbW=&|O zwUjsOgeni3Xbc|8XbfXGRR)8$%6TC0i4<5s3Xn3UgWzL+%J>7u%MdJVRS%IWP*iAm zDiB~40ow>spxBNQPbO|te#3*LnG9#^((#83OD+ofi z>`U&KmUCF!ijMe3dxsUC>8@;*Ky&z2u{ez5_mcJBQ%3HcTpndz-Zqa{@e^IT8Yh1* zbB965(sCD(jg1!_v--OmqtR_~lvlDm@v618Tc^t=m;!q89Ir#tie3*|9TJ$Y1@4gI z9YhkeNnImx-OL~@Hd6^L9)4d!u1oES-}J{4UoEKSrYSxXhVupG+lwCV51Yv7U6Rs8 zYF&FtJNYVOEZ?X*Dfm{7OL{$(t;Ehz-stMu3{y1r#&=rhTZ!e}MCyE^`LeayIqB-O z`8imfCvlKMsTlT?rmT{g{{XXhUZC_TD5hz$q|DVN!YY>Svzyc(;Iv9QIBc!NxFiwX zVrXw=wPhV8 zHq9lfDQ~pxgt@*uTev6fdWE9;y*IVs;L4^{y_nu5=twn1yWU^{mGpnKr+5J5{{TdT z)E`y54 zc=a6O-)FiwzNzU80@ag8HBXfO4Jf<5ah~a|aD0<~#B;tgpQl982eCbRpS@iZVUh;t zeCL1Qgkp9;__9Yqm69W2j`{V%raKHA90zaoS4J$DVePo}RT||Yt5{E5(Z_0&;PI>Q*mlZ45 zEo}!Py*;MBvMPz`Xs4PgR)^F+ILn(8Nx&{6W{ml*QntFZauY!@miuJF}G zME9}sIk0?hhd&Wuc;$9SOzfv@wEG_>{q{8*7Pe=rb)DN!QB%;{wRHC?dWa`?xkohc z(_7sqz|r9xHS!3?=LMiUlyu7SrGp!#yJ4sDdi8ZXC|agpp_$-@zogOng1+xIhJC{S z0DKLju-+d$kVipM=W-u}4p|!RU>rK&bXvNHPp>j6GM=L!VpE@HF6>M0eh!nWw2j__ zh=lt0| z<3GX<0_qK1`f2!?V!P?+DQPL`p|!^U00H%pHHV&}caMpo!N()1KP9gFeKg%IG|w-o zaM6uA)S(zK5 zfK*5vAF*j0oEE$3mGk%8E9K7z=p8!?8>ZLxb0XrdVIv&MfzHA{ERNmA0@I|pJ0)*+ z)VD^b1v&`f+U^Kb_SUJU-9)G#kbCqP6aGo^g&<^I3V`qtbp) zh0M-(H_s*wrb>xKVf>}e11>ub*Pxt+Ht3lRNiM*WEI2#l zSB*TBqTG*J^sIz&I4FL&iU$cyo>sTXT(|hAJbn% zN^8%%@|Q{bN4cY$C8rK+PeKn*BD}YBw)D@|x@Xhx8?|qbg66Ke zJ0-lz)*5Cpp^mDRhm^$O%g*9D{XEt+sZHr4=rUUA)Hz9Me40J$iq=~t92Sdx1hw^5 z;L=G2J44;fKEQcD&4POKY`rXQmu3CRZ(2TIC+aG(D~h5$^4}(-9lG(VwJlDk)U#YE zV4uN~D|@O5r)12Cm{=L!OpIry2*UPatH+^22{-b1{{V)`>bY+tCvlFrMf4Qn&uExW zW~nTxmA>%!9pD(GE-qu7_WiTS=MGcmK1&|;bJThHH^UYIIX;nQMvBcaOOUryUokB9w@FzXSjmlgLl!f(mSE4YvwEyPsU z7~4$*^^r6+g|3yDA)}n*nDY^U2{^_wy=t(bSKqEroUvr*uT3_h&1!>Kw)w8D_6wyQ z#+utaytNfHl;%kxis*?A)ff2hH8apx)JFqq zq~ww(7+oY>%bMJJug7$6wqK#mXH$cec;3EN(PJ&5@pidlo)a|HQelw9!?`^g&^Po8 zp1K}AN-ghR?2^l>*}lkf{t6T6T8ouotFM+&=^Q*)bL5O{c0Kl6qfXZbwbo$=*w=u$ zXsUQCre(ISS!tT`A$*Jtdzsjg*!nGsjUvme!@E#i6=1MP87;!DSIbiw!vmy$Gs~Fa z&R?ATCzo#f4w+clLQ6=n>T&fuq|8CI*Hh!-aRbzqRZ0s;-z@lF%Q6=YL8vRMO=Vo= z^OmuN!Mvb`v@~os=mNsJeHGe_vTlZMrD{eWQED2yg{E6=Ohh<2k{6zvANa3JrN&P8 zFJs^OOQ*)X{{UXM#*H_8kiLlhSqA;qCTK`dApFn>gaM9k3E$Dpdv;UF2O;u zAwd`f0^iM0Fcc#gIaC6gD2T~fXpAxFriR0Q=*GyDMHtGg63AGXl3)en<`!`B3Kb(2 zGXDT=-J`udj>yq;HHiq4vPD1# zqNN@^5Q70mh#10vFs_O)4pkt)^FSCt2jqo8k2C-!VVT{jy3C;ID4bzppNHLMO9k~t(DP4{{R7j#y(&U9PEHL$5M6+ z+Ry4W^vZo}R@U@+aKV;L`yggGo4{Tt@Pg9?e-ZS&_BYnn`=t|KJX1EP2;_XOW1@4h z$;lsFWIt|&YQpPyx%PHd>|u9EyB?`d%^KGap2lk{Nq<37(z`9O+MH3Zrc|YuRA0(H z7q9B1eXEujoa`JAha?3t>s7@j&+DF)t5n55gMeyLR_U@^Am7NYx2NHr>|Jbj32Ip* zK@Z!{D;Y&-=Cwh-4#Q-qmRmENa0qGa7oBh0BgMKYT9K`Ov8bk;x*C}yAn%8gKI5|N zk84My@!>e~jJ>;AS5mxq*mFnkGiQHt#&t$(!R6(2imqDGz1Vn=*%;P6-YEwkYj78z zW+Pmre3o}Xm2Yu3J9ea^xVJ2SE4zm-X;S0l@NLAhpJOV?TITb$z>MQL%F@=38LyJ7 zUiLqoqyh)RM^LeR@M)f;v}Gu+yyQbU0sRBJ6@!M38!6W)$z(hdJeIbOX)P2g>0+vk zvEUqyv(X~^d>9bPOU z(5~dv*3s}iO9sxHkt}Ognk;t*IO)F09$DwF10H1W)OjK?9)2Ck#xkyh5XbK-VoMn~ zIRvVSvEZJ&b|Cdxq-&Il%x3=p2m6}G0*pYh$7T|Ji-+qg9 zVsXym_BwX4xg&AWXQP%@cNIiLoHQKzCX8H)%%{!?{{RJ3Or~5%N>2F7%SNeKTr!a7 z82lDV8l8n^QvU#euW7DUm77bC-BHBU>?R-|HB?M{wmwF;uVj1?$+lFdqHv5{YpEu6 zxzBt)JYD7t=4%Px1ntyx&yv?Ef2DagN=+o8GfKtank(pU1kr+FX-TZ(&tI zQ%4*U)Kbd~RZ;k`J@J;dR%DK5llF!|85?93f|`?YM#Z*WTJ- zT&d!ev9(dP!NHI70Pa0jt17P9DK+;m21<6reUDo!TH9pQTB?eU@mMT&Y36M^=8iKV zrGyMLp7J}UN!*fF6P1-z+z{knj73CZ+g|p>`AMgn;B$wD;sMx^+aNBg{^%z7 zZE|Ll?%Fy%&HP06gt*me2U1Wqwi{pqj-EjbH1x57mcq##a^uv1a!yLoN~ZyKq}!A7 zbzN@qZ;xY!+wJUeg5`OC2Ft4T7wTFWXz8nc>g{kP)pbMy=7amW?Y7t*Ft*}i z`jYOF)K{_bKT>tLVo~VPKKaXynnkYBJ;GMAl!mzcPCWqbbLqPEF1=+m|lS zZ!F&}6x5MWvGnlru(;s7V4QdQuL~mSSuT8^pmh9dsjF13KT@o-!AjEhQ$rIAi6w`8 z`JbBS?tbR^xK-gJR@7RCI#K&MF!r8y;oIl@WpiJUtK|9Kqtszf<$RhA&f`^FT6u#a zjK>?CIv*_IeCJT=UD}Kp@%gshpZ7sMCG1$awBmuB#&3LVk7Ks@41HSc{{TxaEys`x z=cSP+Ey&}!V=P4Z^*8?j21iY4OOBwaV2&AE0eE4MFr1u?hiv!iyzHK!vG>m`>FB>t z<#k&Uj9+ib+jORbx7q3Z1~(6A4d;Fdd(TkZ^w^)de7)H-wp(ZKA5Z-k90jM&{n@t& z;kQjBZ}1&XVdRcC5888+o^8Cs(-=6%XX)5DD;`>Zl-BQBj)j#KG0k)L2`M0!e;!9< zP0HMm&5lUO+p#OEswHdTe`8i|W;9cTrQ0Ro=6Z@+Vb{&?376V1=|MX4}=`< zw_;-}TWReZdX7u2MJ^er>Kol$_V$V!eN3*aCX$`9)qG5>gpU!?v5xr3ZU@FNJj(U3 z@Z%P{ydDQr%C^`#>if2iKV3_xuP{_xqK|mqj-MMfpt~Ymf=TlHQZ-J-`__^! zZggV^#}>`}@)W|l!E-k&UBaT4w7}?0frXNCJ-Bm7BcTT$CAHIC&`qtRc{b(bV9QbA zvaRb)QqopQLqzy$W2A~XXR3-o=- z8-0jb>0$j}G?NOJxAwCa418y}9fHwMPxNvncXN9?a{8og#fCLdNv|*6k+*ZuRYO@x zBcYxLi6W7X<#QemK?HOweU-+=sUAAWwz(<6@`8FW=^ZI)%gJ%b>Q7Vmq+;TdHF~m} za+i|X)O_v{wV=4;0C!pTXxODBQ<~c(J4(XRMsQj|D)zQ+Q`v1LBQd)&e6XXe*%`Oa z%PNa(PtWYY&tIBJX&q3t{F;ulx5Y_mGcaMsW;f}&=;^zS-=X)PL|rNM2On)33Bvbw zezb>yg&CM*{AB=$-3l)K!T?YQPRIsM$OX5OXbAM!s8M4$ARz=m%BaZ(J8ql-VN?SO z5EDRZlnQ`Im>STOida zx}2d0>)lW^0H6|b1{DJUARnR?2coNjK1+%`9&Gf-@m|MA{{T6h_kL4(;Xb{)@ZVnA z^=6r=G}lNBl(cmt2i@eTZ-L@+xDen3j`&C*uXm~9$0rU@lG-^bwbef8c|9rZLB-q0 z7kCd8nu?wganf8=ud%vlnj`VzWgTCH^3kw&BZFP$TbwVI`hOK-X7S2#I`i^nem^Un zo?y`1YRga!ALlF|iu(&VP3uROg1d5IC-RS2aS`o`(*ces+seV8fMo7hH4kf(`ac5c zI-@52k3DLd$;|sW4f_DP_M^)^nB37VHBl?1Z#ZMO{pJIeEwhdeYj2+TXJWIqH(DhU zQ^V7i?mWvftc=$tqg!gXO*6+M;~@2E=(}TY2dz(2wlU!0Eycs)n+0mB6ILkT*_X||v#?ixdJMd=N zD`Wt**$1Iq-Z*CjlZk0_x5ZxzqmiKHxapt0WeGU=BxK{s%%^3;L0yGqF?*;U{{V@k z?985r(RvV?z78@yB`D?B*)Pm=+A5k2Lv0RcE8?A)a6gD%d+x@wUk8xmJbOEr4IW1J zp5Qe}kX`JQj*@5^?{zJ1d|307PJMDoVe=)u#yy-n70I^Gpw6lvQ(`N4SHXXDc^7f9 zX#{PDZI77jx;fsD&g_J%mu%LWBs$=nZiWqqPu<-JOb2W?*lc>Nv}sp~vq?bGCm8mD1*6(~QuvZ^OLu)1Y0nETemjS{r1+IHu3(SxvLF}-jV zG24+%)5hHAe=*TV$(o68B|s<3Jr*srZHyA+qUrKal8@n;cBaHC>ckGGWYT-Pq!Jjz zh+%jb=EqFnk(H`RE>h&rvMr{}jf$qe-%{Jx>Jf0GgqBDrfVv#HxWPEUJM6Vt+dW0T zM5pT4JY-(iaF=TwTb_orYXaJjq!oYr(QIQAL-6_iP8;oxJj8 z+`O3zz{`|%HyXzXYM9!1X{jkG8pvM2Fy}i5VgLuB<|LJ&S2_U0Ks>*iQ005JdKB4B z^~ud@OU8;6aXy|_zDg+Y#|L6a!NBGb+xGZHaK?G+}4@8@YC7*P-|*?rli&v zW@-8+Nfl#fd{1ep1>5_)TV>ck3&_A5;cLw5iwP*yyW9BoG}DgnmZ!n!7_>z#6{0&; zp5b(z(X>Pq(h%Dq+gqv0@ctk1V{Tzs3QzTFiBZ7?{8mXPd^HR9c5tl;~s zTnOSrRrwWM)Xb1cEKh8$k0L;D!M-t%JT5yMT(fPqL4JN3H9bYBSsy%M*bDt~_kf!ySlA&|dSr(0J1$_Sif2_Stosn5xCUdU6H7-7OXS9xrt-VYn zuYy)U*OK4{9P^*D-1o}h%*~BUTjcdRAJbQLTXl4Fj^AL@28Jh72-^?3vCWN-e;{Lv zPWyE@>y`5V0Em_HeaG+J1L?4Yn&r4aUKj?a*jer#nDhSIW6!&LKFV^f$6c#OGSwR5 zdRskxWUw}-DtEyHD|ySB*Mdj_K8NAJ+--&QcwH^Z$iE+<^LgDt(?q8TrxbJhwf^m? z>gntu_1+{@-tSEmFqcU@u5oi*=49g_^&K!5(p7<8EL@}Re1=AKy+(1bPiWL9m9LiJ zJkdY(gieYYV%V_g-p71oxE!?g+kBPjDq|-Wl2P|QV>c>wF38EL`xlhjS5uo+&D8Yq zQ_#|2)xu{C222MJhd&dsjnua6dhLR7+kWQ^aJq(7bBmUuxqE&}R%c5^O;;stp_Osf zK00|^E?1MxqPb%3QmwV~`jusZq47z1x>WeD4~{8isD53S zY|=?R0@qTCU6Al=$WqBk@0api>KiRKpSwPi=U+!GEpTa?mO%ErU=z#JIQ3Gt?EMLo zfh-v%H?;l>3cJRZb6}^oQjqBULnM+)AL93Dzyp-y=C{VE!adTFuFC0}N|?z%eVWBy zyS6q!+B$e%&^PoeQ@W)1N23p??Cso}G4ku84mt z0-3|l2{~-sx?kwT-EQ;n`@BKDn$x%3u}!lHbhtk|D@Uv#emq)ye2P8!HP59r%o%qU zptMvDS3S{_{UD~d{zDHieXYk(4S2?d8w(-Ph(;65)cG$|8UW z10IM4f`ELb0CJ|lvE~q?Bgp`O^i*tpdMH8T)c|9nj1RX=p+*9zf$FFQj)1UMMcBYX z4FDhvARauzfed`r0Nsko6_PDIRv|HAQWrF%cY3vY{VH0x({lSvg$)JP;Vhr2?e$f4 z6tOwFwAu2P@cwt5SQ)z*8rv$fw= zS?W2dbw3y9xKgz2c}<);QIG1&E7*H&>KDuO{^)fDTIEJR`Da!2wU6KP>~XCQK-Jcq zj1PN^f3z3VU(8!P>}T6_Tlq(;wf-MzXI|rO%Yun${)fO{$*=Z2^{LzYeaKysd*Jqa zSuH!t*EHjGg^!IIB^J)bV<6iJ?BRvy+r*a7A0vsH?NdjH=Qke_B(8|>Tpd-u3ug_$ zAn)B}rS5EOgxs>XmUx>ZdTuva$7_^ruO?OSnTV{jM>9+599Ztm&dYRcm$~TE)FZu2 z!@1WBO-m-hj#mAWH~#>K-nXWjTEV* zT^T!^?$iCtOzYo+lG;?cGtkV*S&%_#=t0=69j6rIt_vI8lA7~JB`obZc;#sg2Y%Zu zqd!gXAumn$Bc9poYqTZo+Uxv7PUn0ioPyl;KA-Sivr8g7UQX+3SvB`BCrq!Rpww2Q z42@*5Owi_@yY&Pv8s{o3+>bV!=Z9*Xc+vCU+B1R`+6MJiezwBnK`e#UEo(MsJGPh~ zB3*|L&LH%5-$w4QH7Qlbk4NfE3bW~5QxSjrBym1c(~NY_P^W57`hZStX-h_FO>&o^!r4m@>dNm zIBS08mX3MLlIALBIPdrcO;VYC1t#NT=CaYxD+|b}cF7;!vWhfLWp>2I4aVxUY1?Cb ztYFy;dv;KLK|41-NM{&)lpN_D&>^)Xibr$4{{U4V1x&lQO4@myEA5o^ps=;E)CY10 z53DZm?y^y;?hcxIo)N0RyrZA&R#Z)Ec}nn#HrABaO- z;n0zs6@56jw7E6B`Neko89Qu3-fEi43Oa|@Q#zM3#n0h~7W{1Tc;)NrRkI#8q?^&I z8Sb{fLSYW>}drqWIhAMt-V~S#eWV z)oKgqf;xF$$qgkuY-5`l$z*XcqvANm9_^jCW1> zU#_b}_4LHcYqrmUO-n1tB3S`Bl1%O+9|${;O7OC?qm?I4KMUQXx-?r{JzKf>Mnj7H zP`KOe@X**a{I{)Nc`u3fpulC4nS{BIlx##ha~6zbVR<<>!k@AW!R>V3moB3(R>#{E zY#KjKH-{D~ol|s@uB%z<_CV_C>T<}b%xnNf41EM~l0e%#`2e}-s##X*UKc0LeO1=q zOs(VM>)>|#Jl9$LX>#Vh<<53GkDr?Lva*$N?TPtiJvv=N)hky%?A>YTY3SP>G%&kp z{7!CD%YZ<}dS`s&$Q9tq$xZh*ea1EwIFM0+3hK5%2@d#<0qvE9=i0lGvgvlMr@^CY zOZ($_J}@}jl&>c*F-OVsT}MCDlIMCfi;aBM_0!bI*25f}uJGCp15O+8j=hQd*UjeV zF3+}F+44D;Je;RwqSScsTuUXa+`Zn{Y?`hqW^*AD5*s5+agI^BcQ!G<&3v+QaDJmn zoiqG9yR#M@+d2k{;n-#_mGZWtvKZVZr{y?>#C#;XyMXKEh2!LB_ing&KSugz=+9rb zFD16uvD0X&ZM3Y4z8MUKjSlB-Fh|-h^1#QPB5Fh0uqY+NfVeb#STMFtJPHnC0paIf>RA69%=|{8wruj4j2Qd zZUDgi7d{S%z<54uR z%KlOs*!fR3Gv6!eD#hbS;l=t=?1$?~_OH~!f9VhWx}v+b!frpU>0=YaMYMuKU57P} z9zg8hLbcb^@3L>QJ4ev3rm-kdc{1R`X-kI|Xs>ja==9}V;-zzo;+f5eNY^pV#vk)u zis(5PSKF;@>Xsiv#h%+t)@RZ@MFg6c7MyO=SkQipIQ=(zkGBU@v-)F~2%|28)=!}| zG1olR_}rfD;*5BB`+g@jGo86{p6UMprt*BP8Q0XhY-Op(g30XW6TQ0?o>fs5Ipnt2C&pwfv1-`~)>ggFP?a?|eBk@}j#3vK@$HA^iK5S^aWWU!Y*yYYLgE>6qI@~(=-td0JfS7v@^b!=mbX-l z`}GAi;@c^stz^-H99q|OIoocls|ih5wru))q}zj=-8lOguIt!m-XPz}48tCX1%P%c z0LI-B06!!EaDa&fqD5Q_7~KdM2vj_8l|YCzxEkRHg$1-~Rn4Wr{9HCK`pYC-pzcK-lK@6Aba!A}|M(L#m~Q~(A?pVa`s z9!dbmk^vBa6#_Zg0Cno4;G@Rqh)4~$Kq80I0pK76 z0Ei3%Mo5nm|umk}=)CsDQt>6*?=f?uDD*8yRPg6xlU z59@A)^s~vvu3P6w;rG_vC!3l{8r}Z@b-ON`a4)Zu>ZSC25?hf%)^5-^22_j#-ZdeE zZ2X+>==is!&a0-c7f9_d_lVf=-NxALwB+=;>+SM*x!*?WTr*#nRZJ&yYVF0X2mKqe zw8swpcr;n`W<(>p*>_KNzT9eUhJZyV>DVQA7)D={@(YmW;7qrY3!pvjLlx{9>QqJLa z)na@z)~6~n;z)(7QdQdB95a{8OvAG?heztu{0d!EWVaM+%<1sRk91DCqjSW%Um4&H#S&vb=bED!$;0eFz~AD z!yQKYNvWm%SyJbFoX$MhJxoqN(rD;^dAs%I1KO_TXWG9p<8{80u_o`v=BaNY)LJ z4p~L>5=a9-RD78vQ9fk#^HY;x+Y{fgZbE2|NfqO^O()v>g1R)$^o)cSW42q2d8^yA zlFYLqPiJX3Yd6joNhESk_R*3y8K}>NTLjR^I>jVqjv45FE!I`p3m4kX*1DTW zwo*9NO37bXV~&R>6;rRZZTpt9Qa0CcWEz@+=S>uD zYpNp=_;dJMZqV_J;O(7}&(wqT+S%0v<6=`>8)l#3ylE|e0`p#@q3O= zMpIC=)5AmiJo1nM4s%@L%=>A^-kHd>m>zji$({fTHDBMzFnGhFKH&1Rs~ zm6S2K+@_}yz7gO)Hd4gjvc~*v%ZSgzvch<6#l=2;PoL`_Ra*-`3yb!}d;FVhcI&o4J6uHrrOx*C7F+K zbU@AwWUw=R#^IQ!9f^u4a5D zk+>P?bKkG3@UpXA&BuC6;Qce{Z>1hJaJ@%zm(Q`#Vt=^4M+$ZT)8jZtyWUTip4mBC zA+IR?djqDdX>G42v8iw0tLPm?O&v2CEMhqMM=Z>1y1Q8I zuWGtysYdS)!SfkCM;=dDjrSrm#dpBBO5PbtXn4z3#s}6TCVQX4EJYxfYn)SMGO}@Ce&2Y}S z-_h|T=Tc8xBWKX|X!wnHuxXwzNpGpOTIgLvZj9A?gJK{8&l01s<{OirA=P);^!`3H zC6JSC{2WmFlEq@jqe(xX1-fz&4 z>HV?f@w$d?U6#7s^uJF9fT(Rm42lb794w5I1W^X=dXtXpwlzi^BaPVQuIV?g)TLK! zxKv`gNM#T>@&^YVQtWiko)*;N-iYNNBDYe}L0HMFZH=sjp~2BQS1>r1kPk52VBq@U zVRSpzqV#186kge8>sk9;fPuDfqSu3GsmF0m_V+ggFpPH#Y*yKlw@7ias+*g_cPV(r zOF<*$o{KjW_}Nw5@LOCWlH(tRab#6(#xXoCf94js<5ObP8O>4=b+-YOJ*&2SCe}|}Tk{tXsaUb@=^<>nd*>IozO@F%o z0LkiZBu7r+nAk?!{9bF)=#YMjZ2so@SAU0w{t?J;P)66B4x2A~E(%dvN7-M*R*M=a zL!Gc24DaN$#=bZ-L8ZylH03h|nd~FtE#Dz%xqZnVHe~+*oN6`HP4Qgg8@it1b^aY` zG^!8t4^4j;vH$_ic&I{LPa zqLQjQxWn2(2dDgfS1V03&YXKpCacpFm%1miNSn`$#PNV*e`2=PXJaqS4J~CvS=qoH z!RgGyyGioFKSM)|(vp0i8P;&;)9rCw!T4p2Fh?HkXI0dqeC(wDOU5)2@PYGLYey`k zT*Xd$?z2m0Jg3Q!r=@Y|4#jLp<+8&g4KQc~jlEWA;+)&z6}gzk;5EL5U7DWCQpj9R z5u+u+Oyu=DsiP&yIO%4Pj5lvpQe<;Tzo)ak`?;k2*2NQ++@%vKO=cYnKLpY^XO`KL zg4EIbs_7iF$uf4^bq~G5+nkd}NMDIx3j?HUeA)>Bo}Jb+-oDd9$>gW|C|r431`f%s ztur-qmnFr0=HYy;j$55%)pNWu0WD0W&J7rAK_{^O3shpU;QJAubn+}pY_`@`+D$vC zX0uXWpt{2YS_NbbERI523BWt;)9A9rx>r-`Si5$1Wn-!=b;a!5IDMcfc)>MP)mom@ zrbVVIXr~6B43ZYJl*#sh55sav`$c&DOQ`<<1=55iW0%LV>U8d#F0Z#a#tJLngPYY- zRJ!{$meElAfHhLVP2e<>P#WSI;L+v)Jy)$w?&?(S`*yiFC5_o@uD*17GlhQ7I*V4` zMgIU^!9B&rteKHj%;~^z8yQ@3UPd;EY;lmC1d_nO1EzZ~(z+X10yQ)vV*Ql=u`b)AgdNdt) z={f%Z;NiOSh;-I@Uv(4U&;ox0^6aIMR7X1RB~n8{>Jibr)Vd$1bO zyPSO*H(n=D&vnJ9nyzZKxf%`9-&s*mUr-G@Dr!6!T_7jN$1(8-a2@b~4*Rc>x2eTx z_ig*157c^fw@uCXegcXQ29g_8nsP|)^2{f7L#6nHe4w$dXz$f{88enuj@K`<;Iv>Y zdX+J&`K|tK9bZJ~m~DBw++p$SBpxKC*>jv-wm0wG_Y1r#*9ra~cWp?p!tBRN|b=4r=gJ;R%FHuPI)z?}6IxHVgu7=7FR=Q64m+Uct5 zL+YZex0vc_nEBeue8e*67Qf;-XxMc)Utvu$r7qOFTG#4)bD;%dxL>s9S+AIHR@G~R3jSqt#Wu77s_#)n%aC8cNz)w%^&LvwRJR2 znXb%je>1U+j&Jy`hud>-iQ`k!qs6d%obyz1cH?-vKEt7{GF4aH8rb2crx)_o5r%zJ8IqceYN;U!*`6ZCZA0XV|k+Jk%-E~yB;Q4#)%9KBwC!*%E zX{%}-Q8zC$x(19i4?q^>+PFCMmnAkr0mvCu+4`E>O_yz_r;&}2(!I4TKMaf`l()&i z{%co%Z;u92vML&ExOFS)8xuu47-DG|X#0DUlk2`diyr8%QK8*jR*@rasboYJII}tB z=--;b+ZFd3o>FgH8L`aa&MC-d#GfpzyV{XjjH$D_JeDPwRYs3~0y9$d_3MvuU+6RgYmX!{?ezU+y$ z@N0P8e8c4XwZR+$FjgjLG3td817rfi0Uwe8^iZMIQVBpWL*|7HAp;+Jg%%HGK)!fT zgTes9sHgz$s|;t&L^Lm=pfU7NfO@I}1MyG`1E^J^=y(|Dp)@xAp^r6`IguGkqxty{ z_1*cEiv&9;1cd|vgaZRTPzD;Nz?A@?05Yf!Qh}1?KpeR2fG~g%0YEMLAYt=BNCZHC zQ~*6f0fF;C2nG-gbywI869P?wtv}i$(63Xa{{Wh4x50gFxLhr@O{uosD{b@Ow9iLU z`guc7P#(e#4maI>B7|*Svs*@mCmv#VuV}qRs(6*dehqOZ@mo`Mmak3R=`J-g0{6#T zNpWN~5;*?r9_gvT8v*e7uMeZfIN7;4$td!g{f>;N%2h&5`*LwzJUOqH_T#NgL;aw> zi)}|oE*BX!ztw-_^(M8I(^EuT?uP`Cx$<8{(juKJNB2L{(o)8Q{SnJA`$~NBy=z|w z*jo0B8*Vwt4gm7}B#iE)HqoXpgQe-$V%dQh8y>5NCOVotJhi)aYgJJX5zKRA4i4xr zdhWe7FSR6kbx%oXwR}$I8DSfBc350hTN)KMr1lFh6y5bT+`6Bu6EktpDSf@sp*#0G{R`iax@m7MVw~Q zYr0T;8trYqs@*87qkFkn?2c2r5Aj`aw`)hUMnrCpWQ~(Z>#Dnaj181{xxt0Q43zn| zAHC?Xx}?$Mbv~A?Zb==lP3r0!-7_SK__P9c@~x-0lzc``9P8U=(?xNTk-_bG zEImN{{%ej)XP0dXM$tuaimo6*4sT5V0D93Vw0V|R;LI+q(locaS3WO>W`8vBH*3F$ zS<`c==-H2Rt@ghL8%FC2`%PE*FR5GLxu+1w>Qnx0X55T;*qrMvc)`L8 z9}=umM=dK{@8=sVV0f`S3<)DWIfi#>_*^!3VkS0B@!xcO`<$|_yvklKLgU%|9v#-a zIn_Kpx(W?JN&5-QjTLl5FjcS|7c};8{pLFkZ*hVN`aE2?Wi75hL-W3=(=X|hai1~v zW-17Ci~2F%ZnSY(Z^3-f*v1t{KXaEOG7>Si7HMq3H?ji< zx@nnkSB8#hw&f$Y&0f}OmC=cjrL+^dY0s+7MC7+EF9u?k&;SIrWvw1{nT?q^ZOv!| zw+ft7y~w$2aK_vmY>67XCZZaNQxx|>(j#Z^*8qJl%0RZS7g!Rg`0`^5In2K`qSZf#UUTuGyTCMHf~zQw4s z)OrhnS|f&bXX?x3aZysSgubr2R*H&@0(1RFjBXk_532cGzO!aa^x(JqA7g{jsm5LQ z{{YEtsQ9;c)bv8hp~LKYb&h)1nzz(by(5UROR1u+xQv%Rv63E z#^d!lcBIxejV{Vd9jc4oD{H5UmIweRna&}M&NnzGJMELX-FlXGQwIDqho|(rdaaIA zdXKv~CXLZr$BbI%P}nZ)n%SrAcgU&lemffKn%Su&k-`nO@cCTaj)wtwuGcrY`=3qK zbLi+;@WjDM$*xaeSgjP)kki?zqKb~+ZDEq0njPe6F&40q&<Q9Wt_+Nh#j@D+ze7N|&0k*0>gnlbsALVp-5X1} zdB^}9d7KO{kLo!oShmld&-Lw6l`Cl*1ty!SsjanCG1ZK#bvM1fnp%H}lMR^H9N+_t z?a%C zt*G%IgY^D|^o((oZ^?bq{Y{dpqADnI(8l~l`?qob05#229N!1%6ws<$MvbWTTe9c3 zA*=+GjPpCt4aw=zeHI=Ym)v1>jyutYmd|nhXIpKoWOG2qcoNSIPI=^(KZS#r?PHka z6SsBhML|VL@Xr!kx=&AoJ87hcPrzwori{$lz~8U+bd>EfQOxVDbwep=Dg1VT=ExdAYez$ubt}}v!S$w^;w#DK=Vq!ad-D7o z>rhc$>+0?nTl1Z0Hujk&=csGvbKN&IpB8ybv5uV=)?(F7NluN;Gvjh?yCTI^+KP|C zZ*-3Jsimc!nuJMG_R~{0!iX@+B4KASJqN%6C%Hc**-C{8sXudzKHD-i+PFtI*F0IE z(B`7aWT=9&vUvPIccwl!?HY0MKcL1tFH0K^S#P-`o;a_F*~0l}7`R8R^_9c*p0Bz{ zAv?C2k`}ZBxX+sUOfHAd-bwX5Ob@b^+|BY0TXdtn(&{@rbe78cDrQqc`Z{*7M%Kh) zBmwj5f7rImS{plSs>KunF*JqF%eh)I8c7*HE{kim!EDzY}M;M=@B$ByZsnhsWWQ6Nfci}5j(~=TRWRZODU9UY>@a& zosux~IJB^RrsKIDM>~9$rEHYDOrw=Qa}if%4hP`xF-nG()3uU(tmILEfrooBl;tj>J~}j5@R53 z)M0vdw9m4)^6as-M~Q9R{yHx~dmfEZ;Iwu@4~{S~uzohd^CfM1I#Eteqzq$xbm)UcCl+JuZGrhL zS~tc?7Lvgk7yy&h=X|YGt!TzcOM@R(M#q8(3(U&JQjdd{{Ak-9G+9ACb)o#!&MuF< zM4nUq#eCLIBab>hC#?N7RjJCgrfe4L)g8^efbvWS#T&f+JlC5gD4(2WbgOXR-ncGh zkC=W58SBC4MotfC*KW3v%x0zpKdET`3$nSXaL-#CHZ6A8wu|jKtE#AHXsDy%Gn+U8#GV<07pAVM-7N2t_7zHRZ^5E z-5wdqWGl+4!{{Xs4 z%SX}Rbvp8Ymo6la%)X%dcK(@Tls@P`4AVpKagF=0Uq{HwEfWB^;AbkRlYOPcG*e7Q z1{O(Z(`B)*lPyPOesbV5+s$O7v(LLNYlAmSXlUD&X5xAC$Z|3D`iuI?WONu+faXd3<|zSU2m_(4-t@4VhjB`F|9`D~d&xX;k zIPzW$az6s+>)GA6wfZB~^yQf1sfNBz^}^3)Z4;;Ej=rXlUoI4X6!kT7a?-%;XPM3W zEgnGS{)@%U>$8$|!-RbfC)4U*b?awN)cUtZ@Zy>p*&>SJd3;S}EHS~%4>@rCgd+rk z_TWAE8xp(-LfpA&?L_)0#~%%CdmOIs{!;6kleISzYTjXq#8O+`C&I|X%bDVlfb3^x zGzNk)Lyqg-#m0pZ)eE0<=6aV`vdKE)_&K)`IHg5rs)oU2W9zRK&+w@!VHMCtFH*$)KX!7fc8Js*PSnv^scuzOHPsaKwHF(VZ+TIhyQq4)`b0a@lK1pzG9h z&Ubvdc;^qF!VYo!TL1vc@bYrgT1S_cCYNDTPunXl!k(JX9F(&RI-;N+V6mK6%fsO8E=yc~aN1 zKUn&IphE_~R^Dd*OqFfQI%a$amy>_0%DS7=UJtBVC)|e}9H-CJ$%{ixI-%x5LoJRrW=VOCLGR8PG4&}h(cIy)zceARUVmWH9S z%NL6BT`qTPfa-dM>|w*cK8-7t@Of2XslQTh`)JZ(@IJi_)0QcaW zgUj|?^j~d_hYH}fw0y2_P@YTWnP^)==$wONloZz|6Z|`Nf0BzSR zqRH75m3q;^U2suyWlAel^)4KYC$_6&UzN7U5CO4hhLno`z)eR90{-zoSl>!aXv=^&Mo%T5S<@km}O z9!WgIrz>%`-b-Z^Ue|GF8*GA5MkZZxM*|y6%+U;7!K^1Z2e00`KZnZ4+{+v*^ke7O z9xR!qX?A*s#j@QTKE%}xsS<7D&1VG0T=9rff9DLorK7micC~jNX z(fm3|cBDIR5wAKXwo1xJih7CK`eWh@k-i+536Ipfjox>9lSi&pD{&C4Ssj~ftn$I)f@CX6N0 zWW1RQZDj-T%_~UqJyiT7_B6|<&3hSoZAC#S$zjRcAdQxpV@@YD@Z}#UzGYnvNCA%k z`5l(8LQ9rubxHz~m^rx(*-1gJOyOppj%mhNTNR#wf$=)1^z!6#^E!)ul0QuU01o!@ zEq|fOFuYWLup^B9R5C%1>H!d_*d2<65&``aKu660vD+$uBO`SHzK8{k?tn4d2vitR zq6aUUr4CTPvWtW z84LvgkI4!EXQF6>#=syC$pG=@nkZm-APgW3AOJq}0Iq;21&rrp0DAO5Fgs-k7)=y- z?m_@3WI#NS4+@|l6$1fA1_FS19ncR7fGU7!_3T3QI$t-WYq4%RI+wG(eQhqhw$WQ; zbX8YN?wq0$wZu8G{<)-(f%AM(XV7}DORd5ll9auSG2=e(w9NZT()jmV7Nd@v!fkKs zx*`DB8cjiUfurci*f-w|3s*y$N_Bic{)}?hbKCNA%|3tW%XT`7xVrxUY%h7f3~--r zMQ`z>ZW`w_}#OP265l8UsKW6=}i9S`fe&%)z9T4m0#T_ihNw1yPU5>At?Ah zuGG79W9SbvxeHo12b-5Cs8WtmsV%J?BTkootSvry+;4)l+Lv~xC6P{pq8;mTH;K@X!<`#kj z1F$pj?l7}UgD%pGxA|b>3tXSDd=y?b#!uX_wkx!)mXpHQf*djzosmRk9|nu7Q(TyO zx&qe;A|;M#%Usif51Q~U!|hwq;pg>e;EJfz7150(%L(&-H@xXIDB%{LicX zKV~eOt#D@~ER~{2$a7paE$Fa|NuMy{>w0D$;cbp$WpBX$0O@1+E{ILO4$5*`;rJ-p z@6~pRn*`61tYP?E562$;Tjt;D{n%DHhsxfqq@$7{*hG*1ylLt~)0O2@d6=%wcP zWc1IUr&YmyI(yOaeOsi;kGd%7louHyb82bjEF*k;*Pke_C#*MrWsmj|?3>U}S5)RZo!tbjO?@H`wnhs~sJ3d)() zPhA_n)HM;GhDIKTKSj?qrjz0PoNjKk>$Pqt5Y+z8HZ5Oqnu|o3w63dYE;?%EFl8ls zhhK20cFiR8jzTan0ReW^)~v+RxpznB;Q0=*^pq}6{4d`}9=PaB?v%PsWz^O>+hxL> z;#zvROma8Z2dF)W$UTW)S&4l)a8sr2ACq+`WMR$5*yy>WwlSb#zg#Zf)vX>4*)o&l z$j40_eZKXJTJUnp$0SuVMHhYgY^K?cn=NLp?9wo)vNi0plBv$_qdKDn6k9%GPeqBf zBvFu_yQ{~OV$oL2?A|FJY*JoX9Ibq`5%Yskz;|X@@eGZ!H(dD*b~WAF&YCN7meSe2 z+W04{FSRDBzLE_$Pf+tDRFm^bP{tFpTM*06It=40&!1GLn5eh5cGJ@DzFfyh?Rp>C z!%kW%DeLNN)m62vEiE@U;DR?UYz)|E`oymbFRRMc*(rZx>2W#?V7t3F`<<4KhR3Dh z_sL5xb?}D|bEf2q7yxMIejV@<0Pni+?v=SOwJr~($Hu1~J>LHS2R7DxbT=7aq&Q!0 zsJPTRSIIS8xOF8gj@iTy^pEv+eru~Armgyy@QzHp#atSXlU>uAZl1$gQK)rA;;Op& zTIicoS5Yx>Fb0e)A(P5#DYG8aJNL-^sby_7fGm_af&Gn z)hu9!0Xx7lKf@aUIY9No@$xcfH`yNt=k~@qGxcqM(A#E~8D%bnb42%vd_%A~17;81 zZh9_vBVVNy`=VOUGqUJd*0MH&20zDL)^13Sw&mOGYqtxVD58=WqH7L*(CXvnR;kS; zz4B-2D1K8-tGL5cT^lYgl+*KrFNSw5&q1BCygZzh6xqpRgjVEJv)C`U%FhzEMpZe^ z7<-rqYXR6}<@qm+>RnP4#jWX_c)d3K>r#r^J64&~RF-OSF@Q9=+{et7@b=w2srSk3 z{a>W?I&dJLZzX%h<~mqj8MtW90_vic{2uy(OJ<>XzOsp-^`b_Xvz@FhA#CG25z$#9!IjJ&T;jhy#bY6x!D$67Aa)X~z{$swnurDIKZM^C#dh5+K0cAU4Z0=~K9H2(|pMua1;jPFg z3+l1DWHIIZz8msryDoj5vV0Trqg~ar?*p2&m3>x!;GA|7C7$M+~QnXHYaku zZ^Ba--|l$%8B>&dW#GFpU9Yznz+j`Jpmjs#fw96EAY+bsIe^J)M#DK+HyYQSv%}2I zf=W@=&5qxtD5;|!^7yNyk%CCw6UYqsv4><0@w(uaOsDUogCnS@N3}CGTT`a=(-{}O z)0fE8&er6Z{Iayhc3r(5RHJ4??ya_nTy6siu*%@msmeU0Lwu@W9j*UF1cfJl`Q?9M`kk?jT>Lh|nX0*dk6MRQb;@}A8&nqx8a&yxQ zztD^|*pEuTrX-f4{QQ`Cc)4k}(LUd9w>qVjPmXDgOWFrB2`z8JGt0i?JFW79Z8XnX zzo&a5lV-J7#Cz3D@`^Un#3XrmWKpzof_})(cJx_#oN1lW=u~MoV`?@2qH!_4x<-+) z0sOf1*=66g!rH#j3BanSsiMRv)@ZD{4Q8lL9hit%5ruZE_&Tl7ql9#7d! zbbT?orXD;8iu?uLiEEd-s^*nR`yN(DP1g+@Rj*kW0M|P|+AEsO zZLSX*?w;WGk+1P`HRWAPvw0BBAaA0dAux zDu}@v*gz10vH-#qG3JB}c@-K1VEv%an#pL7j0v>3Z~Sdds9d#a3s zq7Vow0ViStP z!B_hunBNI6InUL0CLUV1*8MG$yi#x1di81zUzMHrDjaQ#6N4(Vm&lsak8IR6kn| zeX{uW{>Pu6({MWFZoG&kFOyP}*~^C-`YCQa58{L~_(b^DySU|^1N{dO1DJb!ZThcD zkE!x;{@lv<`lIt+t^OHVUgwP?nQD##@sCV8S6Apd*`SQzPeUsznBnK}5=Yc8Zy&GV z-nZYTd|pq{-A5Of9hwDop8ZDS9c7N`PVup9v{JN>y{prPRy~WlGe?;|mzPV_>wnm_ z7OSkCE%iJ3#z*EBeyv`6(Tc>mf1&>XV!T>f{W$@a*YEu)7~jmSCznK4+>x5X$)Dwe z{>IN|;U)V~MM~Rc6Qi6kvZbx(sdJ>~aSmvWqySsUF`l5D?!3wMTIrKgmeK6f&@!@M znvS3Bb!{8$w|JzghPL;oqp1Op1YM-?p(VhMVFM3{;xmzxjIS#vuR_T7!RYp}K9ssL zPHSgi(wq~gvd75;j*cdejg)aV-w*9~J(Y_?1j4WgC&uE9NC;l6zGy=vha zSIaz1%*9&lis$6YR9$q>4{b7j&KhVbnVAWA*m;xRqEET5>7HgbJ(`PT+5hpGD^6<#wiO zpV=L<>cyudz1%(810(5tLGd_!w=^G%9fzl?`3&x-8tZOPlb;_3dDeEtaCR*{rztFS zjOS=F2ITGCd?r=0%d@%oKTYV}9=r;9T#>w9nHyZjH~>5OE%?~{Z1yE2jYhJnYS%g3 z&J1oza2duuJFjmWADx_&v)g4Fxm|HI)wL10M-;M4;j!e5GBNR&9>kY*^#Ct!6{!AS zClsWSlck!58gCu*#_1(tabqL+WXp0}%zK_~_Wjk>8s)7VQg1^jmIm9J@RrlUhW82hYw?lH*~dfaa3?MuanQYs7t}6&%xtgeC&&9 z@N9KeR2o8f+{)StmN|`cr6d?yNY5cBsULFlYp(3Ix3rHfV%dGF6}_`q*1F44(^A0r z9V}2+#3zcRH=VDCn6y2I_gDzWlJCaDs?DwPk9!a4$29D{9J;qr)K%Q-E%sO3E|S3u z=aNQ4{M#DdXSla>$~@O+WGG*HKARV!Q&d!v(lv{35TLeSt+$(pPT8MNJBu4o zKcaD*4w+iA60$BZ;PxScqV*07I_fP!bFFN#+2_UBzP1?Y+UK{C?j!+@fM*-yqLs-) zwFb`19aYD=Txht5hgz;s^HoIJRuPvPoDN@Kw6cSTcawsBOCGkl+cURq8ryZA*JZoh zt*nZPuC9hk8aMdv@%deurU&D|Xu$p6-PbH(7bj-l>?`V#n*LmTl`8mmMQ^;zV6C#& zw&zPqYUPNulJ;^iU)50@;h;2;zmNmE=Fdhd~u>N)!JS_@G9x^-LGrF`WzCr#%sh&*)P$TU&&)@qNTiv z4>s}15sxH#oQ1JHa%izX^+c-LippXiBOKQB=V{14P@KPGo>WF=PK!}g#evPv-kY7# zL%Z1Fzo$ZJ?P$o|ZzAVujfO+;R0ndn^!P|$C-oFN6c1bJY&VO2ujL~MPD1%Z?Uy17 zq-4PWh(G`!3@A|Ugcb^*cu=A}w?HqZPzZzEAPj7PFgu_QTw^#u1-@Ylg@K%5N3x5Q zsu*MFgh9))5HNr+PzEr7VF25J_WagS;J#5tpkks?zS2AMDl-Br7Eu&h0wDl&3IOV= z8_;f^K*AJzs(@o{(1H1=00OH4g^D1zSrj)w7(g`&7%G6lQ2-6wWk^dOasi=4fJy=N zO#(n=0CfA6AjbayP=6)e(|^xfBhlTxj=%J4Z{ilA*1S}=MRc-g{UdU|KHBV4~w z#S_{hf5P_$O!5Xs_&t|*)PB37HRE}cE;M7_+>38(ejjLk55)FYaN6B1yH4M!<&rCW ztu1v0Wi>>U)pYnSarj>oU7X|gpANxKr?RZS9o2K(qRcaCQJ&J)&Od1<^_?LYIGKm> z3*MIExHQuHY>vKB>V0hIx;WfH#&S03zOSWyxbZ)_eva^psX_u%OIena}W92}kcfUvTAl03|Z_n11mj85=dj5zPjmFPk2 z^k_}TWxu?JO))Joy`Z(OXNx5z4K9^s9TDBKR<`GvYINpgBU z(7rm6wCL_2TyR zNkAOUcTj#y%eIL}lj3svb(FWXZ+5%fur<7`=a10z^$U(w#(%lv*@~s)*|mySaU3toxl|-<~~#kErgt>&ce8W#H^AABxUZ#(cq>XH7X=#p#)5YCacn0!V8eAL{G9JAC_ zL9G3oW+nGsA8dT?In1_l*L``x!oqmD{?g#!v!*z6+Kja}qToF)C$m~C6puTP4xTPy z^lJ%PmNr{jayh*TFZ3evO?hPznC%o7nuc@?rlc@Lf7W*({MKKBwf<>Cz-%9m8DJ z#>dMwJ-*QcMqc^qed16&%Rp;K)y`XEg4eKelHo0!!&Li1>8ou!V2UcuQ&jnXVGHVj zf?eJ-;KQ?nOlR#MCD~32mi>{c)na<_`>3YF=xDr1E%3)s@y#Uf_@r^h< zgMrpv9cnj=?S=@h^%PW+LtbL#nk+QA#1|4;=Le2p0Ni)kc-i^x#-g7H`7WuMW<{N{ zXQSzxQCT^ztb4H=-5gCPA?*j@cb5Hdyr(7P@#%}PzVBkKO+<0TBVpg00G_TsYh0{~ z@OJubM}t$j+@d7UnPcF~K57XahQ(*0 zu+sq8+SfI{OW|y~c~b6~_xL?FoJjVi$!B`LHLNUQ-_dkYOOxRAyS2h*rQ^D~q#5~y z9N!i&2_B2v$E7Exa$hFVcSia+r4r2qZioO|EiUHDB`2SMfUgaMHHwn?07Z1#WmcZ58j1)g&y8AnTJ|;L z7%mwMe#2&vdit-YqKI`YMe44`+2&aYMK!X@>jm#t&;D3dvYD>9R6Z!_Aa^{?EjyPt zt494w^s0<8Yy3TF>3g3!)iRZ9wVN#+r%l;3^X~Txydq{t&e#s_aq`=zL)CeA<<561 z;J7|cZzm>tscka@Rjn&;8Z%H{Y&S|edV55$M^Q*>+9i9P%ote_KeajX2MW1DyP~Ha zeov#t`e!P|-Di)3hmI%--&FbX0dU_L+s$@My3S$2^w|FZ zO)ObP+W3+vH;CHi!Ye7LE>g)uQA{YHWkZ`#=&15bVg!6S-#ZSWW8Jv6*N=1FoGY>` zZ(8z8OK6RL$*Qi7ifcPu1uNyLoI>|DRsvheo@WBmJ9imcdzM38&7Nj=Q^m%uLNZO8 z4Gw_Q)I6@1V_DIeoPaZqz-^4@8C_2vPFvpx&E$2=izBL*wr!LbdoG%^O-Tf{nS`|< z)KW(jqGpCfTE}?IdrvN0egTop0V^ouN^kZ$=)QJS>D&JRCcjy6ZNlFTs^1gAjF-(b zgs+yU=VJFg#h?zsfDbjl(CvNFd=c08cg-ypS2y1#1(ydv$m3`NDJPA*qZrwveu~DJ zK2tVROk>Pb9m*>pw9&}R^kS-_2D+l2SxrQZA@VmN`!r#!VGTQg@U&8_Q*rG3PexFb zp4o(`w^%9aViyVSRB=lejT7aAFO{xoF_6#bIE-gK4n|h@Y~>C;jla!FIEwFRw%P0D zw^Y>B38TSrG|mGDxXH;LM+-PjT)UDpt-BV>21i2_t(psix@9_wddOrx^&8?YcE#=G2j$si7Nz-FR9f;?ppxLpnH>w> z=_Ge6VvpkS50Gf<(PX~G-6?4p$#0g7l+j4adV1R0N7Kht9pKEtfhQ@$h#kN^RfW-$ zYALVfG3bCX=%GOE*#RBU0sz7Q0C^x5Jdg$u3kRwJk$|T81b0<{L{LCHVNwW;eN<%+ zq7VoNus|5>5DkOl1JzaJ6ly=tB{=H$eq}~NBOXf-2Oda3S49^tQ~(0Wpw`FHO=t*X zDY9&Rl^YjyDE&an00;+!(9s+r0RUkOvEf7j94bwQcR{gqC{#!w9tspNfG~hy1pw6m zga-BcAIW!g{x3vlQ}%D5(^oA~s_AvErHaF+-J!2dxm+H=^8`+8O%7v!ef-6^Xx#K0 zuS>04Y%$WNJ8hWL9k;imsC#QuY00QGmZ-2?>8@Yp1^)n5*E*sH^9aMLss8|z=go&C z`n`F-Ov=dHWp>9}(Yr71*E`_zO_{;BN<1lpTxL;W=Q%5Bc+}G}Uhgv=Drymw@ z?)|gB@n1>Pr~HVc`;+L#{{V#3zl3ue?Nf}7CzpRE*OOw=_4mKD#?jOd6R*i>s^rYn>vQ`_?jhF?bLzOGYm?NE&-#x^o;=%%;LXVxnSy9u*R=F4 zIm+qU*3&$gNx|uudg>7Dx-b~-;PgLF;-{$gb=Q@?89QE~xY?(UNna$4Z|`UJjX3Ok z{Eo{fD9L@s8CZ4YR`hkfAH|5}Y;^ULWxITMB(dMtZ(;Z@J7`{FkCM&kbFXeERkLcE zTGlqAo}_2&f)3~8xTRZMGv;z|r&pA1G+Kfz11QcmGB@~zrd511%$`5Ned1AEBg>x~ z!-rCSAhC|&;OFdcdo^p<4J_AAX`wBOcXW_5;`_qrhGSew9aZN}z8@yFCV&&YWqkCQ5B(#rD(F%@&@9nmX6W$cQ5Zuz>DtbQ_Jz=Jcs=TR9#+ zKX$wP82O;%UFFV-uIEof8;{$LPZMu3d?aMv4Serxq|OvN*L9Z)O=0T+F_DME#g0UjA87IfEZ4|6aCp+WYixgE;rM8S-*5+rTUyR zTk*JG>#4N;j{R?nTa;#3RMph@FhIZw%(9WO!%o=Tk=(8uvb4U&eGV_t{+IJ_UJgfm zzt-woE}pe%T3HUFyhT|@G7&!!CE)!gu((?;_q{n^Y^Sw3;*Ns0BOI|c()@UCc`#Vm@a|q==eb^XUR?Y) z!R2Pz9D3Yf`DdX209Ue>ufTz^z{r@$%q%`5NZjLnv$)CXynj=>Z25;%vG079t19A% zMkE`w<&9w6k54|URINK9h?m^agt*tfo_JpQ3tbz_f#v`Mj)ZsYw7VNSJtZZhNx0WI z<~){>@Z*;sRm*Jq5v|9ym-=f>+-j~Oco<7^)}CYVzW{=K@wwa4eBV&&RmKiGbh$p$3l6+^B$p;C^Qam_gCEzvS4|l2 zN=WX1p{u${?k<(=aV>~~@;ZP{GQEs!eejNZB)pdbT0-GZPaC9vE1odkP~g#%xn9LM zZF0{(%Lp;>SIHFYo`tOG4>-FlPVdbrr$q`P9dIPI}^>9dq-9Y?4xmn!R>s^5Bs!*7x}sv8;Q zETVKRh3_rvlgtT|CE0o074-PnmBK1B*3Ty*eeY|+Ib-#`$FG%IpcMD#;b*j^(Y^%k0&oS6-RRSH!U5*oplz0tiDxSDkike zQ55W{bMX#vdXBFrVYYg%@5JKAA~k!Z;P7(tr#Z#0Bl2eN8k0jCR94O$+G|bLo`toy zC%J|0jnTB3IRk%pAbj^;WwOXql(J{2x57DN((LM1ZXCqqHT*`bf`Uy+1WumH21XVf4yz7o|As^)(J0U#N8MyrI@+ zk{gvxn&A~i6{2{bAgq2)#lT=SyLH^)Y?+v9*ea`fTJn0Z&5kV8rKc2U?K~O0>g&zY z_g8M7k_J^eqOv~^k~(25hYTe2+~9o`kEe@|8s$B+=X%H0(W+8d%X>O~KMpIj9W*!B zSZU&p5$^PpPS!jLIdjj-dxo5XdzHywqkW!^+3_*!88^+sa(iaIGc8O4THA*wC?VXK zG85)pe&z0Wb}q`Ijq0l`dr@r1vsu{fbuJdGY%{&_%T7$=#mJGoq>Sy&f^b0CtY<{7 zNj7@8{W9pj`IyOXms+XoZkBr)jv64(d3`-M?5UZvTg-Y4;BI=A(HJPCr{MJ-AA0Vw z{{UkVajv-3Qa0yN8ygg|n1k9{GVn5f5x+z7MxdW+Gln!``*vZ@DrN!A%cOW|k>H$U z<0Ov5Csk~xsj2zY6)#skX$KP*edB>9}QFk!bk3u z4s~#{{WKh>HOY^{2fc#n}+&liX2*@v1_Y@bedAv zMN@viz4Q1X)HI=_#$VJ2O87&INFlt~AmMu5TQYcf&C3W*|&r0j6$%Ee4#y}jn{{X@lse?ACNgvzaN7?@X z;%SojM=HP8Ok7+Wk3}+VvMl;Mi`={zx;mN5@&E*VR=8a~Z5%P3o>9{Dto0wOo*oWM zO2&52xpH#fHl~|3y4kA5M415mN3K_OS6I9=)u#D&@KJ4K?fY@`@>`Zn*OPbR8uErN z4%?ZeeHL-ek}Pt+LaQrSdb_Wp=~-#%Z0K1Dm0M5<$ak*ma=m<+D^~VMPIo77m|Io5 zFQ}U$=|S$Xc5J=G3;Shjl=O@y%5HXcC1`Wmi;+p=K5IyCFU#jMblB+^upnO!;}4usql!_!0B_))P^egPS9! z)q3FRT6>JnaS>0;CUKL^%J6aBr((IMkFHVk8J|vnswVks;tefU8fseC7j+vD7MEK` z&fU`I4`Xn)>hkJwKZ_LElr%8PGst`6&1trz-v^VCfv4f4J5PT1p&(@w9Ag0B$U3ej z(tMtK#&PqpKKVd-pq88r95{0GV6DkLZY++O`vWevSF&){M#nLkjhvttyFL9D6O`c6 zFzm5C7Lr{k*%L{Um9HR|GbHky?ebPFx8TXsCj2uKU#%<@nfJ=*SYjFFV0ZA!-59wq zwBP(MB562B&&i|e4l&Y4O8UDQVS$o1H%#WA4TPSKao8-o;SOJvde~n~*<=25=iwah zR`I&J)2?OHx0xv}mKrLUq@JqUSu4(13GkjzDJ?GCXBh+)#Ve;~_Vm9)+NgktR+z7htf{J}hK}{j_{0-|91{}P3`*W&;77s;9dNlPV{u9i@_Lrm z-BGSO+W0j_TCbKJZA?5k=cu<_TP$)h?UE@S6pe5hAhp>b3=l@(VOg%;JkEzA(Wh#ebf%)7u3Bo@Vq;-Q|SaoVE zlhhW=SL#}4Q_?y}s!O-2d(5(UW!WqR**M0-$PY#2*?QieCxdEs%VoiyFWN?P3rRfB zY39#zf5)2TcE#`(J8d*zt1bbOI-(Z>1Yo!a?$(k3`jS?cKZDWii;9emQs;Jxde0KJ zM#%Wcd*e9{0K1elV0BnKJWPHWJfbM=S=U~2Ts&y4c z;=G!1Fy)zIOz9NSTkJG~D0xG}NhiKn#!b%IZJ%3C95JJ)n*G;Mxa6>a8yRQcjGw`8 zryt#;ZoUnDuadfF6PyN;0O(5e>8dlAX@uqSUQ|@YLlsoC)l~6vmVm*MTmjf%bvqUA z(Ty7X9(A)VscPh%=B9?&XPCA@P$rP(Fz%d#rcaSxq-x;goU~We^^w`EwZf(*(>IzH z5cwFw7~%;7e~H)_BVaR=fx7L*qEdP|E}ovz=DmHc>-B!Cr?P2_?Gd$8)EMTrhk;!v zjz1Ha#`A|nUiQQrlHz(beRd8Srmf9#c)2+(%by1*;#U(mho@)MG@62@^*gE{qqSAd zNIlAdmpJn?;F2s6Fbu{T2o5=M9T(JK;ZbXg(c;?N_o*|N*rq>C7g?8Ts-@tmt2q6uD|llDo3XfA>~zk2u~bw$mRk1bl!zF9(-=X?9S+%9 zV&g`4yPDfRmk*^%a8bXLkK6dOsV&xejXPwHe}1dE)7QaU4282tBzeO|KHoNX1mkXt zeqKB+v0FF7_CA8VTJUS!UXh-l(t4L#Ro26)tjwdiRaM7vp6u9vZ5u-z3_-2H4SSpk z^#Nfe!nPCCSFz&t52)zJk91#mvDR&RBTwjCeKj?<-2?9xaWbgY&nso9BO73Yi1Khi z*~^t#W>nm}wG@0U`T3nz-AnC*DM6^`xy5mo7SYE0eH-g5nrAI@m>wI=%lpsgb9Ni< zw@!rx7WrE@Q_xasZcoXf-8C)7TSV6x^$bpmT7yjL6E-J}_~!8hWA{4;Wp_pu#@^K) zeov*ZqSYV2jhGrkOL2~)-VD`MEpvPdaMu>d-mfL&p~q#~t8MA{`8y*R(ze<~SuI0Q z*Z7u82e`&s(kbD4o*GA20`2!JD&ZLYoyIn0My0m)W+-&6bu4uZsi-iDoHlN1jCg}1 zXAJH#GrG;nAGyV6P~MU&RB6i%6mgj^w6eX-=X_8S;}OXicHMSbQ`3|x$PBP4vmSYlf|id5{6YktO@>?^S@l}cU9U)t7L6+O&Bb2 z-{Kf6scm>?Gsd=FTSINnPsr|P(6D-Q4b@9t<@7E~^A#WdO-;AE7|OcQg0CVRrd!Kp zuvG#gm5nF2LW%x{aml(KS&XXC)RGSp2Q|cRmYfw_VI!&?PDy>n8na8>Y4eOo(a=0| zW9qcJ(&Zg>^(y7$#7jj}9F2+8(lyR-V|+H3^Ad0X9dnhYa?<4Vp=2yw$&@N0eI-Pc z)eRmrPAzkK5aHAj)DR4KcZcA7|}ne*Krv_4m5s&sP!g z$(X|VH>1#q7WY?W3?{-sf!z^90RbE)fG7l^Lu3F(PzEwk3kU-pkOmL<2nB^eVL&1Z z0OdW<00$nZ0H78<5DyqY7$_KiNCwgIw;9~5;8lkU*ZlHQUqw0PYZe4wb<=Gj^ro6_zqQdybQiiY({-E#lo9 zfXA4A7k^i=!_$)aFpB$H{SA+dt#q6q(KizzbQ9|RY%T6_-Sl!*QOLqOi?;Z5 zU>`pv(6c4(b;qwy-4z>hh22~LD>&uz$91YP0gP zd3#%!V!`7aFL8yj0pV!CMddrkt~9I3@}Z&&NdQMJr}?{Dh2$1O<8ISKeG3V?Rb ze zO~Qb973}fhAH06h`_>+-Tr_;HPfDB~>oW0FT5iqfqON3e9BF|Qr zsUq5{mF#J3jU)~J9mmmEWOcK3IX$m!nBNFGb}-etHo5Irp_@{+$o9AF zUD5GQwwn)juxIZDPX7RNn(mQQ(=)U2ZnoVhj=pBLLdd5ADa3=7>}%WcG?AP* zWOWB1?iRS&RKGGjxb&D!HyD*0$A>U%`3Urrugz!bRQO1e=rOaM6rd)ECJpVy1oCQ3X@HS!o2svzQ-+#hn*DvTu`Q<5Xmve3GW5)Ac%5X-2Sf zZqiQJsjVL7=Eh^s#^=qRR-A4C@?721a_xQ&8*H^&qLR_S((t0~tnK#xAnJWxrOdXf z2%-H&H9)7DN@`(-MoUHkb3yehO26)Le#et5<3)}UgXiDa+N?B}+vf|aDeAaWZnW7g zvearyE6qf2bhV9fAIaKJ^NeWn$lEKHa)c-9Z+J1l^=*SsP-$ySG0@WT z#RH2#V=x|iHijf%y| zuj*A&d^AqSrmOXJ?AJ!>NLdrSGZ%@6%0^xByRqNRa^I5-Xm%&be+@Zvt_}K*vYyuo zY!QY?7ze_75%#jaLn0Ek*4x?cVd6&~y_)6T^(*B2T)g<}-(_Qrk-crdx5195idx5q zKRy`S=eo`?_C~2~GaxIet*m=ujk0BqYk@d-G1zjE81wMO4=a zye3K=iJgM;{T2^SQ@_c2)Kt^i=ig^)(lRx7dP^0$vhOpZqN0h-t$fuE`whk#3%X}J zfV=CeRy`wza{mBv#W?9t#7d1h`qNLrE8(8x>Kay4Qwo}kjI|BrYs7?r#yRe+4XWb`6BmoPoQ=^9LuR5*+} zKnF&VjFt7+)wZ_R2aw>VpL63yox+D%>W9T!sjC?TOu5Zc$`;H>fzN1>v`1U-jaAlJpR;1fclG2+&YE4_hO+l?~_jb)wrK-dgh4RPl(!t0v z;RE|eNu2I>!t9m5hqg6IZ8iS@C$Cl>Ha4w(StRVW^wtJP@APrC^)99b?;N=fm*hH=&}@BH zbm7KpRz5wB3?7#|VHrz(jhdBiq`T^S%_ZiJN=tofJKgQom%H>fiEF$`rK+d}q=I>f9Xg)FsxHdvN~PVS z)SgT!ho=bdMcg_%*>0+I@?0uv9?_C~2DdpoeWFeZ&Ms41(m1Toc13C}8&-^Vnxnnb zKEBIYUr5Mgbg@M-@j1vLg}xhH0OrO+v60#n7-+%(MwlBBiOK|w`3>fBo^L7t)DHPSn5=ad1A z-~hR+#C6*5a@&61!ZEhBr1&tD{{X2drEJvk*Fz}DX>C9U@?D>E<(p#X-QDnC>FON| zT{M=<+?Q%f5gV#G;HU%%7~g~ugZ7CH`mHvp#cs2uTW0qrVCSZ@Ls2AA)7)cYUPmjZ zYn%s>*>8<+w{7w}rLCf^4AeHt*e*0Y=4f18-+7I%Xe1GzhkT6Z<^qnTC8G&SQd(%V zb-thh;oYeoPTZyLVgCSWpnfXv*w561;i8+Oy;BZn(>?KjNxu_*_L3D}p*ty`hA1x* zMC=#6hbr^#VJsyjw6|~6@n@Sk&qz-n;>H-1DDAGAlx7x2a*A2$pI2@fB`9@62bt-q5<-ubQtqO z0SH|SbKNvSjP_Kc1HKRkFQS2=fQf`WU@A~hpnx%y07excG;SAO1J&r7I;XS83w4JU zHHFJf=q*=IV!YGX>Z_u3(HF&9A$(FcnfN$pbd8DJ=RBq`a7Y1qeNy_d;GL1$*&zJ3c&1)=zDtaN4W!Fkc}*4!p#!UERRQQTyW^wYGDGaQXM$Hd%q1P#456w2vY zRMXldaLbls8+`i42x=ESNH|Vs+#BukdtLYlHM{jTr7{S}J#&b?c;UUV$xBW#k!cFVsNkEalFXO%}7pALxA6izBm^$fj7!3))TweOK;&C1IAWO%t9A{N1~1?9(9+3!@6RNm+&ZQi1(@_3YtYanE9 zB)csemlqwo02eo_C^a8r&5kXY)+Jl}e^U_WS)_05ZVzZ9VEE5fo5@Sbz27K#MF(4( zg6Qrr5$TW>a&2ui9!DD~`;?hDs;4;E;Qs)@bG`3_SK?#6BvPoLbWLlftfgRn?f#J- zV0mrTB%iY~cWvnk-E(z{b6Ib{&rLhyd|dR|Yxx|~*S8~}Adr0u#Y?x#Fr1W^Y>P?a zql%riEhbpsBcWhp!(H&Tq>?ajHyA%PqE0KocBt@+236ELrWR4QPY}u*7;Ce+=sICw z+?wF#y5^$V_Bu}zcqJ~B(^`K}+pllEU2mnPvWlMHD_KP={={A@iSb-c*%$-lw7ISD ze7*-*mQ~Y@i&`nxaH1|7R98{!$Hh&2p^gb znn@hX7Ip1LeaQ6Xn?YYC*D%*=+Q#Zv(OaR0k^@iS(OYWEh?p`gmK-$gwl-cKPE$+l zHB(i1^-5kO+30->q~O!qKi`3i^~FF8a~*We^xptcMWyV7zrItb(-M}ZQ&fl3@oVUt7 zD)HkO=+|!-hlu3{o}u|I_*m{aoqE^Wi&&y$*GybFqiH|02jVYzI1Om?>b;0l+ri~q zX1Ox*NA9r8TP3m@8g@OzO6P)nHjH47gC~3i(Fk&R(r!h$$8fNEcx`=466_y<{ zEhM$K3IfN&EY5agjlx5YQ-^jvg8F`))1MN4=MDFz!NRpq8MS57dN)w%>27+1R?^Es zZ`1FFSlei4iaaT!Xyt39emTSNF~0a;LtYIq*FU>Fi@D{#4MMidZPKjNGwaPiR&~uC z#urO+uB z(bKh**9ortlw7A9Iu^7&?inBqbYd7qOjiG zC9uN`)$D?2GCp$9OA873%SkQi*?P)UK`A(%4o_2!+f~=yqovTzX3+Ewppm{Arv$yy z0nf|^;jJ62WeM9pJRb#{R!36F(%LXIcY5t#Rc(^8jygI^rO?q+RLxLhju73P_YX|x zJr>@@+TORXW9adIoyVbiYJYR`Rlo3}>!-Y3T}`U27fNQ;x|A}Kxu#45xh(rdhreTm zuAAeNs5;vHPi}bBV&kYrOGwJcYKpqSZMjis_-HP)GgMW&?-c&&BUF4x=LG$y5?6YuD89}S zR{NDgAVBdFa-!-|{R1$C4=%y2!>@4r} zmn#*MG1^fbaT>G9#Ymg^MD=C zjF2#TXQ#<$7WK)k#YcvUW_M(g=9AQ(xmj=ED)=PXIf5NUGUnZth2zt>|o&+>`m7f%aK_G6(j!9n0Njr?y6B@F>!n{0+xbT2gf9oXRaju zq-6g9Xl_2CNA|za-y2$GYn{_jRz*oA)$NiRXk(?Pd`)j4jyCeNb2q62&vLcG5v{im za|am9#|0W&wDDt>LPl|dRqk!*(L6}clJLz9R9-6vCFjG(kjBg8zM);csQNC6RI5@< zfEf$rHM8iG05FC_-@1T_%E=HgPytX29*75ni|gh*T!xEYi$9qbcKGD z;!T=+RZT^rwvI+THafP4yg0WlV|;Cc$j^)LgPfn0>D@ZaT>9>&UDdsvcF)zV%1cLz zsI%`;Z~N`v>KES5Nky~G(r0tm(8%V_8zY=KqaW-wc=-F3X`}jQ>1O``hgAjeam($t zcT7kQTPH-MeMOkIO>H8=j?YuhKW6VBqQ#M+bnDvT9al+Ns=rp37~DCA+blg7y&RTc zT&1lV<#n2#gzoWDDT~WPA-mZ*AiB_4%WpR;@siAjKoaJ&^SHb7oL5`M^MiZ8wy>Z!F zkAs5BUdh|5s;u(QH9H&P%}*sTd)Oby9x&no+c?MvwpNMOLUs4_4BCdtcN z=Fl;@^;-8S`QYcW5|h)3M&oCywoM!rkA=>b2MI z(Wa%nY8u&|_Qux-wip|@d%Tar^NyeZRyMd-4X#<^^=W!=lp?ggPK(FRFIp+Me_5t0 zboK6<^ykw@6cW-HB8|ic2l$7pOL5R{xTR*6p9jNW(`GH+wziD|*}w|@Z9$~27E8U( zUw@6WUF$20Vv3(;yTgwsn30kObNm+r%Y{wJpFvet-!1^qKrg@N!aX%-w>HITw`p5U z^W5ULLTGJ})Ul<|#(EzSp}g2TjOX)SWz+RHC*bXurA%J9I*x_X0)mm(3xg$m^5RxD zS7pLXV3F7i z%y8!C9DwdR1NB>be&4lhPle#gRNSMc29^;M-7`EFP0x=EyL^mw*=(m7&8B(w*t>SP zC|l!u*!syH>1pZm*1Yc59Isjtiu+Fz`&^$4x)&KKYTCWzFH5^ry38sb+MZTEXs+eOvUUMb*fDqTwJZ6uDUtDZTV8>!u~4KH(u1nq!NW$xkh zuIVWzdDi5?{i*VBd;L969CY5N)EWm(Q$aQ2;cKgUbjU*b(K} zW=BxHG~sl$+xEW<^Kv`wk8C}TRjM!dU45$Qscp1WRaG#@6|$Aq#!A*!2=WBy#39_y z8<#i_TrWc!E|%PvAEC=CYsas?#&&KH>nB)rCC`TXo`%=%we?faO+3_5O!y`&@ZRqc zz~dO(3w~!xc@u^8$^P3nQ`fQZF{Mj_d+^zgvv5j_OVkF>aAbxOWs0Q4L#K}!4+A)8 z$9xdGdAbjr%5 z>n846Hc@ZjqNNADm}&{QdwY)P-BDL_rM=cpOji(n>YgU@mu}XKmlL+#zDZ;gtIn-s>D5?0PhOA#ao{x9;BunQyI-^rX@;S3C7k zou;kMbdp9SYo0ePJv#Q;SV?Q`@@Gy2X4bj=%q`;cO;sc{R@zCaC*%fqnvQVkvQIlO z2O#Nz+s$cEwklq$+Go;2s^avbP^x_TiVC}p*Hlu$SsXs{_gBpKO;+%5BW3|EdGjO< zmbuB}D8i_1KlnD+k6iZK@LO6Lt0|~z?^e5GWu=0mI(aJ}GeL@9wAQt}+{bVZagCPQ zN)u|g%Vz2@6|dHhlw4{nZxAk)82FE=?(tSZRXCv;sB5ae0zf5$a54_$`lV8ZGxTE} z9e3i!xcZJuZ}l}MS4$Hif$+LYcqcQ6pMV_aW0(>*!2kueac{|`sJGam%^Vce(#B77Dxp3wT>-`kCm~vU|dOah-d%;Nhh+#$$C-SEHS-jq{=UnqMCQY z=|OaEa|vs?nn*a<_a3WcWZK!HRQA0xq<1MB_V*rOta)tFI+w9=9m$97XMZi$T4uLS zi-yk|_Y#kmdMcicGK)pSD!evI%m;Xl3?%MA2RH|^#iu5i($@qbo%HVJr+JLHVB@2Q zsOVPTwUNhuNs(@<-e^rMzxA-3u%GKN^!k0t$Fed`YsZ4_j*ePLCY!udTO(qV+rkap;RN6!kB0*rx=_^1I27(g&LKr9cr0AMPR z7B}5O3mc(B2m=T}^-!Ves29~41L%MP6h&PSVL%uNQDb~42}S^szcrjl{1%lM6%uXx z=kr*z5()r7BxPVhLIw~F4Ui8TV4;14fDj9Q$Us0y0#yOZfMKctz(5}$sshO>0LD-c zl$0)s2B6Tu?}X8K3?KvmfHCG!qAH>Q?drO)-mXMw?EcI5iFE#_);fxk=QX~v&%^yg zT}f97{iQuXr)wjTo=$6?FneWs-D(QVXx7%#lK%k7uBmpU+HROGVPMnkK{g(w3F+x<40}?S?$H!KYyNJhTk1K9P#Cx`nvu{fTWagKhJ3sxRd7 zofsmbG66Vn@9MsaO*pj9SiK&L)s>d0Xr1B-rFd&OwhiBucka1ye#%lu^@q~AR7<5% zD8rp2k>797#^c~y*fMkRIF-K3oKK^>sk*p~OjRbPov+I&smA{R(aOPOzk`u=i)HL} zEhVZe*={TigtrF(#1@I$&dv;uqc<}LSF5VUOpTI?k>3&j07kZ}B-fLrbsG{b->Ku1 z`P)S}2V=@`ozwX_sPwaSTkiOX+IuGP30daGq!8_1R?w;h}gR+(2g zo=yEa+Fs&Xd&H4tyOEyj4(5(keU)&=Dr0}z>Zhogv0kO*Mcd{#46DC%Y>b*+(Pc>M z=Y-+g)K0Pna@o ztdXB@KQ*=&xScS`lz%Z^D(0MS7f0egP0J!L+^T9L+?Nl%Jy`2)iCF};*o@H;)GIkH z8s#Xmli3V_Zrq-mtxhSC!8O52^f8~^X&#FQQf8UsDS0S9+Y`Dp1*`Du*yeaKehYWn z7*E(4`7Kh#M?IZ6G)1-7pDZpNKRXo`&tGOQnK0%Ex%E9t&A33pt(3@g2EN2bMdo8RkNi;@>BUTFc6p z-OO3&8TfGqslLUj^~K5cb%(-+St?js!Wz&cY*GH;z}OS@UOe+>WVa*Vs}j0v`%%$n zyG2QEwb*Tzx8d{nbhPx2V`Y)RG;>KST6WJV<=gnJ4fj6naB|r~P0hW8*AwZX992C>J! z+mgJCY;S`^G1FUSGP=5VR0mHe4do+#r_~`Ht((0yAGIS@ysYp~cPaUVRUj zkXo^7&rmA9XIZ_ z*HetRW|_G`c`s=#RWnyIF;CAlg}BJb&z3%m(yFgfYA1t}ke=C|6418CPhD7ZJv~v1 zdR%x>IisP^;j-$DN)MCDp8L2t9}{@%YT@0&J9R~_O1UF>lCGK>j|4{NM(08v{A3N< z@&N~w7cXlIro4ouFAU+nNVQn;WQ?)!3`NJXQe#v&EVH7los{DtKTfziki)+c!5)Cw`v+2mBd-; z^%ZLx$`@Q8BLtFB)Aw*=Lpk|K4QHbC>v4)yr{Lw2jDGZCubeF!6NtC#4TDh_XZNY; z<8*Fp(KeK~nawhdw%efY1{cuu+PkRrY+mPu)N|sWr=-!o!=R$mHb-3@Q%>q@W8r`@ zR}T_-T+rehA5ziW;d(CAr|G18PF_^)wYA{P+H~!=T4=3Rt#4Y=p3Ob1#T6w3UA;#) z?t#~r)R$X5)7>fAHElaz$jC#0 z!*XyO=I5YYQp$?^CZ9eJFDj=}?Ua`VlPdInnegYb+TT6JjSe%^kXXn1H^_Eb`gdFT zrKp_A*=ynH7`m&~$5Y+eLp92po?C@LYwGHpTMR|VcM<{RX!HwfQKlWrJJH!zC#chG zqTMjsi~U8Cw^rJysc0gd(%fcqoefKwo>2=x1>DDB)6HqOJ;NS0QwH09-p93v(<5Z1 z>b~84n0l64?iLX^x>wJsB&lRD+u2Rc7rWzkc$v;emKMbAh3T}FZF&7poLoAiTXBDI zeyqG{Ykh1wi$_H%y->cMib}BNx{>_tcf3W*```jFcEgI@B@E}PZTzooBVI~$O*w4} zmc?&|(Q$pk$y-ra^Al+6VW`9u!#@~%G4YoThWm9`%f42n39Wmh8Cwrc$rcng+B#~0 zebtgo@);gRU7YsyT}dwP?iP(O%$zxk;HoUfiN-l8Oi~|-+{`U=v)t!%m5!lj-k#2T z?wsYh?GkOcJ;AJxnZ)b>&Q;P}n0L4CKX9iX1K@AMPT1(PNygkIE_25`P`mvVffoxxE$x^qiDifE~BlLxXw@Fs6cva%=aNsjxr4Ws4xNJk=<`Ko~$gdLR+Hx;sMgXV=%ySQ#&OS(5RAf|04`;jcD;8qPcu))sj);nf zfIA~Wh5`^eAQ0$)I(9;!#!dnde7y?30K-p^PzNp$4+sMafWYX0Fn~Y>0QpCf0prLf zfbdg5F^$zIZ{&b5pcoy{pa*}VsEjd$Dk4It3=EO7=*0g3IRk6q?vK~H^H9G@aN3S) z%eBhiSsUqKnUT7BK_5KP<-`YMFnm2p00s2fmeEZrc`r+7=5dsp?Jo6Y*5UsEqJ0UY z?r(b~uwFGDDW>>lfK2K$hsN)TnR6aSK<>Hmp$C;as(Vc$D;(=eUdEF~N4!O!>9_M; z_AjxOY4|&qvdd|zIo+I=WB&jHR~9t24o~UNqokimss4u@)DCYx#|15x{2xJ;C9@Gs z{{V}q@>L+y4O7JyxkpY~;1=?7~;$-XtUXTjg$xZ5=7Sa#^^IzZI8p zmf20`u5hl*TPc^H@KxT2b0r;Q&^w+f9LIV%g?7y2bm93~l7mvq;h3u_AgLI~GlwZ3 zQPpSO(mG+CHnlE7MrrGi#$Qhr>xC!Vk^g21eo8Hlih8M)Xw_4 zl~%rZFYWgxTWg`KeKd6*3%SH{46(Uc24@Nj;F~*^G{Is&K}&o<-~N{ zo`5OcKHnr(OSfr|@hTg)Cf=K=>&wB9;wG59dXCI+^4&dVjFw!sMfEi!v(^&IaWCUs ze3ay?scSimZ{_pC#pX7)VP=2Zves*a;C1ES&mW5Avmvy3m-Q#w`7Pl!*J+zkt&*k|HlIKCZU>#)e@h=F z!ERh5;Nzv`<~^;WwrOu?_-ClM*K1n&>*}fLqNQv(AQnb2-Ol;O0`jiRoc9>;dJySU zufBZ0bGz6rRvj@5t@7I09Wy|U&4sP!fPYAynI21;H8%UCdsXAgHR__ly2^&W>s4u? z)5hgnRM$lWl`=X>80>PFatt*5C%((K@X@Jv&ssQgp!K&sKZB@fEfp4?r;6iU1Z=py zjgA;2AG4Q80kW#y}+;|~Ximvro1i@~}@%L~MiU`Zn*Yl+DqZd~97-3T1V z&!Y1sY+{ZDLz2?)T1e?4aF(iOxz0Sq7i9Bx<|px7yXS+l6{W_FLi2omdwts8^4VD# zXEY=2W!vt0`32ooeZO-vjbCWJZzk{zSzB+eH}H**H;W? zNJP-`v^=@5Yg!skNjnqqee2Nej8>83TQzSC<=k!J_J`s9HNM$$s}8x{BM~rl7Uqo^Z6;__xN*H+|th4dt@kZT86| zt-4&Jxw@u1oq3hPrYgBu4)C49X&kL?;Fa~1(T|U-EqweQ6}G7~-;+S`_@`0E>OEg| zv_9Ra?G%i!5Yt$jR?0(98HN(-Sq~xJJcqdV4&P<$y5Q^W_GdfDhh(F#2UFojpW&vp z;l`=f+-297x~)-hs`pBYsP1t`Oer4E8b|;jIgW8_!NA7t#yTxG;@@47uNpiT3Rsyi z)w0t^ACF2&tLx1zzP{y8ryXA7Z@0@Ke}c!n0LbI!Eo;c{wsO9&8wx75D`LC7&y&pS zQl`g`2=CbHQynA2N5xY^?)Mw4Mpn;5QTtX7V}as3JGc)1i+yTYDaG**(DH6oRNHTC z)n%Z&U#4Z^<2isJv~=+eKq+x*OP*JO(eXV4aZ19qD3s1%X{js zRV-}LGIzJaji;lCY25k}wL)treVim&%244LySA*axmCWNHqp?~+b> zCvLgwx@yLSYwmkB+Xs^r-z^t9wu-XpLuj7OX{39pERoM}lHWO>n1>!|rXRTN+6d?u z4HhU$a=G!nBhrmAb*RQBi5ykaJKtex430q2BhSJg)DNBl@9vM~Psy85uZbHzpw!n* zb#}K`>WgI)n{T6vh0V9a?&elT4j$}mU6YbltZY||oNJcTHeHfL!q zTR{0MMDfx@*9l~YAhE_q_HYMfu|^q9K1SuY_LnYl*|O-*bP(?d+gxViD1J;dNKxEquBVI1QQ7cHA3VwZ+vs*I*rNilPt z;!z4Ix>rE!D&@!q@FzE z5t88eII!`11>v*Ll>x?^Rf*3QUfuX7bOB}@mFRuBhq(PH3lR;l7lz(70& zKz2|DLZCY!7I0JpXeCrqSU?01RUaipNLDB@i~>Gurww;pi1;@?5b-}y@ONHYxQC`7 zqMo|g=YGnvGWg_;HM$%!de|LoqptE20{p}{!#Pvob6CKhBR$%wD6Z@j;l zkF>U{lHlluOj&AcSbMD1$l3UWMAWeDm728=#6^+uo1UR%>Lz9CMToc+T(%qEf+bY+ zV7%}k;x^9Siub3%s?F@F4P{L;x!{@1Kh-!3Ta#W4p>36~wU;LF%7M#YO38QK%)?#v z>{foJ{{S)343#b|TPG-TA7)!yfc+^<;324Su+UsdYJEL)7 zJ2-9+$#YH;UJeVe?XT`!qR7o8dl0evv~v2AkCLNmSa%^5wr!26nQIjTE>$K;sk!MX zM~hVMZdS5BfVtg)Bnq_8A%pBs9M`^jUh&Ei`MEO_7(| zE)2yD??=*Us;Udkj;^ZhRa+aOu8MNeM^4tBU>G)ebB}(_T(&}UpMQ7sHY~RtImwt> zis<2~d=&NGFm4;dsOu_bsg^>=L?Fl+Ba@Vk z+)tJU6?eD8Exk_o_+`|U)RekrqT5*oP`itlJF49)V~!|V&QlR%j(NHFT$7crl=wW` zGqR`mIdEF(y*oCbnzA~pMcSh?cjC5Ri7TXOt%Y%+K*?VeD{+c&E z2f&UZ%Ulr+qJ_x4EDnE-el}rPe}AJaOhurIcVr~Haiuev6^cfG*1p|0hEqi zx@Fk|2hC}7l)Q4z#Z&(PNlxLZEmR&5mN!c2r7d%5{szPuyMvxbOknmas*Gzdd-0=W zYf+bLW-CqBRcfodt@7F=s-m8E%-ZTIqZ6QD=wHkW2pa*N+)e`Zt)i+bO}$9fo0lwQ z{HBh(!>%0CXo^`X9Sf$rT_khnoz3|C9Q-ki^v6<1Q=diiS=rLbeXE3c85YYS?ndML z8Mzq8J^4Np<72QRVC$3SO7X0-TG7u4ZS&w$&e|Gp8ll)YCEUB=qhJrwb7{(2M)=g9 z2A5T-=B}xZ8W!sS>^xyfpHN+(vmBjFF!;=gNBWZ;U%%CNin?(Xo(1 z)8huXxXvaF&o5(`#*xawjAQ1uC^<{F*w-|h(>3bK zsj6foWzKQSj^_Y%C((7n8sQw)*sFFPeY8=+a={!JOLvnmDUCQD1KpUTC{7BsUrR5(vej~EaRx;8y zTTdD<{2k&3zTt-xCuQ#Ke~{MF-rGRd)XmRK8yh5JGUl+i9HXGY$Xga9^E+i+wXf9X zzH*^=KXZq0^FVusqX${(`R*>6t*d>uB79K>Ik|uvhhTsQY@UnhDvzfR%(i^TQMT-v zDsiII{SBV5MQSv4750jlX*^RS;4O4~;jTFx_#YQQPf>!s3Z?2twhw2|&WxxvD|U)d zX(r6`1FZEF^^$TvD4O8%8u84+@^i5Sb?Ub%Mk|N3ypmA9FKO>)a@)jO9WSWq>-8m$ zi&afQ`w5*>Av~d=HH>C99H3x))~hjp5f9|OC-8OS_iw&tzfpcV+f>}DWT&j6vzE_1 zP*Ai>EKVc#O(Dd5Jlh{7Jvn05lsRWbbyv45ACq2^^HpxQRcZUKlzF_xG;&kaG&o5E z2>8R>`~2SyGxSBdSgcYudQef^UWIF?y+J)gYpSYfM8H8ad7Q%LJY>e^jq%)r=(=2E zWOmYKn{u5SP-fEJ9KH*AtQQJj0j`P7V@urmUi|FV<8EATNgYNqvGx0AquafnZ{wwJ z-7O}*O!c#elF4a(-}QyH(?dI9ZMEF~@h~{cx?nf!m4x$qF7%@Zub*R8mL*?%k~Ubh z?PNN7yG=o4wz1U}tgK~I8~aFyCLIo33FXe~Os5ZBT;;Pw`ivtaf}2E3H5Bn)>YZCv zQv(EVGCMSmX+H=Z9g&X8TYlxZcsVc5iqovNi-wTJ42`6(d~nQKC2ue#(l@8W)B%&Z zTOpF1wAX_hI;(GG#SV$Aw%hKu=q?X2-Q$WW!-ww1{%{67-HiN{vQWBlllCNfvr%zK z#5;zVa4nI(ps<{+uOT*L{7*uv(YLo-pJ|qMRnnSnT*cKg=<09j9yb$M}X$z_|}vA{!BSqX07weH9FEYggZ zgQBY=XWT&E%#Ov@&rMn8=QPJ5{{UH}D=qkoIy+zbWugyQPh1_)YgrW%8T>Ci;@>GkU_vxPs%!B zYJ8%XF#{O|NgEWCV&)ynDD2PAf}81}n=N#0!5jLciJWIBa*Tc2&kakXeKk8E@ZxNL z2S;P~kEvQcEqOX&l;7qsRTk=+eDlZ5Ji$**9ktyF8BH_`X{vHDnVYxztK?FefOb(75TJ9{37{BF5EUq}fCwl9l%Nb@MhApo2tWWT0Ra<~*cU|@9uH!h z0gNC3-&6uEDuBkyGzEf*0pOzoAoTNBL>yz|ZhX-$L2WobG@e}U{L02_lMNL4R5C*i z^*|U10|*$9E&~V{W6=lz0)UnWL;@%V2Hgq)5x!6cJrx0j0|7u72nK)<3kU<13NQ~; zAo*56U||3uL_sQO1`4PF9X9T|aNe(pA3jb00D%^+9$vVwr|5XKSx-x&L8+*`$x%?~ zBk&`omEae!hYZNr+Br^1AP%eF>NC3^5>m!nm$8j-jHZ;C*8QnCdpEP(dTtIF-o(0J zQCsy52fgE-S>vgFERshgnLZ|9bPQyJen^Nrh2nJUz~=$S=vDPji1i4|!y9fyAGPt|>S@n3GQGbex7?niNX|D-AC;0d%$sVeNTmesLwO1MkM2h{#IB8; zP9pbfM57EdKymxPIA`g<;I&Fp_C|?UTl}j-WxNQaWj)>&GGH3^84EeaLBR*8$OU04 z{arcx7%U|>-P}-po};5Bf#2Dcsjp&70(;@2pX!>>NbnkdQZ-HXa>@89ugsG(=E4TciQaQ7;NI5NDZPJYF^&j>*)-8^FM@6I@Hn`OgMNKS3 zo}M85fGb3M!&?gHZ7*&u)SB52Cg< zsNL8U)k;LW1^X~(TNQ^S?~-r06K5iD^->)cD7i#SMfsi%>b?j=qeOHUl&oQXm&D?Ct@iNt>bTwe%Zj!#;uD46wZ3MSU z%8KtEY1-&p;xxwGv7}|(uHD?EH*Vdyl}_i|YVgiWi$+&2S3^K7M(O8aE<_;`*JhL?+E<%QXH`<{afuG=ZEZg0uvRgGly>gPqBQ!Scy zru!w^Oxo`^7TiRT!pgJm_y?M1wawTx5_<2t+T5*#T~A1s*89|DqkvvHMHI(T_iKUPFZ=dcXv*k4^Vp*D6Yzsm9pA3-*h71J`36%8>r>DM|rqb&MW5d z^DCZRC=CENe@t!iRl3?~C!@v5>Pwiw>6&{)*3GEo)S8kiD!Lh8BkCfQ;5qMSFNvO| z*}?g)J8XVkVJ8p_?Xyu%m z<#Jj-SZKO83VKL?l>?SJgt!cOg}LL~FE4_6S6I8^LglOKnH4pA;$e!tuaS;nZbvJ* zNN^nv-8_nrqA%@UQL-5FvFcAuwPvBe*05Dl+GTyb%pv!`g^bDV%ytCq237Q{-)8wb zBZQ?FxpIqo{Zm;~=Eq1xRIwMBn&_A$A;&p;fXk0gr(iG^+OeSzyWH10BG$B5uwN-X z{{a4*o~4xHH@Fx8E-wu{qkXVWGFCU&KHueeB{w;>6V3;qaAW_ z&mKL^uLb=L>Ge;LJ+Kc7BQwjN%a8~d9%p`w30K;EJ(Yw=ivNJVnLQ%6^3u9g-(@Jh)GdDuwi z!Nx)ID{XS`UCkb(dv05NlNV-7@LlL(tZzT5;A zKdP=qIZsM@yfF0WAJF~_7Uv!xgD+m%{{TAR#at}c3u(n=E8@>WM#toO6_jNc!aA$S zg#0qk1-({HGkcSKhTnIp#cZi3bUX%zW?{#eGn< zD$lFvQ*wlpDqw8BRUYQ~&||WuLnF~d0|y-y0fZpBp+gv_E1+oDUR0M!P9H;}A zWk6tc0RR;MV<=IEoyk;#!B;>qdni%kbwFb%!V)2&9hy#Yj4q5s<$QEjwv5J-()x#5 zUm()jQp+{o>s#XcwHzF!^9bX7uLGEYo=Dt4&QC4|=L_lb@2?V%R@bDB5v|($QJ2-) zlUiFej2so#R26ix>8(LgauC-Sd&L{2qmBnta=WBs!(+xa$ty-SCOobDZ4GKmM&D9> ziW6Q9A&&Tg?h5YIW5O_=lG)Yxi$Pe;F*VdWDQPB>CYMDgGogQm--br@ZhIbw&pR)W z%hautUQzemKW_>$N1F91J~0Giy5yIG3m-g~suTNB=asS?8h5j>Xw!-u4(vaYug1;k zzTON~z;jhe^I0Qy{fie2gPx?UycHB2GBdaFM#HjD{H&&2;C>er+eX;r+a7i?G>z|- zl9|&ErEGka8(8-Fg_4=sS5!~QU6&F+eP*m@b$v-ca^^d)OrFa%ZjVl^?faK;+{3o! zA9~*l(cKKh{FT{O$BwINu`{J#858&<1cv~!a*H=Fxo|N7Cv0Ie5CbjHtii+}W5Lvy=t(ZtjmBctV(Q-;^UQv?NnUaz^0UVXJ)im_J6nS%{ zkTuegw!r89}6xuH1N&qO3B$I=i%9G<^KD*>IM3HN4&%Fb*6>z>$pM zbybTwOKvA6*Vj^eX){maHyJL{(bdstt3w@ahM}a*JyRs`z7XKq<&2JJfPTYsf-pu` zqmO|O_UGf^@v=I^E3a{CQZ+dvhFcwbwGDl3=JO?dOto1kV&>+kb3~7tZlRzw;5V4K z9<2+e)#A2E_1RrJTV}aQMSkQhR1-(yS3Y*Nk&_Q7ejk$GFX;NN)mHdtlbw*4 z*lrXwH1RN(80q7RC?^bzxQ60Az;@poi?isum3^sb`P(dV-piZzp`p>XBdBg+@<9lE zwFRf0?wc5Bc5{=^Y!>>fc1yA^$ydwxX)rT+4`L z(M3m6`iW^EbG{Zz=X^#`!<-EHFGC+PR#f#JYyM9sGXYh6V;95nXW+Ex=iD_Nr$SzC zH+t7Y3vKW*t)Xpy#?c^fkb>s7o9vFhUDlUnjxn<3#?IK&MG8u(Hp10r(Kc#{8LYJ3 zZO#`lko)~HEM)`S(m8xT-yz+zz5?jB%P)V)l1HCojW4?By)y|tb=Df1{{YpMv(i-v zVH@RD4Z@t`I#Hf}@Vyq;GRvxw@p%P}_6FqT~7%S29&s)?QpT6{2eZaev+ zzB}&MCLfJ$cWk$pN7Rq9Fh`hMmQvV`dTg_sOx44a%b%jyvLb9*YEP2VOLc5m1}6_C znzAg-WI|r$0$&Ls>^u3b(P-S7lHiDxXUov6wu<%cR*s?UISwNo!kXExQB29xU+SU( zvOmRO?Bo1asbi@_~y?IWfJ%c3)KJz8#! ztLh~)a$jtVEDs0(LH(n%_XY7^RepNUuljlSLTq3!ls)(4SRoORAxGGt5&>?2 z0s-Mh2adZcfB;9$2pzG63_5i{gC44Aq)1c?l%0?VDH|d{1AeKX2O#c%W6+?`eGmo$ z0b}n#E?l4jKNT4U!Iw9F>m&E9s26j}TgPfrTM@0Z&j-G0P;Q(O(vG*Vv06-W%NC$)f1`rJj7&z#J3?C&?SowS5 z0P*M)Krj^{2X$1*awq+VZ`iJkO?uG@=-&7RHl~Y<7J97~9sW?o4bDqQ4Gzs>V8sVHm%w{1MSUlcA&A=)88nq&eVDjTf=CnxlzE_#dLM{SgRZz z`_Ay+`!G-LwVlacC(}`%t=gpAb>QmCNk?gUJZ#5d!+dTR*+q&VquwUBOgUa76)*p)J!L@a`E_P%oF7)z( z(Hnjc9DM>jh_$^PHT9}wyrVBid1WiPm?LO=NO*Jck>&X;U8+liKjRf~+az?IBdhHd zwJ_V|y;`mAagPqEpOPWY31}pLWR92{XBi8^&c~FWa$77jskOby7qom~(uSJgYA?`J zRMF1pVu`UC1x#)0BVE{JH~>cY&e>eA0$Wmwk^#12O*55l_S#{ll z(Q2clsXpU1Ra6c%LYm8FE|46x&dimQV?PljWDdV+OYfr+ZLPLy#lgwRlAV##J7$LA zRi4L7C3OpGDrL!1+nZ%LPsobvzCoeE(gCY6HK0OziWc&OgPN`ka%C>7hq}2?Pnyz1Vu|ZPFSR4R+jtt!M zb>+(A$jFUfmGWq|aHd=HBPn^jQCONNDQe>qo><~9ISn}t=XpJcRpzBTrMVc@Q=EI+ zG&;9dUv6_gs<2fw$Qs(1uiK;u7lUS&^ zws~C`k=((h!){_v^mE(3>($4lDDq)%jtUn0MRn4@-6+{BV|H>Fa(Q!*51Q|UUxbbv ztK(EVq-@r>A8vI+A-2Uc-Xg?>yupK;JCn0>^;^^BB{EFvdR?b`};N5KJRN6FE1MYe#P*X`& z<4t>#5hEs;lKeU3Wx%%?XHD?9wOq0urO(0XDcGp{qsPgZx?Zez>vf{1OWUizTvW{H zq^=b0jn1hpJl-BK9CH3pe$Z$EWleTfHszKQE^{!Wq5+uXJr+9x+TspBd6(rX_^oT?r4?qNxEhN!&a!B&_0lqWn38({((`BIXJ>FJ6p|3op&13!+2RC+%V}7fWbb8T!?BsdS zt5T1GiPF~_y>sg;3(U`Rp6s}i0VMS&Cml1?;b$A8R8&(u%W~Y?X?ZqFW{#$(V_YL^ z#?C#=T z3u)-04k9*^+@4&G@VCNGUvbZ8o(cwmuISD8?Yi0AbGPtYOKxW_JT~LG#_KrEviCod z!h0n=r#!gy0cNKm3mgm`$4bW_Jh6lH-E>!w*OR8asYKQ*^u&<3@-^7`F34micGsJ~ zCLUTj>B$aZ!1P@au|Ef7Zj8zvAqNB$i4+SdyKSf-^@W!}f85k)UxR$HuTiRxy zcF;p5^xVLoHPZ|JPgftQwf80CMn)xjN9q_(YpGn=Z5QW$Q<`YHOYzBL%P#_=|Di8y9`5{IJY#|4aC3I1G zs6qV`KoAB30c?d2q5$jF0Ej>$gb$(=0sue?qyrv`Ff3&5gc|_oZ_Q;AqS~dW-evy) zym#hQmkhwCg0KR|qJ?3?AqKLa@TVNIWXQa_!qH0pS2+$z1^DPz#sM zP&F6~XX=0mB>(_?wnPa4vI7nDPyq+(h`Rux2aUc;fW}8fK@!vgEyzAgqaTZ6R&5*} z;x$hRHT|E6R2GOXHFjrDG!V@GR=P*i%N%5!90tAYaqota-Fv-GiFF)DjGng9g>&@h zw2kA8d{m?29|iOisw*IyR90T^w=GU%7<{!XbWl@EAnaXEM=zi_Tpb?(&OkB05_q}R zNBuELFWld3+^UP0lZay-j?3sgOJ_8{D>}Be<~BK;LBr#u?d20f_}s<+08=e|pMBBR zu;6*~S&;L~fJWVWu6HeXI&bHL9cR7G9C6WHBQ>;9yDf#}b2Ix7JG1iiSgO|cxMv!A zJ1&>CT5E0Xp2K!zvPjM7s_`7mK23k~a((SSimN1^rj5!QHM`9vRTXrUwY2h6&eObd zFty)t?7AY<*9^L7$2=<5indX3?1W?;f`rim5Hvu9K@f3MMDRfQ;BJN4Oo5%pUApvH zY{_y#z>JSIQFKS$>nDy!(!nFz!I!GZFD#~6 zgNu1t)Qm9X_S?;EliNvqoinmYE=qJ33$5Og=UqVNJ(h}LS5pX(_^yMPHP2w~8IWD% zGJ7m;O1&DVZ*Sb$eP`0Q8^^o*uQSDSCNT!pFdkT2%_E!%%UafgOPzs%m7OVC^t>CX za-W7*s?zY5Ix=FP7MWr40 zMbTJmt@ZkLvgLD}2U1o#J-K^>8VPoJ^PSX=yZGeQ>dTbBxw=rpc)3wtY_+vgTzpoVi74#S zW;ou!IZTu7AMTvvn34uPY^MnMkAt?DSvvch-v!Q=q}4YH_^nz-C@QW|$oXQoTdB=c zXoK<`<0HNR{`qh?+^%c#T(sxLzvS(~>DF5frM^zvr1$~vGREC~Uh1ldCXMf)if0-| zz0S+uG{ELbHfcP&Z;Wib%Q}^^ZC13tPob-%*Gzk^T>Bl?$w5I(+Iw_yM^OlI41uoj zX`3H>WO{GWc}+FM-r3WT%Kh?|@Yv}JS33H|=Z zpBzM`vaXiW6I`OCy5Fgtn9HSxm>xjhW0GDwuP-Arw{WYHWLqS?IQcF$Mz^Q8wA$=$ zYpMe|Wpi8b#vA#clH#i#SHAfgYQ^WeW~WDFmgiXdikRk}Szgz8(mU<99RT^Q^R_g@ zwKKUU_=(Xp_L+*79L*Uat@uae7l)OX-r9>Zj5XxS)j}E?){Fo!xML)_X6V5t%xtu+ zW4u%FmW+J|V7e6CxH4%jOdZzX%6Q9SIKU%rrFT(NpOaj*u1zZ8aCJn^iGzNGe?@xL zV{1*E^PEv>6+G{M!qRdvu<~A&RB^$_b=o$YH8eKLW>(Yqf~-#ADUkliL&`aJ8 zEy}cy118y9Cm-~g_tiygqo#FCZk~5MRXMXlJU2XK3^zG;2ID?UbyUj5qwwJ9qs~g%l zqf(dOKlwRZxJh=_+)mV54~DjydOHjgMJ;sn(T512U>mjB=Ift?ek-NqI;#7Zlf}%U z%Pn=#xGTY14-CE5T`PW$^#m`gq^h8r64o{HG{)zVur4jZ2L$w8-kQ1zx1@aLMKZ;j zoAcnsT50NCq#S6YX^J}DSGn?YJ;%d1jgjy0=LDUz-E8|IV&vs`^0t>Kr{v$GqON9z zijJD1y0)2<)5$zD*Ez3(}GVU^|=ptj2`Bu^I^XAZ!@ zjgc1bjQm{L$D-w&td*Mo07>FcCN3O4OtqHJdZ?=}nxHm{m!5A73>gcX%fFvcwOH$d z-nlttklcMV{F@EB!B0e4;t|cc9KZpbV|=Yv+S<}Mlw7{nY>|rSDNK?>AG(P-gLy|O zb}_epfpMn^*{^ea>y>ft($P#+(nm@qGk(?5Ildk`Gyr+C>PZ;%TRkcF>)6G(_HW#x z>&+_zfaLgxE=laNR6U%{bHNEU6b1%TNlyct6U&(oxT2Mha&(UQW7%3KV(-26)%`*2iSxreCqn1X3 zvrk4!!v}HG(94p>WPF!IEpa+(y~Nb6T5Zvn7BKDPyCHe#*OXuS^o z>g-b>$xe6bv)Qqtt7QQ8RdP<b34sH1}Ck;K1B;Wi3W|V*@?#vh`%Vos@M6#q!N&yFfQ2 z##~3D-mPb=4yVT~)U^$oYb=n(A&Meb+&+gYOs(}!o{R0S4!VwJlVN@7nxe5TlLWkUd3IT28fDjKGAQ2lN zBaY|;l;f%Z!5xqX(Eww7Du8xIMg$J31U3WC-_ zg$y7LR74&X1IFkCKtu*Irhsm;073FXq8L9#bO*{X?~(kL+F$b`fo#p1I zU5@9X`0VgD$7KNtE2u?27jWa1HkwtH8rzbqpi6r>mFdAHWh{sG5 z)6rI49t{j05pve#g^+^ONa#Azy_q9huIJ7F8JJ|>btEzS>h(GKoYUQAr&6xECEH*Fhf zzHqyUnrm0x^qt1dCAy+1BxT4l0`~?vvKaaB2;IGi-D;;&m)pWRsGV)ba9TAAtv7d` z=~rEIyS8bos-&r?j)a-{i=JP*vKTR)i;2S57&jL8!958k+~1Pok5AJ`@at8nfr0-3 z6-_}E4{6T)&KQb4ywBdN?OyvcjWK@4*$g%s#!IK5ZO2w!9al~xp`)lKiR}$8d3=}+ zI6R;+gOr`imZ@3Yu=wC10tuvo2-SnN<2#`i$N4AKbszimHK z=U{#Pmz68#^(1>;^wG*C-fTONbq&V;t9>{=r^{x89L+Pr)ZLf6{J`H_d3~q`>N(78%ejr}ngUNgNSP`NT$gwy28A`}e z9r-+gc)VPADa8#(r>Zq=4c7S;D=1{Wwws^9n7BR0DBN=0u+n_8zeB>J8FJe-0-`SOXj(85uaq2XngA^Kt0@TshI_+0t*# zm#G$sSg%#OZI_J~XQ;BrS#PVJdYikb*wV~2i5kb_Eaol^4aal3N*2;<+F2}PiI8aRvR_C z?MH4CO+CGpZk|}#A?0oXVSi2Ej=1w)eYQ?EdcnoMpz904Goye-&*p53~lol!J;@Qd(O zn!~7G_Ln{QYXeE<+@Cd^Evb1%734)NG+D`LzeSSAy~jPzWwX_(o27kkhEQ~udPA9* z@0!CehRQ^DWV`r%sXLV@zlH;XNaGJIYX-1_FhlVD?`W8%`8bHV4%LTY;wOL zXq8PI7S|}VEd_j1Y)4;JgN}_!HRP=3$0ynR(Gl#SB`_mkn=xBOoRrwg%`+t?Sk%$Q zAj8@+R>dtF>z=%t_0vwrBT0?9&ywE@j=J(%H2Z~uNL))t@m;XDXQx&|Ym*Nwa=>|H zY1`3sMW%K}N%#g$gSyDg#Hz_hV~<2IXt|1|@sL{L3dO}URG_8gzk>Nu9vbo<-k2*? zs!Y)=bo>`>yHLzAG<>A>#^Gb>KVzO))Al*X6rD{a%7@)t9N%|w*ne4khtvti*eCFQ zwe&n(Fs8p#N5oW3~|)2#-WycYKp5RnEN-9-W3mAdfG~hcpcvgkF`x#Ih#y?6;!@tA5m6}5N4S0^V?J4|hfr1p z77yI03~iMLgC0mw!W394ka*nyW6=ma4(b8p$p8?1k%3@?(F#9IszHIe0rHc&0Ojn6 z3;;VQ!WP4_z5^Z<00N*ePyh;m!9YA?vH&3VR3bPkfr0Rxj)4A4Z6D@DY_eg?TE3yP z7vzh#9Th}nHsna(m{sjPqQvXhn?>2$a+>JMDP^RVo)O|kIk|AboPoF>HS;+(##Tu` zlk{$nO_9QkpM%fZ%AmzkYN+Ns?RHxvZozNJjl$xZ?l;{gycqj^?w+zx+tr$u;7;B! zCJFxl{UbJU{?IE3#%cYm(w}qtj=QAo_9}~Ln%{f(SM>LLgk`^UtOcj)8nf@VFPQAh z(u;a5E}CBW9{J&+lBzDIN>SstAL?X}s9U3bdi%I9qb+c2uZ%I~H{q`va-E3zgSyzH zrOX+v!b{32NfTrkdjp4&3nlu6vf_^Gd9{v9eb%m>hpQPggAe+@XYg1$>z9;QC-PT) z{^3$FT}NxH^D|IK%zxHsY5Z0Ws6PbTWj}kcxaO}*MoI5WTP#0;=O2Q4a`us0UgbB( zqvSa@tK1{WmGMdb^g%l=_GEC04|dWx_yzhi=1dO9+(M4K*&HJM%4Um8kOQl4q!0TT zKlhe#g}xbmH2g9?4vdY#u9Hwa`ZAfh`^i~)Q{MJfQu#JZc8IiAXnU^_qOo17Z5E2C zX(nvf2;qE>llnZ7orixVg!Kuix4nqb8E#SA(XK-!4a#E%oZ-{wk^4s*>Z&Tvf7Rt5 zg4^5OW}>vwr?b84F=k%pWv{hdW}={Nx{^3ZXqIYNV3F?S9Qa{t-T-lM9moLpO5KuM zlJIn@m1~`uT?0=G^^Ka7Rcrgi7Ru|5B{fSevB?Ww*Gk-n%6WNP({{9#xmP*C*yX}7 zzBBA@3xA>9y{T;6GrHXDHkfWU*ze3P<*TZ#dGM&f%lY}U&Q3NRNnF)-*%sG>PAwLG zYZi_NZlkBExJhfV>Bm=8I#Cog6^?a7i3egJZW`aNR#r9Gp7g#CYabSNO=>NjcTI3g zn)z&!9wXlFp7RB4a?;!F>}%g7Jg1sBfCO;2JiG3F7n^Qki+-9tnmQgvM-z^g&da7a zaYtjLZ7!bEFKy>eKjW;KedEY-Fh3DIsF73C;^%&TAn5jYw?l&7%HM%xOOK7H* z)rXu3gIzR|xPi9&G-G{&g?WIPjA!fOFAK-x-XlGx*6%+(TOVa?wpZcf81u^~&!xAvM?}gRH-X`d0@ppnVdr)9RP_3AW8E(&r0I?n z8iy^L?XJ@`+OSp40Lz-jwY2Wx+uvj=2vZS zl3bi}x6_Z_%*B@78(q)Ha>5!9Y_6qOCzp|PljFg*`{luu?3S>2aZ^GY1D?@_v#I3= zsq4DVy7}PpJ5;6iv(3KJ9?+85Y}GnHK(+3b;0wKEQ9034M&t0dM>9OGK1U1a`d3a) z#XFY<9;`9Dr)QPm;+k&rYX1PyZO>LvYO1Y4sV!7=R8YkoL+PZYr-(Vy4pxoEUi>}X zLvlN>rjKl9qSxAZuHRBF$jf~A6~|NQ4RcEdlF&Rcx>(I&W!2TU1LIX(C2Ke3kd9)~ z;&5A?k7ep(sZlQJNo(NYor?K-a*sdoX*bhhuxa~LR#+~PYb$-#)qkx0+0)dmRC~7@8yPOd~?*# zf7iG|U-m_6se-m*!vC}8B-%3K&q{yNh{;>u|mj@*p^DCtj@ zdNp)A>|16n{CB#w*@k9;>fnnWKL<+a8{zpU4<9cf-?o*HY3-1!qAS6S{+?b|%=N#I zQOZMVBZPtIKZ4frm$Bz$bUPxx-J2~367Ox^=SxQ&_^onn6gQT<0@sHRpGD0mGg?}?lEv2>HhNX$Z-!&u*&;YCBMWMhXIhe%AldLRN~Li{K{y~_p@y_b%-nT8 zs}~Y38K>*VhgDFK)Ijn6()jPGf6j;Oewp-Q{{W?%{Y_&B3+9iq7Cexlg0U(Ns-VDx zVGEb$gwU{1qd*uaQDFdbg#dDd0m={vw{GYIm&phPs0EDdg%}EuL=@3Lf|>%s`F|A% z81AVKvW^iY6C8sX@FC9<9@iI$9O55PL~UsQ}3)iGr@ z{{TAN{{ToI#XOcPXIFJieYTyR=~+AmN-A>i4duMRH*DbgF9$Le&wnWWH>FLyI3@6L zz93y2RaE&dlr*(xI1hAw9GL#oFi+Pj$b3B}cHE-ZDAld8S|^c)3YqBKNXVIe(Yl(nkLP6i>*b(njom;d+bI_eQrwAHIkiUYR5R0K%CEtF4lM2NZK_{Ug$^ z{lq^}*!oAQx&Bt^hCcOuU3iI-qAh-6CdFmP?X?v^9!<8r-fwAkt!M9BXD7dWfkDf!@j8XDq5f;}AOlG+=cLH_`(mbsBIe8XZV@kHXe_c8Qq zT&Zl_^!?KN`jNVOPFbBbyi95Yanngs&lmbmd&p_q%|{yd+?OW$A#G{K2+e6p*+HnS zwHn^(QZ4PN4XdH0t7KBi6Sn1KbikbMFbjvxSzyms02t&Nl>t)^*e zYh`v|B1Z;*9!vR)Kz7aU7O3UIDp9wSu8x_NktC{)m&-aWn}L>kx|%62!251*U#afAYqF(h37*^~8e*de@@#aBv)I`kuGMUGCPAMO%r5wI_PmGHX;7Wd zZRr^I&ez@D%Ov#CPU7e(T=!+gq1(9h_?_1o*?gB#>o;Y`)2Vi^(DSl- zwUe*Xsc9AXr|ku$bV!!Xr;9Il@>>974q=K%9#Gej_P#89E&LZA7ec!(efF&*P9ICM z#p>Sm6OP<$+)CDW=G^tI>XxRZkMPVCu4|&EYhC=%EZYMo%%0_a9ZwGiwyHPFCaROJ zi0K`3N$7_(MobOB18_ez^7+~Co=-Y*a`MifY_vl}z#86zE9Wh;Ry~;Ztr;$6ux-(E zc0G|I&ZgrW0G?s6-F8((q**;0cA(U)V@nw(`-SRb;Wl&5{=-t1*>}7?lB%8p_SMW; zABaO({B_?xg?&CYBx{fAa?c@4ea1SrDtnE>sDR3E35145+=o58a<}GtuSTlcj?hze z)|%wcX-ge5p?zI!@Wl)R#B*dP;sA_>x2v7omn)^g?D6xmA9rj~vRf_lQBNedJ6j!1 zUk+)W=HNmc?1$hUxXuEyhWK7jJ-8??K@$J$4un(UXCsobRCWOFrBqh)E}04H&a+N3wWcfCf9n7riO;HdFF7l-J^m4 z;Lu`*pu0TIE)Mt_320wWSF7lzmniXaWm~dNa`JQ!XY19oOYpw*?J>hRUtB4tsjH|G zM>F3aBaiJQcUA_R{n%aEc+$2|+tM`R8h6C)j)oruErsf|^&RO7aJ*4;TjS`WczRcqAR^4~*nqR`RDZ?RHAM_FG%K-k2u zbGMSA!2Z%xp1Yo#E%o|%l9Xj8_w0Fjc{9nDoKe@Ms;=Pt%&)f6)4_SUTAN1tdZwQe znjiph#=snTEgg}}lT%uXJp8Mc8d8S_xuhFKs4jC~=eKioa3RyHx6?pL`8$Z8H*HKp1RoXKVr0aJylRA4a9* z_+F{hXP;}Grte2iMLZM%t_^24#Fw-*<8a(;M{>N|CHFSZDpK!?iC(pq$|`wHRN?P9 zZ!2W`EeB)$Z<4h+*#6bQslqT@H4RCqtLqFg+FT=K?sFpM7|uGb`my5=y3Zj;?eBgK zQncGGIj+?gVO3f%1v^f_`jyjM+}~^$2HGJj<)|$hMf;1>Ni?>-I|w2;WSF)l^o@X* zIODJbB>64cjCp6!<8&$69_h22U3E^UxX?cDBhR`S3?cqA0q4eX%bst+YIe6S*rVt% z`UD{z%+#m7)X&UikRPcj%JO%|61Z!$uY0>`$I@Ej)3g@~YMALjxjv?#NZD#Ka_GPV zm6*oICo5DZWH;RSI_!iVyHS_6T6C38g1lcYdZt=?^(?Wng4))SCt>?eF71N1E2kYK zwvOs?F&;FnvRa?9s)?k>^N-J#R(4NIgUgg+xG!zBCR)bBJ$q=QA;ix1xy=LuKp~)< zo`dGGRy6z;81>EWMa>SWu7K?Gf_nE`R;A?PyQkM~_&04i#M;Vo&}vB|%#=}2!Snf_ zPr`lY|WZHV6sD%rg+KnxIRxWqE3d~P4+0PTC$wWZ<;u#BPJ&i*U@R* z>3?^F%j~kJ$*f%LmG)_g3~<5e=DJmpu^kY)Gg^@=ZSqJY4UxnjQ_*U&z4$fTj;6Ra z+ja4hjo-e*(Q`WVd9$I#nD{?mlVahPkLU;ig3na%SjL=~8 z^;sigWt`A8!xH{JtI1Evj*^ae&N&L(-Ls)t7K>;2jo7sHSJ>GEnX2mN7u3>vLhj$z zUmNuwH$(P6P5M7yf|kBa5FU%>&#ep-*+QV@+oEWq#{CcnDgfp6Kp@-|GypW7$dC+U zuS8&6p+FcNPzNaWRH4cc2QSG0a)k&YJrx4w+oAviuVg?lfLK3@CIbisgOtz?QlJ3d z*jGSp$Rp;mi_-Sb?7%DUe zf~J7*s2)941IJVWj@Upj6wnMGlAw6`pcW7ZFRB2*=zszM#t;kz0Atl;2ZTrmDxf(~ z1`awZmmoo>2jo`jxSAU=Z2JKEFQwUw1B@(!Dd*!D>5_Ep+t~4|BfT%Zq>vsB@rq`$L!USgGmwIU^nLncB2=l+-MuZ~YtZ zO#@>|BWE8!gq6G0gpqwYCSz^_`$JJ747gG?jw9lZNWlBRS*WM(bVd{TET5_?m_jo(MDl#rxEXv!W+AY!Nztdl;tfq z!HVwg`@9&}UTvW7X{Q**=yc2=VadW>Wrr*0NuCMl$qlne~6k0+jxyJ+c^1FY@M%w3m7FBQZ#Ldm8 zs3T<^tZl;*oyH`Q8~Gx9*{n%@(`wpnQ7c5>3nXH-bvk&w6#qgKenwR7OK41-XLna3J2CfRLJT>+~Hd}+z0Zsh?~$H9>b#Nw*e-FGB<~|C|D!G2bgV=@#hNMlu46Kl~XHJ8)jS0-kj^F5N_g< zmuI?&OXAd2V2lCEd00Rv9dVtPm7n!BH9^&gxknygz=l&z{-&bnNdWuaGZm6KL zvS{gNb3e{%i}FNe!|db(vv@;Uc9$2_%RwEhx1fCRn}V! zE_CLhu{ozP=NM?uVfm}n^C6G?sBn#Wnd--?-qGH4rjLoB62KkTr+(|=vvS+wCyOcX zdO95y3{;T@HKQPP?pM#U88}g9JV_pTKnvZ)z;gCDt+_{*%nj}uYI}V=rlr!{A2h9+9$Ypyw;ZQE@^kku zp~k|5UxSi~PV1VNf`334mrQ=6*tF9|%&uF$&(?9-~qcoFI ze%@0tEOd?ld;=XaPTkf{8((SSU6e1tv4%>cV0fS&ms zx~;8i+mnLr$533eo$+&uR|sRcX}t+cPjkOX2&tM6d1Mc!hs10{smDJvh8yI&u`$$_ zscPWhzQuz<{Y^vl#n`r zy?Qa!W!(q0@Oai{{w1xZb1ouj+nuLP+b))_AH{FA(O>14#jR{|R8>!g7DrLJk?kC= z4hP}*kDgb2YmLoo!RFb`STuMshL^(gmOJtlH(bEPz`9;C@;z0W3X!cH-JM^Mm`S~R7i?Q7MrI`GNr&$u?xTH#LvfaUQ^&nbJe z(3b7gEjd-r`6<=Gu6D){edb2Rq^{N){{YuUV|J4BZY-91_C56!Qa#u{5OF*5HKUx3 z!;Z^rwdYr|%HKXC3t zx{sCumDB1z3hdM4$)a909JN&uRPsjz41dBv0j0yMw_dF@`f<}RQIx*zoc{n?ae~oc zqHT*#+8}*j$27MYY7dBcy5XG%&1Fs-wtdr<*TM9-IB?6MMp1vc!ta{e?QpAjt&&lf zWVdi}*Sf~*eKz40qw27_RWxf{m`c4w%1ebz_9IbE9MMTn%;|q<=pHcW-bTa_NF$*O zRBlj;a$KIqlKj359F>l9%fM?~dx5%3GHv)aHs1v!Q7%p-chIeVt7a}JftmjR(s$mq z_wRt9mw;_Vt@|=KeN|JE_Z_iiR$MCD0WxRHWnJ@Mn8DW;`76hCCwW`Hm|LTjza}!H zT%ztOhRN|Y*&bnZMt#qFHS4vP5y%HYk5#oxUJM)AkfOWQ(KtFe2?Kl+y3J4I=DQvj zM@<{7P7+AkXj1OGkj;F!lK;-g8{hoTNIi%M%@^in*&{v7zp_-v9+Uo zFMlQ?t4`z`N1r?ev0J}$qB%|{HsU=GxLoMs<-m0}H~Vg1FZBesbbn*@&!DI3^y$n0 z0FkMIk_$wFsVZxixLJq5s-sH$~=)2c=K5TJiV0A4pG@O zHUxbZATY8(jt)=;2~Y4-l}K@26ybL0f2iT3=E(EKe+)cAOHdZfDixy z0Pu0q0AQdP2f6^p$OVrzKwx1I40!|rg#hqzoFN03(PWB-8;*ehVNg5_pb-dw0oUYK z$bNJghG*Dn`hSK-2jr;=P9!@%L=~3wWSQUS_-}N+Xq#pBhUZ7iS4seeQsxj@mJys| zt8%_Ksb@m0$yX!w{{W9K|@e0Psv&8%kL_ahdI`)KXqoiljTgvOCj~M;_R}aK3>M)VDN8p3C zO>3L+wvu1%(!_WBmTs!wxRaV(EtF2Bsw9S6t>>ryr5E=sRdp{iF;cnkq5l8{L2|lG z;o#6j95c(|P{+RhjZM_%tkKeM{Wzucqf% zxQF~1T5cC{GUJEM8{-G5mbv8p!DxAud!6<444W6x`AA+?mOJ%=Dk9i}uAMZ@F1%pWwQ- zqMnu*AdVMDNtoNP>*h&4`{i@h-8Z(4c(;0WxWzX2?pa3dCuotz(Pwo`-96%?;yA~t zKC7}dZ}S@$uX6j|k#!u`s_Ghw_@s&oN_RDqa*)sqx(szIRh^Y-FymEHRmp9#&RdK=td3bL~l{{{Uam##;DEto6;pDvJ1j z$-7LjF|N#E^)lhV5o<~KNyk@UE_|-Fje%2yH707v>h$7AvX|Wa9nVSd_f6?0v}v1Y zigOEDHDvGcXK)S1?f{5T8X`j1t+HR-=T5*Hl1wm$wlhp$@Cp82T zN5*^O&l?X#;`JQ)Pl!JU%yk^8Wc{Z_qo8e7Q>yA)8(kx^SjON5@;SE3a&q3;%~MrY zpuLT%ib$Z0HYPQ#F6GGl%J8RKZ*0xUdzW%o#S;nV8-6QNp~xxwm@A$6vF8pOmFeSP zHulYq-6I5Jth~chRLYp*ik-a9=XUPjpz|x+$H7r+gNp2>2BY#~Drb%l3WD9@KB90B zhQZAvpT0Rj-FsO0&N16Yh*v4@b}kKFmC?GoKi48w(-{Yd8MDiC@nbt>dU3^*j^KJR zsW`P;BSlMBPeLQDsi<}&m{d48JjB;vG#y$ z%;tx*P~RJUwA^&N;;65mnwH`Rh}u^*#JVxROmsVq!s)qAp4qu4uPFJf{-Iq^loREh zI?1IY(+zBul$DFBvfLU z9q^OYx!cuqtjSwm4g457~xA!KE4XE(St&;>fxde1M z!3%9~W)3Py&)GFqUA|D)$U)c#gZZuUY4CZueKHrvgS6-lE!WYOK~XrG0&wWu?1wE9 zsZ98;rO>-}>qk|ZmeH%Ig>{^aNUm%UP+rhGA#3CfR8vIqA#zER!;eY`2mEIt(Ia zagl8-85@9h@>wUNDNBQm@tQ76^}V?N0MtSM0NOo#?^}DiKe78)_;&vQ{A9m#pN8$# zc<0`R6f!}C(THIR9KFyXVF(x~P{NuU9uq}OFo0a8P=gzxLzE$ii*lxh#mYR;qQ?7t z)c^(*2r-p(1C)6v1C%C!VF<{Pwp1z(R9p}-=&pb_Ji{Zp$~-VzR01j`80jOwGO&I~ z*&G#%L=Il+qK7I0;Q+kQ59Ck>Udf~dzeLa;GKAP;9%~|x1Jz9d;2<6oKr!fmU=+{{ z6wnMDB0yMF1~Z=|0gogDcbpZGU3a@V88YJX&iDhC4-EowDNAkHI_NyACn- zFBxTv{T+s!ANyCi-`uK`e&p=mnKJ0wr)wi`i%mk-vz5XI^7DF}l5(@&yrQQX(_FHI zv^JQB^1A0wk2e=AlW+3Go}}gCIuq`cH27^DD?tYhE;#=HA9~#y+`O|m)j9rlSkHZ| zmPbV#p_}8Cn`g__bjFyjP0t=4bYZJ6Fw;6`R=wlGabf3n4>y+UwwzhpuEoL83@KWZ zg5bhj_=l!pppK24%(*tD#nQ4~c>EI9@-zXlcs%6#1=9|VlPeqcGyWHmRqwg3-5QP0 zj5ne0l$KNOlvB^lVE`Fi(X&Bu^YrLXRo@PWTz{E!wv$g3i8EFj;VUpiW z*=rdXW2>q^X*`be1EVwK7sd4szkYA#dS9XP`JF>6IeqU-;JeklNzl3)DdfG~;uRU@ z6w&_DrN0sBpfW#V@J9F;9!vB-lk~PW2lH?Hnd(uEUL$S&&3liBoH4Ge)U2OTP(gCH@&*cD zh=N{P9P`t5w>b4(y-O|-$MouYHFZ9xJ8AT*dT8_&k3mq;Le^8;A-7V*4}{&0!=NY6 z9aqWZWqOb9dpufjg>cgN%ZYaMKj`p zH_K4sL)j@9cPVKhxy}dGd)WOxFovXh_2Bw7INiy(+jMnRE}3QbP~B!TvLndMGnOYg z;|+6;{KS%a4c4hmC))+!`TP2cS9%pkOXSYkWTUpY)%&#UwXhkgrL1u*oVCOU$ia*^ zE;s|oEG?+s5!UX_Re9(J}Xzz7g)5l&V`jVQ^!wLcBtiwmeyr|FEiVbi34!p z25<&kLQ#*j&`*4=?)qYtQ&nJtbI zL%9RaT;fhJ0`I38Uelil`JBAJR$im!n{|s)Yuy9xH5IVOccPY^_xh@6M03v+uaLRV zcPZYX#~5)KX6MOgJXl%w$J^ZIl;vOEY1+q0aaW8s+TJZ)?2*~*cJ?{;>Um^nGQ{jl zEWqv^_M4YCVq69@*VVwQ@c#g6{^yf+HJJ(A-v$dtYD-5EELN@&J4ka^TK(p(f~J=S zTFRFZ;m0eThQl7`G82urTe!B~=)O^eCho7&QRNplT|0WVRo75g)3D#2UdwCaj;XGS zou>efW)dVhInH}^U9~o&-DG$?uf;PNcC zbNuYrH7=`;-%m9KBc8~d0F#v9xP!1iUDri8{q0SdKK}p_G%EY0J+_WZ<@MhQ$$|$v zc@I$XKco4s#`O621@QttzKs|7|Wf>;rX1DquS(7Sj zmu@VZiLSZj-!-ktYhK4Bru?##&oCb)JGII(PuPw~Q{QEjebE!S{L(~74^;+)Hy)}o z=vyBks%0O|He;?uoFnAOW6KI?gigg|o`-_9Jyf*r%x>8A2ccVIHxn5}Psx^ovO0$I zH)jvD-!Jc7by}J^rw0PKkRJP$(xvWeOWeGoxKz-{9TUzxmTFq^Yr3Us(>ivC;zd=u zXx`eV0MpYr-6YibXUTO=iyMCJa(BBXuhaV0jyhYMjfSi@;gkAbHKWsYKIO_jCnFl% zS$)XHUv$M)szWqDn9l8R=t9{G6wLARm7Gklqq|K?@X2y8Rd7$izSu^^!L-|T2rUhJ zvOP-XokyK!C%LiGT^jHUBnQ(gnowxqww~W(DFwru?Hm=0My9l0GNqDtSP%$nzG|41 zUkKj=WbO%;(nIJrS!~VnjvvPsmg-s-fzpA${c-E(`p^0C{g2zf!^N(bFaH2zoq?T~ zm80(m%6p+j%7A>K0E0q^A#(Yn0fX0N5MhIj&}aZ93WtS2xl{p6o` zLM%W5r~{P%gL|M1d7utZfD3SdT&fU6Y^W0kT;H0?Ah)Ui06CcBtd9Qxc&sPn!(=d2 z(U9<<3*9KGvZ0Tc&$0pICUr{Fbs_sG&avIe*AuY*^O6b85$&i&-@shawt42ll$G zzX<)=o5k0bTFrZ|nYj^$Z{`;0W5IG|8WLtQdiDb6&sNsFj)B=LsuVZEM{QX0X=xbQ zZ#LKgd+IjxbFkmVbVml+E)mr5Eqv(LZX83gK;slu26+y_u{5|7^XR=AdNuRqBXxZ$ z`S?b$apJVI)i$cjX*T&{czaywIr&IA-MGhP=vC3)nzit5T^@DC`qSEGsi-wQ=TclM zE;TbtTU$`~O(!V$a^sS4J{GS=Dx4_(h{jz{AE#8Qr^HH=TI{xq+_o)YTUAK->7$TG zLE+R%B+m>Xj+Z>F0j_a4&JNr4S{8M;*WHe^c$4e1%4yf~dLxEfGep(d>2;=_(gK0k z7fALAli>3+I*svuoTdGZn^Nk{Goqn%`iAcfD~?^^ zgU>tNj9@Sv=hW=H9B!YN)Fh)+Ti?0C2+r8|BZO-oX?;O=lA_a~D8E)f1|L4ps4eS~ z{{XWX^ltvE?z(T$wPWhcx7_{?s_TR$_kGX)4qI>27cEP0V})va{glw1nyk! zug`V$%7|mv_UT03JKQ$pcYPmcf?iwyt^@+6K$MPrDIM~NUwILl7={^6-}Ng9_F$6zytx6rl|U_ zwkXwI%Fip3#!&Z395Isl9>VM}`2v3+x?@6%+ctNtZIHA}6jfd|Wg)494(5*s9X2^{ zOfH9w-yI_ygxou8e3bJoEMjS-V;b;&$ji3;mtA#7#7#SGq>W;x@licUZMs%TBu``H ziPG|N#_Zw5`4i>3_VMu3=FbPORwrasty~f@4v9}qNZMGh7kJ+J3tc>rzEUD&IcYC;PsZ}$vFN<(B%GXL ze1n^u`(Vyj#EogiZEJ3+gM+rVI@Lh=#Z}&>rIE%P6lOma@~*i z7s{*}+}|@i1FUr&&i!(2UCN)pd8dtyYvUo#V}~$#=H1SBH#U3adNG54Z?W-N{X)#S z_sfHJq~cwwSmdCh(pJkIpxOTbSIbXH8;sSmvMe$3&-RRtm*OOV2TsejoOnm`GlE%d zM_MPt+ePZ4-Eq0vZuE9?W`csI;{5x=A1LsH8c$F|{wy8&N0RETMaO9jX-?h8dfBt< zZV>Cu4E;N!X4LWADDShr-9Zd>Qb!ScUeWQf=ip{Ja7Np1H%PRlwD>f23_I~B8sjag z9Y=>6a>MNLUvQs@wySHZ?o1JvMf*ob8-5qHjc!YcBn*v;%5jC7^pSDheJ*;)eoO_g zOWi5;o~xji!pnWT^^m9#ftNH4IzCc54pI&WLRWHdQI4L^kLr1Gh4ywnAGzDC)=Nb- zH9cKC61uivTRYr$dqK-^d;M1g=Qk%7*1tpZzN2@mXL4_UsgY}=h&Y3`d-(;9`;RTH zy|Z7`dZCmMJCb1BoO5Sj7Rsu2OMb@or+tWov4%;q26Fx<1 zm2LAA;j=n4>6Ys@Yp$80uc!TGWq6tg4CTFB^9n}Bo|)%HQ>pgI)MkpN-6kEJWp7$% zTqhZ>OZ$EG@sX2__E=7|%q_-J@ND!tfsfheIXzcAsyyp4yLmG(T>1VcJExgiy)&88 zUd3~8066FBwYtp`uSLslEq>U-!?4G(jMYYW$X8kk97m1#cBrGl&+-Om{{YfGeE$Gg z{{TKevHOqseznsjulF4AH_>@#+>e*lO%(?!0dj-^k1(1W76wt2T)t=n1ni;!8;+`k zK3w)d7*T=Xpb&4Ox&g`*0m^_yzKDSyUHU2m8|<0`I3^LYs5mPAgd%rTVlH|ukd3x-zMGjK3MMybuos`iu9KM)M4F@Px2Pp~w z4f69qFw&=z4<3snEr%$|yb+8y(Le>hhz1&|Nn;x*K*oDz02cMxG*IP23zVWN4qb^^ za2Rs=EI@Mkg>*tesL@d_QPk{&VavLxqYNko$&SgQ16h;iaI%jQK-SuR5WbajqA?TE zW{5)|I1}5drP=JB5K8a;6WBSkk9U9j?knNC)H|}d8I8ftILh;> zj+yuITZyb$9Qu|TEmDW0b8r-F}i)Yu~s@Uhj zMrk4gB1)I?=ldhBS2dZDkL5m3H|tHyw;nn#t7tU)sHK9I=`F_Q%Ftq{bo`XkQgRHn z(XDi3>rWary@yUWO6i-Fw2hFsnOT=g;&ZU;$~Rn@T^|cB)pd*RH}_X;)V0a3 zx{l{tIjq!|S?8W#^g-qFy!xKY*~7tw5Y!S#?~Qg!I+3{Py%|w-po*WuZ51$0bJ6)3jgtwL^w*~v0;PwCv{K#KFmvh%?<7D4C zJuh>k&|G5zsgb$SzMuft_=hZSaqFJz!O5x5O}__~bRN@w5Jv>Cxv)8s2mB|)FFyPjW$anBq zs5<`uDW`gRiB>Z(jDYu#5yu>ZE**&5d|`AbEf~-L0Fg?zX)RRF_p*7zL2Fw6QXBnY z-~J1(tXFRc-Ca)Ud>Tf+)_RKP6jIr!pk$Al8b>%dM;tuS^A2E7Qqi2RrRhB)n%=DC zv+4RjM5eagyqxlq<*O)f0kP9l%U0U>d|K&cYk+_d-wX`kfw|j#m(bmV2|>Mbk8?W) zmsfi6uLoZiO(A@`UFzqctE;%d6dnarDg$ZR$m5xs4&mf&%zbjcfBvGaMk|N%etmrN zC{eB)MZfAtN!1J0-ddXKnQ3fvRaph~IPu&ZM~4u`Ul_>CiOIsbbt>yo*DT@5#B{-> z%V#;)p3%B`<#3j@mnzzu6`E-UZ7eVzdj9|lc0yr{H0C%!kLld( zN6+7N);{S-&S)!N3tg+V99&M*jn%PC$lp&@L?f!IqNjz89P%>9=3p#tIY41=Uin^zI!yQ;F-v%1=j3;lH!b`A?v$b)819ipvgsh58CWHt_vpH(nrfvlPRR}7kVifEh*Vsl*( zmotk?Co&HOXQF4~{ zeGFyW4%CYW6VuCOgWK|AME?L4i{Q(A8SM{Wq^-J=p0itN`L8yJ+W!C+jw#&>p5oKX z@ic?8vE62ua?#U|I^iblTQGHRf?Annri8-_-seXdc1s#gLv!B)WrO2`MA~nU1p=W3 z>-F=&JyJXo;Y z%@c=d%Q&|%n^IG~n}bIf&VQ`s^BrnEx5a*k?Vmu$T`9l*MwA9elJazYu<`1HNPMTd zfJ7lk^7ldqDL@>EP~|8Cl%Pm>?tlYFsxTNGlmUf6h(H{t%}s$8`KlPXbI}0#6(bH_ zsuVeW3V>XwfQx+<02+aawD}YK=p8L~xX|c(Gbt{~E;gH>OPc?HT-=bRNENyYd-OO^!=JVe4$>dW*}0@~s~)Nl7K52Iqw*yOXO z(1KsrF~4GR)+jUXOMq#+gCutkFnKP zN5@NgF%xR7Ls7K1YMdU;e=p>_D(Sej@S=3AOlsFD7`m&Z#BpHlntMIeH7IvJz5DLfKoZt zr=-s+->xyMdZs&MCab-i__EQ_v;NiXF8i`d!g;nzd_5z;&HC4<-ur24D6^=RozBHf z)ivZCW1qr{?r6y$a_98rw>M{#!Lv6a{kyDf{{Un`w*v_9=;>jjg%yKx53j!FRI(#k!KyQ)ig$0+pMrS07Fbfm!Bd1>tvEmFLSH#GEz`Q-3={F zghg$qWgKMV#K$zQ`u1H_h^G`!5_+Z@Lu zK3$iKYHP{oNxyS3ZIY@fn^jK_h+%L$w=D;@dwuJM=tal2UgnE?TGW}G6WwkX7hP*A z@8GxM+?HRn2E721)>F3O?X6~TWXrGhx_BDBp|`8nLu!Z|Q{pE9|cp7f*k zoUwA0yAu0L<8Fb`Qr*qY82#>2WR6yl3xUZw9YW`=O3BIz8kO(4(;Df4^ImT$Yx$H<(E3M9#cNq9Y+Y1;|TGN~lI7Z5Vrajdp!dJ4KadJ9yu zNprhPFC(Xk(roh6lH4~upl+5za8k9c{)aA9XOCR+C(C{p!I`VO=zTEVKn1G%4T3S@ zzU4J$1$0H=20}BE$3K|tGBdwL=eXICTwCG%9|4<_B^71OC-7)|K-QF%G`4+2bx_mV zMVC=;sHL+=Wvrrst#g?7Fq6#uhV;(IE0$1H?i1!m!u5W(;M{BXIgYp198}RY(8+kG z23xkCG!*qSQL-<1v`XV6V*!{P&L^4K-z4R8dR5K|x2>NgD`jHt_t|-?^lkf7YW*>4 zp3Q2YcB{A3!%G}im(WpD$TrJENpy|?{jKwz*G+$Gao-3|JMU6 z6){8LS3c6&qK(cD_^IRv1>kq=x8uF8{b?Lh+$FDLJ$k>|E3UNFw-($f;C*+y*0!6O z?qm#O0pvL4F9&RP*>_!RV-&0RE4e2Y_oHH(-8KIJQctJ&Pd=fqvs4DQ2r8UoGGqfG zco+?g=gY6nV4P!Db&E{LBU7Jc4e6ajPun%;1@4zSU8vLB;J;J08R{d17nU$#(XgGz z+C4Tn*=ki$oYeREPoL_&N?jqf1?3%9(E09qR@J8KC8mNZIhf%qhGl-=Y3H**D@B#Y zi)A?N{)fPIZmnlht~FVu`ihpiD|K5c+Qz&>{$}$GhXAvjeMoEM`Fia9J-zYgMV70A zzMD@sRI;j+(@tCi8!$2l2V(`jLdzb-D?Kef4_@AvJ1SX;tuvKRTy8VIH%-Y-&*x@o zJfPz^%Jp1TaoRc6E-7f{97Na5tD2t8rlyV`7FNK=%I;Q&IP#ac_8z`Vp2x#&pHtBK zSAB`w#?4!a+#%GQIn^{8TBhZ0)D@RnQC9=((wc_7r#T%nor>V~6|wGK$JpjzylJRG zroTf{vgrL;sb#5VpVOBsgQ&rEK&Pj3{2)5>U~SQAa*KXUX~VYk+#|CWG&57m_$niG zaz^6UG2;$t9YF|=c}H9_8S18tQb=8Terj*vx)%M^Y-l&^4m+q(e7^($qhOBR6JtUC zGMfM}H&6)fuE2NvkfEP72pPv>s{!=gKt!JX6)Hj-5OSF~s zt{q7uM~qr>HYIJ7JPiJm-j2_uIIh>m%3F&>^yh3m)$B&%+8YQZN(egZT1~W zPwy6Ln8S$PC%6X>lEKb!@{b+H%AY2?b<$N-&LzfL8}Ie!(*d&xYoZZr0QK`TGB*tMn_$l zvXkFd4mW_IoRo?0zMLn~{ApYbpcjURFn%g|7{cD)Kqo-)=zOvMC{PE0x6@QrD zEa!Jv*WEV6%9v@$G?vOZi0J1q%P9LnWqWh8OR&-MXxJFC4=+WvWmk_ad!A-TRE8bimy=Da(z9BwRTMWGR+^ewpA?TH zB)Ad@A3sIz(+cMmZjZX5(>mj9ebKO5D5kg8Q&+`C(qNI3HIHY)d0YtQ9!DFjG9?Qj z;%dseHbKK?%}UqQPGop*Jd!!&G++WrCmxwS7YtIa9g*;O^3)e#EOnFAGUUew#KwSQbA3-xdaoY-`Av2&wDPU*+Hvq_Y;3%~ zDJ>LJJVQK z^jy|ZpYszqu1S9}J(-KuB_)eZ)z>&t)KxkUMNf`_`)KmPLvWh@+DgPW#e( zNaxr6XKu6CMM-sh-ZT+&)KkLtwd`qba0f<$aB0X#;R#gI`97w;l=17X+*vLk z+-W!MWvc7oh1%V%xLPc+np=GbV(xW) zvXk3?CO(pe^IJCZCjG zU8p6briGJP>D>#Vn%>%4c5}~DD{w=qzj>?=BQ73TT4!oWw)j3Lto=dg@3rj9MaNAu zqOCe|ih6kNY`9ZCp5ss;({&B>Xg68=Z-5WP&V_G%X{UyJ1 z5H(%W^Q@<+q@-=ehLQ>CA*Gf!W+@nGPbH`Ci_=|om}GFn%>Qmhg5aC za@|33psMiit*RteQ|<2YGa$nDJK=s$O^C;;+NgK0=J-B)s`Z)THwyfnX3Wd3pt&~b zsO~it^E@?_bc*q5g>Q7f^y3=KiE)m<)uvOFhmk82n zcs0chL7{6nmkykh^#wF$q4jf4#ur99xvVEH1JExzR>8kde4l$)OS)A0sc9oXWlYR) zd~-Y&j5Wc;5IqlNslM0RaVb6dI%fwxpfz6w>8`Z;eT(CJgyxH^BvYbu#()D zC#QwgEW?X}UQTg#xz*lobysTVhtyU~>E&}q0dtN{KJ_KEa86FiIm_I$B!t`ADRJrr~vsYf*yOS!WMlFR49*@PzUf= zdLBcr$+CDVLs2C;%MRJxb}MCeII|f?xXHm#$yv_L$Cq%sRf=aM>uHxQlRZgWP}wHQ zhX(>d>JCeenUJhib_Ih7G(7=G)TRC}%umcODp-r{Xk*NrKDZh6Hlj`H2BALhXF?V}=> z`W0o;P*gO!j%a2bxm~)7*)JwB$drFEh^^8Uaf6z7Y`3eEM&HKi`817TKVQH&H9*Th##AV|4muS~LzD1OY&j618IGtJ7H4EC@EpEFqNXC`IqB6y zBrZ~fVakLKL<8jXRH7`#aD*2xmvsu578Q{JtoYhJQE(Y!I|!+mf7(C&;;h!05Q9kS zRs|Su$wMR@o{Ersn;-(uL;~bJkPnl7iJ`IbWbTL$!#+p`8J@~$2Zz7nu7=47&;e#Q zAYoDmAjd@j!v=Q30zsab-CY6lAOgh-gc*&zC(5&9q>huH?l;rc70Yy@Y? zGzZD(70?$hMnY%}k>%|kWnJit$)p?t;f!I zo<~&4;fx%fn{Kwk4_h{U3n&A^VZn7Qg>Zqx) z+4F+$xMcnbsF^HDFU&u4w9_BkNi9kKr|jB(r+>j+FB&(-nxp!XZRQ$LiVGzSIO!yS z%J24$KLtE{7rHBm#I}~>TUzW-E9N=bqc|TRHd!Q@oKu&vc@2uTc8R5oK_6ae4=DSS z(p%ZOIFgg!g6cY3RX)STubZH3V+{JaWT}(~P*{8{xI_QA7U#R}WG> zPgU1eCPbsD@Q+@ek=mDfFKD#gA4#Jxaq3Cmeyh`>imH$5da4xB2Ngt{R#Lzr5ys55!MitqlJPPyCuPoY@P1v?KAyIDlCm%D-p+q?qqzRMeb&B)S~~if zTU{8N1L1bq0(zO-Ziuhfq z&)DqrucD~9&s!5EhFIcdF=^&_csY3V7#aDlJ8~rpRdHNDbBg<1Y*32x?q=y}X|Bv< zbQagsiee+4R^|R9zodME47^8uN$Vqh0kC&geG2a8a)A%;GD;~{%hD&mj zF65^k`|dY;gDIRMYufjYR`T)_-vhT*R6C%(HMB_AIYmmi?9nx)=Td)>wR*oyQORFv zgt?Mj2tFJ{I}SXg?}vFWX9ApmRaIvaXVY}7Y*l)q_o+W)nOJpBo}PP?bycc+mCETS zip!NTA<+K7x5IOO&N+bjXR7yZz_zI;Otls4eVw=$RXEEPtuH8ds++G5{nK64#cRLT z*HAKr@m0(wmY6xN$Semuz&8U2Z>q4aIgxcqX)pOP?XMy-p{E^r*STjtp5hnl3aiUB zldG>+cEdF_uHNY6h6rV0!^;WSfq|Z&m5R!)rP=JfoH-q55}MUYem+i9d%x6aE3ICb zj-GewQ5=KJgLe5YFahBd|ZJ@8=khZ7&5FU%T- zmZ9{wI9@9$KQYVe)3$C_cr@Kre{QV4$>LR1 z!DoV^Lqf@?@eE!w+GKereb2;4Wro%ED0oQuOL867Y4|esyEWHOYbvTO8C50X8X6yc zs*(zhQQ)zh(sMb#X|2fH&08AAdVHg6{{W|(luWLx(R%Mv$49NNc6eD&cYHK9_DTpY zW8Lt*yu|z)^**}|mc{ALeeqlx?ycC>kKE{H^<&|#mVS_imJ_ON7XeQN#)6~v4}vy= zd`6Fr&vsng{Z^kw)YXZtd>s%=8Xb$trd+L;twnpPxm~1&rqOPzgWgRuo*|%)VhIt4 zd`%eYM||aMvF&!q`Q5=4_PFB2XdU9oCpL0<(bt|gH$MtLSTUvC*WzOeascLEbTB@m?Sy?17a>mCzc7YKWmq8;rugkrZ&?bfZ2IZh{(U9F}Kxo z$}#Tm_dR9RZjBEeE)HZ#C;llZC(1{fw2->)vGKuM-;sLf(F}tibsus8hbRP2dzApQ z+^7V1R0!bg0aHK~U`hbU^FS|O;($IuHL~aq>8%EXARz-G0AzJQEs&rN+1UspM?k82 zGSJy0;&(G1T0+h(rbd*PCPtdIl7QC$$Kx3DT~*!kXq{T{T!{$kIxdAI%}@0v*XOU? zvQ3l0S}Ej(!STF|b=hX8+sJWJT$ySeNl{Dyc{l^8D=zmVhU^$vxHg+!xRx@~CeAy8 zwrGRk1yPz*=9AWM_YP%yxQU|Hl7Kw>`FRGS!&(M<#} zz=*pf8HCUe4WwtuG)<4g?}bVp9?Iwkhm_F=9A6uD?iAL+&)tr959>SgUrin$h{&8O zo7gD7uUzG1q~oSJ*9TtHG<4GFTYU9*7C_fT_?poXbAS#z?ebdet~0sF{jca+p+1ud zN&B-&)YLXX8FQ`^NJewX0Uw!BR-^8H%g3cIS*+5XKN02dYMwLQ&1%^hX=v5yQLndW zOVU>xbTGBl)`*D%{VU7+c?>O6<(%@aE$Is9sA}Ss?WANB+wb7Q*8V3YNT~anLMa#; zyS;r;{k>$;@B7j@!|^L-((qSixGk94iJVx*IFs3``S59d)^L%1Phzc`cQi%cE*Kwr zovYoQRp8q-x4~Rn?G%p1U1_P4r-u>d{BX03T)0bTeO*0xe6sQisoDcAR_LjK{{Tq+ z-S;lq@UNQtR*znek9C^uj*)dqX?=ZUQQT^zagps0ciO-`NN<|yk4#^h)_QBC*Fx^F z%8OhS?{gSKn9^I#jfl?2AByjVHP!h}n7Zp+8CqHxJU4RlI$slKkFZ(FJ9W--wOcuQ znva8zD=JD|vG8BPN(YygaJBDeojY4H)OPtN05!M=zHx=7a$0GeHpxBg-L6`Oviny_ zU#QtnQ!N}3Q$`yQV|*C?%WyjU*PB)pDukg=mU%Sv`sh-HTyK)uw9;2xWUiosj50}| zEOgC(H-_GAnp@dyX;)ulpY=9Q5vm=sf7IA(DW#ye8SbRi)TR$Xomrlum>603=| zrILGtC14E4F!4*U15Vf*9;Z9>UadHt?^5u6MjuU;^6r<79LDXh?^>f#cz1`_P}%9G zbv;Yrcoh<3Aen{~=?=;~_aVC0S% z+~e@Z%;%e%VdgLw23AEqGAT^>ZngCVSV}e2`0&}YQ0p5{3aEwF(QB@uzQG(vP*hh$ zSrxgmNWeGf+@64WbYDAk-b-#=MW2}EXIYacE1K>0(a(6<#f>Q*tG3th>S%9O6GvO` zL^ZgcdXfNijsO<|+~K<%^%&V_QjHa*<)1y5k**^y4tGhf>t(yyD)oJalCpapS#?m7 z5ZS9D*fy42>?3PN2HP%)Ldmt+q}jnMx$(1Bu8s<;oYf41IGHP)=0_Va7}7}t9q=~F z+ZcV`oS!F=kld{08~rAn(wbvIw)<@26s^?N(0C8F(7yq&$^7JUxDDDzP^T{5&2WyJ zYp%Leg!cXocAGcL zewn%0IDakDmXpFdqYzH&sYLTj2>UK0KM#=d7#)@_YWq}muXD=k8Ot6&8!vQ)f*6>{ z!&wW-Ygr_O?B19k)$g~G>y-N<&w=V)M$4aSd>tLJ%V>R7z6#MSLGFpqiN}&~9kabb z#zNqmjz*^?$~+laB)d~AYpwzq^6YPuj>}@LH@1x~QcH)UM!)Jtd)W7h9BIsr@q~B> zkP(pIBaE))7U8wz^l-7=k~C|@Y(k=@wm4=Kq{#Rpf5hV4{5d}?Wp1ucsA^A>+LaBx zF9#RaT8gUkb$^W`odYn&5%x=h^KG%pZZE;_;p0ZA?R%T=1~?N>#Je@l{{V2+4Yol? z&m0U9wdL}Lk_+?Ezb)2?L)~~i+*}x22RSp6+$q~dTRjk&vX~@veC_D$5;7KxIC?zE z$F@xthd;Z8fsTdPk}L3G_v2XKYhx^7S~8*ZZ@9+^Z?$y9CHR}z=Ww@IZj2lhi|FNSjpvEM!~Aw#O2s3dRkT$P2W7E6kuPRXnCyBi zwnVh}0P+q--lM9^xgu|6+!rdCx=EaND*A@0(+T?-I&Du=58LMd0934%y7Fn4PmKH> zCq~w~>tkhM$;{7Y{dOUIpIefaR@cGw9WtelM`51u&KHh%Y?z4SI8>;YgnW}l0~g6a zBOZGr8xf1i0C-2p{m28tK1c(@IO(3~1YPpOPRE=U^5EABH@UARZs0Xb;2es^ABOzeHd>B+w<{d8UB;FF=|AV*24y2Zlct zG*Uu8B}uXPUWyb1Tly-|2jO}mD8xg_2tN#U!e|okzN%QCjGHl?SX(U%C`bJt?9gk=05dnzX=ZYb8NEtRi$45yIf{{TgARLH?#WuSS|` zuZW|o7QAT1%CuF22e^C%7lX|c%}1J4Uo;-7|c&AC09x=Up= z4H8z$03E#j7MV-hCq0pqT1EUd24mpb=*S%j<;nHmve7!!7j>-XRiysrY!vn@WD-&~ z?Qs*jwi5h6@EZi2{GqQW({i}hOzeyFqpcjWy2-{$5!Q=pipU#rsuuAaZ*=a!gJy<< zfrI6;>Wn+7O2c$%l&f9lPM%RyRQk)MT$9ZsHzmieFf-^EpE`RNZAjssJgZ%`M@1LU zO%v#2oHdYC5b*9?8Cnkfr2c7N-L>VIdQ!F$QT8Lm4l-CR)(GtOx`?Z5WSP-601KN4 z003M^n%|Am?RGnC@Q*tS>D#4qw*Dfy(WGDWJ#E8WOQWgyi%WB{)3f!H=Q47@CNP)s zJCi>cJ7+x?p-w{deMei~^nEriY-5Y+dOB(7)^!Dq^p2#0@mU3IHFUzfS5ZjO8#2@T z7Xkx$f$QCSIC(z58qx1y<@)jNigDMmimR-im9+J`f}Te@-xDE%f?jXt8acU7lS=J{ zFw>X2Gq&2Oi;{Y5*DiNB@6$GWon&@<9Zg`&(MC*AIFE=lH+MO$$IErgee#4fyrbd1 zq56(h`vdFTPgag2rHS!^z?yZLA4 zbae)+lx_RJbDe5Uajv{Og^sUPNnH*90K=`hMa&*0k%!?AIL=#+i^0r)(dqF40foRM%8X%_OfQ;Q)?|2PAYMWh!GPr5_1@Q%$p0#wsh6 zXZ2qXE;@T!w@kY81^TL>K`E-GkVx0a_6KrvWaN&AC1%;(&2Wiq_)&iMkS<$ zk-6rjyw zA7nRS*L<#c(HdsuWVmM8+1$RvA!*`fx6+ylze_`TqpF8d%~b@B4CJeVV&?ddBx7d+ zK;IjcvN#mvPt;F@aa+`E$E#?_@aIWa>Kl!|!xXVb*WxJMJe;vcF`SnkfMHy$h|vdT zx37cq-l3N)`+Ik<+}#@pw7RN^rUwFi7dSPf5Z7ldJ+~c4P`T50B{#wHS58oqiD^+- z);F6w4!B!8He(gDN7VX+M8~i{58t}%s+XjCRAIXsZ08k~uB(;ql2F#PWzHiY5AR(% z($Vxd*y(VMKU(WLI%*1wEj%;2zDGyPFqaI5EFNZZ_i@{G!;>vNCVFtCYwk80&40mG z`#;B`sr28As~*z%Djf-Hn?6n+ALKljl)ZOj?tf|Y>R6G)^YQ zYO&)-6osMx05G%eaau=`t(;b(%x*{|`Sn_+`Pr@W$o3~83`6LlK>#08qXcu@pka~K zKm*kZE~g~`WS>-PfCPfE(Fo*cDqs3 zY+pZ;yD|^W004TP=uaVpK?7Xo5?bQZ=Ch2NE9c336@J09w;$FW7UyPIwzn0cR%JA%k@RPhI=%B zl#R#0&rGi?M)XKQ+Z}dQBP2fu8(~le9@tG33ydO@9phUv1fOseT z1kfLY^HW6Fye~y`Q1G&*fQ&nA5uz~|kCLes17Y~vpE0tikHLP-!@hdrW``0Uj^vQJ0{@>-rBw!(-zE19GDm*>lcTlGP)COwuzQfClF^~J?q?}&RFq8;Rm?Njm)GRE=cmG3 zFqhrJFIiDFR$;YLH~?|ZTi5CR>rCSq^EP6k7%j-kTkOoHCaU>R90&S5yE!gn{kiZ z1Z3d7kw&{ySgnA;OxDRU?gma)$YEJ$GVpd$(=4~{mk8D_y0U2ZnnMRR&5S$Zc6)M- z&R3;I9dPDI^`q11rajX&+P)xN;kdE)Ijbg;hBrY=Nh7&i2qOWdq!W$7z!_OAJa{K4 zFDIXM7`4H=(&VQr>^ABq)6&|TSv5p-wR2Wgmo`Wz88Si}oOpTLeaeug$1Tgjz^S(9 z-7XR;QPACPb5C19_xNS)eA8_VWS4wRYg^HSCx0%XY;HCEschJ*UAotThM>G@yF7DR zY28(GduoA+{y&FI=tFYmvAD~eTwF7@!#P`Mrc##D(mAJ+v6rbW6?DfJtU6xJe!Xj3 z2*2EJT(D5)Mi;SxoT4%g>}WVS>*~1rg*JDo*DWRNeqHq^TDL19DrKmzgOJr;1?`sm z4IJ_|?NvFXju_qrB|LJSz~=q)o!m}v7Y0sBlpfET>KV|szSQ?4qVao9YYq&ct4zR4{kTWhjcO>z=3l)R*~!*FhVMz%fOmlte6!0xuS zE*zf*^pgCg#qUg9E!TRRZB?oD6*MmXQ9IaUZ^Q$>%eNbxEviaU?uy{&v$;!NPMN^% zGo&i$Z`b`<9W1Q2If52c$RmxdE%=;9el7499&MKQMiuxrN3tvLX053put%$P5BU)^ z47WoZVU1+(B3^t4wm<0rPEK}RxY6y0-yO5czWCML;LP_8G%IeGT6n7^iiSF#a%*bA z5HYPCG6BiXIw_Zusjc=czl40JQpl9+?cTTYbs9P-sT%lTdmrHrSlq$zz1hY_dmgKc zyS^#3d^MANt?h+mQ^QKiik7{eBi_jKf)6e^yX0e-cJ8HZN=_@-!_t$Fcgdz-uWW)D z4nW7Q7hGZB?Z%-txH+}TqN2ORu4x7z5JVl!KGrjgb?6sj)K8+ShL;G_^o;YT2Ajj()li1@AT2>(@$?K*U0(F34FU5g%@DjOPv5mgxi z4Tq{Xq7AQnXPJ&IK8mR{IAwUN-rb~Vc=Xt<@wKA~R+)0j*k957xa{qg)oL}mnk$Fo zWDrM~S$C$5eXSkSgYoldsGW@e04kq;{X+TPqW6%`Ul;tOZsH8DKSx4j{0~Gb0Ri6u z3LXLSKXL#tWOVMPh(y49gwarh2d)!E4*=)tngQVFu}u(04=|>N#o*_%x(t2~rpgmy zFnT76F97!lQ1Eh%5wUnahy~#KAw}S!1Yz%mbWkvybWjVyK1%2ZgV5vfLTp9?I*rsD z0|%lLVAw}6$C|nZI-(3z%aQx;{K}7h=2CvdL^~`s7Hk2c|Y)->VvpRML)I73l2 z$X?!aj^%UL7I~HAy=j~NiKdzE5(YeZ9)s`dwq)7c1dl&IH?`=mdZB^!G6$Ylb9Dpz z)-~AL(ltYH?Ct zMd4CJ$iNu*1_#%ZB=^ygvp|rdRket*g{pg|*GJP`JZE7mrlzhWIfJ%blEKW!GI)Q6#4P zosxz=B8rpdUO#hEtJY3st%l7@0W=P4rKuF)xy0uj?mctWdJ)E3ZACBjmJX`ig#%i`KlJH&o5BPw?t5wXY@g zy3)Rm^?0bc>3TUY=arEVM3K`!V&`v==V4BgS)&&U8L1_A?HcJ~EOW0-`x`#&UPi;>}Mg(_wW4~Okj69W<4)q;q@;bt^6G^`%{)*DF#W=Xmz}Jv4!ZrbIy6vq*`8)GF zW!iQa?zL4`+DlWO-*TenFh(N{~#&t=!86|{Qz)Gef9wS5G7CVKcP?-u&@(P5%$8F}G* zi$TCR86!A8p=nn)2PrKc`+}?OM+&{(C%o6mS2-cMA&t(>3(30IWVh^XOKWC4=gnzP zWou!Os~Q87)k0`KXjBCZkY~EbWEOVs{pe&Yk5i8>$jCh8s03UF7t+jsK^CmWC+Yd)j%wwDnJUQV0Jlko*DUngQTCDp7bDIUuNpz`{Vz zKLltCz#d2hU>-__0u8Z_{glxFz&nI8Lhv@+6eD0^0Cd8Q6Uh?~Y-4qFQ1Ay_AR=M% zQ$St-RBQ|b$p*#l{%AHH3TO+!@8p^z0S?M&17Y~uF`d>?T$IO85Auhcb$R^OFTk4n zh=_B(7CIb~5P{HoEVNcgLYg5V0rE`&h!3J@55VcNAV@*BaB__SigHIxCWuHtcG)xu z2yxi_(?DV!lR$m}&qY9cxW?e+3QR(TAA&KQBPje1=z<@C>GD7x2b)lYgc#@$55UJ! zgaZ(4g&%>Q$U%rQI(ncOrwW0HJi>r}0PYn8;-}`3qXX>^&0k_{;I+6F^+W#vq9q^g zmF~m*xS6(4Jr>A>Q+CB>nU|BgaK@%uc7KZYx^#CYnf)F966Q`F zGF7h$mfC`rCeyv~!?-`ZcV5)eidsKco>Z*in&lfuF~b@OJ%Yo>gPKHUba7yvum@G9y~D|>nKZd9*=MMK#97MIzr?zr;qG&<8->fd2J^qEhBY z3m#9FTSP8Z?k{Xb#xuIw=fjDQQQ9c~)N^ zQ?fAPJ{vZ=YqPD|F6*V3$ZgtwuC7|TYKn?M?-g$h0jx3~wTx^Bn&A8#CzI=`eaqX} z@Nyw5Ggd;Af2Q~~sHl0Um};m+5u^`ss(g|)@^fRArMcxKcE;<~ikB_;JFMnzQe&E^ z!CuWRXo7ibOLHfO5t3P6M?gA|wOM>CUm7^_I)zy6)l&P7a?xEi7NVLBac`)o@o4KQ zAf<`il1EZo`yyND;4|pBZMNwo>uX>AAD#6cx05@ZEa4h;Mbfghg|{h} zEc;%I$g=j9+B_>V+@ssQBG!FJdi_yTZlb5QF|t>(xzfc>*q(U-4UA*##&eS1=Ot;m z#Vx@clasDp&@x(^S6}t@Wi?&xkT6k3A%(FGvFDTD`<1Q=QP#9CxA6@&T+&(}PeC1U zYXfJL#TPRUWGw@m2d3E{cwIF1B;vh|39ssGT1nS9Zd9h-WH(7I?{#21DW9 zOeK7Q*&+S6^uk6EgnJ^mM;1m$ZzkQRY?b#qhutqvmbS82HxfwV;sE*eD^#YE?S}~X zp0m_vbh|gRr`qijTYL$sX}Ml;BN-!p7c?ERJeM4-QcfuO3$K!V8JfD6)zwc~Hz1Zr z85|hgH<FMQbe8@|A2sqzb_(X~Z7*3Y8p*ig4_=cAuVBg}4?xCgjp@9e?d zbV^-_^=qmTT1e&^*HM14s5BJrA_$%FZ?P-L%*gM3u{SR!sDAaqz3|J<#sMf@`vy18 z6J;0AbpRZBsjw`CQBY^d?dqXD!+$jku(q5zv9in=n`434`Y7!&nG z5)6*HQGf^q_^4I~qNG9Up*5md>*x`K)4T(ZJU68vXZdAO{{U<+CnK4&(2M(0Iyi&T zb7VF$7ScpWzEphECL z8CO6?A&$sV7@OS)!@&ulF9dYQs(=h3QjzdLLI;D}2nFDv4+A?7H2{nQr*Y9xF97tx z>V*#nBcf=GMh{O_0vlk%+w)n&$T8Eve0Tai-C7AkS{=Bnb+0j++F~7^nNt3{&H>0%DwF?CgMk@4kBk03hsukb}_x{ogy`0DHLZ zFo2MN6VY7(_#TJ`ApWW(2jG8Kq7FykCh> zMzlf0Bc|&mr{Kvh4*kM7T{jM3!!jFFKW&cwYuD+IQ+q$5Kf(JDZty}GlbMkpd#lFiqB@|;ix8Uj;8rcNqIBD}N#QZF1$#L=v&d9g6 zJF|r|y;EqWlAO>vlSc9!*BoHyy27fRzjAyR5|wOJx3tVQFV`1h2!u@X zXu!wKcco2yGtt#`@uH+!ZdM->zNeV^HQ7IUO6af3i{77vR_C?bK`f1=w|ouH)S``+ zcsF`8w6v+zQbwX4#D;ZA;Wqpmp@R3l8pX=^B`$o^1~;<< zwjVORC{Y^V{!dC!s}i>-9UH%~GD0-yN>5Wj=qnvN||ELByu z=vxI7Ae)vLnVw=C2Ui^Kv9A)SH$NLO^lHN0w!JoL*S&xKR$rf4Ucp63=_6+}4Zwmi zfO$s2&H!iCX`G`}8m;X3&ZG4;HCgD@bFtxexUTxzANe6MXKWbFc=#zq6& zdN=3UdGFJ{57u0tA3m>Yx^~p|-v+xq+!=pZS6%(??)hXmClN;@hCD+d+`A_^0|N_^ zS4&#nk>KR!S!4AlEy%IrwSwuUHEFb0>YGLWNa<;x?{`6_(10Y2^U4n4Vjfor_K}u}L=L&x4)w%STt?cMQ0D zsC3QN`>gNN(@RS*Wj#DHG-bTG_=i)Iw#qj+D5yutGId;2USGk0skd9ID(h)d}kuUt;9j8K|uj;})Q@YVAmFdLG95drcEX zBd2>ySuDpVCq40lf^&s%>$4smwmwW`l3Pz^nRK(%(#=tCyH+)if+o!q<##{4yDc2C zlhk})g6WOwacLuha(t;9O#?0(!r@7AyIZJfMI1sHn?*{>c*{p}){GPD)pMk&PBDH@ zm+IX?R=qegtK0OO?e>~WzdS8$@({@UKwi+_-p5cEEOI;K;F0n9GLzJ{Uii*z{_{Kh zcb=k8i>OzzBynjcxft52w!k0p9$a@j;cu=9n;}eWmh@=alTb7=NLuaA%XYh2=;Pw| zO&EO#2M;frifVo%+~uIR8c9quv93I|82B;=UHf!cUv2S+@(-%R#G=IGYthR%g@2{A zwx-o=ozF5nvNw~zh7QE~m8T;280*~B;-K7Oae#4*tTj4e$O zh{7?rQ~-z_)X+iT`YWIY5Jt*q3&9_Hqhj!Y?dX~t7>jMx(L`b%is%P}6T4nNB%S;TfAa!wAXvwe?#~lVSS237{SlqyZm%6d=T1P;5LuP1OyPg_xCx8*>DI z0eLunhSN69U&U)Kj=arN1-|coZ533s&TD35PMC*s7XkylNGr3bW?9p^Rk?8HP+QmR zZp4GTCKStsC!+rVi##9HJS)4sl_AykIp=&-S2)|2yp69S3DWoz`edYB!6c@E$PWAk406e51rT8v}DFc!;YWb$HZ3r9D1 ze{!}?G4?gw+mzGwZZdUU;d$ba$FbJGe{?z zs(x8&By*nkyW%ANOI>P7D8qzfiw6iON5O-vz0)zgj3Kz&9e)72p+uY8Jvh?+%uJP) z)xQK~?r8GZE{@nk$<-Aa*4Y7TnZ!P(TzUnYy?BY7Y~O-nS_^wmDCT(B?UVQRQP*|e z43#$B`xccKr#+$B5j5-=H*xh_sm5@Y=62JG8u^iet-8q*T>Q0zee>}V>Q|tgQqwoi z$k)r^8tqN?rlsPZf)`IK&np_y*X8C`GPAX62Z^2a62^VCEwcWa#wc&LpYpD7*yWx% zW{>SQICIhDXLEy=u4&rss$QRy$8!S(ZIp7H<8GE+D!5+C=H@_yF�l(q3Ke-?~`6_ z-b-y{cZ#zV)i686jtYhe0VDcMJ07cBj9edi@i|>y%$?5Z8EftDQtCT1X{}ljw*5Cu z*(zhWRF?C(qa5TA06!7f4B#9up0g#Xy7m1}jLPaBtlT3FFOy2C)OA$Qy3cL5z}CoH zA(}(V=?l7K_2eCK(QsRPPqHVIJh?_*oKZ_x>3J+Sr_slFpt^w+Qa*YY^TOA;xh!e) zJ1rJMQ|3MnJc!G?dogfQ^Lzol@wiweC&M(P*_n>jECLZDNA2S>GY%Q$9%HiVg)7F# zdQV0DuAIqG#=G`$In8N%h66!3B>aI}ll0SGOkA5cD0EeI#_@NyXsdMht9`N3%IcVa z4K(qRJZB7zj^%MYnAH_4R+}+;OOpv%Q5`FM7~uyenDX}ZU8(K&Aw59DpB8x?I0R$u zI2>c^=CVz2^X9qq&bX?M^3g1<} zOlN1>Ld|KvT;`{vztl%m%Y1}W7CV?Rqz+&R>Ineuqj68VKIeg-)H`6-`8utZ*$pf$ z9vA?21G>{Uv*EJscFVc>Gpu`Bz!(4nrUKU$#|IUOqJ>pUB8WZGWyGAf2Vu4jeSd6p)TwXu@az0v^Yhn`mQj`==I zYqAOU$oH|Z=P38D2-5Eth%J;7RY-Cp+%z(xb2h2TVy(NqwXD;k6&obS4Jls>2c z^+1Ct1L~)eAQ{O*vE&3I1JMENFK1};!pnIBtz}>T09`A|$a=Y>y+5%XGs4)6EexnU z9l%W$2ZfJBWe*S0Kranl0eE;l6aq2*$Tl$^2Sh3nj4Fu4V*|2)UJ&R)jTDcCzePZJ zdF{ACv3Nd(G);@b>)inSE&6VNUI+tVg%1bJDnWQYojM~MABDDY)k5rE4^=??9>5_8 z_$mPKy$}tNd_x|2St2stXg_N3aDF1OD0n#7g*07F%CNgS}_j?JL6=~*)Inj zkN}77Krsl%{1BvsUWuSF7TpxkCE<6%XrbW@CWrzd_^JtbeuxL*4=s>^;EyB&@ck7` z2Zje_7#NE^vV{)|%qT=Q#&eu1QHal%MHx0f4EG9+i^AKY0r*+plpq+3(ExZ~B}m4| zzBZBlA^D`dHe=n}$;G&3D{1|pbl7)D^?f{N>s629y1Ipazeu-V>Vy9P!P$u?446%M zO*7fL=Ste|66#$asV%~;f~pzaBn~8g(UCf6UI@Vjt_*M^%N^J82h&-3Urha7ORjyd zzqO^|rqAd;yN^#>`fJp+Z7A>hqvusCq>`E!%6XpX+UIA?fuF^HeqGxcaDO_(m~8Za z1Sf)@hd6wM6InKU`7c+erzOGt5B?Ia{*^A@lOw3BqHR05L&(ope~ydWg-!WCY^pk3 znw34t;zP&-K|Q~{b$TiJHpwYO-?XJwbyQ4njohAnO7n7I2yl2gu!@m;S8u7PmBvY3 z%1*!xEFo-T!bTLhl$mX}Q|0ppy!`(Fg5BRaaE_h16e@0UQa6^K5s%%#7%MpAJ2_`W zF}wVjDyy62=5+HANc#*R4ClFBwa}upk5;^B!D%A{U3g@1j7b{+_)D^PKULiiwRZcK z%j?IF+|n==I*y{H=91Y-B+?P~&p>?sOBc+$bbQWl)Ui_ZvE#S%>{z`?(Anp*R@-ehYMVulmY4O#x_Jct_8#{L z+)JK+>dpWFcUV9`@`8E5E>aP1# zYOdAtvKX@0$_85-akG9O-aP`q?p7e`guzsMidx_-+-Z*|q4>i5YU zlGMjc)`tlgUGOly? zJj6R2c(P~VKh+s4n*6=5Cxwxd6t_3YO5t;*y=n_>9-gmr*;h{uJDXa^MNdsUhYw>~ zHt@#Z5#04&O_xi5q2|Ws=cv9}n&OWPwMK{3MjcalwO6{L807J-uMUZ<#u~r}a0lkF zqH)PiON|oxq@?9GYg%fw*e`T9cTq)D+8TjByUV z+AL!0dZnZBn@2#m86&8!ko&U;A&xu92XB(}J6vO6l`<*iCEeY@n*`9Cq1)7Gnn;jq)xv>G^Obj)CA0KM4B$lUBZ ztZdXC&J66>Q3jWjtXXXF(Z$TzvgVIGbX>BQ-zUXoI2zX^W~t?F zLxA~}oK}rfk8yy!U4${eGGu|(ZHza`x|$!Bb9>d&TFJa7InLbdH(S@+!S3SF+u5$v zR`@NDHcUoG#si249)5UPZYk}aYKt#k4Yz%$M0eD`RLWhUhKn6T^S7amMZZ<@U20u=y zz`QR-0EAdo05OiZ>Zt@`^9nEmF}BIT4+sv&D2hJ|&!RFR7=o+^g@pikSjZ~uAn^0L zXreKGDli@j0k$E`I`vs16laKd&p*~Zy;dz~q&zhMczw_ZhmS-9@blClBqQ4>1H<${ z9v`9s_Z{4bIXj78j_*my(93NaSh9n~Nhy!_NA$ub~b-|Y|08%iv~ zT7FIiq=Ac$wuiLxk*w*6K3~h4KZ^BIOQuRGZ)u%1OSVc#_chM8vsY>xrT*1xoApeM zxzRqg?`ZLBX=0WM8paL8eDQ2gs{T^R`dbnGU5#|D`<&Bj;h(kRbxBLaK#~CZ4b5vIBYr(T7#fwC(*Mno?&km?`6@}HJ{AZ}8j2Rl@Ib3ttbzB`Y ztIsyyO~Ism-%k3TcFnoRNZ@i_?$=oi7Rp&)kMxdbC~v7JU_DpTxUck^vp%S|eY9{} z)mq(78&h?uHE)!22FBtdBp!j^z5cGtrmS@S_RpKi%D*OE_erxiVY6JXwY0W}R>Nzi zox!})##+$K6U;#Pk520hi(`#nd{)AoyLjM_y+a!-E%q@p;i`#{O;I}LWFkEvKhr3wa}qJ>|IRk6!uNVQduQ`+T#u$-@cv zSjT#YRov}Ny;Is}qqRtRVl5!^VC0u~17Xu;s;i?1>BaJoBR{NPbTwMkO;T%>gj2~B zlvPp(a=JM=n%DTb_=!Kz##XEBoV>H=uIfm{wJmZoD*ZKRdl(Z=kCfw0H} z?K^J07o9oDJ$D~5pPM@*+u<3lD^bJh>n-Zvb=2}&YaxXGu6tTQnqERokA5@C2m_FA zNnS2(xjv+QE?2qW+jQY4r@_vuT_o}_I#x~LurtMLOMFArxaWM5PhHZ-z7fee%39kh z(o#zKnG+-Dbc8Sr<8pT0Vx-gO!LPZlO@`@XxoO!Yv)--d3eITc9wdS8YdLo4NWsol z$ba$oI%6lUOE{n|Z~ziX=oZf1NFyr^A*MKdU`yCLu=y>kO>jvv<+~FjvF75kNWp}4 z^v;|zX(Vh+W1JlrB=Z55k4&6z*(94uWARdQid*+Q%-opOAJpsCdo)(qVh(8xBb|en4n2YSE*V?i+DFIb+dF04jLRg$ za7x7-Qj2`DGEU|-z&v!^Es8txVcD}0Uvlu8;^_w7L2c|sjXROg^#$$nz0t6flaEqY zOe4YUQ;oedT9&q2XyvCk26llfx{%!GlkWpREG#7XJ<4eGplDjtQ21>&sz+h({&mBv zTjlj$c3wi)YBX6tWN9wS^Aq_wg_4Y#0C2G=f!JkGB^V5p1Ihs32hj$DuV2ApfR4PbPylv71I+-B?_Q_cgk0Ql@@W)J| zC~|fxlVQjTjBH$kD(Gx&XT&>hvX7CnoY8*O^HcB*u<*>^{)^ z(_AuZXPOw=gT)ZaNee1pevrW7*Trnkba?*&S*>3|kK5=%GT|BT?b1El!}{4z3^c`4 z<9i)+r-r^}I~i=%u!-hBKN5LA1^i9*)t2=C0Pz+!!c9e4AN-%U{Vh~Fk3*B6FR}js z!SjiX@P~pGUG zw2$ad@QStkKFxfYjaNG*rg1TrkT<{s_^)ae=>5uyyJOtVBAQ-8;5rv|!s?GJMowBy zqjS?YdP-=sEWmP{klbhQC26{~E)nBqUkEnj%uVN5Hd=`xw?ba>>=78|IrVoys;R~H zws=>4M~_qOt?i>;xc>l@S16p>XBOCr!=w-9m##)J(5{$b#>J@~K4)6W%dfI4Nshi& z+zu-0>+e;kk)ADF?t6J!Fn$r=?&!NCi(O0XNggxq?fZEnJ1eAUimX9PPBsy=0n@)I z>U~LDAghAZd1OjYUZdcw`jg`}J3KFpMh7H>2g>JTe~b4AU4pt#nKP$*dV!RrwL?W@ zslHZRTn#ad$k<$8J2}Z8wf>7vHY=9f(y?Rf$aYnZ{{WuNdanF#5BEDAA%ZWmTHdGC z&+M}7Th`8dderhYP9$`UNvyTo!{)7#)e=Hl=EmIkXD57~u3H>*w%(EAW@W<~E!{1$ z^HuAXYN%~CdnuKIika<^tjl7Ix#Z;fV0T_SYO5b_x#s2d6_BF}_(levhTTO^J$$vl ztY@b1$b>*d3@&!=k@?B=4F@Zl%X?QW@$J5>WZQkrvDMmw&!``6XS;^g(TbSrYT=8P z83X1okHcqB8pDnEE6tUS&HNrE_eT2@lQ5U+D-|8qN?kd3lId;bW1^~-9}Vs#0^!Ts z2X9<1b!3}ucs$&RMOf4x(S2glmka2sl8eJ@D4=yj&XL#wjTt3jEiWRBdE_?Z>_!$b zjBf43gCjjxOkt>*Mjs{QH0HWqVCP9DHze~MEVUVahVO1njC8G~XlTo44#Cbo5&i3C zz6@kYhDHpJI~~a>ts1siRMz;ez@x`YAUk^XzJh`;2a^wBIZ@A9lafy^nZzfc{|Ur;Ip`c-%H~Ne2WiP{@V9l*WH+ zEo?R_tF22$;jZfQ(;ka1?H+zkL}`xw&bwfPU7dhmpGo~c++lAZ1UyHA-PzPK=w}nWS>8x0c2w(8_`f?ed`v- z0?0xKRZt{8N|Z7Ji4a3%U<#-Li~?)|n*-m>Du9u&8BrHtvLKKR04e%_L8Q}e( zk^Y{rkN*Hp_2p!LoX+p`qo@W2r@$W}>=e=iZyow4#5BhXQ)6num_ET%05Hk5SB6~c>b{;ip7^?L||^AL&F5) z3IX_g9lnSIka;Qx$+pS>_CO1@p%a2t6a&;&Jlpr52e3e0umkJa)eH9>bk0k)W`5+P5WQa;8gClX= zkIho2$>xf9WS@$ZLYd{09Y}c{rzCQQEG$ zep(7v`17&|t07=8we02~2L{H_=KV)i{OA5JeHoXT)N%UO1RT?G?$@^`>ObN4UB~Iw z+tc!7qopl3`yM-y#LFX#KqbyN9XhY+DkUjXRHx-df8hM%CP~{T9~*!9I}Zyr6&065 zx%Dmh-&-~YHaKfL=hb~TNr!&)e)0YjbxN_YZH)Y;S!!)-B#=lcs3mxDBs{Qz^2uLG z_-Si|ew&;1d@HHOsO-_At<)E39BJBNj30=GmmGdUSmQ}QC&lG;-lvweTkS^up>1~R zir6WxmCTgL@WLH2#{PVuf%PigjXzJh9DUYG4p+^$`y^eSCZw85X+=16hna-5 zxD(jpy7lp_h#+DPdmBnGxHPThukoz_usg5>jZ zI=yxMlp^MirX4#+eWbqLD&x4$_+pyd$b31QAI8w|KHtQ41cBFe!Iu476yyER4duhS zR^KhZg4(lJd&S4Zh6t_H51p=Ofl9_p3|yc%h=aKcx{=IJRi;i<*4!T1%O0a8FR}Kc z5mQG+Q(F4NEU-{D#f+M%{L;wWLwQb-*alb4^~)m3oMCpV}{-B(u#$J5>{l2~VM<)SDa=&F(}_bKNcgaNZIy;y zbF#JRy$2?r1-07yNi|jNma82c6t_n-b3K`mFguuXqWk{_fz3L#o{~wNjPIV;l5q=TD7kn9JzT)sPc6SC90l=1~Miz za)H}&u$RH}R@pmVWo*&9tam5Dq|{dl$*Fs}gJ19uHxJAOBD;BKuaA%0%P}=|tz%`Wsgn%= zx$Zp{7TcuTJ3k`ZIhE?|E#A5HFUwi>V`g@1SBG`JquJ!&Z>cSq?bfbYt6|sbpabQE zAY(lgU|p6kY%W7MS!kkFA`Bn77lO1%4#g1wg$l%;NGzfQ$yKBuf&A7WU62RS04fA_ z-9}W0(NsWC3#zCMHU-f(P|u=lXh7$1c2TfAoU5{i{g8+h0qU;6XKbhivE4%W1Gi;# z1apNn1JzI;#Q?AsDAX}wo&8iQ1wF#>dpp^*0m17gJHD*{0QE$R%fFkM-1v$*gD_U6 zh?!HBW1@#H$)F-V3aJ$cH@c(_P4ko}a{W};(7AuWPyuh=sRhfOkh=okHBckSK~qEy zPsIR>Na_#|m$4xV0jIXgkbJrOlqk7QH|m5RFQNeki8;+`=A^|(11fw{6Tu1K@&1Afd=<}tA!yIU|G58H`t$;Y6 zFMJtY^Lxc|Uk3WpcSbC;);1`d&qHg-ymhnm1W9 za=0{rf17FNBj`2?#xY!;JYtjXx<>y1pzE!4_4L&gwBWusg4wE%J3+^04VJvfxmBdh zZcfO*M9S1bc=xF*TUjgt#orcuChkebJeMtUjN_{o^jfherRt*1_e(_;JdK)DS1gVh zZ!zV_^X^vHHrAJerdDIo9$AI1)RmQ|-KiOdWb(xmb{{~a)K4<*uRZqCv{8=HRkcmh zv{Ex-8sY)_iqPl!o?Vi%Z@S3|m#Qiol{+D}c#sz}#g*=BGg zteku-M1r;B*1eOqZ6v`v}A1>ko$+b26NZ9}`eT%KgK z-pVwzFMjUG{1(W^e3&TmWTU5SV2Ik>H>q2cQZ}WbwWY@#r2Q6NOk`hEQHMMdGI9Yf4SWAt=_mFJAR4?XrEWPh?a} zUP>IJIXye3n9y>NcLXbNJ>41!KSee2V->ffIj;0Rq2bMZ7M)QIG_(`dSva&YwwXQA!?FR#X%T_jZc@?{7_N4X6Y@x<|vFG+RIy-I7zP3ws z1+ucLt|q;Y~vbL8Y^Z!Qq3Uv9bn=6pWwxJGLZsER!KBOrW`qUpFo5AQ?+=CS}*Efoi4P+(3zYIy*fAdmuvKz$Vf*+xwO zD1#cw0TO!*sK)}zCNw_1(_?xN+p4=O45$(oM|98ugaCZ-qb7k7kQG@2VcBEI4C8cO zc3;r;hqGYM2W()Bfcm44{{T3Vd6xeGnAzJdbaf^)4&D5gmSe6;fGAPn3PiWf0Pr^G zqXHl*1!T}I4fLK5rr~{N|%j$qw&d39lc_0o@g$!@DJ1Ris!03PgAKai3 zZ%`Ej}|uhydqc+zt2JvH;t*27mPg6njmLynrwn?K*-;4LaFSj z9($suuBhWhEiI-7)Ym^$v)v+dxmx+X=b4Qsu*e&)PPY%iwyu@R8~!0!^*hsb&hb!ub`*#q$Cl$q;%g2ZsETVW%74QT{76*zUrl={a?B4LMr%6 zd^NMkjCNSxklB5-IZ2*7TRP7TtK_H9m2kuuWOc~z;RiSm4ZR8JxL;4uBNt=j{agGv zwZf|-70$|fikk0pppZ-|%viyEnQK7v-vNDp+u<|xysuKqT9eW=7BbaIAcm^DENie? z55(;J`YozerlQ&NvcC?GwsP6LX+2W~G|Z>9TA2p_0M0+-fBY7lsi*d%ntgH+eYHnO zFI5*ig>FVWf~geqVa!Rw$&8I{vMbd+l4%bxovcMx2*XT`sZ56KdH;+DLL` zk;R4F+3Ys$mCr2Xtn`xprk8vCvMA~;Z9w{{scaT#>03`u%2MZ?a~6zbHMrk?rC_Gw zzUQ+GdXH}vqgHsh-Q;nKBk+(UA;f{|Ty_goty?_HEVmWe}cf;L=8fpnt(f<}z|Jt~58T21>r|v41EZswx}mI( zE-oV^4vS9tG+AnbIvtA79Skh^Ksd?UsVYy82ZfPiwVAOaSO5pE-Bv4lH9|UEiSvV< z$KTOYG>Q^V)03PWd3Ewxj@DyqE851AUC?={qV^hv(&a5w#x`S=oDJ3Rb=6WavP>WF zG++(>XU$1ZgR5FK-CceCTS_SD--?;r)E(H*KbqjkyNw*#c^;H>yqHcITIlbbNzxWO zlq{N(;izqtl@UnL<~}JZqhs3Ob|AIH5WJk3w?y^qk0%*-+_rkBiyqSUy%)!AUBh~x zXHF1T=({$gtkd&bA<{JPR#ebOP+)LnOEBo>E%=)7Hg-1Ie7+w{^|0fRr!M!;m#zNC zt#)T-L#;O539KZxl7ww$-(oa^0*>iPO~fsyHL8 zubf5VNn0p+EfKMqkVXhD78wT*0gYxH+;N!|R9P5Tz+4fiKsc9#z8+|Gh?MUT3 zTF{&r)fN0V;wJ-a_q$z-iLzd8G3klsY?D&nD10cX;*IY_&kmD{Q2)-0JP`l15kEpo95*-0~7n@|Q~( z#s@4xdU#e@WlqWa?BmFUBWz<6zxzzo`yp8M#SN#58dr-qZAnL?bnG`8nX zs02bLO48%|Fv8>0n4AUUboge@t0hxPEz6C5uk}Z5-kP#0`Tqd={SCK{mkOOUc*E@< z!aEIRCZwXL(ppx}a1HV5>=vr4Tyj<18Ss%DuLe3#9B$5O3tS7A5`&G<#mIbZxADE3 zl2NbJg7z=?cYoBBwR{}n`M*?0#9NmLwX-W`tsM2WQP4vp=qjgcv*LpN+UWr@ctDcu zZMP?}xz`7{ryYNEYpS;-q|Gx&)UZApK8w+Gtlrl);8 z7dOW8O-taB&2wXM!91rUlr7yuAJCm}hWSr={)WmEwk@7n;?|4Tx-VMR!NfbGFE<;b z-Ew8}8o^fu<|$lUD^d}7;&#-$<2d}n`W7@+^)SGfJREm za1eZy3=n~oDh!|)C$D4yjnE;WBC2H$+x-?MA{pIOWX2V5WCaW456wZb0q77*v}NqN73lRwh7z7F!^7K8q2dpTPCKA5_^8b=gJBDeXUI=Hr95EOpIS z{{Uo2ysQ5J&3ZeV+DB4o+bdCuCKS<7byT5`M9>8q1aO`T3XoXu=%5c(Kx4@K&j(x0CM@|0CM990}24gML=VrKrDRF z5?~zT%%0_CA0&PUQT}lzKcrT)_8*d-5tNP)1`o&}9yk69fe;4h5P;tpPXK>K00G?) z40#057j!6kAp>tT0hM+HT%u(nTmr0UUMTI2)EXjX7*l1@7fd=P!52R zY`P%&pgJ5T#)@XFe@pRGV?{Gs-!$2KN^Y)i^uCI0Xr}9vdms2KvZ$8wT?h2Cn;oSS zcWZI+1W!Y^XDHIuCLd^99PA_!t7%9ebmpi7_^(nuuL4ni=GgIKHcNE{pHk|2Xsy>r z>D^Hk6}DSF&K8!^&sje+OjS;44vf9VHnsl%WE_VKJ0r%7?xP+((Ne8>Ugun=8Q9|Z zk;W_Ns_mBwt7XC;3a*Z#T6&1d1h!T@wc~BJa4YDs=Nn+B4-DdzT6$+j;obJ_Y0*{i zS)UYBNnRZ39~f~B@W#NqU{}-hNI}iHAESK}nPx3kdR}&5bv@4UbLWofaGI(^(Y_}> zK8;^uyA*X4eQs}3zUVmG_p?o>vs~RVWPm^p;7aaaz;3XPqV~@UtXn4gn$rDE{{Tp~ zg3By#t+;s76SOS>qwXIO{1&{MJEGDy%~4Qgln zmfD~0`Wt)8LQ*|SOVS!TK=9mX=HXMO?kSm@4G3v__)Jgrap^{^ynifyR6S3Bg4z6N z0qebB{?{h*Z(4w+?3Obw=V)3V&+WG!nB?i{dBnYUZ-{PRNgD5TWh6l#h;%Fv8TR@7 zLRX_EKe}6@#edeVqMY~0iihWpLqPL?-=4@VzprV3Xe(4qikC1FjD77e`}Y0Gq89|W zX^DOwR;nIJ zH2r-6BeQ==e7de6uCMPWgRDcoXDsz4N*=&AUp>@c9KKs_mXdj{C0g~HF0pv_+hRBUumx{n z(j!8DW~x0A_}*ophg6JY>qzK7fKr+{we@3+`|q#je{5QA-uphl>ELAo`s>;9m8V{{ zjsFOOcm^?V+JF4eU}nw8(q-qK7;~t!^E@vc{uYpbS-*g$&%Jn6`Np&$tNQTH179wc zo$H>jq9vc}=N@e9u{*y1&cyJD)uE)Ytn{|E#iI)^+s_j;a&1$zqM7z`U`|i2?9YiT z^8)@gxH~T@B#T<7?CM5j$PNWV7gD%3 z6j0zL&BpIZW$5W{rt)CB=APh!y5@`L0`~hWFO-B8kkNn+_hB`SjvV(f0t|cR5Ceg} ze$l??+7Hj1F;r%uyH*qM7Q070XI-OU}WX;a2Ag*yNn^fB zw`2$AYBzV1eE!?F+aC1D(fgE;hwkWHmA`YUd0qNbK(5XF8@+HH1v!W5@DjX-Zo*sS zG9w19I1X$_I4sI`6%w_~`Ut;K!yXD<)AC|cBgdUc!|!l|<%|lk3#e`mvSdFjy?!sD z=>|)A4aZ{O5L2RsTZM({98i$~a1)0Ca5`2Ota5zUcJ3eWF62}rZm9k0htG#ou8$bS zTKX!m#zD%0wBec_=KoJ9$q)t#0Ttl1p>97D!Z<*bwTUsdyqKH(Qeu=L z>7o}Q^M*hRCzBtdq=;sGP|O_BpaYn%h1NhYL~i7edZGWwoU_fspvpY5Bc-A~i^NLu$0tfpQPKZbqhJr~)3ef0FU zYTHV{C(f0wKl&b#74ql$fl}|TF!vXV8_Bbe9=k$oUttAtx8@ae<*EXL+It`U{!mQN zLSySZaY?{Wp5$cI-WD)lk@Pby!OY$=Rx0KMBiD@5@p!V(v0sa@s3aYtviqS!sp%eP4t z?YODp(w=oXncSh6x9VSH@rg`m08bfrztSs^{cf-mVH+99+z?%qO#kECA_c*NU5*3h zOjY*h*t*fWn3XH>uD-HG>KB_&pCuKgvPb;gBUAOKDw`JvlSxL&o72*rv4V6#RT4BVcW!4e_tM7De>jHV_mUW z)3@st;6yR+Szuie;F_rE;<6~q9Xdpb->a)s^fK?QY1Tt+acAv762{16TVFbQ1 zy5^Z5dML+7?wqjmOD4d@e_?wTbm5vY6 zwDYlGLn#o1*pNCadnZNHiP+dZ=g>Nb>)%0vVS`%Mbs7y<^!0aN&hrc=6tg>3%-n6C zPxQa#QlD8^)7bgZM`!lCFP=)X(%sQZ`-6_Iu;XYHJw%@WZ7{L+j^rlbZF=#C)T8LHd?kaDa<3>w^mRKdBDPfLT>%fO{*!|e!SP{hot ztsMlZmai55-_18KQV(AP*v+oaKVUnCAtPY=)9&L8u8$4q6Uzp&&`$Eglf@&HqW`CR z%xoWwL2D?Dl&OML*A|WuLIDlV_ABOZ?$6~Yd`Y5B(mg6|L!Qk$z|!65{c9LY+5d=e z5VQ?qNQ?$&hhWOovsvp};F9fwq!DDGjmryu$hL{CMiFvF&SSBV40}cCkn{Mu7++S6 zT2@OL0{CuKbE3QD%!m{h#vu}7oV&5nEy%|wrtvYs(nfW{)Dl!GUs0-KY%az*X;WCv zEhSS40p-U$AkFUuW@NDjc>@Js$&11_`d`HfxbtY0neTk~RL{+_dSaHdS)ckTH2&%b zsk|_61y`Ype?ktox!xmmFlY6iNE~A&x3_OF&b3A8LksH-Pm;%k!`+{w*H=@s-sZ!v z6qZ*{^_Po=0?P6Flt#m0n;m8Yj<`&d>3$W=W0UY+@wW>=eK@Jm(|PrJ}dUB)6?>=g7otTt6FFC_?yS)lHRN_{VK=R zKinSP?drM6nkyHn&oFhv**f+y@&?R)Bki2=_$K|$qv7|oU|9sunlMvER^Vky_2y-e z&9L52E%(q#{hBg+V@B<>!lAlX`mwmdaUM7oXa0dz^|hWrmTv>R-G2exP*u zB}*0iw~W~-KyollYuw6Oz^X;}g5|#;Rdo{eNE}8cFs7vYSFk$P+G|Mf`eTxtH%G7b z*w)-T8`p|g8YOzCBHSs5hn5>JcV;(cb6ynWWKH6q zzqY~Zl#42QYwAC_c{Z%(cd{qc-K8IvEnVcQMx%!KcVZ+JjGSM$Wd;!5Cyx>g8I!1uQ$Y|I~CLAiOAUE@kp3P!Zt~75Uca*h-Ua@ZFPxIA}r!4dY zc;Zv)NUO$kghgv9tb{0f(Ko%3M5gSggrCLZe&?iGa*b89cNg{cB76>way@>e8W@

    T5z*RS~1tIOxTVlM~wzew(@G_KY7=ourjUgAL>4$qcnJAxhBj^Gf}c#zFC&> zW837Cm;Jvc*0+B-HosiOwKi!b6r}z7D$BGuAfj>VSN12AE)ELnH+)N~D+srq*@U-g zXFc)e7mQ{ciiZr|=4-0;7mV#=iO+?Vf*mI`^YgBL$b&LcHQ7Q4MtjH?($&zOa)HxFj;WZ)x7KZ# zNBsK8{~wcM!U%OJVJ}~NZI`wk-l(DH*Ttav_x-U-ECr}s*+oj!kNafSSnMpU(3|L^ z(me`}m`eshJ(xlM)@N`Zz7){Q-!38LIUxu)mx8KCPXdV-k?C$MyZFe5sbV=ZIhQy1t0|ZFaxHsUPU~;+lyOBT7fz}bxCuY}V@jj*IDa}~bFM6G;EL$d< zw^ZkR>k`&k=~EJ|qCUW$O*J8vZw|WUIyd*;v4|qRfZ_`_-f>TRuQuK1RO9%8L>Sm= z%E$5&x*ErX`%A^~@ohp2?q>4Qur_CDMe+s(tF;bck<@e_n6HlX@;d4t;Ah>;z+b`jZFKm!c$S?vU0+^QVT>=b-G_aNw>y9+ znj_fdG1oUL&1ki&Ox5Uj`!zsi2bUmhr`VtKkaf}l6$w5o1Q`mIf{WhIjAM&ei3*x# zURiL4!9jOuqD(rd^)T!GrvIJsX1@#;bYCh=$uI$>jAzKyR*;%>dUGzx@R2jfR(Z}0 zxs_pFWrVZ;AcuG}Ccxnjq4+PtA@Ti>oD<@he*PAE{Aue}_cO%KKR`?5 zD&6l`^n_tQ^NPVx-LqWrvrk-ts*)m;96O$*;zW=k%DKAYTq6BK^6>-PNf#wmr02|K zTCU1}UESwzRVL{PT0`QW>#1ntf(UEN@|)*xe$t2k(y>pv-Vl0hQc&+&PE)_`j4r@@ zc~myDHDnp0!c@~5vP@!skx+F_a-~FmjW*7kEr^u_o|IRcYvCIB{E# zZcBLI4CQv+4_I$(RA1*P4mdbVuJ&D3ISJ{^O?bR3ar|pAh{CPCJlH?l#eA$O^?`DU z`jNzT)hVN8h~qWy*wI&=kb<$>=+1L-`|F46gkXuSYq9eivla9e@0+?eiHSjy zjvg1ScX+I+aJlOr81&n@{=Fo&EEhlr<9I5VmxH3*v4qd z$Co-rvvZvDleu+a!lMj7@X09HG2WvQD=6xruhn|HdnQnnS*KAFpW-AWH`rgxnojaPfEP}K#QuCnBBmT#F$M8NFN3g7HKwJ_@)*zQ^H*7z#9^m?)A zc#*FZe^>jdjnIOJWPS`?-TmTXtjiE@*!P{2MMkTFgd9zmu?J{^)|;)BBzCoGP+K-- zQ+m5rQX}eR^+PL3%~2)px+dUzKwzdvT=4zxvuRPOOzxj2?zCJG{P)FmMDBm*)qOX$ zN*Rvma{Z*AEylnuR1s2^*x;~TzQ{|=1>|p#^ENcyiIL^^v-o>AQ7EZWuF-dZANx~i zy69KsZzrOB>gAsKsKkPh9JBVYKbmzBhB7?`zk@-pL1U+1!g`0%4Z{N4&iU#>m5W%` zTt&>GrQ>Y4Q^2bhf4sWo8Nes2wo9}>S`8&>x5@=@M`4|Q~_7I0!=1>7^^?3yTkqbILYz-@%UmBa=^GASv> zZ`)YLJyTZ>7WYOoA1R?oLU3O>R`KE^@gyvC!G=QoCDq+HOC~n0TtXlmw8`(2lWdh& zY2%LOG`w#2Ugwbqxm8>JI@%Lw&?TU}qBd4<0sRM93mcCVu{kG{v-RI(@>&agP^?y( zWappR2v&WbW!#r^5ueFZHS^_T(bpermclZAWqjD!u!kWeWhbs7jzFiZN2^-$GJmPi|XcF$bH@Y%j6%jJ`Lv67;$Mzy2>9Awa zUNxk2VDeJ_An`-Tpxb8?@IS!H>Ma4YY>#SrehV;u@_(2)@|CalC(Sz2bkUV|DdFIE zJ3Gew%iFSm_exB`j2RzK?@t;0YJ6;5?Yl3$dL!cBKRpoqgpk>7lOaki@%d(u{vav% zC&N?4D};UAIbGaC-O)&!xE|OCmD=F&B(@{(cGHk&pJD%iWfyaQy_=_XB7dWc@96II zcE$QSzfdtU`=jLj?Fx)BTlw+hL&IZZ-F{N%EKDFz2_UIDXOnc%*ZdFoOOw)H==q<* z4qnnUP;~hk=;e*6)fyg;CA7^N(~s%b|K|287|i)Fndz?@tE)%LmSR%ho@~B-XQtm^ z^~;Mp2(cgaO^0OX6f|c(8$Krwos~+1!CHIe4K^HyRNOOQgc1rR4!?;dvgaV+QzSJS zIVam^wsf1eBQe^c7F)vhC>lBnrvQVYYHyG`$|pdN!@xyJC~`D8B3vsKbO`wSBY`R6 za8E*)6C@SMf)zwdNXQEs^Rz|6v@ld3H2_GqA%x$QiY)mVt*slJh80dapqgYH$qhi! z+NAI5CJ0rZ33bw4GU@Av0<-kMlyeU8>reUCy=Y^SS>{q>?qhyqo>{hNHJ*h_4(%+z zWuUpmA4@&vJ;P~`N(50#rsjhZ2Tp+sGz1+DG|5!w2z{-MM}}|@_Fl4BH#b7;f?;4# zqj_yQcLW|e`&3wY18}k(X|Nd8OBpZyFZ+TE|5ybjG zM((+7O>Wj4qMdh^+VvkqoxW>kS8FgEO_ATvTz}4>`!bw-)s0lL-T3RH$tmq0VDs6x zOcNN722JjGXSWu;`AWM*#v=*#Ii!g6Ps!b0FZcKdaaFXSVYrZ+c;d!J9R;?|i@(U`(^1mJ1BAq5tdO_;dncw#vl2O0DOhH4I;rNnH{H$L zXW!1*bY=TBGG`-jpGvE;2f0FDCU#J~8MI$LE8;0i$w{vmc^&w5VYWc@u~}SZ^ss>A z%NXw*?me#uAC+Sfdc5xE&g7c=xH|6R7fS&}g zyGJKVEoquRKx-9T^D|2>u!nY{7r*vAt3q_tF4gc6()npn%4c$!@-NTG!sOR0D#mW; zKiRy%=Sl9J$4VTx4YP1#ZvGpyGWiFDcx2yzIvqCq7uxp}R^vzc>dtQQM~iI+yd)Sh zRZyl~|28tRJf$3Le<`Qc&3emy?M#^cNpz!!l@^=UFZyTjM?Lce%{gJcFFv}sN{OKr zNYTvaB&oZPdY)$K6*_oE*-{B--qW3V_x|fbxUHB;b7JqFsPEI=bAbj0Z&Cm>dpoP? z=fG?5pej}z=77+nfJDgSae9yl@%Vxw56CiQX*Ly%isv4YGERc33o6A1C!>J8nR7yU zA?=pZCS}!W)L4#D;ta`yD81^Em|A-wn8SK5?_h)I!K|~isjD8M3sVrKvYyAGR-{M> zbhXOF-v|P0UGTtnT~Lf`X#?#d$hlkM|svRsLg2wleW%QY(tilbNS^oq0eIJ$8 z-EWeq;3H02rJz*d@pIvxt&tvwRi=K3kdYmf-D~KQKXfz1i+y%D0`sNB0D_a(LF zBu@3qKh&QcH2)fPs(N@A^LIjx{^d`l)dnQ=h)lO1F#Uml_L4h1RlGHS4oyqtBhJBUS-pviWMS-zzEPNN zSTpVY4yn!@n=bvS?W*I>51sPW1Dv$W_HSwJ(p;f>E{~5NV>4AKrAa?iejS?ooTw%8 zTQop*O!aK1W=}HyUNE0S`Y2vAc*N68B-*O8RfEQUL zl?0%(pTIq^nf1)BuaiO(vff*T=%%mo?9;^4=F7OwSxuNNCnv_hH_tVjP5ZC4ha>ka z$4Ym+Yno3OEFau0<~yz6+k7e#`Bd^s@60+BOX79=_R*u{yh)|GQMgQ_<#y8@wsh4 zI(6xJ{fBkCdGx@_4T=6R55B_L^Z&r+a-Dh}K&iA>bYk&;YQR!u7G%E}cO-K?l3vh7 zfW(n6yd|CT=DJB2+hvanz77fb$1UyrLC#-zK8|NtX6G7|xpRG(KYcH>ned zf6WRn+V97~VGe^pvx0+DGNZd{!;mEXK&C&xQsm%f6*Nppt}BuX#`g6AN>Oq(igW)A z3QlWNUIh*0f(A1Txw&=mRDVJg-BQ0j_1~t;Nz5zTUyBqv3t0gww!rVLj z?$)~9`t!WH+`vv&s==4~A0bWqFZT4F=I-8IFPgpc;v)Lc@vz%+IZE*#fHv4{{aJYY z=o`c=3IFimBG>xvki;RINxZ0^j&8;hm*e;EQI>bSJXj8HwyZXsmp<>Q zpM2ALQRmQ$BJB{-5hlrg3SPkA*o)*Q1tC ze(WzV=Uz7Mm?aq>5G{GSF6Y00SGlS8b%Z^jx_Rw{g#55%sQFaHzV_hTYDk(#Z6(ro zy{saN2ph>q8!7*Q&=1dp{Qm(i)b)ptRXddB zr(sju2?|>IUs7~A*k6;IwzRo^c}m?L&IPIc2f&{ty1jis9X@3|hq|&}E3v@W9XZD| zOWYL962(4w`A9aYOfawq%}-FfI95KjNKqMkF7e|kC)V9j8G#V=-FA$y^`|9nR#*YACeYFH*>ati#K#$T6hgfScHQ*F%tT^1n4Fiy|J^veGK|1k z3X!OqwtGb8hqFL5Gogp>9?)L|qE49w?9{{^UN%k`3ON+fCL{hNMvo&Ph3xZ~*L|C+ z4sC`o%1u%b!D|&DSQdeI;5{$;#dbagrbl$Vu4Q@Uc{K$qv07Cq)Xv1xE5YCE1`t~L zp47sV1k~P$D8b3Ilq8Q)T3M{g5dI4+r@1_mfKgs{WFmSE3xJpVTYhLJ%uNQx`D=() zGY6$nO*xbv`osof$jOtRZAvYqav(@V^5)~ONb0A5hRUHaPfBFeq>KZtyNlw>!+tz7 zTneU0;S%L-_WWG?q`4}Z`p~@o&^bTh!5LQAm;W)#=L+H1oh;47!Vkap_?$3!FG`Be@v}GFHUpAu-e}@ zaf4CLOK#+>2{$KymrsPA4hnB>_B^BUO1W2Vw8duppKjfqk9-vHKD=%c*7nX+*2As} z_oic~K!zyG+UcG#KR(YAM?d)a{(Mb; z|L-;Y*YL}q`C`GpAKncy?(YsCe=zEYMm>Eb`|TevyB~a|RbIr7&m6nfBy2-;C9d?p z6xGST+`VPB-`&-Wg}6>V?3xexT%GmE>nb{l*Zr`lUbOD-XV!q+?Kr*Mm`a~pnRVGo zSICNxz88lM+w&vW40TjYvj-{!Utma1K77)vKSVc zK8Wa?e<6Pv5|{aATH?jo_+CS>MMlY~#OD_m{n7HVFXuHjmmzy3Pct8Aw4Xs7Z|=X7 zsi}h5``!)AYWWAKF#TSl8cQen(5!QPuewf+L4tc*yMZFjfBS*m3M7wwbA&6SXrmM$6xI zm>>R6#mD`T#;=jqTTtc&oQn@kW0B)T?T_kmBP*G^UE%8&eapm}%fz#3s~>n2tmWMg z&3B8fv6h4PNY5=?$Cr!3%Q}=~Oq?5{UvrqS0X@LHpc<+8+#R?ml_Qb(Y1cqJaX|QL zxcdH~FBxreQUi5pCb)^j9-RDyS@2e^5LOTx1aIM4f_WR3k$1SKzITa1t{^0p(0 z&0i2b7~M{#3G>m`DtOF;9)uo@b4ZIb&kIGt37;N&Slv%Wl%+Kzx_aZt6mW0q+qTH0~^qK6Bi*A3(+BUZq$H3*J ztc{;q1%Av&KMCQ9b2dtI`isBg=<+L_UA#8WUt-QNWH63iPOkxy#3x1faNF3(MTx-% znOdi9@g%@s*%Fbzd?Gy5zx&8&B8f!c(Al>7KjHY*Mys+iOVZIW-ah4Z%;#;0_l0zr*lAd|>y0OJ3JuKh>rc?bu)7Q*3LH`*CQVngc13x=Ap=g*&(d{$I~Q)> zZKAcIlqag4{m`!|$+qEI>@1J8*eujsJ_S4J6!EGc3!`7V5R%_b9W;7Eq(m@iI*sw3 zU|Z~jv}U_OQE%;gYiXAFPd+ccbK64|H0+-eudti$iSN$pOoTnK5_6J7D4B^fyxGJN z-?sxu-3iC|tIAIHYCQRVW)u(sf}6+oJwRw~g3xJ>q_$PyAhwu=vg8rgLCN(}L{f?B z@enAwKQ)4#@3E$KclY0O-e|EAJPxfb_M|9Rd-TK0+&8MLUps5qYwjq1H@JdhnUwVGdK)Bqz@iCr<4v2 zU?Z5-GJC65_ZK*&av&jM_>WDum~$RM^zBO-`1fjNwNo~+lt$Mq5y)n=KZkl+HI!s< zT?}`JoqtFINaFJ_B4!D%+D99`_QMCJ6Romo6Zi*iW-xp!0<@I4Y$`2IaM-2gvfqD` zT3WoHm!HR_?m!JYzMLZd!h76dO5VjPt>$Vkrr5U1%+1Bj$;>mLK+Md*Z|a)-OiB$! zx$Q!O*etaCPgEeEX|dOSqE?Z!%(E*}L$0Q!#8N_<5Z~K8kFW63DvV+G`m%TKS%B;1 zntnvCxHin|P^p{ECfzyIkABLa%qzY&p~nb`_Mp=QbHc+5@^MAc%{FkkT9vR!28k9X z*hbYTl#$Gp9J#@DhjSA;6eXnLyI|}>y6|$fP)hMh1KdRp?M12t?^hkpFRLlyX)ExD zPXkqLEmHSX zcsOhhF@y~aC;UwN)p`E{p1?GR=i;Y{vue`1>1;Rz1bJuy7cVdsa}4)oP3{TA{(U!2 z12_1#n5(fldvm9d-)8ASb~KsB6-kq|K|h(Zxl zW)sS{cEU+7yER8Nn@PKf%mNX;JUcf(f$Vd~s1SofrvY0K1_K;kVA&Kx8@-VS>lky! znH>zN{6%@u8%N}|5}gLKR?lK?se}O{rJwzaAt|L8y%2T3_c)Pamn$?hxs<^`V;oQn zb8!vGA9A5`|D6j4yM0YVB@u|nyUyF0-*)Qd2$MSsUeeEXb(I$aMd+ zkfVS0Jm=?+%iGmT#1?67D@6lzOTGqD&e~NYLBY>yq5_klO(%n0AO?1>jC&%kf5U>G zB|ubc(owcJBbo>{Ll?!mbWNW1Aj95xVo(weI6N|ObfL=OF_t3UaDBB`62?%K3n;uG z$i8V7#V}fJ0|Vn8PWF2&9kQVMz4u)bh$^kqveVlU-{UojxK^nooXd`S~;CLhEE>aYGQH37F(N` z7?;CNHE=HFfGYjU$KXv>uMJ1g;Hs)Afv$*`3!z1N;cxg+z!R=f(m{vdXnO$sXTg{% z>&lKA%pPpmTeC6>Ge7v#GK}T~{0rlF<(;4ia2Y=_5j73Cgl^m}q2+C<5j7sGL4{+a zEokaD6%>BIl~!Xog5AsJF=Suy=3u>QC+2TdqYB;xdxQJEiTYoR6B@9)FyblK1B%du z>dKhvt@!lu86Sd4vzL-QLH53YJqvK*^i&Tq(cwk-=Dg_X5kg$&t zqa1)>d^muE6EaL6?KsR^k0J_UvYrbXq62sAVZ<|leZqhyw3VBZ%5Ojca3q3Arr+!# z1_337Q+)NPkQTors# ziVjfKB|(G_N@UJSom+L0Q^|1P{Xc*(t{$(2MQL)?m{QO1lVAuHo-Nxp2m^-_IK)7k zY2N-uSAKX+WGd|Sx9fCAYUaICB4scg>FXDlb)-IQ{RYTXZA~p zl&A=`1%9VcYbda~ltB<979a>|Fbth~a-Isl^F}_>o_#8v)7oLvQxJg`90?pr?9nuPd|@@ zdVywUwG}t;L3`{Kqmh-ITBs?ApLnHV(^R9$w|~$$wErp@GFb}>Lv4C)*Nh|h+Dt5o z>t+Fb&Gi7l+Gp5fi_ZYu7Yr3oyMP6tZq5ntMhWd;BwG+Qw-;_<$5JCEZXfZ$%rVU1 z7D>_wv|1El5V^OXLmdjeR&nu`@TbhQvx%QU*fSGnd0=7E5#e@I$~3F|IQ2GR(ZznU zxYY=5cZ%i}(_aG#f!^ZOxZNb*B}Zr<_YXof!Y4;z+L^0+_e$Zygng~X1oUvl{(*LH zG^TPuBi{F+Lq{eGs!p#34jRW;D&WHH66zKlRS9(`0NOJQjSPzJpd_e0poqPIbS^e{ zzZ%zz3p_5m|HQO2N_zg-up_9w*%2)=w+v-%!)=D46zRyq2}eQ(1dY&|yZk@LM8CxtjNQ5sDZq9I;|>KRQYw$RH=4VdrZ1W+?~UPz3#IX}@$ zx256+_vZr0zFxribQ@}Adl5y4Yw6^Rv{NZ*zG)(tBV)%x+Oanre_~W6~iBDNc#PIC|At#yDzq3UaVQVVqhQ;%?0f>y)_5Yr=}g z>{ik#_N)Ig&5@1Par{38l3Pnz)`E~Lc#rv_BeJFiWSh|0MGZ$@O;D$B*kF)8J5lnS zmUOdHsK&}+;gmwJx3)o>IW#bT0+U9NtBsgPFCqj94ad!@uO6vbR1|A;zkG8Jnw zIs09sIJ?l$)F_G_^CQ$b8>uobcgFUWhW$WBN;Fk7aH=#7$Q+x3n9od57Dt8y(kRZC zcqFIi&lcK}<-};mI6qQ}C`|@IHEt4Zj-LuUr7+(;j5HscHpx8f0!#Uo4759iq#!U@ zNG8x*2Pkwm9Ta+qVwK?v$pwWjIz$37PdDWWPy%@KlhgwJddZ}-{nJvn>;NQbQndSm z6Wt)sQU&jKh4G9Sz)haRa6kj$Fbd6%MzPx@Ln*h4b|mwg5o*%P`PxQFnxx&+#^j86 z4t4N$#O*gF)SNqdn{?ys1AAEZU_1(HxV09+1->D8q8y=+l9S#b3>oNnFOqF$a1$e* z4jx;=a!>Ot4e|JR6VrWKq$%C3kxokj&dlo^>4&q&a?n0Ms06ucNf=7uEU|}19SZY38DJNIpk{~H`?*aE2Lg7NthFswScZ*1VO)vCnf;NB_7DS75 zJlP3XCjky4DBq2T$sNrCLG(y^l!eliI8lI)Q8L|ZVsDcHQsy6!8sXxnPEEZT#mO}$ zD9K7ntKp*9xEJ50&eal={oDa4rhvr@)X`(y7u_}0G%z4_&|BXH;KjRkZU;3b(^)3) zgiUsJ-%uDy>xMV7*~FiyL&?OEK_mcYKS49^$LXM<>wB}7Lc_q9NjDn@BTyWiq+U2@ zZtcq-D7lahGck6m+&rX%!bVZ6xC58F6c_cZF?r=>VK~f}-Bf(W|Mnqaq^<@Cr66KU zI903p_;{e<3PN$Kk{Qxcj0EH2mCaJFO?YX{j2(!ffF~wZcy%5x^x4r!fgR_P$LYK6 zYX-NG$AK%?0G3ysWFRV)A}nF*LL!Lz^`pUo-j~U+cqEnnIZ71gO69f*w#A5V$CI;# zgaIdmD1=fwk0F3%_9#Of6f~pAHo-m~_)l5Hfko?fIgdgJq9g4|4kgSfIJtc! zj3|PdwYstc)Ub>~sMf4Z0Ct22K~)4MTxMP&JA_0+Ff-}QlnaK1n~{`nydCM`RNz`# z^D9FtFyjqWkBIj51(qT#o`z!4i81$%)}Is0*)|@#^%`kTy{jo1RMQhp!f^@r4!lUg z*0}GSEKjG={i_~rzE9T&H9VH;KED*Fe54@)(bWn{s5>%r0T3s9Wg7CO1KNSRwXQjcAv64*y=8cj<9;Nd}6eDlfx=^_dQOALAT|9GAVUU^dWU3d!l$03{oiY64DbamwYwF5)Z>FQx=Jclf1DJXuZ8Bs3vc zKeRvaIS@+77z=pf0uj)GQc4D~ql<+0)_yI)u9;aB>dwOLTBLY`I&HMxkuMRlDb7)0? z;?GbB!cLQLWd)%I5g}bLEb3ow0WPrI%Ew?}MNm>U!<q{u zLYRlTqP?P!1jd*IIu3J>5O?U?M!={#@B+0`K>SIUgiB`sY9WYFy-Y(D1IMW*`A1Zt ztijK+Yx%}x4I?~PA6SV~v#F97I<&k8H>{zU+18)~OX0PHlJpT;u5|acSzA91jI&;p zs@h)Qh0?gF3g#;ZM60}KqhrPh9F9^zA*SIn(~654Uz!lC5qvL->+lY@1BZL)^>zw* zNhb_-l}s-C=R_}paqQK-a9QS3qgQ6tBx=b%-9truQc)}g|1W3+m;2;| z78OMV(F0@yA0-MKDuBR3Fvd10Km-Q`W8^o%cPR!}pEnhPD-lMUONu zfWSZ)LI4N@qM#H2h42Fhe#jW{{oN2S##JD&GtmHkNKhd_gC0mxa*l{W-~H*CSQC+y zI^aNc!W&66Y=D?PnfalRZQTk500Mw$18n60V0Az+H%$TKC|?6Y2dV%V_3D9v#xj6i z&QNd2zeoc zBt17!#fSJR5JMU2a)e{Yd?;c+EaxZ(pCmCD!U61r1V$n#1@l7|EDq>F94vs4f!7D{ zO%MRzD2O5lbx6qkf*7(m9eS+S1P~a(^VwEn#CAJ%RS}W;`k{`+*cFz84xiqJK0u#b zDvVf79O%MmkT{7%g@=Yi6-aB?p7K%BB%$r?6A`|#G7`) zhWM46oOM`fopr4scTDzIM@(4|(ovgHARGV$C}d11R2%xL2ZDeOe6X4-wQf2y2-#zsPN0|%+eP;6s9NXP^@bx@!(nkK|SLlJ@K zfDS;)XvKy?tqleblElTK;HM-J$U-rV)M$gj2L%xYgwYs$lrb003|Szdix<&C3vsr3 zs*FizY?Nq>GrvVNO^-d)ApLNFmglmh1C=yl#C}LNM|Dw%e3Oy^%BT^_q+=QKLlNMf z$)F-P=&qTG5as}1k47(<&hU0Ec1~?Pb|X**!edOsSOJocCEGF<|*9QX~=CRG9;O^jAQ5DWS06$wr39 zgXEfFlELy*Lt%r{3nYoK!@P=VfFO>bqCi;mMu%`?9hB25Vf0r_Y+LqIKw~~i=z<`Q l$dC>ElS5&HkfxYyd#j@CK8c_(3H{U{5JzMJ-zuTO|Jg~CPOAU_ literal 0 HcmV?d00001