本文目录

• 前言
• Diffusion的前向过程
• Diffusion的反向过程

前言

本文一共分为三大部分，这是第一部分

Diffusion model(一): 公式推导详解
Diffusion model(二): 训练推导详解
Diffusion model(三): 公式结论

首先附上几个大佬的讲解
lilianweng-diffusion-models
zhihu_由浅入深了解Diffusion Model
b站_diffusion model 原理讲解
b站_基于 pytorch 动手实现 diffusion model
DDPM论文_NIPS_2020

这篇博客借鉴了上述博客、视频以及DDPM论文，同时加上个人的理解整合了一下，尽可能让整个推导详细，希望能使每个人都看懂

结合之前讲过的VAE和GAN模型，Diffusion Model和他们的区别就是latent code和原图是同尺寸大小的。如下图所示，给大家一个直观的认识：Diffusion Model分为前向过程和反向过程，前向过程将输入图片 x0 x_{0}x0​变为纯高斯噪声 xT x_{T}xT​（就是一个不断加噪的过程），反向过程就是将噪声 xT x_{T}xT​还原为图片 x0 x_{0}x0​的过程（就是一个不断去噪的过程）

知道Diffusion Model在做什么之后，接下来对Diffusion的前向和反向过程做分析推导

Diffusion的前向过程

1. 前向过程从 x t−1 x_{t-1} xt−1​到 x tx_{t} xt​的公式

给定真实图片 x0∼ q ( x )x_{0} \sim q(x)x0​∼q(x)，前向过程中diffusion model对其添加了$T$次高斯噪声，分别得到图 x1, x2, x3, . . . , xT x_{1},x_{2},x_{3},…,x_{T}x1​,x2​,x3​,…,xT​（随着$t$的增加，$x$包含越来越多的噪声），这个过程如下表示
q ( xt∣ x t − 1) = N ( xt;1 − βt x t − 1, βtI )(1) q(x_{t}|x_{t-1}) = \mathcal{N}(x_{t}; \sqrt{1-\beta_{t}}x_{t-1}, \beta_{t}I) \tag{1} q(xt​∣xt−1​)=N(xt​;1−βt​ ​xt−1​,βt​I)(1)

下图展示了前向加噪的过程中图片的变化，从左到右为 x0, x1, . . . , xT x_{0}, x_{1}, …, x_{T}x0​,x1​,…,xT​

整个前向加噪过程是马尔科夫过程，即$t$时刻的状态只与$t-1$时刻有关，在不断加噪的过程中， xt x_{t}xt​不断接近纯噪声，$T\to \infty$， xt x_{t}xt​变为正态分布的高斯噪声（为什么下面会讲），在论文中 βt \beta_{t}βt​是从0.0001到0.02线性插值的，取$T=1000$，也就是说 βt \beta_{t}βt​是不断增加的， 1 − βt 1-\beta_{t}1−βt​是不断减小的

回过头来再看上述分布 N ( xt;1 − βt x t − 1, βtI )\mathcal{N}(x_{t}; \sqrt{1-\beta_{t}}x_{t-1}, \beta_{t}I)N(xt​;1−βt​ ​xt−1​,βt​I)，随着$t$增加， xt x_{t}xt​的均值是 x t − 1 x_{t-1}xt−1​的1 − βt < 1\sqrt{1-\beta_{t}} <11−βt​ ​<1倍，因此最终 xt x_{t}xt​的均值不断变小，趋近于$0$，而标准正态分布的均值也为0

下面是 βt \beta_{t}βt​和1 − βt\sqrt{1-\beta_{t}}1−βt​ ​随着$T$增加的变化曲线

2. 怎么从 x 0x_{0} x0​直接得到 x tx_{t} xt​的表达式？

前向过程的$T$最多为1000次，如果每次都单独计算过于耗时，这里推导能够一步到位的方式

为了推导方便，原论文令 αt= 1 − βt \alpha_{t} = 1-\beta_{t}αt​=1−βt​，α ‾t= ∏ i = 1Tαi \overline{\alpha}_{t} = \prod_{i=1}^{T}\alpha_{i}αt​=∏i=1T​αi​，并用重参数化的方法来表示前向过程每一步的数据分布（重参数化方法在文末有介绍），这里我们由 q ( xt∣ x t − 1)q(x_{t}|x_{t-1})q(xt​∣xt−1​)得
x t =1 − βt x t − 1+β tz1,w h e r ez1, z2, . . . , ∼ N ( 0 , I )=α tx t − 1+1 − αt z1 =α t(α t−1 x t − 2+1 − α t − 1 z2) +1 − αt z1 =αtα t − 1 x t − 2+αt1− α t−1 z 2+ 1− α tz 1 =αtα t − 1 x t − 2+1− α t α t−1 z‾2, z ‾2∼ N ( 0 , I )= . . .=αtα t − 1. . . α1 x0+1 − αtα t − 1. . . α0z ‾t =α‾tx0+1 −α ‾tz ‾t (2) \begin{aligned} x_{t} &= \sqrt{1-\beta_{t}}x_{t-1} + \sqrt{\beta_{t}}z_{1}, ~~~~ where~z_{1},z_{2},…,\sim \mathcal{N}(0, I) \\ &= \sqrt{\alpha_{t}}x_{t-1} + \sqrt{1-\alpha_{t}}z_{1} \\ &= \sqrt{\alpha_{t}}(\sqrt{\alpha_{t-1}}x_{t-2} + \sqrt{1-\alpha_{t-1}}z_{2}) + \sqrt{1-\alpha_{t}}z_{1} \\ &= \sqrt{\alpha_{t}\alpha_{t-1}}x_{t-2} + {\color{red}\sqrt{\alpha_{t}}\sqrt{1-\alpha_{t-1}}z_{2} + \sqrt{1-\alpha_{t}}z_{1}} \\ &= \sqrt{\alpha_{t}\alpha_{t-1}}x_{t-2} + {\color{red}\sqrt{1-\alpha_{t}\alpha_{t-1}}\overline{z}_{2}}, ~~~~ \overline{z}_{2}\sim \mathcal{N}(0, I) \\ &= … \\ &= \sqrt{\alpha_{t}\alpha_{t-1}…\alpha_{1}}x_{0} + \sqrt{1-\alpha_{t}\alpha_{t-1}…\alpha_{0}}\overline{z}_{t} \\ &= \sqrt{\overline{\alpha}_{t}}x_{0} + \sqrt{1-\overline{\alpha}_{t}}\overline{z}_{t} \end{aligned} \tag{2} xt​​=1−βt​ ​xt−1​+βt​ ​z1​,wherez1​,z2​,…,∼N(0,I)=αt​ ​xt−1​+1−αt​ ​z1​=αt​ ​(αt−1​ ​xt−2​+1−αt−1​ ​z2​)+1−αt​ ​z1​=αt​αt−1​ ​xt−2​+αt​ ​1−αt−1​ ​z2​+1−αt​ ​z1​=αt​αt−1​ ​xt−2​+1−αt​αt−1​ ​z2​,z2​∼N(0,I)=…=αt​αt−1​…α1​ ​x0​+1−αt​αt−1​…α0​ ​zt​=αt​ ​x0​+1−αt​ ​zt​​(2)

公式解释部分，上述公式懂的话可以不看
其中公式的红色部分用到了高斯分布的独立可加性，即N(0, σ 1 2I)+N(0, σ 2 2I)∼N(0,( σ 1 2+ σ 2 2)I)\mathcal{N}(0, \sigma^{2}_{1}I) + \mathcal{N}(0, \sigma^{2}_{2}I) \sim \mathcal{N}(0, (\sigma^{2}_{1}+\sigma^{2}_{2})I) N(0,σ12​I)+N(0,σ22​I)∼N(0,(σ12​+σ22​)I)
由
αt( 1 − α t − 1)z2∼ N ( 0 , αt( 1 − α t − 1) I ) 1 − αt z1∼ N ( 0 , ( 1 − α t − 1) I )\begin{aligned} & \sqrt{\alpha_{t}(1-\alpha_{t-1})}z_{2} \sim \mathcal{N}(0, \alpha_{t}(1-\alpha_{t-1})I) \\ & \sqrt{1-\alpha_{t}}z_{1} \sim \mathcal{N}(0, (1-\alpha_{t-1})I) \end{aligned}​αt​(1−αt−1​) ​z2​∼N(0,αt​(1−αt−1​)I)1−αt​ ​z1​∼N(0,(1−αt−1​)I)​
可得
αt( 1 − α t − 1)z2+1 − αt z1∼ N ( 0 , ( 1 − αtα t − 1) I ) →1 − αtα t − 1z ‾2 \sqrt{\alpha_{t}(1-\alpha_{t-1})}z_{2} + \sqrt{1-\alpha_{t}}z_{1} \sim \mathcal{N}(0, (1-\alpha_{t}\alpha_{t-1})I) \rightarrow \sqrt{1-\alpha_{t}\alpha_{t-1}}\overline{z}_{2}αt​(1−αt−1​) ​z2​+1−αt​ ​z1​∼N(0,(1−αt​αt−1​)I)→1−αt​αt−1​ ​z2​

xt x_{t}xt​的最终结果为 xt=α‾tx0+1 −α ‾tz ‾t x_{t}=\sqrt{\overline{\alpha}_{t}}x_{0} + \sqrt{1-\overline{\alpha}_{t}}\overline{z}_{t}xt​=αt​ ​x0​+1−αt​ ​zt​，其中α ‾t= ∏ i = 1Tαi \overline{\alpha}_{t} = \prod_{i=1}^{T}\alpha_{i}αt​=∏i=1T​αi​在$T$次连乘之后接近于$0$，即 xt= 0 × x0+1 − 0 z ‾t=z ‾t x_{t} = 0\times x_{0} + \sqrt{1-0}\overline{z}_{t} = \overline{z}_{t}xt​=0×x0​+1−0 ​zt​=zt​，即$\mathcal{N}(0,I)$的正态分布，这就是整个前向推导了

3. 关于 x t−1 x_{t-1} xt−1​到 x tx_{t} xt​的一个疑问

为什么 xt x_{t}xt​的分布是 q ( xt∣ x t − 1) = N ( xt;1 − βt x t − 1, βtI )q(x_{t}|x_{t-1}) = \mathcal{N}(x_{t}; \sqrt{1-\beta_{t}}x_{t-1}, \beta_{t}I)q(xt​∣xt−1​)=N(xt​;1−βt​ ​xt−1​,βt​I)呢？因为这个公式是作者直接给出的，并没有一个推导，公式表明在加噪的过程中均值要乘上1 − βt\sqrt{1-\beta_{t}}1−βt​ ​，如果要保证均值最后为0的话，只需要每次乘的值小于1就可以了（虽然方差可能并不是$I$），通过上述推导我们可以发现 xt x_{t}xt​的最终等于α‾tx0+1 −α ‾tz ‾t \sqrt{\overline{\alpha}_{t}}x_{0} + \sqrt{1-\overline{\alpha}_{t}}\overline{z}_{t}αt​ ​x0​+1−αt​ ​zt​，即 T → ∞ , xt∼ N ( 0 , I )T \rightarrow \infty, x_{t} \sim \mathcal{N}(0, I)T→∞,xt​∼N(0,I)，也就是说 N ( xt;1 − βt x t − 1, βtI )\mathcal{N}(x_{t}; \sqrt{1-\beta_{t}}x_{t-1}, \beta_{t}I)N(xt​;1−βt​ ​xt−1​,βt​I)这个分布能够保证 xt x_{t}xt​最终收敛为标准高斯分布，但是具体前向分布这个式子怎么得到的，我不是很懂

Diffusion的反向过程

1. 反向过程的理想目标：已知 x tx_{t} xt​，预测 x t−1 x_{t-1} xt−1​

在前向加噪过程中，表达式为 q ( xt∣ x t − 1) = N ( xt;1 − βt x t − 1, βtI )q(x_{t}|x_{t-1}) = \mathcal{N}(x_{t}; \sqrt{1-\beta_{t}}x_{t-1}, \beta_{t}I)q(xt​∣xt−1​)=N(xt​;1−βt​ ​xt−1​,βt​I)，反向过程就是将上述过程进行逆转，得到 q ( x t − 1∣ xt)q(x_{t-1}|x_{t})q(xt−1​∣xt​)的分布，通过不断的去噪从 xT∼ N ( 0 , I )x_{T} \sim \mathcal{N}(0, I)xT​∼N(0,I)中还原出原图 x0 x_{0}x0​，文中证明了如果 q ( xt∣ x t − 1)q(x_{t}|x_{t-1})q(xt​∣xt−1​)满足高斯分布并且 βt \beta_{t}βt​足够小， q ( x t − 1∣ xt)q(x_{t-1}|x_{t})q(xt−1​∣xt​)仍然是一个高斯分布。但是我们无法简单推断 q ( x t − 1∣ xt)q(x_{t-1}|x_{t})q(xt−1​∣xt​)，因此我们使用深度学习模型（参数为$\theta$，结构一般为U-net+attention结构）来预测他的真实分布
pθ(x t−1 ∣ x t) = N ( x t − 1; μθ( xt, t ) , Σθ( xt, t ) )(3) p_{\theta}({x_{t-1}|x_{t}}) = \mathcal{N}(x_{t-1}; \mu_{\theta}(x_{t}, t), \Sigma_{\theta}(x_{t}, t)) \tag{3} pθ​(xt−1​∣xt​)=N(xt−1​;μθ​(xt​,t),Σθ​(xt​,t))(3)

$(3)$式是我们要通过神经网络预测diffusion model反向过程的式子：已知 xt x_{t}xt​以及加噪次数$t$的情况下，推导 x t − 1 x_{t-1}xt−1​，这个过程十分复杂，因为我们有无数的去噪可能性，即使最终得到了 x0 x_{0}x0​，也无法确定 x0 x_{0}x0​是否真的属于$q(x)$这个分布中的数据，因此需要对去噪过程加以限制，即让其去噪后的图片收敛到$q(x)$分布中

2. 额外已知 x 0x_{0} x0​的情况下的反向过程

对于反向过程的分布 q ( x t − 1∣ xt)q(x_{t-1}|x_{t})q(xt−1​∣xt​)我们无法预测，但是从前向过程中我们知道 x0 x_{0}x0​，所以通过贝叶斯公式得到 q ( x t − 1∣ xt, x0)q(x_{t-1}|x_{t}, x_{0})q(xt−1​∣xt​,x0​)为
q ( x t − 1∣ xt, x0) = ( x t − 1; μ~( xt, x0) ,β ~tI )(4) q(x_{t-1}|x_{t}, x_{0}) = \mathcal(x_{t-1}; \tilde{\mu}(x_{t}, x_{0}), \tilde{\beta}_{t}I) \tag{4} q(xt−1​∣xt​,x0​)=(xt−1​;μ~​(xt​,x0​),β~​t​I)(4)

推导过程如下，首先利用贝叶斯公式将反向过程均变为前向过程 x t − 1→ xt x_{t-1} \rightarrow x_{t}xt−1​→xt​， x0→ x t − 1 x_{0}\rightarrow x_{t-1}x0​→xt−1​以及 x0→ xt x_{0}\rightarrow x_{t}x0​→xt​
q ( x t − 1∣ xt, x0) = q ( xt∣ x t − 1, x0)q ( x t − 1∣ x0) q ( xt∣ x0) (5) q(x_{t-1}|x_{t}, x_{0}) = q(x_{t}|x_{t-1}, x_{0}) \frac{q(x_{t-1}|x_{0})}{q(x_{t}|x_{0})} \tag{5} q(xt−1​∣xt​,x0​)=q(xt​∣xt−1​,x0​)q(xt​∣x0​)q(xt−1​∣x0​)​(5)

根据高斯分布的概率密度函数的指数部分 ( μ , σ2) ∝ exp ⁡ ( −( x − μ )22 σ2 )(\mu, \sigma^{2}) \propto \exp(-\frac{(x-\mu)^2}{2\sigma^{2}})(μ,σ2)∝exp(−2σ2(x−μ)2​)以及前向推导公式 xt=α tx t − 1+1 − αt z1 x_{t} = \sqrt{\alpha_{t}}x_{t-1} + \sqrt{1-\alpha_{t}}z_{1}xt​=αt​ ​xt−1​+1−αt​ ​z1​和 xt=α‾tx0+1 −α ‾tz ‾t x_{t} = \sqrt{\overline{\alpha}_{t}}x_{0} + \sqrt{1-\overline{\alpha}_{t}}\overline{z}_{t}xt​=αt​ ​x0​+1−αt​ ​zt​得
q ( x t − 1∣ xt, x0) = q ( xt∣ x t − 1, x0) q ( x t − 1∣ x0) 1 q ( xt∣ x0) = [α tx t − 1+1 − αt z1] × [α‾t−1 x0+1 −α ‾ t − 1z ‾ t − 1] × [ 1α‾tx0+1 −α ‾tz ‾t ]∝ exp ⁡ ( − 12(( xt−α tx t − 1)2β t+( x t − 1−α‾t−1 x0)21 −α ‾ t − 1 −( xt−α‾tx0)21 −α ‾t ) )= exp ⁡ ( − 12( ( α t β t+ 1 1 −α ‾ t − 1 ) x t − 12 ⏟−(2α tβ txt+2α‾t−1 1 −α ‾ t − 1 x0) x t − 1 ⏟+C ( xt, x0 ⏟) ) )(6) \begin{aligned} q(x_{t-1}|x_{t}, x_{0}) &= q(x_{t}|x_{t-1}, x_{0}) q(x_{t-1}|x_{0}) \frac{1}{q(x_{t}|x_{0})} \\ &= [\sqrt{\alpha_{t}}x_{t-1} + \sqrt{1-\alpha_{t}}z_{1}] \times [\sqrt{\overline{\alpha}_{t-1}}x_{0} + \sqrt{1-\overline{\alpha}_{t-1}}\overline{z}_{t-1}] \times [\frac{1}{\sqrt{\overline{\alpha}_{t}}x_{0} + \sqrt{1-\overline{\alpha}_{t}}\overline{z}_{t}}] \\ &\propto \exp(-\frac{1}{2}(\frac{(x_{t} – \sqrt{\alpha_{t}}x_{t-1})^2}{\beta_{t}} + \frac{(x_{t-1}-\sqrt{\overline{\alpha}_{t-1}}x_{0})^{2}}{1-\overline{\alpha}_{t-1}} – \frac{(x_{t}-\sqrt{\overline{\alpha}_{t}}x_{0})^{2}}{1-\overline{\alpha}_{t}})) \\ &= \exp(-\frac{1}{2}(( \underbrace{\frac{\alpha_{t}}{\beta_{t}}+\frac{1}{1-\overline{\alpha}_{t-1}})x^{2}_{t-1}} – \underbrace{(\frac{2\sqrt{\alpha_{t}}}{\beta_{t}}x_{t} + \frac{2\sqrt{\overline{\alpha}_{t-1}}}{1-\overline{\alpha}_{t-1}}x_{0})x_{t-1}} + \underbrace{C(x_{t}, x_{0}}))) \end{aligned} \tag{6} q(xt−1​∣xt​,x0​)​=q(xt​∣xt−1​,x0​)q(xt−1​∣x0​)q(xt​∣x0​)1​=[αt​ ​xt−1​+1−αt​ ​z1​]×[αt−1​ ​x0​+1−αt−1​ ​zt−1​]×[αt​ ​x0​+1−αt​ ​zt​1​]∝exp(−21​(βt​(xt​−αt​ ​xt−1​)2​+1−αt−1​(xt−1​−αt−1​ ​x0​)2​−1−αt​(xt​−αt​ ​x0​)2​))=exp(−21​(( βt​αt​​+1−αt−1​1​)xt−12​​− (βt​2αt​ ​​xt​+1−αt−1​2αt−1​ ​​x0​)xt−1​​+ C(xt​,x0​​)))​(6)

根据 exp ⁡ ( −( x − μ )22 σ2 ) = exp ⁡ ( − 12( 1 σ 2×2−2 μ σ 2x +μ 2 σ 2) )\exp(-\frac{(x-\mu)^{2}}{2\sigma^{2}}) = \exp(-\frac{1}{2}(\frac{1}{\sigma^{2}}x^{2}-\frac{2\mu}{\sigma^{2}}x + \frac{\mu^{2}}{\sigma^{2}}))exp(−2σ2(x−μ)2​)=exp(−21​(σ21​x2−σ22μ​x+σ2μ2​))，对于大括号中的部分进行化简能够得到 q ( x t − 1∣ xt, x0)q(x_{t-1}|x_{t}, x_{0})q(xt−1​∣xt​,x0​)的均值和方差，如下
{1 σ2 = 1β ~t =( αtβt + 1 1− α‾t−1)2μσ2 = 2 μ~t( x t, x 0) β ~t =( 2 αt βtx t+ 2α ‾ t − 1 1− α‾t−1 x 0) (7) \left\{ \begin{array}{ll} \frac{1}{\sigma^{2}} = \frac{1}{\tilde{\beta}_{t}} = (\frac{\alpha_{t}}{\beta_{t}} + \frac{1}{1-\overline{\alpha}_{t-1}}) \\ ~~ \\ \frac{2\mu}{\sigma^{2}} = \frac{2\tilde{\mu}_{t}(x_{t}, x_{0})}{\tilde{\beta}_{t}} = (\frac{2\sqrt{\alpha_{t}}}{\beta_{t}}x_{t} + \frac{2\sqrt{\overline{\alpha}_{t-1}}}{1-\overline{\alpha}_{t-1}}x_{0}) \end{array} \right. \tag{7} ⎩ ⎨ ⎧​σ21​=β~​t​1​=(βt​αt​​+1−αt−1​1​)σ22μ​=β~​t​2μ~​t​(xt​,x0​)​=(βt​2αt​ ​​xt​+1−αt−1​2αt−1​ ​​x0​)​(7)