Motivation

지금까지 Diffusion model의 발전은 상대적으로 theory-heavy 하게, 또한 theory에 대한 deviation이 최대한 없는 쪽으로 많이 이루어졌다. 하지만 이렇게 발전되는 경우 존재하는 다양한 design space 를 fully exploit하지 못 할 수 있다. 본 논문에서는 좀 더 practical 한 관점에서, 각각의 component들을 발전시키고자 한다. 본 논문에서 제시하는 contribution으로

• Best-performing time discretization for sampling
• Higher-order Runge-Kutta method for sampling process
• Analyzing the usefulness of stochasticity in the sampling process
• Training procedure + network architecture 에 있어서의 optimal 한 procedure

등을 제시한다. 종합하여, diffusion model 의 building block 이라고 볼 수 있는 거의 모든 부분에서의 발전을 제시한다.

A New formulation of diffusion models (App. B)

• Data distribution: $p_{data}(\mathbf{x})$
• noise std: $\sigma_{data}$
• $\mathbf{x}0 \sim \mathcal{N}(0, \sigma^2{max}I)$
• $\sigma_0 = \sigma_{max} > \sigma_1 > \dots > \sigma_N = 0$
• $\mathbf{x}N \sim p{data}$

ODE Formulation

$$ p_{0 t}(\boldsymbol{x}(t) \mid \boldsymbol{x}(0))=\mathcal{N}\left(\boldsymbol{x}(t) ; s(t) \boldsymbol{x}(0), s(t)^{2} \sigma(t)^{2} \mathbf{I}\right) $$

• $s(t)=\exp \left(\int_{0}^{t} f(\xi) \mathrm{d} \xi\right)$