Kolmogorov forward equation (Fokker-Planck equation)은 어떤 stochastic process $x(t)$의 분포 $p(x,t)$가 $t$에 따라 어떻게 변화하는지를 설명하는 partial differential equation이다. 이 글에서는 먼저 Fokker-Planck equation을 유도한뒤에 사용 예시로써 diffusion model의 probabilistic flow ODE를 구할 것이다.

Brownian motion

Brownian motion은 가장 중요한 stochastic process중 하나이다. 수학자 Wiener가 이 process에 대한수학적인 기반을 처음 다졌기 때문에 Wiener process라고도 한다.

Brownian motion은 다음을 만족하는 stochastic process $W$이다.

$W(0)$. 초기값은 0이다.
$r<s< t\leq u$에서 $W(s)-W(r)$과 $W(u)-W(t)$는 독립인 RV이다. 즉, 각 step은 서로 독립적으로 이루어진다.
$s<t$에서 $W(t)-W(s)$, 즉 변화량은 $N(0, (s-t)I)$를 따른다. 따라서 $dw=\sqrt{dt}\epsilon, \epsilon \sim N(0,I)$이다.
$W$는 continuous trajectory를 가진다.

추가적으로, $dw^2=dt$임이 알려져 있다 (증명 생략). 이는 Ito’s Lemma를 유도하는 데에 필요하다.

Ito’s Lemma

$$ dx_t=Mdt+\sigma dw_t $$

위와 같은 stochastic process $x$가 있다고 하자. Ito’s lemma의 목적은 이러한 $x_t$를 입력으로 받는 함수의 trajectory를 알아내는 것이다. 즉, $y_t=f(x,t)$일 때 $dy_t$를 알고 싶은 것이다. 일단 간단하게 1-dim의 경우를 가정하자. Taylor expansion을 써보자.

$$ f(x+\triangle x, t + \triangle t)= \\f(x,t) + \frac{\partial f}{\partial x}\triangle x + \frac{\partial f}{\partial t}\triangle t + \frac{1}{2}\frac{\partial^2 f}{\partial x^2}\triangle x^2 + \frac{1}{2}\frac{\partial^2 f}{\partial t^2}\triangle t^2 + \frac{\partial^2 f}{\partial x \partial t}\triangle x \triangle t + ... $$

여기서 $f(x,t)$를 좌변으로 이항한 다음 $\triangle t \rightarrow 0, \triangle x \rightarrow 0$일 때,

$$ dy=\frac{\partial f}{\partial x}dx + \frac{\partial f}{\partial t}dt + \frac{1}{2}\frac{\partial^2 f}{\partial x^2}dx^2 + \frac{1}{2}\frac{\partial^2 f}{\partial t^2}dt^2 + \frac{\partial^2 f}{\partial x \partial t}dx d t + ... $$

이렇게 나오는데, 여기서 $dy,dx$와 $dt$에 비해 $dx^2,dt^2$와 $dxdt$는 너무 작기 때문에 이 식에서 무시된다. 이렇게 second order 이상의 term을 다 0으로 만들고 나면 식이 간단하게 정리된다.