CSDI: Conditional Score-based Diffusion Models for Probabilistic Time Series Imputation

Yusuke Tashiro, Jiaming Song, Yang Song, Stefano Ermon

Time series, Data imputation, Time-series Imputation, Score-based models, Diffusion models, Generative models, Self-supervised Learning, Transformer

Contribution

이 paper에서 저자들은 Imputation (interpolation; 특정 time step에서 feature의 결측값을 채우는 것, forceasting; 모든 미래의 time step의 feature의 결측값을 채우는 것) 등에 특화된 Conditional Score-based Diffusion models (CSDI) 을 제안한다. 이와 함께, masked language modelling과 비슷한 self-supervised learning training scheme과 attention 기반의 architecture도 제안한다.
제안된 방법으로, 기존의 벤치마크 데이터셋에 기존 probabilistic imputation method 대비 continuous ranked probability score (CRPS)가 40~65% 증가하고, deterministic imputation method 대비 mean absolute error (MAE)가 5~20% 감소하였다.

Untitled

이 Figure는 CSDI 기법을 이용하여, reverse process인 $p_\theta$가 random gaussian noise를, 관찰한 $x_0^{co}$ 를 기반으로 하여, imputation 되었던 부분에 $x_0^{ta}$를 변환하는 과정을 그린다. 각 스텝 $t$에서, reverse process는 직전 스텝 $t+1$의 output으로부터 noise를 제거한다. 기존 score-based diffusion model과 다르게, reverse process는 observations를 조건부 입력으로 받을 수 있다.

각 time series를 $X = (x_{1:K, 1:L}) \in R^{K \times L}$ 로 정의할 수 있는데, 이 때 $K$는 feature의 갯수, $L$은 시간의 길이이다.
observation mask를 $M = (m_{1:K, 1:L}) \in {0, 1}^{K \times L}$ 로 정의할 수 있고, 만약 $x_{k, l}$ 이 비어있다면 $m_{k, l}$ 을 0으로 놓고, 그렇지 않다면 1로 놓는다.
timestamp를 $s=(s_{1:L}) \in R^L$ 로 정의한다.
그리하여, 각각의 time series는 $(X, M, s)$ 로 놓을 수 있다.

주어진 sample $x_0$가 imputation을 포함할 때, conditional observation인 $x^{co}{0} \in X^{co}$ 을 이용하여, imputation target인 $x^{ta}{0} \in X^{ta}$ 를 생성하는 것이 data imputation.