Summary

1. “Noisy” Linear Inverse Problems을 푸는 Diffusion model을 제안했다.

1. Noise에서 시작해, 매 step마다 measurement ($\bf{y}$) 와 inverse problem $\mathbf{{H}}$ 를 condition하여 gradually & stochastically denoising 한다.

   

2. Noise $\bf{z}$ 를 고려하기 위해 SNIPS (1저자의 이전 논문, NeurIPS21)에 쓰였던 것 처럼 $\mathbf{{H}}$ 를 SVD한 뒤, spectral space에서 diffusion을 한다. 또한, 두개의 noise parameter ; measuerment noise **$\bf{z}\sim N(0,\sigma^2_yI)$**의
   $\bf{\sigma^2_y}$와 anealed Langevine dynamics의 noise level $\bf{\sigma^2_t}$ **** 를 연관짓는다.

3. DDPM/DDIM 모델과 Objective가 같아 Pretrained DDPM/DDIM + $\mathbf{{H}}$ 의 SVD만 있으면 이용가능하다.

4. Memory efficient SVD를 이용해 SNIPS에 비해 효율을 높였다.

5. 빠른 속도 - 20 neural function evaluations (NFEs) 로 기존 모델들과 Competieve한 성능을 보여주었다.

Background

1. Linear Inverse Problems

1. Solving Noisy Inverse Problems Stochastically (SNIPS, NeurIPS21)

• Classical, Supervised: not realistic, blurry due to MMSE solution
• Existing GAN-based, Langevin dynamics-based: Noiseless assumption
• SNIPS: Generalize Langevin dynamics-based models

1. Denoising Diffusion Probabilistic Models (DDPM)

   1. Reverse diffusion

      

   2. Forward diffusion

      

   3. ELBO objective

      

Denoising Diffusion Restoration Models (DDRM)