"ILVR: Conditioning Method for Denoising Diffusion Probabilistic Models (ICCV'21 oral)"은 DDPM 모델의 latent 조작을 통한 조건부 생성 방법을 소개하는 논문입니다. 기존 GANs 모델에서는 latent space 를 조작해서 생성 이미지를 조작하는 연구가 많이 있었던 반면 diffusion 모델에서는 이에 대한 연구가 많이 없는 것 같습니다. ILVR 논문이 diffusion 모델의 latent space 조작에 대한 인사이트를 제공해줄 수 있을 것 같아 소개하고자 합니다.

Contribution

• reverse process에서 각 transition을 조작해서 레퍼런스 이미지의 특징을 반영하는 방법을 소개.
• 이미지 생성 과정에서 레퍼런스 이미지와의 semantic similarity를 조작할 수 있는 여러가지 성질을 조사함. (semantic similarity가 맞는 표현인지 잘 모르겠음. 레퍼런스 이미지의 coarse 피쳐를 공유하는 이미지를 생성하는 것이 목표.)
• 다양한 조건부 이미지 생성 태스크에 적용함 (image translation, paint-to-image, edition with scribbles).

DDPM

q: diffusion process의 transition probability function

p: reverse process의 transition probability function

x_0, x_1, ...., x_T: latent 변수 (x_0는 이미지)

Iterative Latent Variable Refinement (ILVR)

Goal

레퍼런스 이미지가 주어졌을 때 이것의 high-level semantic을 공유하는 이미지를 pretrained unconditional DDPM에서 얻고 싶다. 조건 c가 주어졌을 때 reverse process를 다음과 같이 표현할 수 있다.