Generative Modeling by Estimating Gradients of the Data Distribution

참고자료

• https://yang-song.net/blog/2021/score/
• https://www.youtube.com/watch?v=d_x92vpIWFM&ab_channel=‍김성범[소장%2F인공지능공학연구소]

Preliminaries

• random process(=stochastic process)
  • random variable 들의 모임
• brownian motions(=wiener process)
• ordinary differential equation(ODE)
  • 어떤 함수가 $dt$로 표현할 수 있어서 initial value가 주어지면 deterministic하게 궤적이 그려지는 형태.
• stochastic differential estimation(SDE)
  • ODE와 비슷하지만 t로 미분할 수 없는 어떤 noise가 추가된 형태. random성이 부여되어서 stochastic 하게 궤적이 주어디는 것
• support
  • $\left\{x|p(x)>0\right\}$
• Langevin sampling
• score matching

2. Score-based generative modeling

2.1 Score matching for score estimation

• denoising score matching

  

• sliced score matching

  

2.2 Sampling with Langevin dynamics

Langevin dynamics는 오직 score function $\nabla_xlogp(x)$만을 사용하여 $p(x)$로 부터 샘플리을 뽑는 MCMC 절차를 제공한다. 임의의 prior distribution $x_0\sim\pi(x)$를 따르는 chain을 초기화하고 아래와 같이 iteratio을 거친다.

$x_{i+1} ← x_i + \epsilon \nabla_x logp(x) + \sqrt {2\epsilon} z_i$