Goal : given decorator model whose input is sample from true prior $p_\theta(z)$ and outputs sample from true conditional $p_{\theta^}(x|z^{(i)})$, estimate the true parameters $\theta^$ of this generative model

• prior인 $p(z)$는 단순한 분포인 가우시안 분포 등을 가정
• $p(x|z)$는 복잡하기 때문에 뉴럴네트워크로 표현

내가 가지고 있는 학습데이터인 $x$의 likelihood를 최대화하는 $\theta$를 구하자

$P_{\theta}(x) = \int{P_{\theta}(z)P_{\theta}(x|z)dz}$

이 때, $P_{\theta}(z)$는 가우시안으로 가정하고 $P_{\theta}(x|z)dz$는 뉴럴네트워크로 표현할 수 있지만 모든 $z$에 대해 $P_{\theta}(x|z)dz$을 적분하는 것이 불가능함

likelihood 가 아닌 posterior density $p_\theta(z|x)=p_\theta(x|z)p_\theta(z)/p_\theta(x)$ 를 구하려면 마찬가지로 likelihood인 $p_\theta(x)$가 있어 구하는 것이 불가능함 이를 해결하기 위해 $p_\theta(z|x)$를 근사하는 $q_\phi(z|x)$를 모델링할 수 있는 인코더를 학습함

$log{p_{\theta}}(x_i) = E_{z\sim q_{\phi}(x_i)}[log{p_\theta}(x_i)]$

Bayes’ rule에 따라,

$= E_z[log\frac{P_\theta(x_i|z)P_\theta(z)}{P_\theta(z|x_i)}]$ 로 표현할 수 있고, 분모 위아래에 $q_\phi(z|x_i)$를 곱해주면,

$=E_z[log\frac{p_\theta(x_i|z)p_\theta(z)}{p_\theta(z|x_i)}\frac{q_\phi(z|x_i)}{q_\phi(z|x_i)}]$ 를 나누어서 써주면,

$=E_z[log{p_\theta(x_i|z)}]-E_z[log\frac{q_\phi(z|x_i)}{p_\theta(z)}]+E_z[log\frac{q_\phi(z|x_i)}{p_\theta(z|x_i)}]$

이를 KL divergence 정의($D_{KL}(p||q)=\sum p (x)log\frac{p(x)}{q(x)})$로 표현하면

$=E_z[log{p_\theta(x_i|z)}]-D_{KL}(q_\phi(z|x_i)||p_\theta(z) ) + D_{KL}(q_\phi(z|x_i)||p_\theta(z|x_i))$ 인데,

마지막 항에서 $p_\theta(z|x_i)$은 구할 수 없지만 KL divergence 이기 때문에 0 이상임을 알 수 있고,

앞의 두 항을 최대화하면, 원래 구하고자 했던 $log p_{\theta}(x)$는 최소 그 두 항 이상이므로 (세번째 항이 무조건 0이상이므로) $log p_{\theta}(x)$를 최대화하는 것과 같게 된다. 이 두 항을 Evidence Lower Bound(ELB)라고 부른다.