Preliminaries

• Restricted Boltzman Machine
  • https://angeloyeo.github.io/2020/10/02/RBM.html
• Parzen density estimation
  • = kernel density estimation
  • https://process-mining.tistory.com/95
• Deep Belief Network / Deep Boltzmann Machine

  • http://www.cs.toronto.edu/~fritz/absps/dbm.pdf

    

  • https://stats.stackexchange.com/questions/95428/deep-belief-networks-or-deep-boltzmann-machines

  • direction이 있냐 없냐 차이

  • DBN은 stacked RBM. DBM은 오히려 random markov 에 가깝다는데 무슨 말인지 모르겠음

Adversarial Nets

two-player minimax game

generator는 매 step 마다 학습하고 discriminator는 k개의 step마다 학습했다.

$log(1-D(G(z)))$를 최소화 하는 것보다 $logD(G(z))$ 최대화하는 것이 학습 초기에 유리하여 그렇게 진행했다.

Theoritical results

generator $G$는 확률 분포 $p_g$를 implicit하게 $z \sim p(z)$를 따를 때, sample에 대한 분포인 $G(z)$로 정의한다. 우리는 위 알고리즘에서 $p_{data}$를 잘 근사했으면 좋겠다. 이를 non-parametric 모델을 가정했을 때 1) minimax 게임이 글로벌 최적인 $p_g = p_{data}$로 수렴하고 2) 위 알고리즘이 Equation 1을 최적화하는 것을 보일 것이다.

https://wegonnamakeit.tistory.com/54

Global Optimality of $p_g = p_{data}$

Experiments