paper : https://arxiv.org/pdf/1211.4246.pdf

참고자료 : https://www.youtube.com/watch?v=o_peo6U7IRM

Preliminaries

• Manifold learning
  • 고차원의 데이터는 밀도는 낮지만, 이들의 집합을 포함하는 저차원의 manifold가 있을 것이고, 이를 찾으려고 하는게 manifold learning!

• AutoEncoder
• Denoising AutoEncoder
  • Auto-Encoder에서 input x에 noise를 추가하고 encoder, decoder를 거친 r(x)가 noise를 추가하기 전인 x를 reconstruct 할 수 있게 하는 것.
• Contractive Auto-Encoder
  • Denoising AutoEncoder에서 x에 noise를 추가했을 때, manifold 상에서 같은 곳을 바라볼 수 있도록 제약을 loss에 추가한 것.
• score
  • log 확률밀도함수를 $x$로 미분한것
  • $score=\delta_xlogp(x)$

Questions

reconstruction error ( $x - g(f(x))$ )

(1) input density를 학습할 때 학습의 기준은 뭘까?

(2) 알고리즘은 모든 분포를 학습할까 아니면 일부를 학습할까?

(3) 만약 target density의 essence를 뽑는다고 한다면, 그 연결고리를 formalize할 수 있을까? 그리고 특정한 sample을 모델로 부터 뽑아낼 수 있을까?

Summary

• DAE와 CAE는 수식적으로 풀었더니 noise가 작아질 때 거의 같아지는 수식이다.
• regularized AE들로 학습된 분포에서 얻을 수 있는건 score다.

Details

Contractive and Denoising AutoEncoder

reconstruction