1. PPT 한 장 분량으로 자유롭게 논문 정리 뒤 이미지로 첨부

2. 이해가 안 가는 부분, 이해가 안 가는 이유

• static & non-static channel을 그냥 concat하는건지?

3. 재밌었던 부분

• static, non-static 레이어를 모두 사용한 것
  • static input embedding은 그대로 둠
  • non-static input embedding까지 학습을 함 (embedding weights를 업데이트함)
    • 이 경우에 훈련 후 word vector가 단어 의미를 더 잘 capture한다

4. 한계로 느껴지는 부분

• 클래식이다 보니, 지금보기엔 구성이 단순하다는 것
• glove등 다양한 wordvector 와 대조하여 비교하지 않은것

5. 논문 구현 시 주의해야할 것 같은 부분

• 논문에 명시되어있듯, OOV 단어의 initialization을 주의해야 할듯
  • 다른 단어들의 emb variation에서 벗어나지 않아야 잘 된다.
• static, nonstatic 레이어 구현시 nonstatic만 backprop 하기?

6. 같이 얘기해봤으면 하는 부분

• 모델이 단순하다는것 외에도, 요즘 모델인 transformer에 비해 구조적으로 갖게되는 한계가 무엇일까?

7. (페이퍼 리뷰 후에) 느낀점. 새로 알게 된 점