1. PPT 한 장 분량으로 논문 정리

2. 이해가 안 가는 부분, 이해가 안 가는 이유

• OOV 대응하는 부분 —> 랜덤 샘플링을 진행했다고 했으나 의미를 잘 이해하지 못하겠음

3. 재밌었던 부분

• Convolutional Layer를 NLP에 적용하려는 시도 —> filter가 local pattern에 대해 학습할 수 있기 때문에 성능을 낼 수 있었던 것으로 보임
• 때문에 이미지처럼 여러 차원으로 데이터를 구성해서 학습의 성능을 높일 수 있었다는 점
• embedding을 학습한 이후, fine tuning의 방식으로 원하는 과제 specific한 방식으로 변경 —> 향후 BERT, GPT 모델의 아이디어로 연장되는 것이 아닐까

4. 한계로 느껴지는 부분

• 너무도 당연하지만 embedding의 학습 성능에 크게 좌지우지될 것으로 보임
• embedding의 학습 데이터의 분야에 따라 언어 모델의 범용성이 결정될 것으로 보임

5. 논문 구현 시 주의해야할 것 같은 부분

• max-over-time-pooling 기능의 구현

6. 같이 얘기해봤으면 하는 부분

• input 단계에서 채널의 영향
• OOV를 처리하기 위한 방법

7. (페이퍼 리뷰 후에) 느낀점. 새로 알게 된 점