수요조 식순
- 근황(~10분)
- Dataset, DataLoader
- torchtext
- 구현 디테일 어떻게 할지 논의 타임
논의 내용/새로 알게된 점
- 사용자 Dataset을 정의할 때 굳이 Dataset을 상속 안해도 된다
- DataLoader에서 collate_fn에서 padding을 주는 것이 메모리 효율적이다
- .clone().detach() : detach 꼭 해줘야함
- inplace 연산자 : copy_
- 옛날 구현된 Dropout과 요즘 Dropout의 차이 : 옛날 Dropout은 inference단계에서 안 꺼진 것들을 0.5 해주는 작업을 했는데 요즘은 반대로 Train단계에서 안 꺼진 것들을 2배 해준다
- 논문의 weight decay는 우리가 아는 weight decay가 아닌 adadelta의 rho를 의미한다
- sotmaxloss vs NLLLoss : 웬만하면 이진분류에서도 SoftmaxLoss를 쓰는게 낫다