1. forward, backward 는 k번째 토큰을 k 전의 토큰으로 예측 k 뒤의 토큰으로 예측 → rnn에서 hidden state forward, backward hidden 가져오면 됨. 어차피 time-step으로

  2. padding : 0, unk : 1

  3. eos, sos는 추가하는게 맞겠다

  4. rnn을 for문 돌려서 넣을 필요 없이 바로 넣으면 된다. squeeze같은건 rnn 안에 넣자(src는 어차피 안씀)

  5. cnn에서 fc를 빼니 마니?

  6. gpu에서 나온 텐서를 쓰려면 스칼라로 만들어줘야함 epoch_loss += loss.item() : 안하면 epoch_loss에 gpu 할당

  7. max_len 긴게 너무 많아서 max 로 안구하고 직접 지정해주는게 나을듯

  8. sent tokenize

  9. init hidden 은 RNN에서 hidden을 안주면 0을 주기 때문에 for문을 쓸 것이 아니면 신경안써도 된다