1.1 인코더-디코더 프레임워크

RNN

• RNN 부연설명
• 장기의존성 문제: 입력과 출력 사이의 거리가 멀어질수록 연관 관계가 적어지는 문제

LSTM

• RNN의 고질적인 기울기 소실 문제 ing

Seq2Seq (인코더 & 디코더)

• 하나의 고정된 크기의 벡터에 모든 정보를 압축하려고 하니까 정보 손실 발생

The Unreasonable Effectiveness of Recurrent Neural Networks

1.2 어텐션 매커니즘

• 어텐션 매커니즘 아이디어
  • 인코더에서의 전체 입력 문장을 다시 한 번 참고함
  • 단, 동일한 비율x, 해당 시점에서 예측해야할 단어와 연관이 있는 입력 단어 부분을 좀 더 집중(attention)해서 보게 됨.
• 순환 X → 셀프 어텐션 매커니즘
  • 인코더, 디코더 각각에 셀프 어텐션 매커니즘을 도입함.

1.3 NLP의 전이 학습(Transfer Learning)

• 전통적인 지도학습은 각 도메인마다 별도의 모델을 학습시킴

• 전이학습은 한 도메인에서 학습된 모델의 일부를 다른 도메인에서 재사용하여 정확도가 훨씬 더 높음

• ULMFiT(Universal Language Model Fine-tuning)

  전이 학습을 사용하여 NLP 작업에서 높은 성능을 달성하기 위한 방법론

  1) 사전 훈련

  위키피디아 같은 소스에 있는 풍부한 텍스트를 활용하여 언어의 일반적인 패턴을 학습

  2) 도메인 적응

  대규모 말 뭉치 → 도메인 내 말뭉치 (ex)영화 리뷰)

  3) 미세튜닝

  모델을 최종적으로 실제 작업에 맞게 조정하는 단계 (ex)영화 리뷰 감성 분류하기)