3-1 미리 학습된 언어 모델

언어 모델

• 언어 모델: 언어 시퀀스에 확률을 부여하는 모델

• 언어 모델의 출력 = 결합 확률 (joint probability)

  P(w1, w2, … , wn) : n개 단어가 동시에 나타날 결합 확률

• '난폭' 다음에 '운전'이 나타날 조견부 확률 (conditional probability)

• 언어 모델을 조건부 확률 개념으로

전체 단어 시퀀스가 나타날 확률은 이전 단어들이 주어졌을 때 다음 단어가 등장할 확률의 연쇄와 같다 → 이전 단어들이 주어졌을 때, 다음 단어가 나타날 확률을 부여하는 모델

순방향 언어 모델 (forward LM)

• 문장 앞부터 뒤의 순서로 계산하는 모델
• GPT, ELMo, ...

역방향 언어 모델 (backward LM)

• 문장 뒤부터 앞으로 계산하는 모델
• ELMo (양방향)

넓은 의미의 언어 모델

P(w|context) = 컨텍스트가 전제된 상태에서 특정 단어(w)가 나타날 조건부 확률

• 마스크 언어 모델 (masked LM)
  • 학습 대상 문장에 빈칸을 만들어 놓고 해당 빈칸에 올 단어로 적절한 단어가 무엇일지 분류하는 과정으로 학습
  • BERT
  • 문장 전체의 맥락 참고 ← 양방향 성질
• Skip-gram LM
  • 단어 앞뒤에 특정 범위를 정해두고 이 범위 내에서 어떤 단어들이 올지 분류하는 과정으로 학습
  • context로 설정한 단어 주변에 어떤 단어들이 분포해 있는지를 학습
  • Word2Vec

언어 모델의 유용성