3-4 트랜스포머에 적용된 기술들

1. 트랜스포머 블록

a. FeedForward: 피드포워드 뉴럴네트워크

• MHA → output 벡터 시퀀스 > 개별 출력 벡터

                                                    → input 벡터 → FeedForward NN
  

• 피드포워드 뉴럴네트워크

• 뉴런과 뉴런 사이의 계산 과정

• 트랜스포머에서 사용하는 FeedForward NN의 활성함수: ReLU

  f(x) = max(0, x)

  

• FeedForward NN 학습

  가중치, 바이어스 → 태스크를 가장 잘 수행하는 방향으로 업데이트

• 트랜스포머에서// 은닉층의 뉴런 개수(차원 수) = 입력층의 4배

b. Add: 잔차 연결

• 블록이나 레이어 계산을 건너뛰는 경로를 하나 두는 것
• F(x) + x

• 장점: 다양한 관점에서 블록 계산 수행이 가능함(새로운 경로) , 쉽게 학습