Transformer란?

배경

• sequence to sequence learning이 성행하던 시기
• RNN을 대체하기 위해 나타난 의미
• RNN + attention mechanism

 

1. Scaled Dot-Product Attention

Attention은 Q, K, V 사용

V는 multiple Item, V-> V'로 바꿔주는 수식