Transformer란?전공 이론 공부/자연어처리2024. 7. 13. 15:51
Table of Contents
배경
- sequence to sequence learning이 성행하던 시기
- RNN을 대체하기 위해 나타난 의미
- RNN + attention mechanism
1. Scaled Dot-Product Attention
Attention은 Q, K, V 사용
V는 multiple Item, V-> V'로 바꿔주는 수식
반응형
'전공 이론 공부 > 자연어처리' 카테고리의 다른 글
| Attention(어텐션) 이란? (0) | 2024.07.13 |
|---|---|
| Sequence to Sequence (0) | 2024.07.12 |
| 임베딩(Embedding)이란? (0) | 2024.07.09 |
| Transformer v.s. RNN (0) | 2024.07.09 |
| 텐서 조작 방법 (Tensor Operations) (0) | 2024.07.03 |
@쿠몬e :: ˚˛˚ * December☃ 。* 。˛˚
전공 공부 기록 📘
포스팅이 좋았다면 "좋아요❤️" 또는 "구독👍🏻" 해주세요!
