| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | ||||
| 4 | 5 | 6 | 7 | 8 | 9 | 10 |
| 11 | 12 | 13 | 14 | 15 | 16 | 17 |
| 18 | 19 | 20 | 21 | 22 | 23 | 24 |
| 25 | 26 | 27 | 28 | 29 | 30 | 31 |
- 트랜스포머
- 주간학습정리
- 네이버 ai 부스트캠프
- VAE 설명
- boostcamp
- 어텐션
- 네이버 부스트캠프
- 부스트캠프
- pytorch
- 네이버 부스트캠프 AI Tech
- 네이버 부스트캠프 코딩테스트 후기
- Auto-Encoding Variational Bayes
- AI Math
- Positional Encoding
- Transformer 디코더
- 네이버 부스트캠프 KDT 전형
- Transformer 모델
- 트랜스포머 모델
- VAE 논문 리뷰 #
- 셀프 어텐션
- transformer
- VAE
- 어텐션 행렬
- 포지셔널 인코딩
- Transformer Decoder
- 트랜스포머 행렬
- 네이버 부스트캠프 AI Tech 6기
- seq2seq
- Transformer model
- self-attention
- Today
- Total
목록어텐션 (2)
DH. AI
[딥러닝] 트랜스포머(Transformer) 어텐션, 인코더, 셀프 어텐션
* 트랜스포머가 처음이라면 이 글을 보기전에 이 링크를 클릭하세요. [딥러닝] 트랜스포머(Transformer) 하이퍼파라미터, 인코더와 디코더, 포지셔널 인코딩 "Attention is all you need"에서 나온 모델로 기존의 seq2seq의 구조인 인코더-디코더를 따르면서도, 논문의 이름처럼 어텐션(Attention)만으로 구현한 모델입니다. 이 모델은 RNN을 사용하지 않고, 인코더- dohwai-ai.tistory.com 5. 어텐션(Attention) 첫번째 그림인 셀프 어텐션은 인코더에서 이루어지지만, 두번째 그림인 Masked 셀프 어텐션과 세번째 그림인 인코더-디코더 어텐션은 디코더에서 이루어집니다. 셀프 어텐션은 본질적으로 Query, Key, Value가 동일한 경우를 말합니다...
[딥러닝] 어텐션 메커니즘 (Attention Mechanism)
- 어텐션 메커니즘의 이해는 Transformer 모델을 이해를 위해 필수입니다. 1. 이전 방식(seq2seq)의 문제점과, 어텐션(Attention)의 아이디어 첫번째, 하나의 소정된 크기에 벡터의 모든 정보를 압축하기 때문에 정보 소실이 발생함.두번째, RNN의 문제인 기울기 소실(vanishing gradient) 문제가 있음. 어텐션의 기본 아이디어는 디코더에서 출력 단어를 예측하는 매 시점(time step)마다, 인코더에서의 전체 입력 문장을 다시 한 번 참고한다는 점입니다. 단, 전체 입력 문장을 전부 다 동일한 비율로 참고하는 것이 아니라, 해당 시점에서 예측해야할 단어와 연관이 있는 입력 단어 부분을 좀 더 집중(attention)해서 보게 됩니다. 2. 어텐션 함수(Attention ..