목록seq2seq (1)

DH. AI

[딥러닝] 어텐션 메커니즘 (Attention Mechanism)

- 어텐션 메커니즘의 이해는 Transformer 모델을 이해를 위해 필수입니다. 1. 이전 방식(seq2seq)의 문제점과, 어텐션(Attention)의 아이디어 첫번째, 하나의 소정된 크기에 벡터의 모든 정보를 압축하기 때문에 정보 소실이 발생함.두번째, RNN의 문제인 기울기 소실(vanishing gradient) 문제가 있음. 어텐션의 기본 아이디어는 디코더에서 출력 단어를 예측하는 매 시점(time step)마다, 인코더에서의 전체 입력 문장을 다시 한 번 참고한다는 점입니다. 단, 전체 입력 문장을 전부 다 동일한 비율로 참고하는 것이 아니라, 해당 시점에서 예측해야할 단어와 연관이 있는 입력 단어 부분을 좀 더 집중(attention)해서 보게 됩니다. 2. 어텐션 함수(Attention ..
[딥러닝]/[Transformer] 2022. 8. 6. 22:47
이전 Prev 1 Next 다음