목록Transformer Decoder (1)

DH. AI

[딥러닝] 트랜스포머(Transformer) Position-wise FFNN, Residual connection & Layer Normalization, 디코더

8. 포지션-와이즈 피드 포워드 신경망(Position-wise FFNN) 포지션 와이즈 FFNN은 인코더와 디코더에서 공통적으로 가지고 있는 서브층입니다. 포지션-와이즈 FFNN는 쉽게 말하면 완전 연결 FFNN(Fully-connected FFNN)이라고 해석할 수 있습니다. 아래는 포지션 와이즈 FFNN의 수식을 보여줍니다. 식을 그림으로 표현하면 아래와 같습니다. 여기서 x는 앞서 멀티 헤드 어텐션의 결과로 나온 (seq_len, d_model)의 크기를 가지는 행렬을 말합니다. 가중치 행렬 W1은 (d_model, d_ff)의 크기를 가지고, 가중치 행렬 W2은 (d_ff, d_model)의 크기를 가집니다. (논문에서 d_ff : 2048) 여기서 매개변수 W1, b1, W2, b2는 하나의 ..
[딥러닝]/[Transformer] 2022. 8. 7. 19:38
이전 Prev 1 Next 다음