DH. AI

데이터 셋은 MNIST를 이용한다. 전체 코드 VAE 논문 리뷰 VAE의 Encoder x를 입력받아 간단한 Linear Layer를 거친 후 z, mu, logvar를 내보낸다. z는 Decoder에 들어갈 값이고, mu와 logvar는 Regularization term을 계산할 때 쓰인다. logvar : log(σ²) def reparameterization(mu, logvar): std = torch.exp(logvar/2) # logvar : log(σ²) eps = torch.randn_like(std) return mu + eps * std class Encoder(nn.Module): def __init__(self, x_dim=img_size**2, h_dim=hidden_dim, z_..

디퓨전을 공부하기전에 VAE를 제대로 공부해보고 싶어서 정리한 글입니다. Smart Design Lab 강남우 교수님의 강의를 보고 정리한 글입니다. + Boost Camp 강의도 조금 참고하였습니다. : 수정 1 2 3 VAE는 생성모델이다. Decoder부분을 만들어내기 위해서 Encoder부분이 필요하다. VAE 논문에서 중요한 Contribution은 두가지이다. 1. 역전파가 되지 않는 단순 Sampling을 Reparameterization Trick을 사용하여 역전파가 가능하게 하였다. 2. Variational lower bound를 사용하여 interactable한 posterior의 근사치를 최적화 한다. VAE 구조 VAE의 전체적인 구조를 보면, 인코더 부분에서 𝜇(평균)와, 𝜎(분..