[논문읽기] Exploiting Spatial Dimensions of Latent in GAN for Real-time Image Editing - StyleMapGAN

CVPR 2021 발표

Generative model을 공부하다가 Naver AI Lab에서 발표한 StyleMapGAN을 발견하게 되었다. Local editing을 가능하게 한다고 하여 흥미를 가지고 읽어보게 되었다.

 

본 논문에서는 latent code를 사용하여 실시간 이미지 편집을 가능하게 했다고 한다. 즉, 일반적인 벡터 기반의 latent code가 아닌 공간 정보를 가지고 있는 tensor 기반의 latent code를 사용하였다. 이렇게 latent code에 공간적인 정보를 추가함으로써 이미지 편집에 용이함을 주었다.

먼저 Inference 과정을 보면 소스 이미지와 타겟 이미지를 encoder를 통해서 w라는 latent code로 변환 시킨다. 이러한 latent code에는 공간적인 차원을 포함하고 있기 때문에 편집하기를 원하는 부분에 mask를 씌워서 편집된 latent code를 생성할 수 있는 것이다. 이렇게 편집된 latent code를 Generator model에 넣어 원하는 부분만 편집된 새로운 이미지를 생성할 수 있는 것이다. 

 

위 그림에서 볼 수 있는 것 처럼, 본 논문에서 제안하는 시스템에서는 총 4개의 모델을 사용한다. F는 Mapping network, G는 Synthesis network, E는 encoder, D는 discriminator이다. F와 G를 합쳐서 generator라고도 할 수 있다. 

 

References

https://github.com/naver-ai/StyleMapGAN

GitHub - naver-ai/StyleMapGAN