Eric R. Chan, Connor Z. Lin, Matthew A. Chan, Koki Nagano, Boxiao Pan, Shalini De Mello, Orazio Gallo, Leonidas Guibas, Jonathan Tremblay, Sameh Khamis, Tero Karras, and Gordon Wetzstein

CVPR 2022

Abstract

단일 뷰 2d 이미지들을 이용해 고품질의 multi-view-consistent images(멀티뷰의 일관된 이미지들)와 3d shape들을 비지도 방식으로 생성하는 것은 오랜 과제였다.

기존의 문제

• 3D GAN: 컴퓨팅 집약적이거나 3차원 일관성이 없는 근사치를 생성한다.
  • 컴퓨팅 집약적 : 생성된 이미지의 품질과 해상도를 제한한다.
  • 3차원 일관성이 없는 근사치 : 멀티뷰 일관성 및 shape 품질에 악영향

따라서 본 연구에서는 3D GAN에서 생성하는 근사치에 지나치게 의존하지 않고 3D GAN의 계산 효율과 이미지 품질을 개선한다.

다른 design choices와 함께, multi-view-consistent images를 실시간으로 합성할 뿐 아니라 고품질의 3D geometry를 생성하는 expressive hybrid explicit-implicit 네트워크 아키텍처를 제안한다.

feature 생성과 neural rendering을 분리해서, 우리의 프레임워크는 StyleGAN2와 같은 최신 2D CNN generator를 활용하고 그 효율성과 expressiveness(표현력)을 계승할 수 있습니다.

다양한 실험을 통해 FFHQ 및 AFHQ Cats를 사용한 최첨단 3D-aware synthesis를 시연한다.

Introduction

GAN은 이미지 생성에 좋은 성능을 낸다. 하지만 2D에 제한되고 3D scene은 명시적으로 모델링하지 않는다.

최근 3D-aware GANs에 대한 연구는

• multi-view-consistent image synthesis 문제를 해결하기 시작했으며,
• geometry나 multi-view image collection에 대한 감독 없이도 3D shape을 추출하는 문제도 해결하기 시작했다.
• 하지만 이미지 품질이나 해상도는 2D에 뒤쳐지고 3D 재구성 품질도 안좋다.