GAN은 죽었다; GAN 만세! 현대적인 GAN 기준

The GAN is dead; long live the GAN! A Modern GAN Baseline

January 9, 2025

저자: Yiwen Huang, Aaron Gokaslan, Volodymyr Kuleshov, James Tompkin

cs.AI

초록

GANs를 훈련하기 어렵다는 주장이 널리 퍼져 있으며, 문헌에서 GAN 아키텍처는 경험적인 트릭으로 가득합니다. 우리는 이 주장에 반증을 제시하고 더 원칙적인 방식으로 현대적인 GAN 베이스라인을 구축합니다. 먼저, 우리는 모드 드롭과 수렴하지 않는 문제를 해결하는 잘 행동하는 정규화된 상대적 GAN 손실을 유도합니다. 이전에는 여러 트릭의 가방을 통해 해결되었던 문제입니다. 우리는 수학적으로 손실을 분석하고 대부분의 기존 상대적 손실과 달리 지역 수렴 보장을 받는다는 것을 증명합니다. 둘째, 새로운 손실을 통해 모든 임시 트릭을 버리고 공통 GAN에서 사용된 구식 백본을 현대적인 아키텍처로 대체할 수 있습니다. StyleGAN2를 예로 들어, 우리는 간소화와 현대화의 로드맵을 제시하여 새로운 미니멀리스트 베이스라인인 R3GAN을 만듭니다. 단순한 방법임에도 불구하고, 우리의 접근 방식은 FFHQ, ImageNet, CIFAR 및 Stacked MNIST 데이터셋에서 StyleGAN2를 능가하며, 최첨단 GAN 및 확산 모델과 유리한 비교를 제시합니다.

English

There is a widely-spread claim that GANs are difficult to train, and GAN architectures in the literature are littered with empirical tricks. We provide evidence against this claim and build a modern GAN baseline in a more principled manner. First, we derive a well-behaved regularized relativistic GAN loss that addresses issues of mode dropping and non-convergence that were previously tackled via a bag of ad-hoc tricks. We analyze our loss mathematically and prove that it admits local convergence guarantees, unlike most existing relativistic losses. Second, our new loss allows us to discard all ad-hoc tricks and replace outdated backbones used in common GANs with modern architectures. Using StyleGAN2 as an example, we present a roadmap of simplification and modernization that results in a new minimalist baseline -- R3GAN. Despite being simple, our approach surpasses StyleGAN2 on FFHQ, ImageNet, CIFAR, and Stacked MNIST datasets, and compares favorably against state-of-the-art GANs and diffusion models.