Stabiliseer de Latente Ruimte voor Beeld Autoregressieve Modellering: Een Verenigd Perspectief

Stabilize the Latent Space for Image Autoregressive Modeling: A Unified Perspective

October 16, 2024

Auteurs: Yongxin Zhu, Bocheng Li, Hang Zhang, Xin Li, Linli Xu, Lidong Bing

cs.AI

Samenvatting

Latentie-gebaseerde beeldgeneratiemodellen, zoals Latente Diffusiemodellen (LDM's) en Maskerbeeldmodellen (MIM's), hebben opmerkelijk succes behaald in beeldgeneratietaken. Deze modellen maken doorgaans gebruik van reconstructieve auto-encoders zoals VQGAN of VAE om pixels te encoderen naar een compacter latent ruimte en om de gegevensverdeling in de latent ruimte te leren in plaats van rechtstreeks van pixels. Echter, deze praktijk roept een relevante vraag op: Is dit werkelijk de optimale keuze? Als reactie hierop beginnen we met een intrigerende observatie: ondanks het delen van dezelfde latent ruimte, blijven autoregressieve modellen aanzienlijk achter bij LDM's en MIM's in beeldgeneratie. Deze bevinding staat scherp in contrast met het veld van NLP, waar het autoregressieve model GPT een dominante positie heeft verworven. Om deze discrepantie aan te pakken, introduceren we een verenigd perspectief op de relatie tussen latent ruimte en generatieve modellen, waarbij de stabiliteit van de latent ruimte in beeldgeneratiemodellering wordt benadrukt. Bovendien stellen we een eenvoudige maar effectieve discrete beeld-tokenizer voor om de latent ruimte te stabiliseren voor beeldgeneratiemodellering. Experimentele resultaten tonen aan dat beeld-autoregressieve modellering met onze tokenizer (DiGIT) zowel de beeldbegrip als de beeldgeneratie ten goede komt met het principe van voorspelling van het volgende token, wat inherent eenvoudig is voor GPT-modellen maar uitdagend voor andere generatieve modellen. Opmerkelijk genoeg presteert voor het eerst een GPT-stijl autoregressief model voor beelden beter dan LDM's, wat ook aanzienlijke verbeteringen vertoont vergelijkbaar met GPT bij het vergroten van de modelgrootte. Onze bevindingen benadrukken het potentieel van een geoptimaliseerde latent ruimte en de integratie van discrete tokenisatie bij het bevorderen van de mogelijkheden van beeldgeneratiemodellen. De code is beschikbaar op https://github.com/DAMO-NLP-SG/DiGIT.

English

Latent-based image generative models, such as Latent Diffusion Models (LDMs) and Mask Image Models (MIMs), have achieved notable success in image generation tasks. These models typically leverage reconstructive autoencoders like VQGAN or VAE to encode pixels into a more compact latent space and learn the data distribution in the latent space instead of directly from pixels. However, this practice raises a pertinent question: Is it truly the optimal choice? In response, we begin with an intriguing observation: despite sharing the same latent space, autoregressive models significantly lag behind LDMs and MIMs in image generation. This finding contrasts sharply with the field of NLP, where the autoregressive model GPT has established a commanding presence. To address this discrepancy, we introduce a unified perspective on the relationship between latent space and generative models, emphasizing the stability of latent space in image generative modeling. Furthermore, we propose a simple but effective discrete image tokenizer to stabilize the latent space for image generative modeling. Experimental results show that image autoregressive modeling with our tokenizer (DiGIT) benefits both image understanding and image generation with the next token prediction principle, which is inherently straightforward for GPT models but challenging for other generative models. Remarkably, for the first time, a GPT-style autoregressive model for images outperforms LDMs, which also exhibits substantial improvement akin to GPT when scaling up model size. Our findings underscore the potential of an optimized latent space and the integration of discrete tokenization in advancing the capabilities of image generative models. The code is available at https://github.com/DAMO-NLP-SG/DiGIT.