HART: Efficiënte Visuele Generatie met Hybride Autoregressieve Transformer

HART: Efficient Visual Generation with Hybrid Autoregressive Transformer

October 14, 2024

Auteurs: Haotian Tang, Yecheng Wu, Shang Yang, Enze Xie, Junsong Chen, Junyu Chen, Zhuoyang Zhang, Han Cai, Yao Lu, Song Han

cs.AI

Samenvatting

We introduceren de Hybride Autoregressive Transformer (HART), een autoregressief (AR) visueel generatiemodel dat in staat is om direct 1024x1024 afbeeldingen te genereren, waarbij het de diffusiemodellen evenaart in de kwaliteit van beeldgeneratie. Bestaande AR-modellen worden geconfronteerd met beperkingen als gevolg van de slechte beeldreconstructiekwaliteit van hun discrete tokenizers en de hoge trainingskosten die gepaard gaan met het genereren van 1024px afbeeldingen. Om deze uitdagingen aan te pakken, presenteren we de hybride tokenizer, die de continue latente variabelen van de auto-encoder opsplitst in twee componenten: discrete tokens die het grote geheel vertegenwoordigen en continue tokens die de resterende componenten vertegenwoordigen die niet door de discrete tokens kunnen worden weergegeven. De discrete component wordt gemodelleerd door een schaalbaar-resolutie discrete AR-model, terwijl de continue component wordt geleerd met een lichtgewicht rest-diffusiemodule met slechts 37M parameters. In vergelijking met de alleen-discrete VAR-tokenizer verbetert onze hybride aanpak de reconstructie FID van 2.11 naar 0.30 op MJHQ-30K, wat leidt tot een 31% verbetering van de generatie FID van 7.85 naar 5.38. HART presteert ook beter dan state-of-the-art diffusiemodellen op zowel FID als CLIP-score, met 4.5-7.7x hogere doorvoer en 6.9-13.4x lagere MACs. Onze code is open source beschikbaar op https://github.com/mit-han-lab/hart.

English

We introduce Hybrid Autoregressive Transformer (HART), an autoregressive (AR) visual generation model capable of directly generating 1024x1024 images, rivaling diffusion models in image generation quality. Existing AR models face limitations due to the poor image reconstruction quality of their discrete tokenizers and the prohibitive training costs associated with generating 1024px images. To address these challenges, we present the hybrid tokenizer, which decomposes the continuous latents from the autoencoder into two components: discrete tokens representing the big picture and continuous tokens representing the residual components that cannot be represented by the discrete tokens. The discrete component is modeled by a scalable-resolution discrete AR model, while the continuous component is learned with a lightweight residual diffusion module with only 37M parameters. Compared with the discrete-only VAR tokenizer, our hybrid approach improves reconstruction FID from 2.11 to 0.30 on MJHQ-30K, leading to a 31% generation FID improvement from 7.85 to 5.38. HART also outperforms state-of-the-art diffusion models in both FID and CLIP score, with 4.5-7.7x higher throughput and 6.9-13.4x lower MACs. Our code is open sourced at https://github.com/mit-han-lab/hart.