Willekeurige Autoregressieve Visuele Generatie

Randomized Autoregressive Visual Generation

November 1, 2024

Auteurs: Qihang Yu, Ju He, Xueqing Deng, Xiaohui Shen, Liang-Chieh Chen

cs.AI

Samenvatting

Dit artikel presenteert Randomized AutoRegressive modellering (RAR) voor visuele generatie, dat een nieuwe state-of-the-art prestatie neerzet op de beeldgeneratietaak, terwijl het volledig compatibel blijft met taalmodelleringskaders. De voorgestelde RAR is eenvoudig: tijdens een standaard autoregressief trainingsproces met een volgende-token voorspellingsdoel, wordt de invoersequentie - typisch geordend in rasterformaat - willekeurig gepermuteerd in verschillende factorisatievolgordes met een kans r, waarbij r begint bij 1 en lineair afneemt tot 0 gedurende de training. Deze gloeiproces-trainingsstrategie stelt het model in staat om te leren om de verwachte waarschijnlijkheid te maximaliseren over alle factorisatievolgordes en zo effectief de capaciteit van het model om bidirectionele contexten te modelleren te verbeteren. Belangrijk is dat RAR de integriteit van het autoregressieve modelleringskader behoudt, wat zorgt voor volledige compatibiliteit met taalmodellering en aanzienlijke prestatieverbeteringen in beeldgeneratie. Op de ImageNet-256 benchmark behaalt RAR een FID-score van 1.48, waarbij niet alleen eerdere state-of-the-art autoregressieve beeldgeneratoren worden overtroffen, maar ook toonaangevende op diffusie gebaseerde en op gemaskeerde transformer gebaseerde methoden worden overtroffen. Code en modellen zullen beschikbaar worden gesteld op https://github.com/bytedance/1d-tokenizer

English

This paper presents Randomized AutoRegressive modeling (RAR) for visual generation, which sets a new state-of-the-art performance on the image generation task while maintaining full compatibility with language modeling frameworks. The proposed RAR is simple: during a standard autoregressive training process with a next-token prediction objective, the input sequence-typically ordered in raster form-is randomly permuted into different factorization orders with a probability r, where r starts at 1 and linearly decays to 0 over the course of training. This annealing training strategy enables the model to learn to maximize the expected likelihood over all factorization orders and thus effectively improve the model's capability of modeling bidirectional contexts. Importantly, RAR preserves the integrity of the autoregressive modeling framework, ensuring full compatibility with language modeling while significantly improving performance in image generation. On the ImageNet-256 benchmark, RAR achieves an FID score of 1.48, not only surpassing prior state-of-the-art autoregressive image generators but also outperforming leading diffusion-based and masked transformer-based methods. Code and models will be made available at https://github.com/bytedance/1d-tokenizer