Infinito: Scalare la Modellazione AutoRegressiva Bitwise per la Sintesi di Immagini ad Alta Risoluzione

Infinity: Scaling Bitwise AutoRegressive Modeling for High-Resolution Image Synthesis

December 5, 2024

Autori: Jian Han, Jinlai Liu, Yi Jiang, Bin Yan, Yuqi Zhang, Zehuan Yuan, Bingyue Peng, Xiaobing Liu

cs.AI

Abstract

Presentiamo Infinity, un Modello AutoRegressivo Visivo a Livello Bit in grado di generare immagini ad alta risoluzione e fotorealistiche seguendo istruzioni linguistiche. Infinity ridefinisce il modello auto-regressivo visivo in un framework di previsione di token a livello bit con un tokenizzatore e classificatore a vocabolario infinito e un meccanismo di auto-correzione a livello bit, migliorando notevolmente la capacità generativa e i dettagli. Scalando teoricamente la dimensione del vocabolario del tokenizzatore all'infinito e contemporaneamente scalando la dimensione del trasformatore, il nostro metodo libera significativamente potenti capacità di scalabilità rispetto al VAR standard. Infinity stabilisce un nuovo record per i modelli testo-immagine auto-regressivi, superando modelli di diffusione di alto livello come SD3-Medium e SDXL. In particolare, Infinity supera SD3-Medium migliorando il punteggio del benchmark GenEval da 0,62 a 0,73 e il punteggio del benchmark ImageReward da 0,87 a 0,96, raggiungendo un tasso di vittoria del 66%. Senza ottimizzazioni aggiuntive, Infinity genera un'immagine di alta qualità di 1024x1024 in 0,8 secondi, diventando 2,6 volte più veloce di SD3-Medium e confermandosi come il modello testo-immagine più veloce. I modelli e i codici saranno rilasciati per promuovere ulteriori esplorazioni di Infinity per la generazione visiva e la modellazione del tokenizzatore unificato.

English

We present Infinity, a Bitwise Visual AutoRegressive Modeling capable of generating high-resolution, photorealistic images following language instruction. Infinity redefines visual autoregressive model under a bitwise token prediction framework with an infinite-vocabulary tokenizer & classifier and bitwise self-correction mechanism, remarkably improving the generation capacity and details. By theoretically scaling the tokenizer vocabulary size to infinity and concurrently scaling the transformer size, our method significantly unleashes powerful scaling capabilities compared to vanilla VAR. Infinity sets a new record for autoregressive text-to-image models, outperforming top-tier diffusion models like SD3-Medium and SDXL. Notably, Infinity surpasses SD3-Medium by improving the GenEval benchmark score from 0.62 to 0.73 and the ImageReward benchmark score from 0.87 to 0.96, achieving a win rate of 66%. Without extra optimization, Infinity generates a high-quality 1024x1024 image in 0.8 seconds, making it 2.6x faster than SD3-Medium and establishing it as the fastest text-to-image model. Models and codes will be released to promote further exploration of Infinity for visual generation and unified tokenizer modeling.