Token-Shuffle: Op weg naar beeldgeneratie met hoge resolutie met autoregressieve modellen

Token-Shuffle: Towards High-Resolution Image Generation with Autoregressive Models

April 24, 2025

Auteurs: Xu Ma, Peize Sun, Haoyu Ma, Hao Tang, Chih-Yao Ma, Jialiang Wang, Kunpeng Li, Xiaoliang Dai, Yujun Shi, Xuan Ju, Yushi Hu, Artsiom Sanakoyeu, Felix Juefei-Xu, Ji Hou, Junjiao Tian, Tao Xu, Tingbo Hou, Yen-Cheng Liu, Zecheng He, Zijian He, Matt Feiszli, Peizhao Zhang, Peter Vajda, Sam Tsai, Yun Fu

cs.AI

Samenvatting

Autoregressieve (AR) modellen, lang dominant in taalgeneratie, worden steeds vaker toegepast op beeldgeneratie, maar worden vaak als minder concurrerend beschouwd dan op diffusie gebaseerde modellen. Een primaire beperking is het aanzienlijke aantal beeldtokens dat AR-modellen vereisen, wat zowel de trainings- als inferentie-efficiëntie beperkt, evenals de beeldresolutie. Om dit aan te pakken, presenteren we Token-Shuffle, een nieuwe maar eenvoudige methode die het aantal beeldtokens in Transformers reduceert. Onze belangrijkste inzicht is de dimensionale redundantie van visuele vocabulaire in Multimodale Grote Taalmodellen (MLLMs), waarbij laagdimensionale visuele codes van de visuele encoder direct worden toegewezen aan hoogdimensionale taalvocabulaire. Hierop voortbouwend, beschouwen we twee belangrijke operaties: token-shuffle, die ruimtelijk lokale tokens langs het kanaaldimensie samenvoegt om het aantal invoertokens te verminderen, en token-unshuffle, die de afgeleide tokens na Transformer-blokken ontwart om de ruimtelijke rangschikking voor de uitvoer te herstellen. Gezamenlijk getraind met tekstuele prompts, vereist onze strategie geen aanvullende voorgetrainde tekstencoder en stelt het MLLMs in staat om extreem hoogwaardige beeldgeneratie te ondersteunen op een uniforme manier van volgende-token-voorspelling, terwijl efficiënte training en inferentie behouden blijven. Voor het eerst verleggen we de grenzen van AR tekst-naar-beeldgeneratie naar een resolutie van 2048x2048 met bevredigende generatieprestaties. In de GenAI-benchmark behaalt ons 2.7B-model een overall score van 0.77 op moeilijke prompts, wat AR-modellen LlamaGen met 0.18 en diffusiemodellen LDM met 0.15 overtreft. Uitgebreide grootschalige menselijke evaluaties tonen ook onze prominente beeldgeneratiecapaciteit aan in termen van tekstuitlijning, visuele gebreken en visuele verschijning. We hopen dat Token-Shuffle kan dienen als een fundamenteel ontwerp voor efficiënte hoogwaardige beeldgeneratie binnen MLLMs.

English

Autoregressive (AR) models, long dominant in language generation, are increasingly applied to image synthesis but are often considered less competitive than Diffusion-based models. A primary limitation is the substantial number of image tokens required for AR models, which constrains both training and inference efficiency, as well as image resolution. To address this, we present Token-Shuffle, a novel yet simple method that reduces the number of image tokens in Transformer. Our key insight is the dimensional redundancy of visual vocabularies in Multimodal Large Language Models (MLLMs), where low-dimensional visual codes from visual encoder are directly mapped to high-dimensional language vocabularies. Leveraging this, we consider two key operations: token-shuffle, which merges spatially local tokens along channel dimension to decrease the input token number, and token-unshuffle, which untangles the inferred tokens after Transformer blocks to restore the spatial arrangement for output. Jointly training with textual prompts, our strategy requires no additional pretrained text-encoder and enables MLLMs to support extremely high-resolution image synthesis in a unified next-token prediction way while maintaining efficient training and inference. For the first time, we push the boundary of AR text-to-image generation to a resolution of 2048x2048 with gratifying generation performance. In GenAI-benchmark, our 2.7B model achieves 0.77 overall score on hard prompts, outperforming AR models LlamaGen by 0.18 and diffusion models LDM by 0.15. Exhaustive large-scale human evaluations also demonstrate our prominent image generation ability in terms of text-alignment, visual flaw, and visual appearance. We hope that Token-Shuffle can serve as a foundational design for efficient high-resolution image generation within MLLMs.