SimpleAR: Spingere le Frontiere della Generazione Visiva Autoregressiva attraverso Pretraining, SFT e RL

SimpleAR: Pushing the Frontier of Autoregressive Visual Generation through Pretraining, SFT, and RL

April 15, 2025

Autori: Junke Wang, Zhi Tian, Xun Wang, Xinyu Zhang, Weilin Huang, Zuxuan Wu, Yu-Gang Jiang

cs.AI

Abstract

Questo lavoro presenta SimpleAR, un framework di generazione visiva autoregressiva di base senza complesse modifiche architetturali. Attraverso un'attenta esplorazione dell'ottimizzazione del training e dell'inferenza, dimostriamo che: 1) con soli 0,5 miliardi di parametri, il nostro modello è in grado di generare immagini a risoluzione 1024x1024 con alta fedeltà e ottenere risultati competitivi su benchmark impegnativi di text-to-image, ad esempio 0,59 su GenEval e 79,66 su DPG; 2) sia il fine-tuning supervisionato (SFT) che l'addestramento con Group Relative Policy Optimization (GRPO) possono portare a miglioramenti significativi nell'estetica della generazione e nell'allineamento con il prompt; e 3) quando ottimizzato con tecniche di accelerazione dell'inferenza come vLLM, il tempo necessario a SimpleAR per generare un'immagine 1024x1024 può essere ridotto a circa 14 secondi. Condividendo questi risultati e rendendo open-source il codice, speriamo di rivelare il potenziale della generazione visiva autoregressiva e incoraggiare una maggiore partecipazione in questo campo di ricerca. Il codice è disponibile all'indirizzo https://github.com/wdrink/SimpleAR.

English

This work presents SimpleAR, a vanilla autoregressive visual generation framework without complex architecure modifications. Through careful exploration of training and inference optimization, we demonstrate that: 1) with only 0.5B parameters, our model can generate 1024x1024 resolution images with high fidelity, and achieve competitive results on challenging text-to-image benchmarks, e.g., 0.59 on GenEval and 79.66 on DPG; 2) both supervised fine-tuning (SFT) and Group Relative Policy Optimization (GRPO) training could lead to significant improvements on generation aesthectics and prompt alignment; and 3) when optimized with inference acceleraton techniques like vLLM, the time for SimpleAR to generate an 1024x1024 image could be reduced to around 14 seconds. By sharing these findings and open-sourcing the code, we hope to reveal the potential of autoregressive visual generation and encourage more participation in this research field. Code is available at https://github.com/wdrink/SimpleAR.