Génération visuelle autoregressive randomisée

Randomized Autoregressive Visual Generation

November 1, 2024

Auteurs: Qihang Yu, Ju He, Xueqing Deng, Xiaohui Shen, Liang-Chieh Chen

cs.AI

Résumé

Cet article présente la modélisation auto-régressive randomisée (RAR) pour la génération visuelle, qui établit une nouvelle performance de pointe dans la tâche de génération d'images tout en maintenant une compatibilité totale avec les cadres de modélisation de langage. Le RAR proposé est simple : pendant un processus d'entraînement auto-régressif standard avec un objectif de prédiction du prochain jeton, la séquence d'entrée - généralement ordonnée sous forme de raster - est aléatoirement permutée dans différents ordres de factorisation avec une probabilité r, où r commence à 1 et décroît linéairement jusqu'à 0 au cours de l'entraînement. Cette stratégie d'entraînement par recuit permet au modèle d'apprendre à maximiser la probabilité attendue sur tous les ordres de factorisation et ainsi d'améliorer efficacement la capacité du modèle à modéliser les contextes bidirectionnels. Importamment, le RAR préserve l'intégrité du cadre de modélisation auto-régressive, garantissant une compatibilité totale avec la modélisation de langage tout en améliorant significativement les performances en génération d'images. Sur le banc d'essai ImageNet-256, le RAR atteint un score FID de 1,48, dépassant non seulement les générateurs d'images auto-régressifs de pointe précédents, mais surpassant également les méthodes basées sur la diffusion et les transformateurs masqués. Le code et les modèles seront disponibles sur https://github.com/bytedance/1d-tokenizer

English

This paper presents Randomized AutoRegressive modeling (RAR) for visual generation, which sets a new state-of-the-art performance on the image generation task while maintaining full compatibility with language modeling frameworks. The proposed RAR is simple: during a standard autoregressive training process with a next-token prediction objective, the input sequence-typically ordered in raster form-is randomly permuted into different factorization orders with a probability r, where r starts at 1 and linearly decays to 0 over the course of training. This annealing training strategy enables the model to learn to maximize the expected likelihood over all factorization orders and thus effectively improve the model's capability of modeling bidirectional contexts. Importantly, RAR preserves the integrity of the autoregressive modeling framework, ensuring full compatibility with language modeling while significantly improving performance in image generation. On the ImageNet-256 benchmark, RAR achieves an FID score of 1.48, not only surpassing prior state-of-the-art autoregressive image generators but also outperforming leading diffusion-based and masked transformer-based methods. Code and models will be made available at https://github.com/bytedance/1d-tokenizer