Zufällige autoregressive visuelle Generierung

Randomized Autoregressive Visual Generation

November 1, 2024

Autoren: Qihang Yu, Ju He, Xueqing Deng, Xiaohui Shen, Liang-Chieh Chen

cs.AI

Zusammenfassung

Dieses Paper präsentiert Randomized AutoRegressive Modeling (RAR) für die visuelle Generierung, das eine neue state-of-the-art Leistung bei der Bildgenerierung erzielt, während es vollständig kompatibel mit Sprachmodellierungs-Frameworks bleibt. Das vorgeschlagene RAR ist einfach: Während eines Standard-Autoregressions-Trainingsprozesses mit einem Ziel der Vorhersage des nächsten Tokens wird die Eingabesequenz - typischerweise in Rasterform geordnet - mit einer Wahrscheinlichkeit r zufällig in verschiedene Faktorisierungsreihenfolgen umgeordnet, wobei r bei 1 beginnt und linear auf 0 abnimmt im Laufe des Trainings. Diese Trainingsstrategie des Abkühlens ermöglicht es dem Modell, zu lernen, die erwartete Wahrscheinlichkeit über alle Faktorisierungsreihenfolgen hinweg zu maximieren und somit die Fähigkeit des Modells zur Modellierung bidirektionaler Kontexte effektiv zu verbessern. Wichtig ist, dass RAR die Integrität des autoregressiven Modellierungs-Frameworks bewahrt, was die volle Kompatibilität mit Sprachmodellierung gewährleistet, während die Leistung bei der Bildgenerierung signifikant verbessert wird. Auf dem ImageNet-256 Benchmark erreicht RAR einen FID-Score von 1,48, der nicht nur die bisherige state-of-the-art autoregressive Bildgeneratoren übertrifft, sondern auch führende auf Diffusion basierende und maskierte Transformer-basierte Methoden übertrifft. Der Code und die Modelle werden unter https://github.com/bytedance/1d-tokenizer verfügbar gemacht.

English

This paper presents Randomized AutoRegressive modeling (RAR) for visual generation, which sets a new state-of-the-art performance on the image generation task while maintaining full compatibility with language modeling frameworks. The proposed RAR is simple: during a standard autoregressive training process with a next-token prediction objective, the input sequence-typically ordered in raster form-is randomly permuted into different factorization orders with a probability r, where r starts at 1 and linearly decays to 0 over the course of training. This annealing training strategy enables the model to learn to maximize the expected likelihood over all factorization orders and thus effectively improve the model's capability of modeling bidirectional contexts. Importantly, RAR preserves the integrity of the autoregressive modeling framework, ensuring full compatibility with language modeling while significantly improving performance in image generation. On the ImageNet-256 benchmark, RAR achieves an FID score of 1.48, not only surpassing prior state-of-the-art autoregressive image generators but also outperforming leading diffusion-based and masked transformer-based methods. Code and models will be made available at https://github.com/bytedance/1d-tokenizer