ZipAR: Accelerare la Generazione di Immagini Autoregressive attraverso la Località Spaziale

ZipAR: Accelerating Autoregressive Image Generation through Spatial Locality

December 5, 2024

Autori: Yefei He, Feng Chen, Yuanyu He, Shaoxuan He, Hong Zhou, Kaipeng Zhang, Bohan Zhuang

cs.AI

Abstract

In questo articolo, proponiamo ZipAR, un framework di decodifica parallela plug-and-play senza addestramento per accelerare la generazione visuale auto-regressiva (AR). La motivazione deriva dall'osservazione che le immagini mostrano strutture locali e regioni spazialmente distanti tendono ad avere interdipendenze minime. Dato un insieme parzialmente decodificato di token visivi, oltre allo schema originale di previsione del prossimo token nella dimensione delle righe, i token corrispondenti alle regioni spazialmente adiacenti nella dimensione delle colonne possono essere decodificati in parallelo, consentendo il paradigma della "previsione del prossimo insieme". Decodificando più token contemporaneamente in un singolo passaggio in avanti, il numero di passaggi in avanti necessari per generare un'immagine viene significativamente ridotto, portando a un notevole miglioramento dell'efficienza di generazione. Gli esperimenti dimostrano che ZipAR può ridurre il numero di passaggi in avanti del modello fino al 91% sul modello Emu3-Gen senza richiedere alcun ulteriore addestramento.

English

In this paper, we propose ZipAR, a training-free, plug-and-play parallel decoding framework for accelerating auto-regressive (AR) visual generation. The motivation stems from the observation that images exhibit local structures, and spatially distant regions tend to have minimal interdependence. Given a partially decoded set of visual tokens, in addition to the original next-token prediction scheme in the row dimension, the tokens corresponding to spatially adjacent regions in the column dimension can be decoded in parallel, enabling the ``next-set prediction'' paradigm. By decoding multiple tokens simultaneously in a single forward pass, the number of forward passes required to generate an image is significantly reduced, resulting in a substantial improvement in generation efficiency. Experiments demonstrate that ZipAR can reduce the number of model forward passes by up to 91% on the Emu3-Gen model without requiring any additional retraining.