Generazione Visiva Autoregressiva Parallelizzata

Parallelized Autoregressive Visual Generation

December 19, 2024

Autori: Yuqing Wang, Shuhuai Ren, Zhijie Lin, Yujin Han, Haoyuan Guo, Zhenheng Yang, Difan Zou, Jiashi Feng, Xihui Liu

cs.AI

Abstract

I modelli autoregressivi sono emersi come un approccio potente per la generazione visuale, ma soffrono di una lentezza nell'elaborazione dovuta al loro processo sequenziale di previsione token per token. In questo articolo, proponiamo un approccio semplice ma efficace per la generazione visuale autoregressiva parallelizzata che migliora l'efficienza di generazione pur preservando i vantaggi della modellazione autoregressiva. La nostra intuizione chiave è che la generazione parallela dipende dalle dipendenze tra i token visivi: i token con dipendenze deboli possono essere generati in parallelo, mentre i token adiacenti fortemente dipendenti sono difficili da generare insieme, poiché il loro campionamento indipendente potrebbe portare a incongruenze. Basandoci su questa osservazione, sviluppiamo una strategia di generazione parallela che genera token distanti con dipendenze deboli in parallelo, mantenendo al contempo la generazione sequenziale per i token locali fortemente dipendenti. Il nostro approccio può essere integrato senza soluzione di continuità nei modelli autoregressivi standard senza modificare l'architettura o il tokenizer. Gli esperimenti su ImageNet e UCF-101 dimostrano che il nostro metodo raggiunge un aumento della velocità di 3,6 volte con una qualità comparabile e fino a 9,5 volte con una degradazione minima della qualità in compiti di generazione di immagini e video. Speriamo che questo lavoro possa ispirare futuri studi sulla generazione visuale efficiente e sulla modellazione autoregressiva unificata. Pagina del progetto: https://epiphqny.github.io/PAR-project.

English

Autoregressive models have emerged as a powerful approach for visual generation but suffer from slow inference speed due to their sequential token-by-token prediction process. In this paper, we propose a simple yet effective approach for parallelized autoregressive visual generation that improves generation efficiency while preserving the advantages of autoregressive modeling. Our key insight is that parallel generation depends on visual token dependencies-tokens with weak dependencies can be generated in parallel, while strongly dependent adjacent tokens are difficult to generate together, as their independent sampling may lead to inconsistencies. Based on this observation, we develop a parallel generation strategy that generates distant tokens with weak dependencies in parallel while maintaining sequential generation for strongly dependent local tokens. Our approach can be seamlessly integrated into standard autoregressive models without modifying the architecture or tokenizer. Experiments on ImageNet and UCF-101 demonstrate that our method achieves a 3.6x speedup with comparable quality and up to 9.5x speedup with minimal quality degradation across both image and video generation tasks. We hope this work will inspire future research in efficient visual generation and unified autoregressive modeling. Project page: https://epiphqny.github.io/PAR-project.