Geração Visual Autoregressiva Paralelizada

Parallelized Autoregressive Visual Generation

December 19, 2024

Autores: Yuqing Wang, Shuhuai Ren, Zhijie Lin, Yujin Han, Haoyuan Guo, Zhenheng Yang, Difan Zou, Jiashi Feng, Xihui Liu

cs.AI

Resumo

Os modelos autoregressivos surgiram como uma abordagem poderosa para geração visual, mas sofrem com a lentidão na velocidade de inferência devido ao seu processo de previsão sequencial de token por token. Neste artigo, propomos uma abordagem simples, porém eficaz, para geração visual autoregressiva paralela que melhora a eficiência de geração, preservando as vantagens da modelagem autoregressiva. Nossa principal percepção é que a geração paralela depende das dependências entre tokens visuais - tokens com dependências fracas podem ser gerados em paralelo, enquanto tokens adjacentes fortemente dependentes são difíceis de gerar juntos, pois a amostragem independente deles pode levar a inconsistências. Com base nessa observação, desenvolvemos uma estratégia de geração paralela que gera tokens distantes com dependências fracas em paralelo, mantendo a geração sequencial para tokens locais fortemente dependentes. Nosso método pode ser integrado perfeitamente em modelos autoregressivos padrão sem modificar a arquitetura ou o tokenizador. Experimentos no ImageNet e UCF-101 demonstram que nosso método alcança um aumento de velocidade de 3,6 vezes com qualidade comparável e até 9,5 vezes de aumento de velocidade com degradação mínima de qualidade em tarefas de geração de imagens e vídeos. Esperamos que este trabalho inspire pesquisas futuras em geração visual eficiente e modelagem autoregressiva unificada. Página do projeto: https://epiphqny.github.io/PAR-project.

English

Autoregressive models have emerged as a powerful approach for visual generation but suffer from slow inference speed due to their sequential token-by-token prediction process. In this paper, we propose a simple yet effective approach for parallelized autoregressive visual generation that improves generation efficiency while preserving the advantages of autoregressive modeling. Our key insight is that parallel generation depends on visual token dependencies-tokens with weak dependencies can be generated in parallel, while strongly dependent adjacent tokens are difficult to generate together, as their independent sampling may lead to inconsistencies. Based on this observation, we develop a parallel generation strategy that generates distant tokens with weak dependencies in parallel while maintaining sequential generation for strongly dependent local tokens. Our approach can be seamlessly integrated into standard autoregressive models without modifying the architecture or tokenizer. Experiments on ImageNet and UCF-101 demonstrate that our method achieves a 3.6x speedup with comparable quality and up to 9.5x speedup with minimal quality degradation across both image and video generation tasks. We hope this work will inspire future research in efficient visual generation and unified autoregressive modeling. Project page: https://epiphqny.github.io/PAR-project.