Trasformatori di Diffusione Causale per la Modellazione Generativa

Causal Diffusion Transformers for Generative Modeling

December 16, 2024

Autori: Chaorui Deng, Deyao Zh, Kunchang Li, Shi Guan, Haoqi Fan

cs.AI

Abstract

Introduciamo la Diffusione Causale come il corrispettivo autoregressivo (AR) dei modelli di Diffusione. Si tratta di un quadro di previsione del prossimo token(o) che è amichevole sia per le modalità discrete che continue e compatibile con i modelli esistenti di previsione del prossimo token come LLaMA e GPT. Mentre lavori recenti cercano di combinare la diffusione con i modelli AR, mostriamo che l'introduzione della fattorizzazione sequenziale in un modello di diffusione può migliorare notevolmente le sue prestazioni e consentire una transizione fluida tra le modalità di generazione AR e di diffusione. Pertanto, proponiamo CausalFusion - un transformer solo decoder che fattorizza dualmente i dati attraverso token sequenziali e livelli di rumore di diffusione, ottenendo risultati all'avanguardia sul benchmark di generazione di ImageNet, godendo anche del vantaggio AR di generare un numero arbitrario di token per il ragionamento contestuale. Dimostriamo inoltre le capacità multimodali di CausalFusion attraverso un modello congiunto di generazione di immagini e didascalie, e mostriamo la capacità di CausalFusion per manipolazioni di immagini in contesti senza preavviso. Speriamo che questo lavoro possa offrire alla comunità una prospettiva nuova sull'addestramento di modelli multimodali su dati discreti e continui.

English

We introduce Causal Diffusion as the autoregressive (AR) counterpart of Diffusion models. It is a next-token(s) forecasting framework that is friendly to both discrete and continuous modalities and compatible with existing next-token prediction models like LLaMA and GPT. While recent works attempt to combine diffusion with AR models, we show that introducing sequential factorization to a diffusion model can substantially improve its performance and enables a smooth transition between AR and diffusion generation modes. Hence, we propose CausalFusion - a decoder-only transformer that dual-factorizes data across sequential tokens and diffusion noise levels, leading to state-of-the-art results on the ImageNet generation benchmark while also enjoying the AR advantage of generating an arbitrary number of tokens for in-context reasoning. We further demonstrate CausalFusion's multimodal capabilities through a joint image generation and captioning model, and showcase CausalFusion's ability for zero-shot in-context image manipulations. We hope that this work could provide the community with a fresh perspective on training multimodal models over discrete and continuous data.