LARP: Tokenizzazione dei video con un precedente generativo autoregressivo appreso

LARP: Tokenizing Videos with a Learned Autoregressive Generative Prior

October 28, 2024

Autori: Hanyu Wang, Saksham Suri, Yixuan Ren, Hao Chen, Abhinav Shrivastava

cs.AI

Abstract

Presentiamo LARP, un nuovo tokenizzatore video progettato per superare le limitazioni nei metodi attuali di tokenizzazione video per modelli generativi autoregressivi (AR). A differenza dei tradizionali tokenizzatori a patch che codificano direttamente patch visive locali in token discreti, LARP introduce uno schema di tokenizzazione olistico che raccoglie informazioni dal contenuto visivo utilizzando un insieme di query olistiche apprese. Questo design consente a LARP di catturare rappresentazioni più globali e semantiche, anziché essere limitato alle informazioni a livello di patch locali. Inoltre, offre flessibilità supportando un numero arbitrario di token discreti, consentendo una tokenizzazione adattiva ed efficiente in base ai requisiti specifici del compito. Per allineare lo spazio dei token discreti con i compiti di generazione AR successivi, LARP integra un trasformatore AR leggero come modello prior durante l'addestramento che predice il token successivo nel suo spazio latente discreto. Incorporando il modello prior durante l'addestramento, LARP apprende uno spazio latente ottimizzato non solo per la ricostruzione video ma anche strutturato in modo più favorevole alla generazione autoregressiva. Inoltre, questo processo definisce un ordine sequenziale per i token discreti, spingendoli progressivamente verso una configurazione ottimale durante l'addestramento, garantendo una generazione AR più fluida e precisa al momento dell'inferenza. Esperimenti completi dimostrano la forte performance di LARP, raggiungendo uno stato dell'arte FVD sul benchmark di generazione video condizionata alla classe UCF101. LARP migliora la compatibilità dei modelli AR con i video e apre il potenziale per costruire modelli linguistici multimodali di alta fedeltà unificati (MLLMs).

English

We present LARP, a novel video tokenizer designed to overcome limitations in current video tokenization methods for autoregressive (AR) generative models. Unlike traditional patchwise tokenizers that directly encode local visual patches into discrete tokens, LARP introduces a holistic tokenization scheme that gathers information from the visual content using a set of learned holistic queries. This design allows LARP to capture more global and semantic representations, rather than being limited to local patch-level information. Furthermore, it offers flexibility by supporting an arbitrary number of discrete tokens, enabling adaptive and efficient tokenization based on the specific requirements of the task. To align the discrete token space with downstream AR generation tasks, LARP integrates a lightweight AR transformer as a training-time prior model that predicts the next token on its discrete latent space. By incorporating the prior model during training, LARP learns a latent space that is not only optimized for video reconstruction but is also structured in a way that is more conducive to autoregressive generation. Moreover, this process defines a sequential order for the discrete tokens, progressively pushing them toward an optimal configuration during training, ensuring smoother and more accurate AR generation at inference time. Comprehensive experiments demonstrate LARP's strong performance, achieving state-of-the-art FVD on the UCF101 class-conditional video generation benchmark. LARP enhances the compatibility of AR models with videos and opens up the potential to build unified high-fidelity multimodal large language models (MLLMs).