LARP : Tokenisation des vidéos avec un prior générateur autoregressif appris

LARP: Tokenizing Videos with a Learned Autoregressive Generative Prior

October 28, 2024

Auteurs: Hanyu Wang, Saksham Suri, Yixuan Ren, Hao Chen, Abhinav Shrivastava

cs.AI

Résumé

Nous présentons LARP, un nouveau tokeniseur vidéo conçu pour surmonter les limitations des méthodes actuelles de tokenisation vidéo pour les modèles génératifs autorégressifs (AR). Contrairement aux tokeniseurs traditionnels par patchs qui encodent directement des patchs visuels locaux en tokens discrets, LARP introduit un schéma de tokenisation holistique qui rassemble des informations du contenu visuel en utilisant un ensemble de requêtes holistiques apprises. Cette conception permet à LARP de capturer des représentations plus globales et sémantiques, plutôt que d'être limité aux informations de niveau de patch local. De plus, il offre une flexibilité en prenant en charge un nombre arbitraire de tokens discrets, permettant une tokenisation adaptative et efficace en fonction des exigences spécifiques de la tâche. Pour aligner l'espace de tokens discrets avec les tâches de génération AR en aval, LARP intègre un transformateur AR léger en tant que modèle prioritaire à l'entraînement qui prédit le prochain token dans son espace latent discret. En incorporant le modèle prioritaire lors de l'entraînement, LARP apprend un espace latent qui est non seulement optimisé pour la reconstruction vidéo mais qui est également structuré de manière plus propice à la génération autorégressive. De plus, ce processus définit un ordre séquentiel pour les tokens discrets, les poussant progressivement vers une configuration optimale lors de l'entraînement, garantissant une génération AR plus fluide et précise au moment de l'inférence. Des expériences approfondies démontrent les performances solides de LARP, atteignant un FVD de pointe sur le banc d'essai de génération vidéo conditionnelle à la classe UCF101. LARP améliore la compatibilité des modèles AR avec les vidéos et ouvre la voie à la construction de modèles de langage multimodaux unifiés haute fidélité (MLLMs).

English

We present LARP, a novel video tokenizer designed to overcome limitations in current video tokenization methods for autoregressive (AR) generative models. Unlike traditional patchwise tokenizers that directly encode local visual patches into discrete tokens, LARP introduces a holistic tokenization scheme that gathers information from the visual content using a set of learned holistic queries. This design allows LARP to capture more global and semantic representations, rather than being limited to local patch-level information. Furthermore, it offers flexibility by supporting an arbitrary number of discrete tokens, enabling adaptive and efficient tokenization based on the specific requirements of the task. To align the discrete token space with downstream AR generation tasks, LARP integrates a lightweight AR transformer as a training-time prior model that predicts the next token on its discrete latent space. By incorporating the prior model during training, LARP learns a latent space that is not only optimized for video reconstruction but is also structured in a way that is more conducive to autoregressive generation. Moreover, this process defines a sequential order for the discrete tokens, progressively pushing them toward an optimal configuration during training, ensuring smoother and more accurate AR generation at inference time. Comprehensive experiments demonstrate LARP's strong performance, achieving state-of-the-art FVD on the UCF101 class-conditional video generation benchmark. LARP enhances the compatibility of AR models with videos and opens up the potential to build unified high-fidelity multimodal large language models (MLLMs).