LARP: Tokenisierung von Videos mit einem erlernten autoregressiven generativen Prior

LARP: Tokenizing Videos with a Learned Autoregressive Generative Prior

October 28, 2024

Autoren: Hanyu Wang, Saksham Suri, Yixuan Ren, Hao Chen, Abhinav Shrivastava

cs.AI

Zusammenfassung

Wir präsentieren LARP, einen innovativen Videotokenizer, der entwickelt wurde, um die Einschränkungen in aktuellen Videotokenisierungsmethoden für autoregressive (AR) generative Modelle zu überwinden. Im Gegensatz zu traditionellen patchweisen Tokenizern, die lokale visuelle Patches direkt in diskrete Tokens codieren, führt LARP ein ganzheitliches Tokenisierungsschema ein, das Informationen aus dem visuellen Inhalt mithilfe eines Satzes von erlernten ganzheitlichen Abfragen sammelt. Dieses Design ermöglicht es LARP, globalere und semantischere Repräsentationen zu erfassen, anstatt auf lokale Patch-Ebene beschränkt zu sein. Darüber hinaus bietet es Flexibilität, indem es eine beliebige Anzahl diskreter Tokens unterstützt, was eine anpassungsfähige und effiziente Tokenisierung basierend auf den spezifischen Anforderungen der Aufgabe ermöglicht. Um den diskreten Tokenraum mit nachgelagerten AR-Generierungsaufgaben abzustimmen, integriert LARP ein leichtgewichtiges AR-Transformermodell als Trainingszeit-Prior-Modell, das das nächste Token in seinem diskreten latenten Raum vorhersagt. Durch die Einbeziehung des Prior-Modells während des Trainings lernt LARP einen latenten Raum, der nicht nur für die Videorekonstruktion optimiert ist, sondern auch strukturiert ist, um die autoregressive Generierung zu fördern. Darüber hinaus definiert dieser Prozess eine sequenzielle Reihenfolge für die diskreten Tokens, die sie während des Trainings progressiv in Richtung einer optimalen Konfiguration drängt, um eine reibungslosere und genauere AR-Generierung zur Inferenzzeit zu gewährleisten. Umfassende Experimente zeigen die starke Leistung von LARP, die einen state-of-the-art FVD auf dem UCF101 klassenkonditionalen Videogenerierungsbenchmark erreicht. LARP verbessert die Kompatibilität von AR-Modellen mit Videos und eröffnet das Potenzial, vereinheitlichte hochwertige multimodale große Sprachmodelle (MLLMs) zu erstellen.

English

We present LARP, a novel video tokenizer designed to overcome limitations in current video tokenization methods for autoregressive (AR) generative models. Unlike traditional patchwise tokenizers that directly encode local visual patches into discrete tokens, LARP introduces a holistic tokenization scheme that gathers information from the visual content using a set of learned holistic queries. This design allows LARP to capture more global and semantic representations, rather than being limited to local patch-level information. Furthermore, it offers flexibility by supporting an arbitrary number of discrete tokens, enabling adaptive and efficient tokenization based on the specific requirements of the task. To align the discrete token space with downstream AR generation tasks, LARP integrates a lightweight AR transformer as a training-time prior model that predicts the next token on its discrete latent space. By incorporating the prior model during training, LARP learns a latent space that is not only optimized for video reconstruction but is also structured in a way that is more conducive to autoregressive generation. Moreover, this process defines a sequential order for the discrete tokens, progressively pushing them toward an optimal configuration during training, ensuring smoother and more accurate AR generation at inference time. Comprehensive experiments demonstrate LARP's strong performance, achieving state-of-the-art FVD on the UCF101 class-conditional video generation benchmark. LARP enhances the compatibility of AR models with videos and opens up the potential to build unified high-fidelity multimodal large language models (MLLMs).