VidTok: Un Tokenizzatore Video Versatile e Open-Source

VidTok: A Versatile and Open-Source Video Tokenizer

December 17, 2024

Autori: Anni Tang, Tianyu He, Junliang Guo, Xinle Cheng, Li Song, Jiang Bian

cs.AI

Abstract

L'encoding del contenuto video in token latenti compatti è diventato un passo fondamentale nella generazione e comprensione dei video, guidato dalla necessità di affrontare la ridondanza intrinseca nelle rappresentazioni a livello di pixel. Di conseguenza, c'è una crescente domanda di tokenizzatori video open-source ad alte prestazioni, poiché la ricerca incentrata sui video acquisisce importanza. Presentiamo VidTok, un tokenizzatore video versatile che offre prestazioni all'avanguardia sia nelle tokenizzazioni continue che discrete. VidTok incorpora diversi progressi chiave rispetto agli approcci esistenti: 1) architettura del modello come strati convoluzionali e moduli di upsampling/downsampling; 2) per affrontare l'instabilità dell'addestramento e il collasso del codebook comunemente associati alla Quantizzazione Vettoriale (VQ) convenzionale, integriamo la Quantizzazione Scalare Finita (FSQ) nella tokenizzazione video discreta; 3) strategie di addestramento migliorate, inclusi un processo di addestramento a due fasi e l'uso di frame rate ridotti. Integrando questi progressi, VidTok ottiene miglioramenti sostanziali rispetto ai metodi esistenti, dimostrando prestazioni superiori su molteplici metriche, inclusi PSNR, SSIM, LPIPS e FVD, in contesti di valutazione standardizzati.

English

Encoding video content into compact latent tokens has become a fundamental step in video generation and understanding, driven by the need to address the inherent redundancy in pixel-level representations. Consequently, there is a growing demand for high-performance, open-source video tokenizers as video-centric research gains prominence. We introduce VidTok, a versatile video tokenizer that delivers state-of-the-art performance in both continuous and discrete tokenizations. VidTok incorporates several key advancements over existing approaches: 1) model architecture such as convolutional layers and up/downsampling modules; 2) to address the training instability and codebook collapse commonly associated with conventional Vector Quantization (VQ), we integrate Finite Scalar Quantization (FSQ) into discrete video tokenization; 3) improved training strategies, including a two-stage training process and the use of reduced frame rates. By integrating these advancements, VidTok achieves substantial improvements over existing methods, demonstrating superior performance across multiple metrics, including PSNR, SSIM, LPIPS, and FVD, under standardized evaluation settings.