TokenFlow: Tokenizzatore Unificato di Immagini per la Comprensione e Generazione Multimodale

TokenFlow: Unified Image Tokenizer for Multimodal Understanding and Generation

December 4, 2024

Autori: Liao Qu, Huichao Zhang, Yiheng Liu, Xu Wang, Yi Jiang, Yiming Gao, Hu Ye, Daniel K. Du, Zehuan Yuan, Xinglong Wu

cs.AI

Abstract

Presentiamo TokenFlow, un nuovo tokenizzatore d'immagini unificato che colma il divario di lunga data tra la comprensione e la generazione multimodale. Ricerche precedenti hanno cercato di impiegare un singolo codificatore di Quantizzazione Vettoriale (VQ) mirato alla ricostruzione per unificare questi due compiti. Osserviamo che la comprensione e la generazione richiedono granularità visive fondamentalmente diverse. Ciò porta a un compromesso critico, compromettendo in particolare le prestazioni nei compiti di comprensione multimodale. TokenFlow affronta questa sfida attraverso una innovativa architettura a doppio codebook che separa l'apprendimento delle caratteristiche semantiche e dei pixel mantenendo la loro allineamento tramite un meccanismo di mappatura condiviso. Questo design consente un accesso diretto sia alle rappresentazioni semantiche di alto livello cruciali per i compiti di comprensione, sia alle caratteristiche visive dettagliate essenziali per la generazione attraverso indici condivisi. I nostri ampi esperimenti dimostrano la superiorità di TokenFlow su molteplici dimensioni. Sfruttando TokenFlow, dimostriamo per la prima volta che l'input visivo discreto può superare LLaVA-1.5 13B nelle prestazioni di comprensione, ottenendo un miglioramento medio del 7,2\%. Per la ricostruzione d'immagini, otteniamo un forte punteggio FID di 0.63 a una risoluzione di 384*384. Inoltre, TokenFlow stabilisce prestazioni all'avanguardia nella generazione di immagini autoregressive con un punteggio GenEval di 0.55 a una risoluzione di 256*256, ottenendo risultati comparabili a SDXL.

English

We present TokenFlow, a novel unified image tokenizer that bridges the long-standing gap between multimodal understanding and generation. Prior research attempt to employ a single reconstruction-targeted Vector Quantization (VQ) encoder for unifying these two tasks. We observe that understanding and generation require fundamentally different granularities of visual information. This leads to a critical trade-off, particularly compromising performance in multimodal understanding tasks. TokenFlow addresses this challenge through an innovative dual-codebook architecture that decouples semantic and pixel-level feature learning while maintaining their alignment via a shared mapping mechanism. This design enables direct access to both high-level semantic representations crucial for understanding tasks and fine-grained visual features essential for generation through shared indices. Our extensive experiments demonstrate TokenFlow's superiority across multiple dimensions. Leveraging TokenFlow, we demonstrate for the first time that discrete visual input can surpass LLaVA-1.5 13B in understanding performance, achieving a 7.2\% average improvement. For image reconstruction, we achieve a strong FID score of 0.63 at 384*384 resolution. Moreover, TokenFlow establishes state-of-the-art performance in autoregressive image generation with a GenEval score of 0.55 at 256*256 resolution, achieving comparable results to SDXL.