CODA: Umwidmung kontinuierlicher VAEs für diskrete Tokenisierung

CODA: Repurposing Continuous VAEs for Discrete Tokenization

March 22, 2025

Autoren: Zeyu Liu, Zanlin Ni, Yeguo Hua, Xin Deng, Xiao Ma, Cheng Zhong, Gao Huang

cs.AI

Zusammenfassung

Diskrete visuelle Tokenizer transformieren Bilder in eine Sequenz von Tokens und ermöglichen so eine tokenbasierte visuelle Generierung, ähnlich wie bei Sprachmodellen. Dieser Prozess ist jedoch von Natur aus herausfordernd, da er sowohl die Komprimierung visueller Signale in eine kompakte Darstellung als auch deren Diskretisierung in einen festen Satz von Codes erfordert. Traditionelle diskrete Tokenizer lernen diese beiden Aufgaben typischerweise gemeinsam, was oft zu instabilem Training, geringer Codebuchauslastung und begrenzter Rekonstruktionsqualität führt. In diesem Artikel stellen wir CODA (COntinuous-to-Discrete Adaptation) vor, ein Framework, das Kompression und Diskretisierung entkoppelt. Anstatt diskrete Tokenizer von Grund auf zu trainieren, adaptiert CODA vorhandene kontinuierliche VAEs – die bereits für wahrnehmungsbasierte Kompression optimiert sind – durch einen sorgfältig gestalteten Diskretisierungsprozess in diskrete Tokenizer. Indem CODA sich hauptsächlich auf die Diskretisierung konzentriert, gewährleistet es ein stabiles und effizientes Training bei gleichzeitiger Beibehaltung der starken visuellen Treue kontinuierlicher VAEs. Empirisch erreicht unser Ansatz mit einem sechsmal geringeren Trainingsbudget als das Standard-VQGAN eine bemerkenswerte Codebuchauslastung von 100 % und beachtliche Rekonstruktions-FID-Werte (rFID) von 0,43 und 1,34 für eine 8-fache und 16-fache Kompression auf dem ImageNet 256×256-Benchmark.

English

Discrete visual tokenizers transform images into a sequence of tokens, enabling token-based visual generation akin to language models. However, this process is inherently challenging, as it requires both compressing visual signals into a compact representation and discretizing them into a fixed set of codes. Traditional discrete tokenizers typically learn the two tasks jointly, often leading to unstable training, low codebook utilization, and limited reconstruction quality. In this paper, we introduce CODA(COntinuous-to-Discrete Adaptation), a framework that decouples compression and discretization. Instead of training discrete tokenizers from scratch, CODA adapts off-the-shelf continuous VAEs -- already optimized for perceptual compression -- into discrete tokenizers via a carefully designed discretization process. By primarily focusing on discretization, CODA ensures stable and efficient training while retaining the strong visual fidelity of continuous VAEs. Empirically, with 6 times less training budget than standard VQGAN, our approach achieves a remarkable codebook utilization of 100% and notable reconstruction FID (rFID) of 0.43 and 1.34 for 8 times and 16 times compression on ImageNet 256times 256 benchmark.