Überbrückung kontinuierlicher und diskreter Tokens für autoregressive visuelle Generierung

Bridging Continuous and Discrete Tokens for Autoregressive Visual Generation

March 20, 2025

Autoren: Yuqing Wang, Zhijie Lin, Yao Teng, Yuanzhi Zhu, Shuhuai Ren, Jiashi Feng, Xihui Liu

cs.AI

Zusammenfassung

Autoregressive Modelle zur visuellen Generierung verwenden typischerweise Tokenizer, um Bilder in Token zu komprimieren, die sequenziell vorhergesagt werden können. Ein grundlegendes Dilemma besteht in der Token-Repräsentation: Diskrete Token ermöglichen eine einfache Modellierung mit dem Standard-Cross-Entropy-Verlust, leiden jedoch unter Informationsverlust und Instabilität beim Training des Tokenizers; kontinuierliche Token bewahren visuelle Details besser, erfordern jedoch eine komplexe Verteilungsmodellierung, was den Generierungsprozess verkompliziert. In diesem Artikel schlagen wir TokenBridge vor, das diese Lücke schließt, indem es die starke Repräsentationsfähigkeit kontinuierlicher Token beibehält und gleichzeitig die Modellierungseinheit diskreter Token bewahrt. Um dies zu erreichen, entkoppeln wir die Diskretisierung vom Tokenizer-Trainingsprozess durch eine Post-Training-Quantisierung, die direkt diskrete Token aus kontinuierlichen Repräsentationen gewinnt. Insbesondere führen wir eine dimensionsweise Quantisierungsstrategie ein, die jede Merkmalsdimension unabhängig diskretisiert, gepaart mit einem leichten autoregressiven Vorhersagemechanismus, der den daraus resultierenden großen Tokenraum effizient modelliert. Umfangreiche Experimente zeigen, dass unser Ansatz eine Rekonstruktions- und Generierungsqualität erreicht, die mit kontinuierlichen Methoden vergleichbar ist, während er eine standardmäßige kategorische Vorhersage verwendet. Diese Arbeit zeigt, dass die Überbrückung diskreter und kontinuierlicher Paradigmen die Stärken beider Ansätze effektiv nutzen kann und eine vielversprechende Richtung für hochwertige visuelle Generierung mit einfacher autoregressiver Modellierung bietet. Projektseite: https://yuqingwang1029.github.io/TokenBridge.

English

Autoregressive visual generation models typically rely on tokenizers to compress images into tokens that can be predicted sequentially. A fundamental dilemma exists in token representation: discrete tokens enable straightforward modeling with standard cross-entropy loss, but suffer from information loss and tokenizer training instability; continuous tokens better preserve visual details, but require complex distribution modeling, complicating the generation pipeline. In this paper, we propose TokenBridge, which bridges this gap by maintaining the strong representation capacity of continuous tokens while preserving the modeling simplicity of discrete tokens. To achieve this, we decouple discretization from the tokenizer training process through post-training quantization that directly obtains discrete tokens from continuous representations. Specifically, we introduce a dimension-wise quantization strategy that independently discretizes each feature dimension, paired with a lightweight autoregressive prediction mechanism that efficiently model the resulting large token space. Extensive experiments show that our approach achieves reconstruction and generation quality on par with continuous methods while using standard categorical prediction. This work demonstrates that bridging discrete and continuous paradigms can effectively harness the strengths of both approaches, providing a promising direction for high-quality visual generation with simple autoregressive modeling. Project page: https://yuqingwang1029.github.io/TokenBridge.