FlowTok: Nahtloses Fließen zwischen Text- und Bild-Tokens

FlowTok: Flowing Seamlessly Across Text and Image Tokens

March 13, 2025

Autoren: Ju He, Qihang Yu, Qihao Liu, Liang-Chieh Chen

cs.AI

Zusammenfassung

Die Überbrückung verschiedener Modalitäten steht im Mittelpunkt der Cross-Modality-Generierung. Während konventionelle Ansätze die Textmodalität als ein Konditionierungssignal behandeln, das den Denoising-Prozess von Gaußschem Rauschen zur Zielbildmodalität schrittweise steuert, erforschen wir ein viel einfacheres Paradigma – die direkte Entwicklung zwischen Text- und Bildmodalitäten durch Flow Matching. Dies erfordert die Projektion beider Modalitäten in einen gemeinsamen latenten Raum, was aufgrund ihrer inhärent unterschiedlichen Darstellungen eine erhebliche Herausforderung darstellt: Text ist hochgradig semantisch und als 1D-Token kodiert, während Bilder räumlich redundant sind und als 2D-latente Einbettungen dargestellt werden. Um dies zu bewältigen, führen wir FlowTok ein, ein minimales Framework, das nahtlos zwischen Text und Bildern fließt, indem es Bilder in eine kompakte 1D-Token-Darstellung kodiert. Im Vergleich zu früheren Methoden reduziert dieses Design die Größe des latenten Raums um das 3,3-fache bei einer Bildauflösung von 256, wodurch der Bedarf an komplexen Konditionierungsmechanismen oder Rauschplanung entfällt. Darüber hinaus erweitert sich FlowTok natürlich auf die Bild-zu-Text-Generierung unter derselben Formulierung. Mit seiner schlanken Architektur, die auf kompakten 1D-Token basiert, ist FlowTok hochgradig speichereffizient, erfordert deutlich weniger Trainingsressourcen und erreicht viel schnellere Sampling-Geschwindigkeiten – alles bei einer Leistung, die mit state-of-the-art Modellen vergleichbar ist. Der Code wird unter https://github.com/bytedance/1d-tokenizer verfügbar sein.

English

Bridging different modalities lies at the heart of cross-modality generation. While conventional approaches treat the text modality as a conditioning signal that gradually guides the denoising process from Gaussian noise to the target image modality, we explore a much simpler paradigm-directly evolving between text and image modalities through flow matching. This requires projecting both modalities into a shared latent space, which poses a significant challenge due to their inherently different representations: text is highly semantic and encoded as 1D tokens, whereas images are spatially redundant and represented as 2D latent embeddings. To address this, we introduce FlowTok, a minimal framework that seamlessly flows across text and images by encoding images into a compact 1D token representation. Compared to prior methods, this design reduces the latent space size by 3.3x at an image resolution of 256, eliminating the need for complex conditioning mechanisms or noise scheduling. Moreover, FlowTok naturally extends to image-to-text generation under the same formulation. With its streamlined architecture centered around compact 1D tokens, FlowTok is highly memory-efficient, requires significantly fewer training resources, and achieves much faster sampling speeds-all while delivering performance comparable to state-of-the-art models. Code will be available at https://github.com/bytedance/1d-tokenizer.