JanusFlow: Harmonisierung von Autoregression und rektifiziertem Flow für einheitliches multimodales Verständnis und Generierung.

JanusFlow: Harmonizing Autoregression and Rectified Flow for Unified Multimodal Understanding and Generation

November 12, 2024

Autoren: Yiyang Ma, Xingchao Liu, Xiaokang Chen, Wen Liu, Chengyue Wu, Zhiyu Wu, Zizheng Pan, Zhenda Xie, Haowei Zhang, Xingkai yu, Liang Zhao, Yisong Wang, Jiaying Liu, Chong Ruan

cs.AI

Zusammenfassung

Wir präsentieren JanusFlow, ein leistungsstarkes Framework, das Bildverständnis und -generierung in einem einzigen Modell vereint. JanusFlow führt eine minimalistische Architektur ein, die autoregressive Sprachmodelle mit rektifiziertem Fluss integriert, einer hochmodernen Methode im generativen Modellieren. Unsere Haupterkenntnis zeigt, dass rektifizierter Fluss innerhalb des großen Sprachmodell-Frameworks einfach trainiert werden kann, ohne komplexe architektonische Modifikationen erforderlich zu machen. Um die Leistung unseres vereinheitlichten Modells weiter zu verbessern, übernehmen wir zwei Schlüsselstrategien: (i) Entkopplung der Verständnis- und Generierungs-Encoder und (ii) Ausrichtung ihrer Repräsentationen während des vereinheitlichten Trainings. Umfangreiche Experimente zeigen, dass JanusFlow vergleichbare oder überlegene Leistungen im Vergleich zu spezialisierten Modellen in ihren jeweiligen Bereichen erzielt, während es bestehende vereinheitlichte Ansätze bei Standard-Benchmarks signifikant übertrifft. Diese Arbeit stellt einen Schritt hin zu effizienteren und vielseitigeren Bild-Sprach-Modellen dar.

English

We present JanusFlow, a powerful framework that unifies image understanding and generation in a single model. JanusFlow introduces a minimalist architecture that integrates autoregressive language models with rectified flow, a state-of-the-art method in generative modeling. Our key finding demonstrates that rectified flow can be straightforwardly trained within the large language model framework, eliminating the need for complex architectural modifications. To further improve the performance of our unified model, we adopt two key strategies: (i) decoupling the understanding and generation encoders, and (ii) aligning their representations during unified training. Extensive experiments show that JanusFlow achieves comparable or superior performance to specialized models in their respective domains, while significantly outperforming existing unified approaches across standard benchmarks. This work represents a step toward more efficient and versatile vision-language models.