JanusFlow: Het harmoniseren van autoregressie en gerectificeerde stroming voor een geïntegreerd multimodaal begrip en generatie.

JanusFlow: Harmonizing Autoregression and Rectified Flow for Unified Multimodal Understanding and Generation

November 12, 2024

Auteurs: Yiyang Ma, Xingchao Liu, Xiaokang Chen, Wen Liu, Chengyue Wu, Zhiyu Wu, Zizheng Pan, Zhenda Xie, Haowei Zhang, Xingkai yu, Liang Zhao, Yisong Wang, Jiaying Liu, Chong Ruan

cs.AI

Samenvatting

We presenteren JanusFlow, een krachtig framework dat beeldbegrip en -generatie verenigt in een enkel model. JanusFlow introduceert een minimalistische architectuur die autoregressieve taalmodellen integreert met rectified flow, een state-of-the-art methode in generatieve modellering. Onze belangrijkste bevinding toont aan dat rectified flow eenvoudig kan worden getraind binnen het grote taalmodel framework, waardoor de noodzaak voor complexe architecturale aanpassingen wordt geëlimineerd. Om de prestaties van ons verenigde model verder te verbeteren, hanteren we twee belangrijke strategieën: (i) het ontkoppelen van de begrips- en generatie-encoders, en (ii) het afstemmen van hun representaties tijdens de verenigde training. Uitgebreide experimenten tonen aan dat JanusFlow vergelijkbare of superieure prestaties behaalt ten opzichte van gespecialiseerde modellen in hun respectievelijke domeinen, terwijl het aanzienlijk beter presteert dan bestaande verenigde benaderingen over standaard benchmarks. Dit werk vertegenwoordigt een stap naar efficiëntere en veelzijdigere visie-taalmodellen.

English

We present JanusFlow, a powerful framework that unifies image understanding and generation in a single model. JanusFlow introduces a minimalist architecture that integrates autoregressive language models with rectified flow, a state-of-the-art method in generative modeling. Our key finding demonstrates that rectified flow can be straightforwardly trained within the large language model framework, eliminating the need for complex architectural modifications. To further improve the performance of our unified model, we adopt two key strategies: (i) decoupling the understanding and generation encoders, and (ii) aligning their representations during unified training. Extensive experiments show that JanusFlow achieves comparable or superior performance to specialized models in their respective domains, while significantly outperforming existing unified approaches across standard benchmarks. This work represents a step toward more efficient and versatile vision-language models.