JanusFlow: Armonizzando l'autoregressione e il flusso rettificato per una comprensione e generazione multimodale unificate

JanusFlow: Harmonizing Autoregression and Rectified Flow for Unified Multimodal Understanding and Generation

November 12, 2024

Autori: Yiyang Ma, Xingchao Liu, Xiaokang Chen, Wen Liu, Chengyue Wu, Zhiyu Wu, Zizheng Pan, Zhenda Xie, Haowei Zhang, Xingkai yu, Liang Zhao, Yisong Wang, Jiaying Liu, Chong Ruan

cs.AI

Abstract

Presentiamo JanusFlow, un potente framework che unifica la comprensione e la generazione di immagini in un singolo modello. JanusFlow introduce un'architettura minimalista che integra modelli linguistici autoregressivi con flusso rettificato, un metodo all'avanguardia nella modellazione generativa. La nostra scoperta chiave dimostra che il flusso rettificato può essere addestrato in modo diretto all'interno del framework del grande modello linguistico, eliminando la necessità di complesse modifiche architettoniche. Per migliorare ulteriormente le prestazioni del nostro modello unificato, adottiamo due strategie chiave: (i) disaccoppiare gli encoder di comprensione e generazione e (ii) allineare le loro rappresentazioni durante l'addestramento unificato. Estesi esperimenti mostrano che JanusFlow raggiunge prestazioni comparabili o superiori rispetto ai modelli specializzati nei rispettivi domini, superando significativamente gli approcci unificati esistenti su benchmark standard. Questo lavoro rappresenta un passo verso modelli visione-linguaggio più efficienti e versatili.

English

We present JanusFlow, a powerful framework that unifies image understanding and generation in a single model. JanusFlow introduces a minimalist architecture that integrates autoregressive language models with rectified flow, a state-of-the-art method in generative modeling. Our key finding demonstrates that rectified flow can be straightforwardly trained within the large language model framework, eliminating the need for complex architectural modifications. To further improve the performance of our unified model, we adopt two key strategies: (i) decoupling the understanding and generation encoders, and (ii) aligning their representations during unified training. Extensive experiments show that JanusFlow achieves comparable or superior performance to specialized models in their respective domains, while significantly outperforming existing unified approaches across standard benchmarks. This work represents a step toward more efficient and versatile vision-language models.