SynerGen-VL: Verso una comprensione e generazione d'immagini sinergiche con esperti di visione e piegatura di token.

SynerGen-VL: Towards Synergistic Image Understanding and Generation with Vision Experts and Token Folding

December 12, 2024

Autori: Hao Li, Changyao Tian, Jie Shao, Xizhou Zhu, Zhaokai Wang, Jinguo Zhu, Wenhan Dou, Xiaogang Wang, Hongsheng Li, Lewei Lu, Jifeng Dai

cs.AI

Abstract

Il notevole successo dei Grandi Modelli Linguistici (LLM) si è esteso al dominio multimodale, raggiungendo prestazioni eccezionali nella comprensione e generazione di immagini. Gli sforzi recenti per sviluppare Modelli Linguistici Multimodali Unificati (MLLM) che integrano queste capacità hanno mostrato risultati promettenti. Tuttavia, gli approcci esistenti spesso coinvolgono progettazioni complesse nell'architettura del modello o nel processo di addestramento, aumentando la difficoltà dell'addestramento e della scalabilità del modello. In questo articolo, proponiamo SynerGen-VL, un MLLM senza codificatore semplice ma potente in grado di comprendere e generare immagini. Per affrontare le sfide identificate nei MLLM unificati esistenti senza codificatore, introduciamo il meccanismo di piegatura del token e la strategia di preaddestramento di allineamento progressivo basata su esperti di visione, che supportano efficacemente la comprensione di immagini ad alta risoluzione riducendo la complessità dell'addestramento. Dopo essere stato addestrato su dati misti di immagini e testo su larga scala con un obiettivo unificato di previsione del token successivo, SynerGen-VL raggiunge o supera le prestazioni dei MLLM unificati esistenti senza codificatore con dimensioni di parametro comparabili o più piccole, e riduce il divario con i modelli di ultima generazione specifici per compiti, evidenziando un percorso promettente verso futuri MLLM unificati. Il nostro codice e i modelli saranno resi disponibili.

English

The remarkable success of Large Language Models (LLMs) has extended to the multimodal domain, achieving outstanding performance in image understanding and generation. Recent efforts to develop unified Multimodal Large Language Models (MLLMs) that integrate these capabilities have shown promising results. However, existing approaches often involve complex designs in model architecture or training pipeline, increasing the difficulty of model training and scaling. In this paper, we propose SynerGen-VL, a simple yet powerful encoder-free MLLM capable of both image understanding and generation. To address challenges identified in existing encoder-free unified MLLMs, we introduce the token folding mechanism and the vision-expert-based progressive alignment pretraining strategy, which effectively support high-resolution image understanding while reducing training complexity. After being trained on large-scale mixed image-text data with a unified next-token prediction objective, SynerGen-VL achieves or surpasses the performance of existing encoder-free unified MLLMs with comparable or smaller parameter sizes, and narrows the gap with task-specific state-of-the-art models, highlighting a promising path toward future unified MLLMs. Our code and models shall be released.