ILLUME: Illuminare i tuoi LLM per Vedere, Disegnare e Auto-migliorare

ILLUME: Illuminating Your LLMs to See, Draw, and Self-Enhance

December 9, 2024

Autori: Chunwei Wang, Guansong Lu, Junwei Yang, Runhui Huang, Jianhua Han, Lu Hou, Wei Zhang, Hang Xu

cs.AI

Abstract

In questo articolo, presentiamo ILLUME, un modello linguistico multimodale di grandi dimensioni (MLLM) che integra in modo fluido capacità di comprensione e generazione multimodale all'interno di un singolo grande modello linguistico attraverso una formulazione unificata di previsione del token successivo. Per affrontare le grandi dimensioni del dataset tipicamente richieste per l'allineamento immagine-testo, proponiamo di migliorare l'efficienza dei dati attraverso la progettazione di un tokenizzatore visivo che incorpora informazioni semantiche e una procedura di addestramento multi-stadio progressiva. Questo approccio riduce le dimensioni del dataset a soli 15M per il preaddestramento - oltre quattro volte meno rispetto a quanto tipicamente necessario - ottenendo prestazioni competitive o addirittura superiori rispetto ai MLLM unificati esistenti, come Janus. Inoltre, per promuovere un potenziamento sinergico tra le capacità di comprensione e generazione, poco esplorato nei lavori precedenti, introduciamo un nuovo schema di allineamento multimodale auto-migliorante. Questo schema supervisiona il MLLM per auto-valutare la coerenza tra le descrizioni testuali e le immagini autogenerate, facilitando il modello nell'interpretare le immagini in modo più accurato ed evitare previsioni irrealistiche e scorrette causate da un disallineamento nella generazione delle immagini. Sulla base di ampi esperimenti, il nostro ILLUME proposto si distingue e compete con i MLLM unificati e modelli specializzati all'avanguardia su vari benchmark per la comprensione, generazione e modifica multimodale.

English

In this paper, we introduce ILLUME, a unified multimodal large language model (MLLM) that seamlessly integrates multimodal understanding and generation capabilities within a single large language model through a unified next-token prediction formulation. To address the large dataset size typically required for image-text alignment, we propose to enhance data efficiency through the design of a vision tokenizer that incorporates semantic information and a progressive multi-stage training procedure. This approach reduces the dataset size to just 15M for pretraining -- over four times fewer than what is typically needed -- while achieving competitive or even superior performance with existing unified MLLMs, such as Janus. Additionally, to promote synergistic enhancement between understanding and generation capabilities, which is under-explored in previous works, we introduce a novel self-enhancing multimodal alignment scheme. This scheme supervises the MLLM to self-assess the consistency between text descriptions and self-generated images, facilitating the model to interpret images more accurately and avoid unrealistic and incorrect predictions caused by misalignment in image generation. Based on extensive experiments, our proposed ILLUME stands out and competes with state-of-the-art unified MLLMs and specialized models across various benchmarks for multimodal understanding, generation, and editing.