PUMA: Befähigung von vereinheitlichtem MLLM mit multi-granularer visueller Generierung

PUMA: Empowering Unified MLLM with Multi-granular Visual Generation

October 17, 2024

Autoren: Rongyao Fang, Chengqi Duan, Kun Wang, Hao Li, Hao Tian, Xingyu Zeng, Rui Zhao, Jifeng Dai, Hongsheng Li, Xihui Liu

cs.AI

Zusammenfassung

In jüngster Zeit haben Fortschritte bei multimodalen Grundlagenmodellen zu erheblichen Fortschritten im Verständnis von Vision und Sprache geführt. Erste Versuche haben auch das Potenzial multimodaler großer Sprachmodelle (MLLMs) für die Generierung visueller Inhalte erkundet. Allerdings haben bestehende Arbeiten die unterschiedlichen Granularitätsanforderungen verschiedener Bildgenerierungsaufgaben innerhalb eines vereinheitlichten MLLM-Paradigmas unzureichend behandelt - von der Vielfalt, die bei der Text-zu-Bild-Generierung erforderlich ist, bis zur präzisen Steuerbarkeit, die bei der Bildmanipulation benötigt wird. In dieser Arbeit schlagen wir PUMA vor, das vereinheitlichte MLLM mit Multi-granularer visueller Generierung befähigt. PUMA vereinheitlicht multi-granulare visuelle Merkmale sowohl als Eingaben als auch als Ausgaben von MLLMs und adressiert elegant die unterschiedlichen Granularitätsanforderungen verschiedener Bildgenerierungsaufgaben innerhalb eines vereinheitlichten MLLM-Rahmens. Nach multimodalem Pretraining und aufgabenbezogener Instruktionsoptimierung zeigt PUMA Kompetenz in einer Vielzahl von multimodalen Aufgaben. Diese Arbeit stellt einen bedeutenden Schritt hin zu einem wirklich vereinheitlichten MLLM dar, der in der Lage ist, sich an die Granularitätsanforderungen verschiedener visueller Aufgaben anzupassen. Der Code und das Modell werden unter https://github.com/rongyaofang/PUMA veröffentlicht.

English

Recent advancements in multimodal foundation models have yielded significant progress in vision-language understanding. Initial attempts have also explored the potential of multimodal large language models (MLLMs) for visual content generation. However, existing works have insufficiently addressed the varying granularity demands of different image generation tasks within a unified MLLM paradigm - from the diversity required in text-to-image generation to the precise controllability needed in image manipulation. In this work, we propose PUMA, emPowering Unified MLLM with Multi-grAnular visual generation. PUMA unifies multi-granular visual features as both inputs and outputs of MLLMs, elegantly addressing the different granularity requirements of various image generation tasks within a unified MLLM framework. Following multimodal pretraining and task-specific instruction tuning, PUMA demonstrates proficiency in a wide range of multimodal tasks. This work represents a significant step towards a truly unified MLLM capable of adapting to the granularity demands of various visual tasks. The code and model will be released in https://github.com/rongyaofang/PUMA.