Einheitliche multimodale diskrete Diffusion

Unified Multimodal Discrete Diffusion

March 26, 2025

Autoren: Alexander Swerdlow, Mihir Prabhudesai, Siddharth Gandhi, Deepak Pathak, Katerina Fragkiadaki

cs.AI

Zusammenfassung

Multimodale generative Modelle, die mehrere Modalitäten verstehen und generieren können, werden derzeit von autoregressiven (AR) Ansätzen dominiert, die Token sequenziell von links nach rechts oder von oben nach unten verarbeiten. Diese Modelle verarbeiten gemeinsam Bilder, Text, Video und Audio für verschiedene Aufgaben wie Bildbeschriftung, Fragebeantwortung und Bildgenerierung. In dieser Arbeit untersuchen wir diskrete Diffusionsmodelle als einheitliche generative Formulierung im kombinierten Text- und Bildbereich, basierend auf ihren jüngsten Erfolgen in der Textgenerierung. Diskrete Diffusionsmodelle bieten mehrere Vorteile gegenüber AR-Modellen, darunter eine verbesserte Kontrolle über die Qualität versus die Vielfalt der generierten Samples, die Fähigkeit zur gemeinsamen multimodalen Inpainting (sowohl im Text- als auch im Bildbereich) und eine größere Steuerbarkeit bei der Generierung durch Guidance. Unter Nutzung dieser Vorteile präsentieren wir das erste Unified Multimodal Discrete Diffusion (UniDisc) Modell, das in der Lage ist, Text und Bilder gemeinsam zu verstehen und für eine Vielzahl von Downstream-Aufgaben zu generieren. Wir vergleichen UniDisc mit multimodalen AR-Modellen, führen eine Skalierungsanalyse durch und zeigen, dass UniDisc diese in Bezug auf Leistung, Inferenzzeit, verbesserte Steuerbarkeit, Bearbeitbarkeit, Inpainting und flexible Abwägung zwischen Inferenzzeit und Generierungsqualität übertrifft. Code und zusätzliche Visualisierungen sind unter https://unidisc.github.io verfügbar.

English

Multimodal generative models that can understand and generate across multiple modalities are dominated by autoregressive (AR) approaches, which process tokens sequentially from left to right, or top to bottom. These models jointly handle images, text, video, and audio for various tasks such as image captioning, question answering, and image generation. In this work, we explore discrete diffusion models as a unified generative formulation in the joint text and image domain, building upon their recent success in text generation. Discrete diffusion models offer several advantages over AR models, including improved control over quality versus diversity of generated samples, the ability to perform joint multimodal inpainting (across both text and image domains), and greater controllability in generation through guidance. Leveraging these benefits, we present the first Unified Multimodal Discrete Diffusion (UniDisc) model which is capable of jointly understanding and generating text and images for a variety of downstream tasks. We compare UniDisc to multimodal AR models, performing a scaling analysis and demonstrating that UniDisc outperforms them in terms of both performance and inference-time compute, enhanced controllability, editability, inpainting, and flexible trade-off between inference time and generation quality. Code and additional visualizations are available at https://unidisc.github.io.