MIDI: Diffusione Multi-Istanza per la Generazione di Scene 3D da Immagini Singole

MIDI: Multi-Instance Diffusion for Single Image to 3D Scene Generation

December 4, 2024

Autori: Zehuan Huang, Yuan-Chen Guo, Xingqiao An, Yunhan Yang, Yangguang Li, Zi-Xin Zou, Ding Liang, Xihui Liu, Yan-Pei Cao, Lu Sheng

cs.AI

Abstract

Questo articolo introduce MIDI, un nuovo paradigma per la generazione di scene 3D compositive da un'immagine singola. A differenza dei metodi esistenti che si basano su tecniche di ricostruzione o recupero o degli approcci recenti che impiegano la generazione oggetto per oggetto in più fasi, MIDI estende i modelli di generazione oggetto 3D da immagine pre-addestrati a modelli di diffusione multi-istanza, consentendo la generazione simultanea di molteplici istanze 3D con accurate relazioni spaziali e alta generalizzabilità. Al suo nucleo, MIDI incorpora un nuovo meccanismo di attenzione multi-istanza, che cattura efficacemente le interazioni tra oggetti e la coerenza spaziale direttamente nel processo di generazione, senza la necessità di processi complessi a più passaggi. Il metodo utilizza immagini parziali di oggetti e contesto globale della scena come input, modellando direttamente il completamento dell'oggetto durante la generazione 3D. Durante l'addestramento, supervisioniamo efficacemente le interazioni tra le istanze 3D utilizzando una quantità limitata di dati a livello di scena, incorporando dati di singoli oggetti per la regolarizzazione, mantenendo così la capacità di generalizzazione pre-addestrata. MIDI dimostra prestazioni all'avanguardia nella generazione immagine-scena, validate attraverso valutazioni su dati sintetici, dati di scene reali e immagini di scene stilizzate generate da modelli di diffusione testo-immagine.

English

This paper introduces MIDI, a novel paradigm for compositional 3D scene generation from a single image. Unlike existing methods that rely on reconstruction or retrieval techniques or recent approaches that employ multi-stage object-by-object generation, MIDI extends pre-trained image-to-3D object generation models to multi-instance diffusion models, enabling the simultaneous generation of multiple 3D instances with accurate spatial relationships and high generalizability. At its core, MIDI incorporates a novel multi-instance attention mechanism, that effectively captures inter-object interactions and spatial coherence directly within the generation process, without the need for complex multi-step processes. The method utilizes partial object images and global scene context as inputs, directly modeling object completion during 3D generation. During training, we effectively supervise the interactions between 3D instances using a limited amount of scene-level data, while incorporating single-object data for regularization, thereby maintaining the pre-trained generalization ability. MIDI demonstrates state-of-the-art performance in image-to-scene generation, validated through evaluations on synthetic data, real-world scene data, and stylized scene images generated by text-to-image diffusion models.