Generazione di scene compositive tramite generazione di istanze RGBA da testo a immagine.

Generating Compositional Scenes via Text-to-image RGBA Instance Generation

November 16, 2024

Autori: Alessandro Fontanella, Petru-Daniel Tudosiu, Yongxin Yang, Shifeng Zhang, Sarah Parisot

cs.AI

Abstract

I modelli generativi di diffusione testo-immagine possono generare immagini di alta qualità a discapito dell'ingegnerizzazione noiosa delle istruzioni. La controllabilità può essere migliorata introducendo il condizionamento del layout, tuttavia i metodi esistenti mancano della capacità di modifica del layout e del controllo dettagliato sugli attributi degli oggetti. Il concetto di generazione a più strati ha un grande potenziale per affrontare queste limitazioni, tuttavia generare istanze di immagini contemporaneamente alla composizione della scena limita il controllo sugli attributi dettagliati degli oggetti, sul posizionamento relativo nello spazio tridimensionale e sulle capacità di manipolazione della scena. In questo lavoro, proponiamo un nuovo paradigma di generazione a più fasi progettato per il controllo dettagliato, la flessibilità e l'interattività. Per garantire il controllo sugli attributi delle istanze, ideiamo un nuovo paradigma di addestramento per adattare un modello di diffusione alla generazione di componenti di scena isolate come immagini RGBA con informazioni sulla trasparenza. Per costruire immagini complesse, utilizziamo queste istanze pregenerate e introduciamo un processo di generazione composita a più strati che assembla in modo fluido componenti in scene realistiche. I nostri esperimenti mostrano che il nostro modello di diffusione RGBA è in grado di generare istanze diverse e di alta qualità con controllo preciso sugli attributi degli oggetti. Attraverso la composizione a più strati, dimostriamo che il nostro approccio consente di costruire e manipolare immagini da istruzioni altamente complesse con controllo dettagliato sull'aspetto e sulla posizione degli oggetti, garantendo un grado di controllo superiore rispetto ai metodi concorrenti.

English

Text-to-image diffusion generative models can generate high quality images at the cost of tedious prompt engineering. Controllability can be improved by introducing layout conditioning, however existing methods lack layout editing ability and fine-grained control over object attributes. The concept of multi-layer generation holds great potential to address these limitations, however generating image instances concurrently to scene composition limits control over fine-grained object attributes, relative positioning in 3D space and scene manipulation abilities. In this work, we propose a novel multi-stage generation paradigm that is designed for fine-grained control, flexibility and interactivity. To ensure control over instance attributes, we devise a novel training paradigm to adapt a diffusion model to generate isolated scene components as RGBA images with transparency information. To build complex images, we employ these pre-generated instances and introduce a multi-layer composite generation process that smoothly assembles components in realistic scenes. Our experiments show that our RGBA diffusion model is capable of generating diverse and high quality instances with precise control over object attributes. Through multi-layer composition, we demonstrate that our approach allows to build and manipulate images from highly complex prompts with fine-grained control over object appearance and location, granting a higher degree of control than competing methods.