Génération de scènes compositionnelles via la génération d'instances RGBA image-texte.

Generating Compositional Scenes via Text-to-image RGBA Instance Generation

November 16, 2024

Auteurs: Alessandro Fontanella, Petru-Daniel Tudosiu, Yongxin Yang, Shifeng Zhang, Sarah Parisot

cs.AI

Résumé

Les modèles génératifs de diffusion texte-vers-image peuvent produire des images de haute qualité au prix d'une ingénierie de prompt fastidieuse. La contrôlabilité peut être améliorée en introduisant une condition de mise en page, cependant les méthodes existantes manquent de capacité d'édition de mise en page et de contrôle fin sur les attributs des objets. Le concept de génération multi-couches présente un grand potentiel pour résoudre ces limitations, cependant la génération d'instances d'images en parallèle à la composition de scènes limite le contrôle sur les attributs fins des objets, le positionnement relatif dans l'espace 3D et les capacités de manipulation de scènes. Dans ce travail, nous proposons un nouveau paradigme de génération multi-étapes conçu pour un contrôle fin, la flexibilité et l'interactivité. Pour garantir le contrôle sur les attributs des instances, nous concevons un nouveau paradigme d'entraînement pour adapter un modèle de diffusion afin de générer des composants de scène isolés sous forme d'images RGBA avec des informations de transparence. Pour construire des images complexes, nous utilisons ces instances pré-générées et introduisons un processus de génération composite multi-couches qui assemble de manière fluide les composants dans des scènes réalistes. Nos expériences montrent que notre modèle de diffusion RGBA est capable de générer des instances diverses et de haute qualité avec un contrôle précis sur les attributs des objets. À travers la composition multi-couches, nous démontrons que notre approche permet de construire et de manipuler des images à partir de prompts très complexes avec un contrôle fin sur l'apparence et l'emplacement des objets, offrant un degré de contrôle plus élevé que les méthodes concurrentes.

English

Text-to-image diffusion generative models can generate high quality images at the cost of tedious prompt engineering. Controllability can be improved by introducing layout conditioning, however existing methods lack layout editing ability and fine-grained control over object attributes. The concept of multi-layer generation holds great potential to address these limitations, however generating image instances concurrently to scene composition limits control over fine-grained object attributes, relative positioning in 3D space and scene manipulation abilities. In this work, we propose a novel multi-stage generation paradigm that is designed for fine-grained control, flexibility and interactivity. To ensure control over instance attributes, we devise a novel training paradigm to adapt a diffusion model to generate isolated scene components as RGBA images with transparency information. To build complex images, we employ these pre-generated instances and introduce a multi-layer composite generation process that smoothly assembles components in realistic scenes. Our experiments show that our RGBA diffusion model is capable of generating diverse and high quality instances with precise control over object attributes. Through multi-layer composition, we demonstrate that our approach allows to build and manipulate images from highly complex prompts with fine-grained control over object appearance and location, granting a higher degree of control than competing methods.