Generierung von zusammengesetzten Szenen durch Text-zu-Bild RGBA-Instanzgenerierung

Generating Compositional Scenes via Text-to-image RGBA Instance Generation

November 16, 2024

Autoren: Alessandro Fontanella, Petru-Daniel Tudosiu, Yongxin Yang, Shifeng Zhang, Sarah Parisot

cs.AI

Zusammenfassung

Text-zu-Bild-Diffusions-generative Modelle können hochwertige Bilder generieren, jedoch auf Kosten aufwändiger Eingabeaufforderungs-Entwicklung. Die Steuerbarkeit kann durch die Einführung von Layout-Konditionierung verbessert werden, jedoch fehlt es den bestehenden Methoden an Layout-Bearbeitungsfähigkeit und fein abgestimmter Kontrolle über Objekteigenschaften. Das Konzept der Mehrschichtgenerierung birgt großes Potenzial, um diese Einschränkungen anzugehen, jedoch begrenzt die gleichzeitige Generierung von Bildinstanzen zur Szenenzusammensetzung die Kontrolle über fein abgestimmte Objekteigenschaften, relative Positionierung im 3D-Raum und Szenenmanipulationsfähigkeiten. In dieser Arbeit schlagen wir ein neuartiges Mehrstufen-Generierungsparadigma vor, das für fein abgestimmte Kontrolle, Flexibilität und Interaktivität konzipiert ist. Um die Kontrolle über Instanzeigenschaften zu gewährleisten, entwickeln wir ein neuartiges Schulungsparadigma, um ein Diffusionsmodell anzupassen, um isolierte Szenenkomponenten als RGBA-Bilder mit Transparenzinformationen zu generieren. Um komplexe Bilder zu erstellen, verwenden wir diese vorab generierten Instanzen und führen einen Mehrschicht-Kompositgenerierungsprozess ein, der Komponenten in realistischen Szenen nahtlos zusammenfügt. Unsere Experimente zeigen, dass unser RGBA-Diffusionsmodell in der Lage ist, vielfältige und hochwertige Instanzen mit präziser Kontrolle über Objekteigenschaften zu generieren. Durch Mehrschichtzusammensetzung zeigen wir, dass unser Ansatz es ermöglicht, Bilder aus äußerst komplexen Eingabeaufforderungen aufzubauen und zu manipulieren, mit fein abgestimmter Kontrolle über das Erscheinungsbild und den Standort von Objekten, was eine höhere Kontrolle als bei konkurrierenden Methoden ermöglicht.

English

Text-to-image diffusion generative models can generate high quality images at the cost of tedious prompt engineering. Controllability can be improved by introducing layout conditioning, however existing methods lack layout editing ability and fine-grained control over object attributes. The concept of multi-layer generation holds great potential to address these limitations, however generating image instances concurrently to scene composition limits control over fine-grained object attributes, relative positioning in 3D space and scene manipulation abilities. In this work, we propose a novel multi-stage generation paradigm that is designed for fine-grained control, flexibility and interactivity. To ensure control over instance attributes, we devise a novel training paradigm to adapt a diffusion model to generate isolated scene components as RGBA images with transparency information. To build complex images, we employ these pre-generated instances and introduce a multi-layer composite generation process that smoothly assembles components in realistic scenes. Our experiments show that our RGBA diffusion model is capable of generating diverse and high quality instances with precise control over object attributes. Through multi-layer composition, we demonstrate that our approach allows to build and manipulate images from highly complex prompts with fine-grained control over object appearance and location, granting a higher degree of control than competing methods.