Genereren van Samenstelbare Scènes via Tekst-naar-afbeelding RGBA Instantiegeneratie

Generating Compositional Scenes via Text-to-image RGBA Instance Generation

November 16, 2024

Auteurs: Alessandro Fontanella, Petru-Daniel Tudosiu, Yongxin Yang, Shifeng Zhang, Sarah Parisot

cs.AI

Samenvatting

Tekst-naar-afbeelding diffusie generatieve modellen kunnen hoogwaardige afbeeldingen genereren ten koste van tijdrovende prompt-engineering. Controleerbaarheid kan worden verbeterd door lay-outconditionering te introduceren, echter bestaande methoden missen de mogelijkheid tot lay-outbewerking en fijnmazige controle over objectkenmerken. Het concept van meerlaagse generatie heeft veel potentieel om deze beperkingen aan te pakken, echter het gelijktijdig genereren van afbeeldingsinstanties en scènecompositie beperkt de controle over fijnmazige objectkenmerken, relatieve positionering in 3D-ruimte en scènemanipulatie mogelijkheden. In dit werk stellen we een nieuw meertraps generatieparadigma voor dat is ontworpen voor fijnmazige controle, flexibiliteit en interactiviteit. Om controle over instantiekenmerken te waarborgen, bedenken we een nieuw trainingsparadigma om een diffusiemodel aan te passen om geïsoleerde scèneonderdelen te genereren als RGBA-afbeeldingen met transparantie-informatie. Om complexe afbeeldingen te bouwen, gebruiken we deze vooraf gegenereerde instanties en introduceren we een meerlagig samengesteld generatieproces dat componenten soepel assembleert in realistische scènes. Onze experimenten tonen aan dat ons RGBA-diffusiemodel in staat is om diverse en hoogwaardige instanties te genereren met precieze controle over objectkenmerken. Door meerlagige compositie te gebruiken, tonen we aan dat onze aanpak het mogelijk maakt om afbeeldingen te bouwen en te manipuleren van zeer complexe prompts met fijnmazige controle over objectuiterlijk en locatie, met een hogere mate van controle dan concurrerende methoden.

English

Text-to-image diffusion generative models can generate high quality images at the cost of tedious prompt engineering. Controllability can be improved by introducing layout conditioning, however existing methods lack layout editing ability and fine-grained control over object attributes. The concept of multi-layer generation holds great potential to address these limitations, however generating image instances concurrently to scene composition limits control over fine-grained object attributes, relative positioning in 3D space and scene manipulation abilities. In this work, we propose a novel multi-stage generation paradigm that is designed for fine-grained control, flexibility and interactivity. To ensure control over instance attributes, we devise a novel training paradigm to adapt a diffusion model to generate isolated scene components as RGBA images with transparency information. To build complex images, we employ these pre-generated instances and introduce a multi-layer composite generation process that smoothly assembles components in realistic scenes. Our experiments show that our RGBA diffusion model is capable of generating diverse and high quality instances with precise control over object attributes. Through multi-layer composition, we demonstrate that our approach allows to build and manipulate images from highly complex prompts with fine-grained control over object appearance and location, granting a higher degree of control than competing methods.