TokenVerse: Veelzijdige Multi-concept Personalisatie in Token Modulatieruimte

TokenVerse: Versatile Multi-concept Personalization in Token Modulation Space

January 21, 2025

Auteurs: Daniel Garibi, Shahar Yadin, Roni Paiss, Omer Tov, Shiran Zada, Ariel Ephrat, Tomer Michaeli, Inbar Mosseri, Tali Dekel

cs.AI

Samenvatting

Wij presenteren TokenVerse - een methode voor multi-concept personalisatie, waarbij gebruik wordt gemaakt van een vooraf getraind tekst-naar-afbeelding diffusie model. Ons framework kan complexe visuele elementen en kenmerken ontwarren uit slechts één afbeelding, terwijl het naadloze plug-and-play generatie van combinaties van concepten mogelijk maakt die zijn geëxtraheerd uit meerdere afbeeldingen. In tegenstelling tot bestaande werken kan TokenVerse meerdere afbeeldingen met meerdere concepten elk verwerken, en ondersteunt een breed scala aan concepten, waaronder objecten, accessoires, materialen, houding en belichting. Ons werk maakt gebruik van een DiT-gebaseerd tekst-naar-afbeelding model, waarbij de invoertekst de generatie beïnvloedt door middel van zowel aandacht als modulatie (verschuiving en schaal). We observeren dat de modulatieruimte semantisch is en gecontroleerde aanpassing van complexe concepten mogelijk maakt. Voortbouwend op deze inzichten, ontwikkelen we een optimalisatiegebaseerd framework dat een afbeelding en een tekstbeschrijving als invoer neemt, en voor elk woord een afzonderlijke richting in de modulatieruimte vindt. Deze richtingen kunnen vervolgens worden gebruikt om nieuwe afbeeldingen te genereren die de geleerde concepten combineren in een gewenste configuratie. We tonen de effectiviteit van TokenVerse in uitdagende personalisatiescenario's en presenteren de voordelen ten opzichte van bestaande methoden. Projectpagina te vinden op https://token-verse.github.io/

English

We present TokenVerse -- a method for multi-concept personalization, leveraging a pre-trained text-to-image diffusion model. Our framework can disentangle complex visual elements and attributes from as little as a single image, while enabling seamless plug-and-play generation of combinations of concepts extracted from multiple images. As opposed to existing works, TokenVerse can handle multiple images with multiple concepts each, and supports a wide-range of concepts, including objects, accessories, materials, pose, and lighting. Our work exploits a DiT-based text-to-image model, in which the input text affects the generation through both attention and modulation (shift and scale). We observe that the modulation space is semantic and enables localized control over complex concepts. Building on this insight, we devise an optimization-based framework that takes as input an image and a text description, and finds for each word a distinct direction in the modulation space. These directions can then be used to generate new images that combine the learned concepts in a desired configuration. We demonstrate the effectiveness of TokenVerse in challenging personalization settings, and showcase its advantages over existing methods. project's webpage in https://token-verse.github.io/