TokenVerse: Vielseitige Multi-Konzept-Personalisierung im Token-Modulationraum

TokenVerse: Versatile Multi-concept Personalization in Token Modulation Space

January 21, 2025

Autoren: Daniel Garibi, Shahar Yadin, Roni Paiss, Omer Tov, Shiran Zada, Ariel Ephrat, Tomer Michaeli, Inbar Mosseri, Tali Dekel

cs.AI

Zusammenfassung

Wir präsentieren TokenVerse - eine Methode zur Multi-Konzept-Personalisierung, die ein vortrainiertes Text-zu-Bild-Diffusionsmodell nutzt. Unser Rahmen kann komplexe visuelle Elemente und Attribute bereits aus einem einzigen Bild herauslösen und ermöglicht gleichzeitig die nahtlose Plug-and-Play-Generierung von Kombinationen von Konzepten, die aus mehreren Bildern extrahiert wurden. Im Gegensatz zu bestehenden Arbeiten kann TokenVerse mehrere Bilder mit jeweils mehreren Konzepten verarbeiten und unterstützt eine Vielzahl von Konzepten, einschließlich Objekten, Accessoires, Materialien, Pose und Beleuchtung. Unsere Arbeit nutzt ein auf DiT basierendes Text-zu-Bild-Modell, bei dem der Eingabetext die Generierung sowohl durch Aufmerksamkeit als auch durch Modulation (Verschiebung und Skalierung) beeinflusst. Wir beobachten, dass der Modulationsraum semantisch ist und eine lokalisierte Steuerung über komplexe Konzepte ermöglicht. Basierend auf dieser Erkenntnis entwickeln wir einen optimierungsbasierten Rahmen, der ein Bild und eine Textbeschreibung als Eingabe erhält und für jedes Wort eine unterschiedliche Richtung im Modulationsraum findet. Diese Richtungen können dann verwendet werden, um neue Bilder zu generieren, die die gelernten Konzepte in einer gewünschten Konfiguration kombinieren. Wir zeigen die Wirksamkeit von TokenVerse in anspruchsvollen Personalisierungseinstellungen und präsentieren seine Vorteile gegenüber bestehenden Methoden. Projekthomepage unter https://token-verse.github.io/

English

We present TokenVerse -- a method for multi-concept personalization, leveraging a pre-trained text-to-image diffusion model. Our framework can disentangle complex visual elements and attributes from as little as a single image, while enabling seamless plug-and-play generation of combinations of concepts extracted from multiple images. As opposed to existing works, TokenVerse can handle multiple images with multiple concepts each, and supports a wide-range of concepts, including objects, accessories, materials, pose, and lighting. Our work exploits a DiT-based text-to-image model, in which the input text affects the generation through both attention and modulation (shift and scale). We observe that the modulation space is semantic and enables localized control over complex concepts. Building on this insight, we devise an optimization-based framework that takes as input an image and a text description, and finds for each word a distinct direction in the modulation space. These directions can then be used to generate new images that combine the learned concepts in a desired configuration. We demonstrate the effectiveness of TokenVerse in challenging personalization settings, and showcase its advantages over existing methods. project's webpage in https://token-verse.github.io/