토큰버스: 다목적 다중 개념 개인화에 대한 토큰 변조 공간

TokenVerse: Versatile Multi-concept Personalization in Token Modulation Space

January 21, 2025

저자: Daniel Garibi, Shahar Yadin, Roni Paiss, Omer Tov, Shiran Zada, Ariel Ephrat, Tomer Michaeli, Inbar Mosseri, Tali Dekel

cs.AI

초록

우리는 TokenVerse를 제시합니다 - 사전 훈련된 텍스트-이미지 확산 모델을 활용한 다중 개념 개인화 방법입니다. 우리의 프레임워크는 단일 이미지에서부터 복잡한 시각적 요소와 속성을 분리할 수 있으며, 여러 이미지에서 추출된 개념의 조합을 원활하게 생성할 수 있습니다. 기존 작업과는 달리, TokenVerse는 각각 다중 개념을 포함하는 여러 이미지를 처리할 수 있으며, 물체, 액세서리, 재료, 자세 및 조명을 포함한 다양한 개념을 지원합니다. 우리의 작업은 입력 텍스트가 주의와 변조(이동 및 스케일)를 통해 생성에 영향을 미치는 DiT 기반 텍스트-이미지 모델을 활용합니다. 우리는 변조 공간이 의미론적이며 복잡한 개념에 대한 지역적 제어를 가능하게 한다는 것을 관찰합니다. 이 통찰력을 기반으로, 이미지와 텍스트 설명을 입력으로 취하고, 각 단어에 대해 변조 공간에서 구별된 방향을 찾는 최적화 기반 프레임워크를 고안합니다. 이러한 방향은 원하는 구성에서 학습된 개념을 결합하여 새로운 이미지를 생성하는 데 사용할 수 있습니다. 우리는 TokenVerse의 어려운 개인화 설정에서의 효과를 증명하고, 기존 방법에 비해 그 이점을 시연합니다. 프로젝트 웹페이지는 https://token-verse.github.io/에서 확인할 수 있습니다.

English

We present TokenVerse -- a method for multi-concept personalization, leveraging a pre-trained text-to-image diffusion model. Our framework can disentangle complex visual elements and attributes from as little as a single image, while enabling seamless plug-and-play generation of combinations of concepts extracted from multiple images. As opposed to existing works, TokenVerse can handle multiple images with multiple concepts each, and supports a wide-range of concepts, including objects, accessories, materials, pose, and lighting. Our work exploits a DiT-based text-to-image model, in which the input text affects the generation through both attention and modulation (shift and scale). We observe that the modulation space is semantic and enables localized control over complex concepts. Building on this insight, we devise an optimization-based framework that takes as input an image and a text description, and finds for each word a distinct direction in the modulation space. These directions can then be used to generate new images that combine the learned concepts in a desired configuration. We demonstrate the effectiveness of TokenVerse in challenging personalization settings, and showcase its advantages over existing methods. project's webpage in https://token-verse.github.io/