Personalisieren Sie alles kostenlos mit Diffusion Transformer

Personalize Anything for Free with Diffusion Transformer

March 16, 2025

Autoren: Haoran Feng, Zehuan Huang, Lin Li, Hairong Lv, Lu Sheng

cs.AI

Zusammenfassung

Die personalisierte Bildgenerierung zielt darauf ab, Bilder von benutzerdefinierten Konzepten zu erzeugen und gleichzeitig flexible Bearbeitung zu ermöglichen. Aktuelle trainingsfreie Ansätze, die zwar eine höhere Recheneffizienz als trainingsbasierte Methoden aufweisen, kämpfen mit der Identitätserhaltung, Anwendbarkeit und Kompatibilität mit Diffusionstransformern (DiTs). In diesem Artikel erschließen wir das ungenutzte Potenzial von DiT, bei dem der einfache Austausch von Denoising-Tokens durch die eines Referenzsubjekts eine Zero-Shot-Subjektrekonstruktion ermöglicht. Diese einfache, aber effektive Feature-Injection-Technik erschließt vielfältige Szenarien, von der Personalisierung bis zur Bildbearbeitung. Aufbauend auf dieser Beobachtung schlagen wir „Personalize Anything“ vor, ein trainingsfreies Framework, das personalisierte Bildgenerierung in DiT durch folgende Maßnahmen erreicht: 1) zeitstufenadaptive Token-Ersetzung, die Subjektkonsistenz durch frühe Injektion sicherstellt und Flexibilität durch späte Regularisierung erhöht, sowie 2) Patch-Perturbationsstrategien zur Steigerung der strukturellen Vielfalt. Unsere Methode unterstützt nahtlos layoutgesteuerte Generierung, Multi-Subjekt-Personalisierung und maskengesteuerte Bearbeitung. Evaluierungen zeigen state-of-the-art Leistung in der Identitätserhaltung und Vielseitigkeit. Unsere Arbeit liefert neue Einblicke in DiTs und bietet gleichzeitig ein praktisches Paradigma für effiziente Personalisierung.

English

Personalized image generation aims to produce images of user-specified concepts while enabling flexible editing. Recent training-free approaches, while exhibit higher computational efficiency than training-based methods, struggle with identity preservation, applicability, and compatibility with diffusion transformers (DiTs). In this paper, we uncover the untapped potential of DiT, where simply replacing denoising tokens with those of a reference subject achieves zero-shot subject reconstruction. This simple yet effective feature injection technique unlocks diverse scenarios, from personalization to image editing. Building upon this observation, we propose Personalize Anything, a training-free framework that achieves personalized image generation in DiT through: 1) timestep-adaptive token replacement that enforces subject consistency via early-stage injection and enhances flexibility through late-stage regularization, and 2) patch perturbation strategies to boost structural diversity. Our method seamlessly supports layout-guided generation, multi-subject personalization, and mask-controlled editing. Evaluations demonstrate state-of-the-art performance in identity preservation and versatility. Our work establishes new insights into DiTs while delivering a practical paradigm for efficient personalization.