GrounDiT: Verankerung von Diffusions-Transformatoren mittels verrauschter Patch-Transplantation

GrounDiT: Grounding Diffusion Transformers via Noisy Patch Transplantation

October 27, 2024

Autoren: Phillip Y. Lee, Taehoon Yoon, Minhyuk Sung

cs.AI

Zusammenfassung

Wir stellen eine neuartige, trainingsfreie räumliche Verankerungstechnik für die Text-zu-Bild-Generierung unter Verwendung von Diffusion-Transformern (DiT) vor. Die räumliche Verankerung mit Begrenzungsrahmen hat aufgrund ihrer Einfachheit und Vielseitigkeit Aufmerksamkeit erregt und ermöglicht eine verbesserte Benutzerkontrolle bei der Bildgenerierung. Bisherige trainingsfreie Ansätze stützen sich jedoch oft auf die Aktualisierung des verrauschten Bildes während des umgekehrten Diffusionsprozesses über Backpropagation aus benutzerdefinierten Verlustfunktionen, die häufig Schwierigkeiten haben, eine präzise Kontrolle über einzelne Begrenzungsrahmen zu bieten. In dieser Arbeit nutzen wir die Flexibilität der Transformer-Architektur und zeigen, dass DiT rauschhafte Patches generieren kann, die jedem Begrenzungsrahmen entsprechen, das Zielobjekt vollständig codierend und eine fein abgestimmte Kontrolle über jeden Bereich ermöglichen. Unser Ansatz baut auf einer faszinierenden Eigenschaft von DiT auf, die wir als semantisches Teilen bezeichnen. Aufgrund des semantischen Teilens werden kleinere Patches gemeinsam mit einem generierbaren Bild während des Entfernungsvorgangs zu "semantischen Klonen". Jeder Patch wird in seinem eigenen Zweig des Generierungsprozesses entrauscht und dann zu jedem Zeitpunkt in den entsprechenden Bereich des ursprünglichen verrauschten Bildes transplantiert, was zu einer robusten räumlichen Verankerung für jeden Begrenzungsrahmen führt. In unseren Experimenten an den HRS- und DrawBench-Benchmarks erzielen wir im Vergleich zu früheren trainingsfreien räumlichen Verankerungsansätzen eine Spitzenleistung.

English

We introduce a novel training-free spatial grounding technique for text-to-image generation using Diffusion Transformers (DiT). Spatial grounding with bounding boxes has gained attention for its simplicity and versatility, allowing for enhanced user control in image generation. However, prior training-free approaches often rely on updating the noisy image during the reverse diffusion process via backpropagation from custom loss functions, which frequently struggle to provide precise control over individual bounding boxes. In this work, we leverage the flexibility of the Transformer architecture, demonstrating that DiT can generate noisy patches corresponding to each bounding box, fully encoding the target object and allowing for fine-grained control over each region. Our approach builds on an intriguing property of DiT, which we refer to as semantic sharing. Due to semantic sharing, when a smaller patch is jointly denoised alongside a generatable-size image, the two become "semantic clones". Each patch is denoised in its own branch of the generation process and then transplanted into the corresponding region of the original noisy image at each timestep, resulting in robust spatial grounding for each bounding box. In our experiments on the HRS and DrawBench benchmarks, we achieve state-of-the-art performance compared to previous training-free spatial grounding approaches.