AnyStory: Auf dem Weg zur vereinheitlichten Personalisierung für einzelne und mehrere Subjekte in der Text-zu-Bild-Generierung

AnyStory: Towards Unified Single and Multiple Subject Personalization in Text-to-Image Generation

January 16, 2025

Autoren: Junjie He, Yuxiang Tuo, Binghui Chen, Chongyang Zhong, Yifeng Geng, Liefeng Bo

cs.AI

Zusammenfassung

In jüngster Zeit haben groß angelegte generative Modelle herausragende Fähigkeiten bei der Text-zu-Bild-Generierung gezeigt. Die Generierung hochwertiger personalisierter Bilder mit spezifischen Motiven stellt jedoch nach wie vor Herausforderungen dar, insbesondere bei Fällen mit mehreren Motiven. In diesem Paper schlagen wir AnyStory vor, einen einheitlichen Ansatz für die Generierung personalisierter Motive. AnyStory erreicht nicht nur eine hochwertige Personalisierung für einzelne Motive, sondern auch für mehrere Motive, ohne die Motivtreue zu beeinträchtigen. Spezifisch modelliert AnyStory das Problem der Motivpersonalisierung auf eine "Kodiere-dann-Leite"-Weise. Im Kodierungsschritt nutzt AnyStory einen universellen und leistungsstarken Bildkodierer, d.h. ReferenceNet, in Verbindung mit dem CLIP-Visionkodierer, um eine hochwertige Kodierung von Motivmerkmalen zu erreichen. Im Leitschritt verwendet AnyStory einen entkoppelten instanzbewussten Motivrouter, um den potenziellen Standort des entsprechenden Motivs im latenten Raum genau wahrzunehmen und vorherzusagen, und um die Injektion von Motivbedingungen zu lenken. Detaillierte experimentelle Ergebnisse zeigen die ausgezeichnete Leistung unserer Methode bei der Beibehaltung von Motivdetails, der Abstimmung von Textbeschreibungen und der Personalisierung für mehrere Motive. Die Projektseite befindet sich unter https://aigcdesigngroup.github.io/AnyStory/.

English

Recently, large-scale generative models have demonstrated outstanding text-to-image generation capabilities. However, generating high-fidelity personalized images with specific subjects still presents challenges, especially in cases involving multiple subjects. In this paper, we propose AnyStory, a unified approach for personalized subject generation. AnyStory not only achieves high-fidelity personalization for single subjects, but also for multiple subjects, without sacrificing subject fidelity. Specifically, AnyStory models the subject personalization problem in an "encode-then-route" manner. In the encoding step, AnyStory utilizes a universal and powerful image encoder, i.e., ReferenceNet, in conjunction with CLIP vision encoder to achieve high-fidelity encoding of subject features. In the routing step, AnyStory utilizes a decoupled instance-aware subject router to accurately perceive and predict the potential location of the corresponding subject in the latent space, and guide the injection of subject conditions. Detailed experimental results demonstrate the excellent performance of our method in retaining subject details, aligning text descriptions, and personalizing for multiple subjects. The project page is at https://aigcdesigngroup.github.io/AnyStory/ .