AnyStory: Naar Geünificeerde Personalisatie van Enkelvoudige en Meervoudige Onderwerpen in Tekst-naar-Afbeelding Generatie

AnyStory: Towards Unified Single and Multiple Subject Personalization in Text-to-Image Generation

January 16, 2025

Auteurs: Junjie He, Yuxiang Tuo, Binghui Chen, Chongyang Zhong, Yifeng Geng, Liefeng Bo

cs.AI

Samenvatting

Onlangs hebben grootschalige generatieve modellen uitstekende mogelijkheden voor tekst-naar-afbeelding generatie aangetoond. Echter, het genereren van hoogwaardige gepersonaliseerde afbeeldingen met specifieke onderwerpen blijft uitdagingen met zich meebrengen, vooral in gevallen met meerdere onderwerpen. In dit artikel stellen we AnyStory voor, een verenigde aanpak voor gepersonaliseerde onderwerpgeneratie. AnyStory bereikt niet alleen een hoogwaardige personalisatie voor enkele onderwerpen, maar ook voor meerdere onderwerpen, zonder de onderwerpfideliteit op te offeren. Specifiek modelt AnyStory het onderwerp personalisatieprobleem op een "coderen-en-dan-routeren" manier. In de coderingsstap maakt AnyStory gebruik van een universele en krachtige beeldencoder, d.w.z. ReferenceNet, in combinatie met de CLIP vision encoder om een hoogwaardige codering van onderwerpeigenschappen te bereiken. In de routeringsstap maakt AnyStory gebruik van een losgekoppelde, instantie-bewuste onderwerprouter om nauwkeurig de potentiële locatie van het overeenkomstige onderwerp in de latente ruimte waar te nemen en voorspellen, en om de injectie van onderwerpscondities te begeleiden. Gedetailleerde experimentele resultaten tonen de uitstekende prestaties van onze methode aan in het behouden van onderwerpdetails, het afstemmen van tekstbeschrijvingen en het personaliseren voor meerdere onderwerpen. De projectpagina is te vinden op https://aigcdesigngroup.github.io/AnyStory/.

English

Recently, large-scale generative models have demonstrated outstanding text-to-image generation capabilities. However, generating high-fidelity personalized images with specific subjects still presents challenges, especially in cases involving multiple subjects. In this paper, we propose AnyStory, a unified approach for personalized subject generation. AnyStory not only achieves high-fidelity personalization for single subjects, but also for multiple subjects, without sacrificing subject fidelity. Specifically, AnyStory models the subject personalization problem in an "encode-then-route" manner. In the encoding step, AnyStory utilizes a universal and powerful image encoder, i.e., ReferenceNet, in conjunction with CLIP vision encoder to achieve high-fidelity encoding of subject features. In the routing step, AnyStory utilizes a decoupled instance-aware subject router to accurately perceive and predict the potential location of the corresponding subject in the latent space, and guide the injection of subject conditions. Detailed experimental results demonstrate the excellent performance of our method in retaining subject details, aligning text descriptions, and personalizing for multiple subjects. The project page is at https://aigcdesigngroup.github.io/AnyStory/ .