AnyStory: Verso la Personalizzazione Unificata dei Soggetti Singoli e Multipli nella Generazione di Testo in Immagini

AnyStory: Towards Unified Single and Multiple Subject Personalization in Text-to-Image Generation

January 16, 2025

Autori: Junjie He, Yuxiang Tuo, Binghui Chen, Chongyang Zhong, Yifeng Geng, Liefeng Bo

cs.AI

Abstract

Recentemente, i modelli generativi su larga scala hanno dimostrato eccezionali capacità di generazione testo-immagine. Tuttavia, generare immagini personalizzate ad alta fedeltà con soggetti specifici presenta ancora sfide, specialmente nei casi che coinvolgono più soggetti. In questo articolo, proponiamo AnyStory, un approccio unificato per la generazione di soggetti personalizzati. AnyStory non solo raggiunge una personalizzazione ad alta fedeltà per singoli soggetti, ma anche per più soggetti, senza compromettere la fedeltà del soggetto. In particolare, AnyStory modella il problema della personalizzazione del soggetto in modo "codifica-e-instrada". Nella fase di codifica, AnyStory utilizza un codificatore d'immagine universale e potente, cioè ReferenceNet, in combinazione con il codificatore visivo CLIP per ottenere una codifica ad alta fedeltà delle caratteristiche del soggetto. Nella fase di instradamento, AnyStory utilizza un instradatore di soggetto consapevole delle istanze disaccoppiato per percepire e prevedere con precisione la posizione potenziale del soggetto corrispondente nello spazio latente e guidare l'inserimento delle condizioni del soggetto. Dettagliati risultati sperimentali dimostrano l'eccellente performance del nostro metodo nel mantenere i dettagli del soggetto, allineare le descrizioni testuali e personalizzare per più soggetti. La pagina del progetto si trova su https://aigcdesigngroup.github.io/AnyStory/.

English

Recently, large-scale generative models have demonstrated outstanding text-to-image generation capabilities. However, generating high-fidelity personalized images with specific subjects still presents challenges, especially in cases involving multiple subjects. In this paper, we propose AnyStory, a unified approach for personalized subject generation. AnyStory not only achieves high-fidelity personalization for single subjects, but also for multiple subjects, without sacrificing subject fidelity. Specifically, AnyStory models the subject personalization problem in an "encode-then-route" manner. In the encoding step, AnyStory utilizes a universal and powerful image encoder, i.e., ReferenceNet, in conjunction with CLIP vision encoder to achieve high-fidelity encoding of subject features. In the routing step, AnyStory utilizes a decoupled instance-aware subject router to accurately perceive and predict the potential location of the corresponding subject in the latent space, and guide the injection of subject conditions. Detailed experimental results demonstrate the excellent performance of our method in retaining subject details, aligning text descriptions, and personalizing for multiple subjects. The project page is at https://aigcdesigngroup.github.io/AnyStory/ .