AnyStory: Rumo à Personalização Unificada de Sujeito Único e Múltiplo na Geração de Texto para Imagem

AnyStory: Towards Unified Single and Multiple Subject Personalization in Text-to-Image Generation

January 16, 2025

Autores: Junjie He, Yuxiang Tuo, Binghui Chen, Chongyang Zhong, Yifeng Geng, Liefeng Bo

cs.AI

Resumo

Recentemente, modelos generativos em larga escala têm demonstrado capacidades excepcionais na geração de texto para imagem. No entanto, gerar imagens personalizadas de alta fidelidade com assuntos específicos ainda apresenta desafios, especialmente em casos envolvendo múltiplos assuntos. Neste artigo, propomos AnyStory, uma abordagem unificada para geração de assuntos personalizados. AnyStory não apenas alcança personalização de alta fidelidade para assuntos individuais, mas também para múltiplos assuntos, sem sacrificar a fidelidade do assunto. Especificamente, AnyStory modela o problema de personalização de assunto de forma "codificar-então-rotear". Na etapa de codificação, AnyStory utiliza um codificador de imagem universal e poderoso, ou seja, ReferenceNet, em conjunto com o codificador de visão CLIP para alcançar uma codificação de alta fidelidade das características do assunto. Na etapa de roteamento, AnyStory utiliza um roteador de assunto consciente da instância desacoplado para perceber e prever com precisão a localização potencial do assunto correspondente no espaço latente e guiar a injeção das condições do assunto. Resultados experimentais detalhados demonstram o excelente desempenho de nosso método em reter detalhes do assunto, alinhar descrições de texto e personalizar para múltiplos assuntos. A página do projeto está em https://aigcdesigngroup.github.io/AnyStory/.

English

Recently, large-scale generative models have demonstrated outstanding text-to-image generation capabilities. However, generating high-fidelity personalized images with specific subjects still presents challenges, especially in cases involving multiple subjects. In this paper, we propose AnyStory, a unified approach for personalized subject generation. AnyStory not only achieves high-fidelity personalization for single subjects, but also for multiple subjects, without sacrificing subject fidelity. Specifically, AnyStory models the subject personalization problem in an "encode-then-route" manner. In the encoding step, AnyStory utilizes a universal and powerful image encoder, i.e., ReferenceNet, in conjunction with CLIP vision encoder to achieve high-fidelity encoding of subject features. In the routing step, AnyStory utilizes a decoupled instance-aware subject router to accurately perceive and predict the potential location of the corresponding subject in the latent space, and guide the injection of subject conditions. Detailed experimental results demonstrate the excellent performance of our method in retaining subject details, aligning text descriptions, and personalizing for multiple subjects. The project page is at https://aigcdesigngroup.github.io/AnyStory/ .