AnyStory: к единой персонализации для одного и нескольких субъектов в генерации текста в изображения.

AnyStory: Towards Unified Single and Multiple Subject Personalization in Text-to-Image Generation

January 16, 2025

Авторы: Junjie He, Yuxiang Tuo, Binghui Chen, Chongyang Zhong, Yifeng Geng, Liefeng Bo

cs.AI

Аннотация

Недавно крупномасштабные генеративные модели продемонстрировали выдающиеся возможности генерации текста в изображение. Однако создание высококачественных персонализированных изображений с определенными объектами все еще представляет определенные трудности, особенно в случаях, когда вовлечены несколько объектов. В данной статье мы предлагаем AnyStory, унифицированный подход к генерации персонализированных объектов. AnyStory не только достигает высокого уровня персонализации для одиночных объектов, но также для нескольких объектов, не жертвуя при этом точностью передачи объекта. Конкретно, AnyStory моделирует проблему персонализации объекта способом "кодирование-затем-маршрутизация". На этапе кодирования AnyStory использует универсальный и мощный кодировщик изображений, т.е. ReferenceNet, совместно с кодировщиком CLIP для зрения, чтобы достичь высококачественного кодирования характеристик объекта. На этапе маршрутизации AnyStory использует разделенный экземпляр-осведомленный маршрутизатор объекта для точного восприятия и предсказания потенциального местоположения соответствующего объекта в скрытом пространстве и направления инъекции условий объекта. Подробные экспериментальные результаты демонстрируют отличную производительность нашего метода в сохранении деталей объекта, выравнивании текстовых описаний и персонализации для нескольких объектов. Страница проекта находится по адресу https://aigcdesigngroup.github.io/AnyStory/.

English

Recently, large-scale generative models have demonstrated outstanding text-to-image generation capabilities. However, generating high-fidelity personalized images with specific subjects still presents challenges, especially in cases involving multiple subjects. In this paper, we propose AnyStory, a unified approach for personalized subject generation. AnyStory not only achieves high-fidelity personalization for single subjects, but also for multiple subjects, without sacrificing subject fidelity. Specifically, AnyStory models the subject personalization problem in an "encode-then-route" manner. In the encoding step, AnyStory utilizes a universal and powerful image encoder, i.e., ReferenceNet, in conjunction with CLIP vision encoder to achieve high-fidelity encoding of subject features. In the routing step, AnyStory utilizes a decoupled instance-aware subject router to accurately perceive and predict the potential location of the corresponding subject in the latent space, and guide the injection of subject conditions. Detailed experimental results demonstrate the excellent performance of our method in retaining subject details, aligning text descriptions, and personalizing for multiple subjects. The project page is at https://aigcdesigngroup.github.io/AnyStory/ .