DoraCycle: Ориентированная на домен адаптация унифицированной генеративной модели в мультимодальных циклах

DoraCycle: Domain-Oriented Adaptation of Unified Generative Model in Multimodal Cycles

March 5, 2025

Авторы: Rui Zhao, Weijia Mao, Mike Zheng Shou

cs.AI

Аннотация

Адаптация генеративных моделей к конкретным доменам представляет собой эффективное решение для удовлетворения специализированных требований. Однако адаптация к некоторым сложным доменам остается сложной задачей, особенно когда эти домены требуют значительного объема парных данных для захвата целевых распределений. Поскольку непарные данные из одной модальности, такие как визуальные или текстовые, более доступны, мы используем двунаправленные отображения между визуальными и текстовыми данными, изученные унифицированной генеративной моделью, чтобы обеспечить обучение на непарных данных для адаптации к домену. В частности, мы предлагаем DoraCycle, который интегрирует два мультимодальных цикла: текст-изображение-текст и изображение-текст-изображение. Модель оптимизируется с помощью кросс-энтропийной потери, вычисленной на конечных точках цикла, где обе конечные точки принадлежат одной модальности. Это способствует саморазвитию модели без необходимости использования аннотированных пар текст-изображение. Экспериментальные результаты показывают, что для задач, не зависящих от парных знаний, таких как стилизация, DoraCycle может эффективно адаптировать унифицированную модель, используя только непарные данные. Для задач, связанных с новыми парными знаниями, такими как конкретные идентичности, комбинация небольшого набора парных примеров изображение-текст и более масштабных непарных данных достаточна для эффективной адаптации, ориентированной на домен. Код будет опубликован по адресу https://github.com/showlab/DoraCycle.

English

Adapting generative models to specific domains presents an effective solution for satisfying specialized requirements. However, adapting to some complex domains remains challenging, especially when these domains require substantial paired data to capture the targeted distributions. Since unpaired data from a single modality, such as vision or language, is more readily available, we utilize the bidirectional mappings between vision and language learned by the unified generative model to enable training on unpaired data for domain adaptation. Specifically, we propose DoraCycle, which integrates two multimodal cycles: text-to-image-to-text and image-to-text-to-image. The model is optimized through cross-entropy loss computed at the cycle endpoints, where both endpoints share the same modality. This facilitates self-evolution of the model without reliance on annotated text-image pairs. Experimental results demonstrate that for tasks independent of paired knowledge, such as stylization, DoraCycle can effectively adapt the unified model using only unpaired data. For tasks involving new paired knowledge, such as specific identities, a combination of a small set of paired image-text examples and larger-scale unpaired data is sufficient for effective domain-oriented adaptation. The code will be released at https://github.com/showlab/DoraCycle.