LoRA in contesto per i trasformatori di diffusione

In-Context LoRA for Diffusion Transformers

October 31, 2024

Autori: Lianghua Huang, Wei Wang, Zhi-Fan Wu, Yupeng Shi, Huanzhang Dou, Chen Liang, Yutong Feng, Yu Liu, Jingren Zhou

cs.AI

Abstract

Ricerche recenti arXiv:2410.15027 hanno esplorato l'uso dei trasformatori a diffusione (DiTs) per la generazione di immagini senza vincoli di compito, semplicemente concatenando i token di attenzione tra le immagini. Tuttavia, nonostante consistenti risorse computazionali, la fedeltà delle immagini generate rimane subottimale. In questo studio, rivalutiamo e ottimizziamo questo framework ipotizzando che i DiTs testo-immagine possiedano intrinsecamente capacità di generazione contestuale, richiedendo solo un minimo di regolazioni per attivarle. Attraverso diversi esperimenti di compito, dimostriamo qualitativamente che i DiTs testo-immagine esistenti possono eseguire efficacemente la generazione contestuale senza alcuna regolazione. Sfruttando questa intuizione, proponiamo un pipeline straordinariamente semplice per sfruttare le capacità contestuali dei DiTs: (1) concatenare le immagini invece dei token, (2) eseguire la descrizione congiunta di più immagini, e (3) applicare regolazioni LoRA specifiche del compito utilizzando piccoli set di dati (ad es. 20sim 100 campioni) anziché regolazioni a parametri completi con ampi set di dati. Diamo il nome ai nostri modelli In-Context LoRA (IC-LoRA). Questo approccio non richiede modifiche ai modelli DiT originali, solo cambiamenti ai dati di addestramento. Sorprendentemente, la nostra pipeline genera set di immagini ad alta fedeltà che rispettano meglio i suggerimenti. Pur essendo specifico del compito in termini di dati di regolazione, il nostro framework rimane senza vincoli di compito in architettura e pipeline, offrendo uno strumento potente per la comunità e fornendo preziose intuizioni per ulteriori ricerche su sistemi di generazione senza vincoli di compito a livello di prodotto. Rilasciamo il nostro codice, dati e modelli su https://github.com/ali-vilab/In-Context-LoRA

English

Recent research arXiv:2410.15027 has explored the use of diffusion transformers (DiTs) for task-agnostic image generation by simply concatenating attention tokens across images. However, despite substantial computational resources, the fidelity of the generated images remains suboptimal. In this study, we reevaluate and streamline this framework by hypothesizing that text-to-image DiTs inherently possess in-context generation capabilities, requiring only minimal tuning to activate them. Through diverse task experiments, we qualitatively demonstrate that existing text-to-image DiTs can effectively perform in-context generation without any tuning. Building on this insight, we propose a remarkably simple pipeline to leverage the in-context abilities of DiTs: (1) concatenate images instead of tokens, (2) perform joint captioning of multiple images, and (3) apply task-specific LoRA tuning using small datasets (e.g., 20sim 100 samples) instead of full-parameter tuning with large datasets. We name our models In-Context LoRA (IC-LoRA). This approach requires no modifications to the original DiT models, only changes to the training data. Remarkably, our pipeline generates high-fidelity image sets that better adhere to prompts. While task-specific in terms of tuning data, our framework remains task-agnostic in architecture and pipeline, offering a powerful tool for the community and providing valuable insights for further research on product-level task-agnostic generation systems. We release our code, data, and models at https://github.com/ali-vilab/In-Context-LoRA