LoRA en contexte pour les transformateurs de diffusion

In-Context LoRA for Diffusion Transformers

October 31, 2024

Auteurs: Lianghua Huang, Wei Wang, Zhi-Fan Wu, Yupeng Shi, Huanzhang Dou, Chen Liang, Yutong Feng, Yu Liu, Jingren Zhou

cs.AI

Résumé

Une recherche récente arXiv:2410.15027 a exploré l'utilisation des transformateurs de diffusion (DiTs) pour la génération d'images sans tâche spécifique en concaténant simplement des jetons d'attention à travers les images. Cependant, malgré des ressources computationnelles substantielles, la fidélité des images générées reste suboptimale. Dans cette étude, nous réévaluons et rationalisons ce cadre en émettant l'hypothèse que les DiTs texte-image possèdent intrinsèquement des capacités de génération contextuelle, nécessitant seulement un réglage minimal pour les activer. À travers diverses expériences de tâches, nous démontrons qualitativement que les DiTs texte-image existants peuvent effectivement réaliser une génération contextuelle sans aucun réglage. S'appuyant sur cette observation, nous proposons un pipeline remarquablement simple pour exploiter les capacités contextuelles des DiTs : (1) concaténer des images au lieu de jetons, (2) réaliser une légende commune de plusieurs images, et (3) appliquer un réglage LoRA spécifique à la tâche en utilisant de petits ensembles de données (par exemple, 20 à 100 échantillons) au lieu d'un réglage de paramètres complet avec de grands ensembles de données. Nous nommons nos modèles In-Context LoRA (IC-LoRA). Cette approche ne nécessite aucune modification des modèles DiT originaux, seulement des changements aux données d'entraînement. Remarquablement, notre pipeline génère des ensembles d'images de haute fidélité qui respectent mieux les instructions. Bien que spécifique à la tâche en termes de données de réglage, notre cadre reste agnostique à la tâche en termes d'architecture et de pipeline, offrant un outil puissant pour la communauté et fournissant des perspectives précieuses pour de futures recherches sur les systèmes de génération sans tâche au niveau du produit. Nous mettons à disposition notre code, nos données et nos modèles sur https://github.com/ali-vilab/In-Context-LoRA.

English

Recent research arXiv:2410.15027 has explored the use of diffusion transformers (DiTs) for task-agnostic image generation by simply concatenating attention tokens across images. However, despite substantial computational resources, the fidelity of the generated images remains suboptimal. In this study, we reevaluate and streamline this framework by hypothesizing that text-to-image DiTs inherently possess in-context generation capabilities, requiring only minimal tuning to activate them. Through diverse task experiments, we qualitatively demonstrate that existing text-to-image DiTs can effectively perform in-context generation without any tuning. Building on this insight, we propose a remarkably simple pipeline to leverage the in-context abilities of DiTs: (1) concatenate images instead of tokens, (2) perform joint captioning of multiple images, and (3) apply task-specific LoRA tuning using small datasets (e.g., 20sim 100 samples) instead of full-parameter tuning with large datasets. We name our models In-Context LoRA (IC-LoRA). This approach requires no modifications to the original DiT models, only changes to the training data. Remarkably, our pipeline generates high-fidelity image sets that better adhere to prompts. While task-specific in terms of tuning data, our framework remains task-agnostic in architecture and pipeline, offering a powerful tool for the community and providing valuable insights for further research on product-level task-agnostic generation systems. We release our code, data, and models at https://github.com/ali-vilab/In-Context-LoRA