In-Context LoRA voor Diffusion Transformers

In-Context LoRA for Diffusion Transformers

October 31, 2024

Auteurs: Lianghua Huang, Wei Wang, Zhi-Fan Wu, Yupeng Shi, Huanzhang Dou, Chen Liang, Yutong Feng, Yu Liu, Jingren Zhou

cs.AI

Samenvatting

Recent onderzoek arXiv:2410.15027 heeft het gebruik van diffusietransformatoren (DiTs) verkend voor taakagnostische beeldgeneratie door eenvoudigweg aandachtstokens over afbeeldingen samen te voegen. Echter, ondanks aanzienlijke rekenbronnen, blijft de kwaliteit van de gegenereerde beelden suboptimaal. In deze studie herzien en stroomlijnen we dit kader door te veronderstellen dat tekst-naar-beeld DiTs inherent in-context generatiemogelijkheden bezitten, waarbij slechts minimale afstemming nodig is om ze te activeren. Via diverse taakexperimenten tonen we kwalitatief aan dat bestaande tekst-naar-beeld DiTs effectief in-context generatie kunnen uitvoeren zonder enige afstemming. Voortbouwend op deze inzichten stellen we een opmerkelijk eenvoudige pijplijn voor om de in-context mogelijkheden van DiTs te benutten: (1) afbeeldingen samenvoegen in plaats van tokens, (2) gezamenlijke bijschriften maken van meerdere afbeeldingen, en (3) taakspecifieke LoRA-afstemming toepassen met behulp van kleine datasets (bijv. 20sim 100 monsters) in plaats van volledige parameterafstemming met grote datasets. We noemen onze modellen In-Context LoRA (IC-LoRA). Deze benadering vereist geen aanpassingen aan de originele DiT-modellen, alleen veranderingen in de trainingsgegevens. Opmerkelijk genereert onze pijplijn beeldsets met een hoge kwaliteit die beter aansluiten bij de instructies. Hoewel taakspecifiek wat betreft afstemmingsgegevens, blijft ons kader taakagnostisch in architectuur en pijplijn, en biedt het een krachtig instrument voor de gemeenschap en waardevolle inzichten voor verder onderzoek naar taakagnostische generatiesystemen op productniveau. We publiceren onze code, gegevens en modellen op https://github.com/ali-vilab/In-Context-LoRA

English

Recent research arXiv:2410.15027 has explored the use of diffusion transformers (DiTs) for task-agnostic image generation by simply concatenating attention tokens across images. However, despite substantial computational resources, the fidelity of the generated images remains suboptimal. In this study, we reevaluate and streamline this framework by hypothesizing that text-to-image DiTs inherently possess in-context generation capabilities, requiring only minimal tuning to activate them. Through diverse task experiments, we qualitatively demonstrate that existing text-to-image DiTs can effectively perform in-context generation without any tuning. Building on this insight, we propose a remarkably simple pipeline to leverage the in-context abilities of DiTs: (1) concatenate images instead of tokens, (2) perform joint captioning of multiple images, and (3) apply task-specific LoRA tuning using small datasets (e.g., 20sim 100 samples) instead of full-parameter tuning with large datasets. We name our models In-Context LoRA (IC-LoRA). This approach requires no modifications to the original DiT models, only changes to the training data. Remarkably, our pipeline generates high-fidelity image sets that better adhere to prompts. While task-specific in terms of tuning data, our framework remains task-agnostic in architecture and pipeline, offering a powerful tool for the community and providing valuable insights for further research on product-level task-agnostic generation systems. We release our code, data, and models at https://github.com/ali-vilab/In-Context-LoRA