EasyRef: Riferimento Immagine di Gruppo Omni-Generalizzato per Modelli di Diffusione tramite LLM Multimodale

EasyRef: Omni-Generalized Group Image Reference for Diffusion Models via Multimodal LLM

December 12, 2024

Autori: Zhuofan Zong, Dongzhi Jiang, Bingqi Ma, Guanglu Song, Hao Shao, Dazhong Shen, Yu Liu, Hongsheng Li

cs.AI

Abstract

Sono stati osservati significativi progressi nella personalizzazione dei modelli di diffusione. I metodi convenzionali senza sintonizzazione principalmente codificano più immagini di riferimento attraverso la media delle loro incapsulazioni d'immagine come condizione di iniezione, ma tale operazione indipendente dall'immagine non può interagire tra le immagini per catturare elementi visivi coerenti all'interno di più riferimenti. Anche se l'Adattamento a Basso Rango (LoRA) basato sulla sintonizzazione può estrarre efficacemente elementi coerenti all'interno di più immagini durante il processo di addestramento, richiede una sintonizzazione specifica per ciascun gruppo di immagini distinte. Questo articolo introduce EasyRef, un nuovo metodo di adattamento plug-and-play che consente ai modelli di diffusione di essere condizionati su più immagini di riferimento e sul prompt di testo. Per sfruttare efficacemente elementi visivi coerenti all'interno di più immagini, sfruttiamo le capacità di comprensione multi-immagine e di seguire le istruzioni del modello di linguaggio multimodale a grande scala (MLLM), chiedendogli di catturare elementi visivi coerenti in base all'istruzione. Inoltre, iniettare le rappresentazioni del MLLM nel processo di diffusione attraverso adattatori può generalizzare facilmente a domini non visti, estrarre gli elementi visivi coerenti all'interno di dati non visti. Per mitigare i costi computazionali e migliorare la conservazione dei dettagli fini, introduciamo una strategia efficiente di aggregazione di riferimenti e uno schema di addestramento progressivo. Infine, presentiamo MRBench, un nuovo benchmark di generazione di immagini multi-riferimento. I risultati sperimentali dimostrano che EasyRef supera sia i metodi senza sintonizzazione come IP-Adapter sia i metodi basati sulla sintonizzazione come LoRA, raggiungendo una qualità estetica superiore e una generalizzazione zero-shot robusta attraverso domini diversi.

English

Significant achievements in personalization of diffusion models have been witnessed. Conventional tuning-free methods mostly encode multiple reference images by averaging their image embeddings as the injection condition, but such an image-independent operation cannot perform interaction among images to capture consistent visual elements within multiple references. Although the tuning-based Low-Rank Adaptation (LoRA) can effectively extract consistent elements within multiple images through the training process, it necessitates specific finetuning for each distinct image group. This paper introduces EasyRef, a novel plug-and-play adaptation method that enables diffusion models to be conditioned on multiple reference images and the text prompt. To effectively exploit consistent visual elements within multiple images, we leverage the multi-image comprehension and instruction-following capabilities of the multimodal large language model (MLLM), prompting it to capture consistent visual elements based on the instruction. Besides, injecting the MLLM's representations into the diffusion process through adapters can easily generalize to unseen domains, mining the consistent visual elements within unseen data. To mitigate computational costs and enhance fine-grained detail preservation, we introduce an efficient reference aggregation strategy and a progressive training scheme. Finally, we introduce MRBench, a new multi-reference image generation benchmark. Experimental results demonstrate EasyRef surpasses both tuning-free methods like IP-Adapter and tuning-based methods like LoRA, achieving superior aesthetic quality and robust zero-shot generalization across diverse domains.