HelloMeme: Integrare le attenzioni spaziali di maglia per incorporare condizioni di alto livello e ricche di fedeltà nei modelli di diffusione

HelloMeme: Integrating Spatial Knitting Attentions to Embed High-Level and Fidelity-Rich Conditions in Diffusion Models

October 30, 2024

Autori: Shengkai Zhang, Nianhong Jiao, Tian Li, Chaojie Yang, Chenhui Xue, Boya Niu, Jun Gao

cs.AI

Abstract

Proponiamo un metodo efficace per l'inserimento di adattatori nei modelli di base testo-immagine, che consente l'esecuzione di compiti complessi a valle preservando la capacità di generalizzazione del modello di base. L'idea principale di questo metodo è ottimizzare il meccanismo di attenzione relativo alle mappe di caratteristiche 2D, il che migliora le prestazioni dell'adattatore. Questo approccio è stato convalidato sul compito della generazione di video meme e ha ottenuto risultati significativi. Ci auguriamo che questo lavoro possa fornire spunti per i compiti post-addestramento dei grandi modelli testo-immagine. Inoltre, poiché questo metodo dimostra una buona compatibilità con i modelli derivati SD1.5, ha un certo valore per la comunità open-source. Pertanto, rilasceremo il codice correlato (https://songkey.github.io/hellomeme).

English

We propose an effective method for inserting adapters into text-to-image foundation models, which enables the execution of complex downstream tasks while preserving the generalization ability of the base model. The core idea of this method is to optimize the attention mechanism related to 2D feature maps, which enhances the performance of the adapter. This approach was validated on the task of meme video generation and achieved significant results. We hope this work can provide insights for post-training tasks of large text-to-image models. Additionally, as this method demonstrates good compatibility with SD1.5 derivative models, it holds certain value for the open-source community. Therefore, we will release the related code (https://songkey.github.io/hellomeme).