HelloMeme: Het integreren van ruimtelijke brei-aandachtspunten om hoog-niveau en rijk-gedetailleerde omstandigheden in diffusiemodellen in te bedden

HelloMeme: Integrating Spatial Knitting Attentions to Embed High-Level and Fidelity-Rich Conditions in Diffusion Models

October 30, 2024

Auteurs: Shengkai Zhang, Nianhong Jiao, Tian Li, Chaojie Yang, Chenhui Xue, Boya Niu, Jun Gao

cs.AI

Samenvatting

We stellen een effectieve methode voor om adapters in tekst-naar-afbeelding basis modellen in te voegen, waardoor complexe downstream taken kunnen worden uitgevoerd terwijl de generalisatiecapaciteit van het basismodel behouden blijft. Het kernidee van deze methode is om de aandachtsmechanismen met betrekking tot 2D kenmerkkaarten te optimaliseren, wat de prestaties van de adapter verbetert. Deze benadering is gevalideerd op de taak van meme video generatie en behaalde significante resultaten. We hopen dat dit werk inzichten kan bieden voor post-trainingstaken van grote tekst-naar-afbeelding modellen. Bovendien, aangezien deze methode goede compatibiliteit met SD1.5 afgeleide modellen aantoont, heeft het bepaalde waarde voor de open-source gemeenschap. Daarom zullen we de gerelateerde code vrijgeven (https://songkey.github.io/hellomeme).

English

We propose an effective method for inserting adapters into text-to-image foundation models, which enables the execution of complex downstream tasks while preserving the generalization ability of the base model. The core idea of this method is to optimize the attention mechanism related to 2D feature maps, which enhances the performance of the adapter. This approach was validated on the task of meme video generation and achieved significant results. We hope this work can provide insights for post-training tasks of large text-to-image models. Additionally, as this method demonstrates good compatibility with SD1.5 derivative models, it holds certain value for the open-source community. Therefore, we will release the related code (https://songkey.github.io/hellomeme).