BonjourMeme : Intégration des attentions de tricot spatial pour intégrer des conditions de haut niveau et riches en fidélité dans les modèles de diffusion

HelloMeme: Integrating Spatial Knitting Attentions to Embed High-Level and Fidelity-Rich Conditions in Diffusion Models

October 30, 2024

Auteurs: Shengkai Zhang, Nianhong Jiao, Tian Li, Chaojie Yang, Chenhui Xue, Boya Niu, Jun Gao

cs.AI

Résumé

Nous proposons une méthode efficace pour insérer des adaptateurs dans les modèles fondamentaux texte-image, ce qui permet d'exécuter des tâches complexes en aval tout en préservant la capacité de généralisation du modèle de base. L'idée principale de cette méthode est d'optimiser le mécanisme d'attention lié aux cartes de caractéristiques 2D, ce qui améliore les performances de l'adaptateur. Cette approche a été validée sur la tâche de génération de vidéos mèmes et a obtenu des résultats significatifs. Nous espérons que ce travail pourra fournir des perspectives pour les tâches post-entraînement des grands modèles texte-image. De plus, comme cette méthode démontre une bonne compatibilité avec les modèles dérivés SD1.5, elle présente une certaine valeur pour la communauté open-source. Par conséquent, nous publierons le code associé (https://songkey.github.io/hellomeme).

English

We propose an effective method for inserting adapters into text-to-image foundation models, which enables the execution of complex downstream tasks while preserving the generalization ability of the base model. The core idea of this method is to optimize the attention mechanism related to 2D feature maps, which enhances the performance of the adapter. This approach was validated on the task of meme video generation and achieved significant results. We hope this work can provide insights for post-training tasks of large text-to-image models. Additionally, as this method demonstrates good compatibility with SD1.5 derivative models, it holds certain value for the open-source community. Therefore, we will release the related code (https://songkey.github.io/hellomeme).