ADEM-VL : Fusion Adaptative et Embarquée pour un Réglage Efficace Vision-Language

ADEM-VL: Adaptive and Embedded Fusion for Efficient Vision-Language Tuning

October 23, 2024

Auteurs: Zhiwei Hao, Jianyuan Guo, Li Shen, Yong Luo, Han Hu, Yonggang Wen

cs.AI

Résumé

Les récents progrès en matière de fusion multimodale ont vu le remarquable succès des modèles vision-langage (VL), qui excellent dans diverses applications multimodales telles que la légende d'images et la réponse à des questions visuelles. Cependant, la construction de modèles VL nécessite des ressources matérielles substantielles, où l'efficacité est limitée par deux facteurs clés : la séquence d'entrée étendue du modèle de langage avec des caractéristiques visuelles exige plus d'opérations computationnelles, et un grand nombre de paramètres apprenables supplémentaires accroît la complexité de la mémoire. Ces défis restreignent significativement la plus large applicabilité de ces modèles. Pour combler cet écart, nous proposons ADEM-VL, une méthode vision-langage efficace qui accorde les modèles VL en se basant sur des modèles de langage pré-entraînés de grande taille (LLM) en adoptant un mécanisme d'attention croisée sans paramètre pour les mesures de similarité dans la fusion multimodale. Cette approche nécessite uniquement l'incorporation des caractéristiques visuelles dans l'espace de langage, réduisant significativement le nombre de paramètres entraînables et accélérant à la fois l'entraînement et la vitesse d'inférence. Pour améliorer l'apprentissage de représentation dans le module de fusion, nous introduisons un schéma efficace de génération de caractéristiques multi-échelles qui ne nécessite qu'un seul passage avant à travers l'encodeur visuel. De plus, nous proposons un schéma de fusion adaptatif qui élimine dynamiquement les informations visuelles moins pertinentes pour chaque jeton de texte en fonction de son score d'attention. Cela garantit que le processus de fusion donne la priorité aux caractéristiques visuelles les plus pertinentes. Avec des expériences sur diverses tâches incluant la réponse à des questions visuelles, la légende d'images et le suivi d'instructions, nous démontrons que notre cadre surpasse les approches existantes. Plus précisément, notre méthode dépasse les méthodes existantes avec une précision moyenne de 0,77 % sur l'ensemble de données ScienceQA, avec une réduction de la latence d'entraînement et d'inférence, démontrant la supériorité de notre cadre. Le code est disponible sur https://github.com/Hao840/ADEM-VL.

English

Recent advancements in multimodal fusion have witnessed the remarkable success of vision-language (VL) models, which excel in various multimodal applications such as image captioning and visual question answering. However, building VL models requires substantial hardware resources, where efficiency is restricted by two key factors: the extended input sequence of the language model with vision features demands more computational operations, and a large number of additional learnable parameters increase memory complexity. These challenges significantly restrict the broader applicability of such models. To bridge this gap, we propose ADEM-VL, an efficient vision-language method that tunes VL models based on pretrained large language models (LLMs) by adopting a parameter-free cross-attention mechanism for similarity measurements in multimodal fusion. This approach only requires embedding vision features into the language space, significantly reducing the number of trainable parameters and accelerating both training and inference speeds. To enhance representation learning in fusion module, we introduce an efficient multiscale feature generation scheme that requires only a single forward pass through the vision encoder. Moreover, we propose an adaptive fusion scheme that dynamically discards less relevant visual information for each text token based on its attention score. This ensures that the fusion process prioritizes the most pertinent visual features. With experiments on various tasks including visual question answering, image captioning, and instruction-following, we demonstrate that our framework outperforms existing approaches. Specifically, our method surpasses existing methods by an average accuracy of 0.77% on ScienceQA dataset, with reduced training and inference latency, demonstrating the superiority of our framework. The code is available at https://github.com/Hao840/ADEM-VL.