ADEM-VL: Adaptive und Embedded Fusion für effizientes Feinabstimmen von Vision und Sprache

ADEM-VL: Adaptive and Embedded Fusion for Efficient Vision-Language Tuning

October 23, 2024

Autoren: Zhiwei Hao, Jianyuan Guo, Li Shen, Yong Luo, Han Hu, Yonggang Wen

cs.AI

Zusammenfassung

Die jüngsten Fortschritte in der multimodalen Fusion haben den bemerkenswerten Erfolg von Bildsprachmodellen (VL-Modelle) erlebt, die in verschiedenen multimodalen Anwendungen wie Bildbeschreibungen und visuellen Frage-Antworten herausragend sind. Der Aufbau von VL-Modellen erfordert jedoch erhebliche Hardware-Ressourcen, wobei die Effizienz durch zwei Schlüsselfaktoren eingeschränkt ist: Die erweiterte Eingabesequenz des Sprachmodells mit Bildmerkmalen erfordert mehr Rechenoperationen, und eine große Anzahl zusätzlicher lernbarer Parameter erhöht die Speicherkomplexität. Diese Herausforderungen beschränken die breitere Anwendbarkeit solcher Modelle erheblich. Um diese Lücke zu überbrücken, schlagen wir ADEM-VL vor, eine effiziente Bildsprachmethode, die VL-Modelle basierend auf vortrainierten großen Sprachmodellen (LLMs) abstimmt, indem sie einen parameterfreien Kreuz-Aufmerksamkeitsmechanismus für Ähnlichkeitsmessungen in der multimodalen Fusion übernimmt. Dieser Ansatz erfordert nur das Einbetten von Bildmerkmalen in den Sprachraum, was die Anzahl der trainierbaren Parameter erheblich reduziert und sowohl das Training als auch die Inferenzgeschwindigkeiten beschleunigt. Um das Repräsentationslernen im Fusionsmodul zu verbessern, führen wir ein effizientes Multiskalen-Merkmalsgenerierungsschema ein, das nur einen einzigen Vorwärtspass durch den Bildencoder erfordert. Darüber hinaus schlagen wir ein adaptives Fusionsverfahren vor, das weniger relevante visuelle Informationen für jedes Texttoken basierend auf seinem Aufmerksamkeitsscore dynamisch verwirft. Dies stellt sicher, dass der Fusionsprozess die relevantesten visuellen Merkmale priorisiert. Mit Experimenten zu verschiedenen Aufgaben wie visueller Frage-Antwort, Bildbeschreibung und Anweisungsfolgen zeigen wir, dass unser Rahmenwerk bestehende Ansätze übertrifft. Insbesondere übertrifft unsere Methode bestehende Methoden auf dem ScienceQA-Datensatz um durchschnittlich 0,77% Genauigkeit, bei reduzierter Trainings- und Inferenzlatenz, was die Überlegenheit unseres Rahmenwerks demonstriert. Der Code ist verfügbar unter https://github.com/Hao840/ADEM-VL.

English

Recent advancements in multimodal fusion have witnessed the remarkable success of vision-language (VL) models, which excel in various multimodal applications such as image captioning and visual question answering. However, building VL models requires substantial hardware resources, where efficiency is restricted by two key factors: the extended input sequence of the language model with vision features demands more computational operations, and a large number of additional learnable parameters increase memory complexity. These challenges significantly restrict the broader applicability of such models. To bridge this gap, we propose ADEM-VL, an efficient vision-language method that tunes VL models based on pretrained large language models (LLMs) by adopting a parameter-free cross-attention mechanism for similarity measurements in multimodal fusion. This approach only requires embedding vision features into the language space, significantly reducing the number of trainable parameters and accelerating both training and inference speeds. To enhance representation learning in fusion module, we introduce an efficient multiscale feature generation scheme that requires only a single forward pass through the vision encoder. Moreover, we propose an adaptive fusion scheme that dynamically discards less relevant visual information for each text token based on its attention score. This ensures that the fusion process prioritizes the most pertinent visual features. With experiments on various tasks including visual question answering, image captioning, and instruction-following, we demonstrate that our framework outperforms existing approaches. Specifically, our method surpasses existing methods by an average accuracy of 0.77% on ScienceQA dataset, with reduced training and inference latency, demonstrating the superiority of our framework. The code is available at https://github.com/Hao840/ADEM-VL.