DiffCLIP: Differenzielle Aufmerksamkeit trifft auf CLIP

DiffCLIP: Differential Attention Meets CLIP

March 9, 2025

Autoren: Hasan Abed Al Kader Hammoud, Bernard Ghanem

cs.AI

Zusammenfassung

Wir stellen DiffCLIP vor, ein neuartiges Vision-Language-Modell, das den differentiellen Aufmerksamkeitsmechanismus auf CLIP-Architekturen erweitert. Der differentielle Aufmerksamkeitsmechanismus wurde ursprünglich für große Sprachmodelle entwickelt, um relevanten Kontext zu verstärken und gleichzeitig störende Informationen auszublenden. In dieser Arbeit integrieren wir diesen Mechanismus in das Dual-Encoder-Framework (Bild und Text) von CLIP. Mit minimalen zusätzlichen Parametern erreicht DiffCLIP eine überlegene Leistung bei Aufgaben zur Bild-Text-Verständnis. In Benchmarks für Zero-Shot-Klassifikation, Retrieval und Robustheit übertrifft DiffCLIP durchweg die Baseline-CLIP-Modelle. Bemerkenswert ist, dass diese Verbesserungen mit einem vernachlässigbaren Rechenaufwand einhergehen, was zeigt, dass differentielle Aufmerksamkeit multimodale Repräsentationen erheblich verbessern kann, ohne die Effizienz zu beeinträchtigen. Der Code ist unter https://github.com/hammoudhasan/DiffCLIP verfügbar.

English

We propose DiffCLIP, a novel vision-language model that extends the differential attention mechanism to CLIP architectures. Differential attention was originally developed for large language models to amplify relevant context while canceling out noisy information. In this work, we integrate this mechanism into CLIP's dual encoder (image and text) framework. With minimal additional parameters, DiffCLIP achieves superior performance on image-text understanding tasks. Across zero-shot classification, retrieval, and robustness benchmarks, DiffCLIP consistently outperforms baseline CLIP models. Notably, these gains come with negligible computational overhead, demonstrating that differential attention can significantly enhance multi-modal representations without sacrificing efficiency. Code can be found at https://github.com/hammoudhasan/DiffCLIP.