LLaVE: Große Sprach- und Vision-Einbettungsmodelle mit härtegewichtetem kontrastivem Lernen

LLaVE: Large Language and Vision Embedding Models with Hardness-Weighted Contrastive Learning

March 4, 2025

Autoren: Zhibin Lan, Liqiang Niu, Fandong Meng, Jie Zhou, Jinsong Su

cs.AI

Zusammenfassung

Universelle multimodale Embedding-Modelle spielen eine entscheidende Rolle bei Aufgaben wie der verschachtelten Bild-Text-Retrieval, multimodalen RAG (Retrieval-Augmented Generation) und multimodalen Clustering. Unsere empirischen Ergebnisse zeigen jedoch, dass bestehende LMM-basierte Embedding-Modelle, die mit dem standardmäßigen InfoNCE-Loss trainiert wurden, eine hohe Überschneidung in der Ähnlichkeitsverteilung zwischen positiven und negativen Paaren aufweisen, was die effektive Unterscheidung von schwierigen negativen Paaren erschwert. Um dieses Problem zu lösen, schlagen wir ein einfaches, aber effektives Framework vor, das die Repräsentationslernfähigkeit des Embedding-Modells für negative Paare dynamisch basierend auf deren Unterscheidungsfähigkeit verbessert. Innerhalb dieses Frameworks trainieren wir eine Reihe von Modellen, genannt LLaVE, und evaluieren sie auf dem MMEB-Benchmark, der 4 Meta-Aufgaben und 36 Datensätze umfasst. Die experimentellen Ergebnisse zeigen, dass LLaVE stärkere Baselines etabliert, die state-of-the-art (SOTA) Leistung erzielen und gleichzeitig eine hohe Skalierbarkeit und Effizienz demonstrieren. Insbesondere übertrifft LLaVE-2B die bisherigen SOTA-7B-Modelle, während LLaVE-7B eine weitere Leistungssteigerung von 6,2 Punkten erreicht. Obwohl LLaVE auf Bild-Text-Daten trainiert wurde, kann es sich auf Text-Video-Retrieval-Aufgaben in einem Zero-Shot-Manner verallgemeinern und starke Leistungen erzielen, was sein bemerkenswertes Potenzial für die Übertragung auf andere Embedding-Aufgaben unterstreicht.

English

Universal multimodal embedding models play a critical role in tasks such as interleaved image-text retrieval, multimodal RAG, and multimodal clustering. However, our empirical results indicate that existing LMM-based embedding models trained with the standard InfoNCE loss exhibit a high degree of overlap in similarity distribution between positive and negative pairs, making it challenging to distinguish hard negative pairs effectively. To deal with this issue, we propose a simple yet effective framework that dynamically improves the embedding model's representation learning for negative pairs based on their discriminative difficulty. Within this framework, we train a series of models, named LLaVE, and evaluate them on the MMEB benchmark, which covers 4 meta-tasks and 36 datasets. Experimental results show that LLaVE establishes stronger baselines that achieve state-of-the-art (SOTA) performance while demonstrating strong scalability and efficiency. Specifically, LLaVE-2B surpasses the previous SOTA 7B models, while LLaVE-7B achieves a further performance improvement of 6.2 points. Although LLaVE is trained on image-text data, it can generalize to text-video retrieval tasks in a zero-shot manner and achieve strong performance, demonstrating its remarkable potential for transfer to other embedding tasks.