Von Kopf bis Schwanz: Hin zu einer ausgewogenen Repräsentation in großen Vision-Sprache-Modellen durch adaptive Datenkalibrierung

From Head to Tail: Towards Balanced Representation in Large Vision-Language Models through Adaptive Data Calibration

March 17, 2025

Autoren: Mingyang Song, Xiaoye Qu, Jiawei Zhou, Yu Cheng

cs.AI

Zusammenfassung

Große Vision-Sprach-Modelle (Large Vision-Language Models, LVLMs) haben bedeutende Fortschritte bei der Kombination von visuellem Verständnis und Sprachgenerierung erzielt. Trotz dieser Erfolge leidet die Trainingsdatenbasis von LVLMs weiterhin unter Long-Tail (LT)-Problemen, bei denen die Datenverteilung stark unausgewogen ist. Bisherige Arbeiten konzentrierten sich hauptsächlich auf traditionelle VLM-Architekturen wie CLIP oder ViT sowie auf spezifische Aufgaben wie Erkennung und Klassifizierung. Die Erforschung von LVLMs (z. B. LLaVA) und allgemeineren Aufgaben (z. B. Visuelles Frage-Antworten und Visuelles Schlussfolgern) bleibt jedoch weitgehend unerforscht. In diesem Papier führen wir zunächst eine detaillierte Analyse der LT-Probleme in LVLMs durch und identifizieren zwei Kernursachen: die Überrepräsentation von Hauptkonzepten und die Unterrepräsentation von Randkonzepten. Basierend auf dieser Beobachtung schlagen wir ein Adaptives Datenverfeinerungs-Framework (Adaptive Data Refinement Framework, ADR) vor, das aus zwei Phasen besteht: Datenausgleich (Data Rebalancing, DR) und Datensynthese (Data Synthesis, DS). In der DR-Phase gleichen wir die redundanten Daten basierend auf Entitätsverteilungen adaptiv aus, während wir in der DS-Phase Denoising Diffusion Probabilistic Models (DDPMs) und seltene Bilder nutzen, um unterrepräsentierte Anteile zu ergänzen. Durch umfassende Bewertungen über elf Benchmarks hinweg mildert unser vorgeschlagenes ADR effektiv das Long-Tail-Problem in den Trainingsdaten und verbessert die durchschnittliche Leistung von LLaVA 1.5 relativ um 4,36 %, ohne das Trainingsdatenvolumen zu erhöhen.

English

Large Vision-Language Models (LVLMs) have achieved significant progress in combining visual comprehension with language generation. Despite this success, the training data of LVLMs still suffers from Long-Tail (LT) problems, where the data distribution is highly imbalanced. Previous works have mainly focused on traditional VLM architectures, i.e., CLIP or ViT, and specific tasks such as recognition and classification. Nevertheless, the exploration of LVLM (e.g. LLaVA) and more general tasks (e.g. Visual Question Answering and Visual Reasoning) remains under-explored. In this paper, we first conduct an in-depth analysis of the LT issues in LVLMs and identify two core causes: the overrepresentation of head concepts and the underrepresentation of tail concepts. Based on the above observation, we propose an Adaptive Data Refinement Framework (ADR), which consists of two stages: Data Rebalancing (DR) and Data Synthesis (DS). In the DR stage, we adaptively rebalance the redundant data based on entity distributions, while in the DS stage, we leverage Denoising Diffusion Probabilistic Models (DDPMs) and scarce images to supplement underrepresented portions. Through comprehensive evaluations across eleven benchmarks, our proposed ADR effectively mitigates the long-tail problem in the training data, improving the average performance of LLaVA 1.5 relatively by 4.36%, without increasing the training data volume.