BLIP3-KALE: Wissen-gestützte dichte Bildunterschriften im großen Maßstab

Zusammenfassung

Wir stellen BLIP3-KALE vor, ein Datensatz von 218 Millionen Bild-Text-Paaren, der die Kluft zwischen beschreibenden synthetischen Bildunterschriften und faktischen webbasierten Alternativtexten überbrückt. KALE erweitert synthetische dichte Bildunterschriften mit webbasierten Alternativtexten im großen Maßstab, um faktisch fundierte Bildunterschriften zu generieren. Unser zweistufiger Ansatz nutzt große Vision-Sprach-Modelle und Sprachmodelle, um wissensgestützte Untertitel zu erstellen, die dann verwendet werden, um ein spezialisiertes VLM für die Skalierung des Datensatzes zu trainieren. Wir trainieren Vision-Sprach-Modelle auf KALE und zeigen Verbesserungen bei Vision-Sprach-Aufgaben. Unsere Experimente zeigen den Nutzen von KALE für das Training von leistungsfähigeren und kenntnisreicheren multimodalen Modellen. Wir veröffentlichen den KALE-Datensatz unter https://huggingface.co/datasets/Salesforce/blip3-kale.

English

We introduce BLIP3-KALE, a dataset of 218 million image-text pairs that bridges the gap between descriptive synthetic captions and factual web-scale alt-text. KALE augments synthetic dense image captions with web-scale alt-text to generate factually grounded image captions. Our two-stage approach leverages large vision-language models and language models to create knowledge-augmented captions, which are then used to train a specialized VLM for scaling up the dataset. We train vision-language models on KALE and demonstrate improvements on vision-language tasks. Our experiments show the utility of KALE for training more capable and knowledgeable multimodal models. We release the KALE dataset at https://huggingface.co/datasets/Salesforce/blip3-kale

BLIP3-KALE: Wissen-gestützte dichte Bildunterschriften im großen Maßstab

BLIP3-KALE: Knowledge Augmented Large-Scale Dense Captions

Zusammenfassung

Summary

Support