BLIP3-KALE: Kennisverrijkte Dichte Bijschriften op Grote Schaal

BLIP3-KALE: Knowledge Augmented Large-Scale Dense Captions

November 12, 2024

Auteurs: Anas Awadalla, Le Xue, Manli Shu, An Yan, Jun Wang, Senthil Purushwalkam, Sheng Shen, Hannah Lee, Oscar Lo, Jae Sung Park, Etash Guha, Silvio Savarese, Ludwig Schmidt, Yejin Choi, Caiming Xiong, Ran Xu

cs.AI

Samenvatting

We introduceren BLIP3-KALE, een dataset van 218 miljoen afbeelding-tekst paren die de kloof overbrugt tussen beschrijvende synthetische bijschriften en feitelijke web-scale alt-tekst. KALE breidt synthetische dichte afbeeldingsbijschriften uit met web-scale alt-tekst om feitelijk gefundeerde afbeeldingsbijschriften te genereren. Onze tweestapsbenadering maakt gebruik van grote vision-language modellen en taalmodellen om kennis-verrijkte bijschriften te creëren, die vervolgens worden gebruikt om een gespecialiseerd VLM te trainen voor het opschalen van de dataset. We trainen vision-language modellen op KALE en tonen verbeteringen aan op vision-language taken. Onze experimenten tonen de bruikbaarheid van KALE voor het trainen van meer capabele en deskundige multimodale modellen. We stellen de KALE dataset beschikbaar op https://huggingface.co/datasets/Salesforce/blip3-kale.

English

We introduce BLIP3-KALE, a dataset of 218 million image-text pairs that bridges the gap between descriptive synthetic captions and factual web-scale alt-text. KALE augments synthetic dense image captions with web-scale alt-text to generate factually grounded image captions. Our two-stage approach leverages large vision-language models and language models to create knowledge-augmented captions, which are then used to train a specialized VLM for scaling up the dataset. We train vision-language models on KALE and demonstrate improvements on vision-language tasks. Our experiments show the utility of KALE for training more capable and knowledgeable multimodal models. We release the KALE dataset at https://huggingface.co/datasets/Salesforce/blip3-kale