BLIP3-KALE: Didascalie Dense su larga scala potenziate dalla conoscenza

BLIP3-KALE: Knowledge Augmented Large-Scale Dense Captions

November 12, 2024

Autori: Anas Awadalla, Le Xue, Manli Shu, An Yan, Jun Wang, Senthil Purushwalkam, Sheng Shen, Hannah Lee, Oscar Lo, Jae Sung Park, Etash Guha, Silvio Savarese, Ludwig Schmidt, Yejin Choi, Caiming Xiong, Ran Xu

cs.AI

Abstract

Introduciamo BLIP3-KALE, un dataset di 218 milioni di coppie immagine-testo che colma il divario tra didascalie sintetiche descrittive e testi alternativi su larga scala basati su fatti web. KALE amplia le didascalie dense sintetiche delle immagini con testi alternativi su larga scala per generare didascalie di immagini basate su fatti. Il nostro approccio a due fasi sfrutta modelli di visione-linguaggio di grandi dimensioni e modelli linguistici per creare didascalie arricchite di conoscenza, che vengono poi utilizzate per addestrare un VLM specializzato per scalare il dataset. Addestriamo modelli di visione-linguaggio su KALE e dimostriamo miglioramenti nelle attività visione-linguaggio. I nostri esperimenti mostrano l'utilità di KALE per addestrare modelli multimodali più capaci e informati. Rilasciamo il dataset KALE su https://huggingface.co/datasets/Salesforce/blip3-kale

English

We introduce BLIP3-KALE, a dataset of 218 million image-text pairs that bridges the gap between descriptive synthetic captions and factual web-scale alt-text. KALE augments synthetic dense image captions with web-scale alt-text to generate factually grounded image captions. Our two-stage approach leverages large vision-language models and language models to create knowledge-augmented captions, which are then used to train a specialized VLM for scaling up the dataset. We train vision-language models on KALE and demonstrate improvements on vision-language tasks. Our experiments show the utility of KALE for training more capable and knowledgeable multimodal models. We release the KALE dataset at https://huggingface.co/datasets/Salesforce/blip3-kale