BLIP3-KALE : Légendes Denses à Grande Échelle Augmentées par la Connaissance

BLIP3-KALE: Knowledge Augmented Large-Scale Dense Captions

November 12, 2024

Auteurs: Anas Awadalla, Le Xue, Manli Shu, An Yan, Jun Wang, Senthil Purushwalkam, Sheng Shen, Hannah Lee, Oscar Lo, Jae Sung Park, Etash Guha, Silvio Savarese, Ludwig Schmidt, Yejin Choi, Caiming Xiong, Ran Xu

cs.AI

Résumé

Nous présentons BLIP3-KALE, un ensemble de données de 218 millions de paires image-texte qui comble l'écart entre les légendes synthétiques descriptives et les textes alternatifs factuels à l'échelle du web. KALE enrichit les légendes d'images synthétiques denses avec des textes alternatifs à l'échelle du web pour générer des légendes d'images ancrées dans les faits. Notre approche en deux étapes exploite de grands modèles de vision-langage et des modèles linguistiques pour créer des légendes augmentées de connaissances, qui sont ensuite utilisées pour entraîner un VLM spécialisé afin de mettre à l'échelle l'ensemble de données. Nous entraînons des modèles de vision-langage sur KALE et démontrons des améliorations sur des tâches de vision-langage. Nos expériences montrent l'utilité de KALE pour entraîner des modèles multimodaux plus capables et informés. Nous publions l'ensemble de données KALE sur https://huggingface.co/datasets/Salesforce/blip3-kale

English

We introduce BLIP3-KALE, a dataset of 218 million image-text pairs that bridges the gap between descriptive synthetic captions and factual web-scale alt-text. KALE augments synthetic dense image captions with web-scale alt-text to generate factually grounded image captions. Our two-stage approach leverages large vision-language models and language models to create knowledge-augmented captions, which are then used to train a specialized VLM for scaling up the dataset. We train vision-language models on KALE and demonstrate improvements on vision-language tasks. Our experiments show the utility of KALE for training more capable and knowledgeable multimodal models. We release the KALE dataset at https://huggingface.co/datasets/Salesforce/blip3-kale