BLIP3-KALE: 지식 증강 대규모 밀집 캡션

BLIP3-KALE: Knowledge Augmented Large-Scale Dense Captions

November 12, 2024

저자: Anas Awadalla, Le Xue, Manli Shu, An Yan, Jun Wang, Senthil Purushwalkam, Sheng Shen, Hannah Lee, Oscar Lo, Jae Sung Park, Etash Guha, Silvio Savarese, Ludwig Schmidt, Yejin Choi, Caiming Xiong, Ran Xu

cs.AI

초록

우리는 BLIP3-KALE을 소개합니다. 이는 2억 1,800만 개의 이미지-텍스트 쌍 데이터셋으로, 설명적인 합성 캡션과 사실적인 웹 규모의 대체 텍스트 사이의 간극을 메우는 역할을 합니다. KALE은 합성된 밀집 이미지 캡션을 웹 규모의 대체 텍스트로 보강하여 사실적으로 근거 있는 이미지 캡션을 생성합니다. 우리의 이 두 단계 접근법은 대형 비전-언어 모델과 언어 모델을 활용하여 지식이 보감된 캡션을 생성하고, 이를 사용하여 데이터셋을 확장하기 위해 특수 비전-언어 모델을 훈련시킵니다. 우리는 KALE에서 비전-언어 모델을 훈련시키고, 비전-언어 작업에서 개선 사항을 시연합니다. 우리의 실험은 KALE이 보다 능력이 있고 지식이 풍부한 다중 모달 모델을 훈련하는 데 유용함을 보여줍니다. 우리는 KALE 데이터셋을 https://huggingface.co/datasets/Salesforce/blip3-kale에서 공개합니다.

English

We introduce BLIP3-KALE, a dataset of 218 million image-text pairs that bridges the gap between descriptive synthetic captions and factual web-scale alt-text. KALE augments synthetic dense image captions with web-scale alt-text to generate factually grounded image captions. Our two-stage approach leverages large vision-language models and language models to create knowledge-augmented captions, which are then used to train a specialized VLM for scaling up the dataset. We train vision-language models on KALE and demonstrate improvements on vision-language tasks. Our experiments show the utility of KALE for training more capable and knowledgeable multimodal models. We release the KALE dataset at https://huggingface.co/datasets/Salesforce/blip3-kale