ABC: Достижение лучшего контроля над мультимодальными эмбеддингами с использованием визуально-языковых моделей

ABC: Achieving Better Control of Multimodal Embeddings using VLMs

March 1, 2025

Авторы: Benjamin Schneider, Florian Kerschbaum, Wenhu Chen

cs.AI

Аннотация

Модели визуального внедрения демонстрируют превосходные результаты в задачах с нулевым обучением, таких как визуальный поиск и классификация. Однако эти модели не могут быть использованы для задач, содержащих неоднозначность или требующих инструкций от пользователя. Для таких задач необходима мультимодальная модель внедрения, которая создает представления, объединяющие визуальные и текстовые данные. Существующие подходы на основе CLIP независимо внедряют изображения и текст, а затем объединяют результаты. Мы обнаружили, что это приводит к слабому взаимодействию между модальностями и ограниченному контролю пользователя над представлением. Мы представляем ABC — открытую мультимодальную модель внедрения, которая использует архитектуру модели для обработки изображений и текста, чтобы глубоко интегрировать визуальные признаки с инструкциями на естественном языке. ABC демонстрирует наилучшие результаты для своего размера на задаче поиска текста по изображению в MSCOCO и является лидером в задачах классификации и визуального ответа на вопросы (VQA) в Massive Multimodal Embedding Benchmark. Благодаря сильной унификации представления визуальных и текстовых данных, ABC может использовать естественный язык для решения сложных и потенциально неоднозначных задач визуального поиска. Для оценки этой возможности мы разработали CtrlBench — бенчмарк, который требует чередования текстовых инструкций с содержимым изображения для корректного поиска. ABC продвигает состояние мультимодальных моделей внедрения, предлагая высококачественные представления и гибкий контроль с помощью естественного языка. Наша модель и наборы данных доступны на странице проекта.

English

Visual embedding models excel at zero-shot tasks like visual retrieval and classification. However, these models cannot be used for tasks that contain ambiguity or require user instruction. These tasks necessitate a multimodal embedding model, which outputs embeddings that combine visual and natural language input. Existing CLIP-based approaches embed images and text independently, and fuse the result. We find that this results in weak interactions between modalities, and poor user control over the representation. We introduce ABC, an open-source multimodal embedding model that uses a vision-language model backbone to deeply integrate image features with natural language instructions. ABC achieves bestfor-size performance on MSCOCO image-to-text retrieval and is the top performing model on classification and VQA tasks in the Massive Multimodal Embedding Benchmark. With a strongly unified vision-language representation, ABC can use natural language to solve subtle and potentially ambiguous visual retrieval problems. To evaluate this capability, we design CtrlBench, a benchmark that requires interleaving textual instructions with image content for correct retrieval. ABC advances the state of multimodal embeddings by offering high-quality representations and flexible natural language control. Our model and datasets are available at our project page.