VisualWebInstruct: Skalierung multimodaler Instruktionsdaten durch Websuche

VisualWebInstruct: Scaling up Multimodal Instruction Data through Web Search

March 13, 2025

Autoren: Yiming Jia, Jiachen Li, Xiang Yue, Bo Li, Ping Nie, Kai Zou, Wenhu Chen

cs.AI

Zusammenfassung

Vision-Language-Modelle haben bei vielen wahrnehmungsorientierten Aufgaben erhebliche Fortschritte erzielt, doch ihre Fortschritte bei auf logisches Denken ausgerichteten Aufgaben scheinen aufgrund des Mangels an hochwertigen und vielfältigen Trainingsdaten begrenzt zu sein. In dieser Arbeit zielen wir darauf ab, das Problem der Knappheit von multimodalen Datensätzen mit Fokus auf logisches Denken zu beheben. Wir stellen VisualWebInstruct vor – einen neuartigen Ansatz, der Suchmaschinen nutzt, um einen vielfältigen und hochwertigen Datensatz zu erstellen, der mehrere Disziplinen wie Mathematik, Physik, Finanzen, Chemie usw. abdeckt. Ausgehend von sorgfältig ausgewählten 30.000 Ausgangsbildern verwenden wir die Google-Bildersuche, um Websites zu identifizieren, die ähnliche Bilder enthalten. Wir sammeln und verarbeiten die HTMLs von über 700.000 einzigartigen URL-Quellen. Durch eine Pipeline aus Inhaltsextraktion, Filterung und Synthese erstellen wir einen Datensatz von etwa 900.000 Frage-Antwort-Paaren, wobei 40 % visuelle Frage-Antwort-Paare und der Rest textbasierte Frage-Antwort-Paare sind. Modelle, die auf VisualWebInstruct feinabgestimmt wurden, zeigen signifikante Leistungssteigerungen: (1) Das Training ausgehend von Llava-OV-mid führt zu absoluten Gewinnen von 10-20 Prozentpunkten über verschiedene Benchmarks hinweg, (2) das Training ausgehend von MAmmoTH-VL zeigt einen absoluten Gewinn von 5 Prozent. Unser bestes Modell, MAmmoTH-VL2, zeigt Spitzenleistungen innerhalb der 10-Milliarden-Parameter-Klasse auf MMMU-Pro-std (40,7 %), MathVerse (42,6 %) und DynaMath (55,7 %). Diese bemerkenswerten Ergebnisse unterstreichen die Effektivität unseres Datensatzes bei der Verbesserung der logischen Fähigkeiten von VLMs für komplexe multimodale Aufgaben.

English

Vision-Language Models have made significant progress on many perception-focused tasks, however, their progress on reasoning-focused tasks seem to be limited due to the lack of high-quality and diverse training data. In this work, we aim to address the scarcity issue of reasoning-focused multimodal datasets. We propose VisualWebInstruct - a novel approach that leverages search engine to create a diverse, and high-quality dataset spanning multiple disciplines like math, physics, finance, chemistry, etc. Starting with meticulously selected 30,000 seed images, we employ Google Image search to identify websites containing similar images. We collect and process the HTMLs from over 700K unique URL sources. Through a pipeline of content extraction, filtering and synthesis, we build a dataset of approximately 900K question-answer pairs, with 40% being visual QA pairs and the rest as text QA pairs. Models fine-tuned on VisualWebInstruct demonstrate significant performance gains: (1) training from Llava-OV-mid shows 10-20% absolute point gains across benchmarks, (2) training from MAmmoTH-VL shows 5% absoluate gain. Our best model MAmmoTH-VL2 shows state-of-the-art performance within the 10B parameter class on MMMU-Pro-std (40.7%), MathVerse (42.6%), and DynaMath (55.7%). These remarkable results highlight the effectiveness of our dataset in enhancing VLMs' reasoning capabilities for complex multimodal tasks.