VisuLogic: Ein Benchmark zur Bewertung visuellen Denkens in multimodalen großen Sprachmodellen

VisuLogic: A Benchmark for Evaluating Visual Reasoning in Multi-modal Large Language Models

April 21, 2025

Autoren: Weiye Xu, Jiahao Wang, Weiyun Wang, Zhe Chen, Wengang Zhou, Aijun Yang, Lewei Lu, Houqiang Li, Xiaohua Wang, Xizhou Zhu, Wenhai Wang, Jifeng Dai, Jinguo Zhu

cs.AI

Zusammenfassung

Visuelles Denken ist eine Kernkomponente der menschlichen Intelligenz und eine entscheidende Fähigkeit für fortgeschrittene multimodale Modelle. Dennoch stützen sich aktuelle Bewertungen des Denkvermögens multimodaler großer Sprachmodelle (MLLMs) oft auf Textbeschreibungen und ermöglichen sprachbasierte Denkabkürzungen, wodurch sie echtes, visuell zentriertes Denken nicht erfassen. Um dies zu beheben, führen wir VisuLogic ein: einen Benchmark mit 1.000 von Menschen verifizierten Problemen aus sechs Kategorien (z. B. quantitative Verschiebungen, räumliche Beziehungen, Attributvergleiche). Diese verschiedenen Fragetypen ermöglichen es, die visuellen Denkfähigkeiten von MLLMs aus mehreren Perspektiven zu bewerten. Wir evaluieren führende MLLMs anhand dieses Benchmarks und analysieren ihre Ergebnisse, um häufige Fehlermuster zu identifizieren. Die meisten Modelle erreichen eine Genauigkeit von unter 30 % – nur knapp über der zufälligen Basisrate von 25 % und weit unter den 51,4 %, die Menschen erreichen – was erhebliche Lücken im visuellen Denken offenbart. Darüber hinaus stellen wir einen ergänzenden Trainingsdatensatz und eine Reinforcement-Learning-Baseline bereit, um weiteren Fortschritt zu unterstützen.

English

Visual reasoning is a core component of human intelligence and a critical capability for advanced multimodal models. Yet current reasoning evaluations of multimodal large language models (MLLMs) often rely on text descriptions and allow language-based reasoning shortcuts, failing to measure genuine vision-centric reasoning. To address this, we introduce VisuLogic: a benchmark of 1,000 human-verified problems across six categories (e.g., quantitative shifts, spatial relations, attribute comparisons). These various types of questions can be evaluated to assess the visual reasoning capabilities of MLLMs from multiple perspectives. We evaluate leading MLLMs on this benchmark and analyze their results to identify common failure modes. Most models score below 30% accuracy-only slightly above the 25% random baseline and far below the 51.4% achieved by humans-revealing significant gaps in visual reasoning. Furthermore, we provide a supplementary training dataset and a reinforcement-learning baseline to support further progress.