ProBench: Bewertung multimodaler Basismodelle anhand offener, multidisziplinärer Expertenaufgaben

ProBench: Judging Multimodal Foundation Models on Open-ended Multi-domain Expert Tasks

March 10, 2025

Autoren: Yan Yang, Dongxu Li, Haoning Wu, Bei Chen, Liu Liu, Liyuan Pan, Junnan Li

cs.AI

Zusammenfassung

Das Lösen von Expertenaufgaben mit multimodalen Anforderungen ist ein entscheidender Meilenstein auf dem Weg zur allgemeinen Intelligenz. Da die Fähigkeiten multimodaler großer Sprachmodelle (MLLMs) kontinuierlich verbessert werden, wird die Bewertung solch fortschrittlicher multimodaler Intelligenz notwendig, aber auch herausfordernd. In dieser Arbeit stellen wir ProBench vor, einen Benchmark für offene Benutzeranfragen, die professionelles Fachwissen und fortgeschrittenes Denkvermögen erfordern. ProBench besteht aus 4.000 hochwertigen Beispielen, die unabhängig von Fachleuten basierend auf ihren täglichen Produktivitätsanforderungen eingereicht wurden. Es umfasst 10 Bereiche und 56 Teilgebiete, darunter Wissenschaft, Kunst, Geisteswissenschaften, Programmierung, Mathematik und kreatives Schreiben. Experimentell bewerten und vergleichen wir 24 der neuesten Modelle unter Verwendung von MLLM-as-a-Judge. Unsere Ergebnisse zeigen, dass zwar die besten Open-Source-Modelle den proprietären Modellen ebenbürtig sind, ProBench jedoch erhebliche Herausforderungen in den Bereichen visuelle Wahrnehmung, Textverständnis, Fachwissen und fortgeschrittenes Denkvermögen bietet und somit wertvolle Richtungen für zukünftige multimodale KI-Forschungsbemühungen aufzeigt.

English

Solving expert-level multimodal tasks is a key milestone towards general intelligence. As the capabilities of multimodal large language models (MLLMs) continue to improve, evaluation of such advanced multimodal intelligence becomes necessary yet challenging. In this work, we introduce ProBench, a benchmark of open-ended user queries that require professional expertise and advanced reasoning. ProBench consists of 4,000 high-quality samples independently submitted by professionals based on their daily productivity demands. It spans across 10 fields and 56 sub-fields, including science, arts, humanities, coding, mathematics, and creative writing. Experimentally, we evaluate and compare 24 latest models using MLLM-as-a-Judge. Our results reveal that although the best open-source models rival the proprietary ones, ProBench presents significant challenges in visual perception, textual understanding, domain knowledge and advanced reasoning, thus providing valuable directions for future multimodal AI research efforts.