Kijken vanuit een ander perspectief: Evaluatie van multi-view begrip in MLLM's

Seeing from Another Perspective: Evaluating Multi-View Understanding in MLLMs

April 21, 2025

Auteurs: Chun-Hsiao Yeh, Chenyu Wang, Shengbang Tong, Ta-Ying Cheng, Rouyu Wang, Tianzhe Chu, Yuexiang Zhai, Yubei Chen, Shenghua Gao, Yi Ma

cs.AI

Samenvatting

Meerzijdig begrip, het vermogen om visuele informatie vanuit diverse gezichtspunten te verzoenen voor effectieve navigatie, manipulatie en 3D-scènebegrip, is een fundamentele uitdaging in Multi-Modale Grote Taalmodellen (MLLMs) die als belichaamde agenten worden gebruikt. Hoewel recente MLLMs indrukwekkende vooruitgang hebben geboekt in hoogwaardig redeneren en plannen, schieten ze vaak tekort wanneer ze worden geconfronteerd met meerzijdige geometrische consistentie en kruisgezichtspuntcorrespondentie. Om de uitdagingen van MLLMs in meerzijdig scèneredeneren uitgebreid te evalueren, stellen we All-Angles Bench voor, een benchmark met meer dan 2.100 door mensen zorgvuldig geannoteerde meerzijdige vraag-antwoordparen uit 90 diverse real-world scènes. Onze zes taken (tellen, attribuutidentificatie, relatieve afstand, relatieve richting, objectmanipulatie en camerapose-schatting) testen specifiek de geometrische correspondentie van het model en het vermogen om informatie consistent over verschillende gezichtspunten uit te lijnen. Onze uitgebreide experimenten, waarbij 27 representatieve MLLMs, waaronder Gemini-2.0-Flash, Claude-3.7-Sonnet en GPT-4o, worden gebenchmarkt tegen menselijke beoordelaars, onthullen een aanzienlijk prestatieverschil, wat aangeeft dat huidige MLLMs nog ver verwijderd zijn van menselijk niveau. Door diepgaande analyse tonen we aan dat MLLMs vooral onderpresteren op twee aspecten: (1) kruisgezichtspuntcorrespondentie voor gedeeltelijk verborgen gezichtspunten en (2) het vaststellen van grove cameraposes. Deze bevindingen benadrukken de noodzaak van domeinspecifieke verfijningen of modules die een sterker meerzijdig bewustzijn inbedden. Wij geloven dat onze All-Angles Bench waardevolle inzichten biedt en bijdraagt aan het overbruggen van de kloof tussen MLLMs en menselijk meerzijdig begrip. Het project en de benchmark zijn openbaar beschikbaar op https://danielchyeh.github.io/All-Angles-Bench/.

English

Multi-view understanding, the ability to reconcile visual information across diverse viewpoints for effective navigation, manipulation, and 3D scene comprehension, is a fundamental challenge in Multi-Modal Large Language Models (MLLMs) to be used as embodied agents. While recent MLLMs have shown impressive advances in high-level reasoning and planning, they frequently fall short when confronted with multi-view geometric consistency and cross-view correspondence. To comprehensively evaluate the challenges of MLLMs in multi-view scene reasoning, we propose All-Angles Bench, a benchmark of over 2,100 human carefully annotated multi-view question-answer pairs across 90 diverse real-world scenes. Our six tasks (counting, attribute identification, relative distance, relative direction, object manipulation, and camera pose estimation) specifically test model's geometric correspondence and the capacity to align information consistently across views. Our extensive experiments, benchmark on 27 representative MLLMs including Gemini-2.0-Flash, Claude-3.7-Sonnet, and GPT-4o against human evaluators reveals a substantial performance gap, indicating that current MLLMs remain far from human-level proficiency. Through in-depth analysis, we show that MLLMs are particularly underperforming under two aspects: (1) cross-view correspondence for partially occluded views and (2) establishing the coarse camera poses. These findings highlight the necessity of domain-specific refinements or modules that embed stronger multi-view awareness. We believe that our All-Angles Bench offers valuable insights and contribute to bridging the gap between MLLMs and human-level multi-view understanding. The project and benchmark are publicly available at https://danielchyeh.github.io/All-Angles-Bench/.