Многомодальное рассуждение о несогласованности (MMIR): новый бенчмарк для моделей многомодального рассуждения

Multimodal Inconsistency Reasoning (MMIR): A New Benchmark for Multimodal Reasoning Models

February 22, 2025

Авторы: Qianqi Yan, Yue Fan, Hongquan Li, Shan Jiang, Yang Zhao, Xinze Guan, Ching-Chen Kuo, Xin Eric Wang

cs.AI

Аннотация

Существующие мультимодальные модели языка большого масштаба (MLLM) в основном обучаются и тестируются на согласованных визуально-текстовых входах, оставляя открытым вопрос о том, способны ли они справиться с несоответствиями в контенте реального мира, богатом макетами. Для преодоления этого разрыва мы предлагаем бенчмарк Мультимодального Рассуждения о Несоответствиях (MMIR) для оценки способности MLLM обнаруживать и рассуждать о семантических расхождениях в артефактах, таких как веб-страницы, презентационные слайды и плакаты. MMIR включает 534 сложных образца, каждый из которых содержит синтетически внедренные ошибки в пять категорий, требующих серьезного рассуждения: Фактическое Противоречие, Неверное Присвоение Личности, Контекстное Несоответствие, Количественное Расхождение и Временное/Пространственное Несогласование. Мы оценили шесть современных моделей MLLM, показав, что модели с выделенными возможностями мультимодального рассуждения, такие как o1, значительно превосходят своих аналогов, в то время как модели с открытым исходным кодом остаются особенно уязвимыми к ошибкам несоответствия. Детальные анализы ошибок также показывают, что модели отлично справляются с обнаружением несоответствий, ограниченных одной модальностью, особенно в тексте, но испытывают трудности с межмодальными конфликтами и сложными макетами. Эксперименты показывают, что подходы с одной модальностью, включая методы Цепочка Мыслей (CoT) и Множество Меток (SoM), приносят незначительные улучшения, выявляя ключевое узкое место в межмодальном рассуждении. Наши результаты подчеркивают необходимость продвинутого мультимодального рассуждения и указывают на будущие исследования в области мультимодального несоответствия.

English

Existing Multimodal Large Language Models (MLLMs) are predominantly trained and tested on consistent visual-textual inputs, leaving open the question of whether they can handle inconsistencies in real-world, layout-rich content. To bridge this gap, we propose the Multimodal Inconsistency Reasoning (MMIR) benchmark to assess MLLMs' ability to detect and reason about semantic mismatches in artifacts such as webpages, presentation slides, and posters. MMIR comprises 534 challenging samples, each containing synthetically injected errors across five reasoning-heavy categories: Factual Contradiction, Identity Misattribution, Contextual Mismatch, Quantitative Discrepancy, and Temporal/Spatial Incoherence. We evaluate six state-of-the-art MLLMs, showing that models with dedicated multimodal reasoning capabilities, such as o1, substantially outperform their counterparts while open-source models remain particularly vulnerable to inconsistency errors. Detailed error analyses further show that models excel in detecting inconsistencies confined to a single modality, particularly in text, but struggle with cross-modal conflicts and complex layouts. Probing experiments reveal that single-modality prompting, including Chain-of-Thought (CoT) and Set-of-Mark (SoM) methods, yields marginal gains, revealing a key bottleneck in cross-modal reasoning. Our findings highlight the need for advanced multimodal reasoning and point to future research on multimodal inconsistency.