MicroVQA: Ein multimodaler Benchmark für das logische Denken in der mikroskopiebasierten wissenschaftlichen Forschung

MicroVQA: A Multimodal Reasoning Benchmark for Microscopy-Based Scientific Research

March 17, 2025

Autoren: James Burgess, Jeffrey J Nirschl, Laura Bravo-Sánchez, Alejandro Lozano, Sanket Rajan Gupte, Jesus G. Galaz-Montoya, Yuhui Zhang, Yuchang Su, Disha Bhowmik, Zachary Coman, Sarina M. Hasan, Alexandra Johannesson, William D. Leineweber, Malvika G Nair, Ridhi Yarlagadda, Connor Zuraski, Wah Chiu, Sarah Cohen, Jan N. Hansen, Manuel D Leonetti, Chad Liu, Emma Lundberg, Serena Yeung-Levy

cs.AI

Zusammenfassung

Wissenschaftliche Forschung erfordert anspruchsvolles Denken über multimodale Daten, eine Herausforderung, die insbesondere in der Biologie weit verbreitet ist. Trotz jüngster Fortschritte bei multimodalen großen Sprachmodellen (MLLMs) für die KI-gestützte Forschung zielen bestehende Benchmarks für multimodales Denken nur auf Schwierigkeitsgrade bis zum College-Niveau ab, während Benchmarks auf Forschungsebene eher auf niedrigere Wahrnehmungsebenen fokussieren und somit das komplexe multimodale Denken, das für wissenschaftliche Entdeckungen erforderlich ist, nicht abdecken. Um diese Lücke zu schließen, stellen wir MicroVQA vor, einen Benchmark für visuelles Frage-Antworten (VQA), der drei für Forschungsabläufe entscheidende Denkfähigkeiten bewertet: Expertenverständnis von Bildern, Hypothesengenerierung und Experimentvorschläge. MicroVQA besteht aus 1.042 Multiple-Choice-Fragen (MCQs), die von Biologieexperten über verschiedene Mikroskopie-Modalitäten hinweg kuratiert wurden, um sicherzustellen, dass die VQA-Proben die reale wissenschaftliche Praxis widerspiegeln. Bei der Erstellung des Benchmarks stellten wir fest, dass Standardmethoden zur MCQ-Generierung sprachliche Abkürzungen induzieren, was die Entwicklung einer neuen zweistufigen Pipeline motivierte: Ein optimierter LLM-Prompt strukturiert Frage-Antwort-Paare in MCQs; anschließend aktualisiert ein agentenbasiertes `RefineBot' diese, um Abkürzungen zu entfernen. Benchmarks mit state-of-the-art MLLMs zeigen eine Spitzenleistung von 53 %; Modelle mit kleineren LLMs schneiden nur geringfügig schlechter ab als die besten Modelle, was darauf hindeutet, dass sprachbasiertes Denken weniger herausfordernd ist als multimodales Denken; und das Fine-Tuning mit wissenschaftlichen Artikeln verbessert die Leistung. Expertenanalysen von Chain-of-Thought-Antworten zeigen, dass Wahrnehmungsfehler am häufigsten auftreten, gefolgt von Wissensfehlern und dann von Überverallgemeinerungsfehlern. Diese Erkenntnisse unterstreichen die Herausforderungen beim multimodalen wissenschaftlichen Denken und zeigen, dass MicroVQA eine wertvolle Ressource für die Weiterentwicklung der KI-gestützten biomedizinischen Forschung ist. MicroVQA ist verfügbar unter https://huggingface.co/datasets/jmhb/microvqa und die Projektseite unter https://jmhb0.github.io/microvqa.

English

Scientific research demands sophisticated reasoning over multimodal data, a challenge especially prevalent in biology. Despite recent advances in multimodal large language models (MLLMs) for AI-assisted research, existing multimodal reasoning benchmarks only target up to college-level difficulty, while research-level benchmarks emphasize lower-level perception, falling short of the complex multimodal reasoning needed for scientific discovery. To bridge this gap, we introduce MicroVQA, a visual-question answering (VQA) benchmark designed to assess three reasoning capabilities vital in research workflows: expert image understanding, hypothesis generation, and experiment proposal. MicroVQA consists of 1,042 multiple-choice questions (MCQs) curated by biology experts across diverse microscopy modalities, ensuring VQA samples represent real scientific practice. In constructing the benchmark, we find that standard MCQ generation methods induce language shortcuts, motivating a new two-stage pipeline: an optimized LLM prompt structures question-answer pairs into MCQs; then, an agent-based `RefineBot' updates them to remove shortcuts. Benchmarking on state-of-the-art MLLMs reveal a peak performance of 53\%; models with smaller LLMs only slightly underperform top models, suggesting that language-based reasoning is less challenging than multimodal reasoning; and tuning with scientific articles enhances performance. Expert analysis of chain-of-thought responses shows that perception errors are the most frequent, followed by knowledge errors and then overgeneralization errors. These insights highlight the challenges in multimodal scientific reasoning, showing MicroVQA is a valuable resource advancing AI-driven biomedical research. MicroVQA is available at https://huggingface.co/datasets/jmhb/microvqa, and project page at https://jmhb0.github.io/microvqa.