MedAgentsBench: Benchmarking von Denkmodellen und Agenten-Frameworks für komplexe medizinische Entscheidungsfindung

MedAgentsBench: Benchmarking Thinking Models and Agent Frameworks for Complex Medical Reasoning

March 10, 2025

Autoren: Xiangru Tang, Daniel Shao, Jiwoong Sohn, Jiapeng Chen, Jiayi Zhang, Jinyu Xiang, Fang Wu, Yilun Zhao, Chenglin Wu, Wenqi Shi, Arman Cohan, Mark Gerstein

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) haben beeindruckende Leistungen auf bestehenden medizinischen Frage-Antwort-Benchmarks gezeigt. Diese hohe Leistung macht es zunehmend schwierig, fortgeschrittene Methoden sinnvoll zu bewerten und zu differenzieren. Wir präsentieren MedAgentsBench, einen Benchmark, der sich auf herausfordernde medizinische Fragen konzentriert, die mehrstufige klinische Schlussfolgerungen, Diagnoseformulierung und Behandlungsplanung erfordern – Szenarien, in denen aktuelle Modelle trotz ihrer starken Leistung bei Standardtests noch Schwierigkeiten haben. Basierend auf sieben etablierten medizinischen Datensätzen adressiert unser Benchmark drei wesentliche Einschränkungen bestehender Bewertungen: (1) die Prävalenz von einfachen Fragen, bei denen selbst Basismodelle hohe Leistungen erzielen, (2) inkonsistente Stichproben- und Bewertungsprotokolle über Studien hinweg und (3) das Fehlen einer systematischen Analyse des Zusammenspiels zwischen Leistung, Kosten und Inferenzzeit. Durch Experimente mit verschiedenen Basismodellen und Schlussfolgerungsmethoden zeigen wir, dass die neuesten Denkmodelle, DeepSeek R1 und OpenAI o3, außergewöhnliche Leistungen bei komplexen medizinischen Schlussfolgerungsaufgaben erbringen. Darüber hinaus bieten fortgeschrittene suchbasierte Agentenmethoden im Vergleich zu traditionellen Ansätzen vielversprechende Leistungs-Kosten-Verhältnisse. Unsere Analyse zeigt erhebliche Leistungsunterschiede zwischen Modellfamilien bei komplexen Fragen und identifiziert optimale Modellauswahlen für verschiedene rechnerische Einschränkungen. Unser Benchmark und Bewertungsrahmen sind öffentlich unter https://github.com/gersteinlab/medagents-benchmark verfügbar.

English

Large Language Models (LLMs) have shown impressive performance on existing medical question-answering benchmarks. This high performance makes it increasingly difficult to meaningfully evaluate and differentiate advanced methods. We present MedAgentsBench, a benchmark that focuses on challenging medical questions requiring multi-step clinical reasoning, diagnosis formulation, and treatment planning-scenarios where current models still struggle despite their strong performance on standard tests. Drawing from seven established medical datasets, our benchmark addresses three key limitations in existing evaluations: (1) the prevalence of straightforward questions where even base models achieve high performance, (2) inconsistent sampling and evaluation protocols across studies, and (3) lack of systematic analysis of the interplay between performance, cost, and inference time. Through experiments with various base models and reasoning methods, we demonstrate that the latest thinking models, DeepSeek R1 and OpenAI o3, exhibit exceptional performance in complex medical reasoning tasks. Additionally, advanced search-based agent methods offer promising performance-to-cost ratios compared to traditional approaches. Our analysis reveals substantial performance gaps between model families on complex questions and identifies optimal model selections for different computational constraints. Our benchmark and evaluation framework are publicly available at https://github.com/gersteinlab/medagents-benchmark.