CURIE: Bewertung von LLMs im Hinblick auf wissenschaftliches Multitasking und Langzeitkontextverständnis sowie -schlussfolgerung

CURIE: Evaluating LLMs On Multitask Scientific Long Context Understanding and Reasoning

March 14, 2025

Autoren: Hao Cui, Zahra Shamsi, Gowoon Cheon, Xuejian Ma, Shutong Li, Maria Tikhanovskaya, Peter Norgaard, Nayantara Mudur, Martyna Plomecka, Paul Raccuglia, Yasaman Bahri, Victor V. Albert, Pranesh Srinivasan, Haining Pan, Philippe Faist, Brian Rohr, Michael J. Statt, Dan Morris, Drew Purves, Elise Kleeman, Ruth Alcantara, Matthew Abraham, Muqthar Mohammad, Ean Phing VanLee, Chenfei Jiang, Elizabeth Dorfman, Eun-Ah Kim, Michael P Brenner, Viren Jain, Sameera Ponda, Subhashini Venugopalan

cs.AI

Zusammenfassung

Wissenschaftliches Problemlösen beinhaltet die Synthese von Informationen unter Anwendung von Expertenwissen. Wir stellen CURIE vor, einen Benchmark für wissenschaftliches Langkontext-Verständnis, logisches Denken und Informationsextraktion, um das Potenzial von Large Language Models (LLMs) im wissenschaftlichen Problemlösen und bei der Unterstützung von Wissenschaftlern in realistischen Arbeitsabläufen zu messen. Dieser Benchmark umfasst zehn anspruchsvolle Aufgaben mit insgesamt 580 Problem- und Lösungspaaren, die von Experten aus sechs Disziplinen – Materialwissenschaft, Festkörperphysik, Quantencomputing, Geospatialanalyse, Biodiversität und Proteine – erstellt wurden und sowohl experimentelle als auch theoretische Arbeitsabläufe in der Wissenschaft abdecken. Wir bewerten eine Reihe von geschlossenen und offenen LLMs anhand von Aufgaben in CURIE, die Fachwissen, das Verständnis von langen Kontextinformationen und mehrstufiges logisches Denken erfordern. Während Gemini Flash 2.0 und Claude-3 durchgängig hohes Verständnis über verschiedene Domänen hinweg zeigen, scheitern die beliebten Modelle GPT-4o und Command-R+ dramatisch bei Aufgaben zur Proteinsequenzierung. Mit der besten Leistung bei 32 % gibt es für alle Modelle noch viel Raum für Verbesserungen. Wir hoffen, dass die Erkenntnisse aus CURIE die zukünftige Entwicklung von LLMs in den Wissenschaften leiten können. Evaluierungscode und Daten sind unter https://github.com/google/curie verfügbar.

English

Scientific problem-solving involves synthesizing information while applying expert knowledge. We introduce CURIE, a scientific long-Context Understanding,Reasoning and Information Extraction benchmark to measure the potential of Large Language Models (LLMs) in scientific problem-solving and assisting scientists in realistic workflows. This benchmark introduces ten challenging tasks with a total of 580 problems and solution pairs curated by experts in six disciplines - materials science, condensed matter physics, quantum computing, geospatial analysis, biodiversity, and proteins - covering both experimental and theoretical work-flows in science. We evaluate a range of closed and open LLMs on tasks in CURIE which requires domain expertise, comprehension of long in-context information,and multi-step reasoning. While Gemini Flash 2.0 and Claude-3 show consistent high comprehension across domains, the popular GPT-4o and command-R+ fail dramatically on protein sequencing tasks. With the best performance at 32% there is much room for improvement for all models. We hope that insights gained from CURIE can guide the future development of LLMs in sciences. Evaluation code and data are in https://github.com/google/curie