FISICA: Valutazione di Modelli Fondamentali nella Risoluzione di Problemi di Fisica a Livello Universitario

PHYSICS: Benchmarking Foundation Models on University-Level Physics Problem Solving

March 26, 2025

Autori: Kaiyue Feng, Yilun Zhao, Yixin Liu, Tianyu Yang, Chen Zhao, John Sous, Arman Cohan

cs.AI

Abstract

Presentiamo PHYSICS, un benchmark completo per la risoluzione di problemi di fisica a livello universitario. Contiene 1297 problemi annotati da esperti, che coprono sei aree fondamentali: meccanica classica, meccanica quantistica, termodinamica e meccanica statistica, elettromagnetismo, fisica atomica e ottica. Ogni problema richiede una conoscenza avanzata della fisica e un ragionamento matematico. Abbiamo sviluppato un sistema di valutazione automatizzato robusto per una validazione precisa e affidabile. La nostra valutazione dei principali modelli di base rivela limitazioni significative. Anche il modello più avanzato, o3-mini, raggiunge solo un'accuratezza del 59,9%, evidenziando sfide considerevoli nella risoluzione di problemi scientifici di alto livello. Attraverso un'analisi completa degli errori, l'esplorazione di diverse strategie di prompting e l'aumento della conoscenza basato su Retrieval-Augmented Generation (RAG), identifichiamo aree chiave per il miglioramento, gettando le basi per futuri progressi.

English

We introduce PHYSICS, a comprehensive benchmark for university-level physics problem solving. It contains 1297 expert-annotated problems covering six core areas: classical mechanics, quantum mechanics, thermodynamics and statistical mechanics, electromagnetism, atomic physics, and optics. Each problem requires advanced physics knowledge and mathematical reasoning. We develop a robust automated evaluation system for precise and reliable validation. Our evaluation of leading foundation models reveals substantial limitations. Even the most advanced model, o3-mini, achieves only 59.9% accuracy, highlighting significant challenges in solving high-level scientific problems. Through comprehensive error analysis, exploration of diverse prompting strategies, and Retrieval-Augmented Generation (RAG)-based knowledge augmentation, we identify key areas for improvement, laying the foundation for future advancements.