PHYBench: Holistische Evaluatie van Fysieke Waarneming en Redeneren in Grote Taalmodellen

PHYBench: Holistic Evaluation of Physical Perception and Reasoning in Large Language Models

April 22, 2025

Auteurs: Shi Qiu, Shaoyang Guo, Zhuo-Yang Song, Yunbo Sun, Zeyu Cai, Jiashen Wei, Tianyu Luo, Yixuan Yin, Haoxu Zhang, Yi Hu, Chenyang Wang, Chencheng Tang, Haoling Chang, Qi Liu, Ziheng Zhou, Tianyu Zhang, Jingtian Zhang, Zhangyi Liu, Minghao Li, Yuku Zhang, Boxuan Jing, Xianqi Yin, Yutong Ren, Zizhuo Fu, Weike Wang, Xudong Tian, Anqi Lv, Laifu Man, Jianxiang Li, Feiyu Tao, Qihua Sun, Zhou Liang, Yushu Mu, Zhongxuan Li, Jing-Jun Zhang, Shutao Zhang, Xiaotian Li, Xingqi Xia, Jiawei Lin, Zheyu Shen, Jiahang Chen, Qiuhao Xiong, Binran Wang, Fengyuan Wang, Ziyang Ni, Bohan Zhang, Fan Cui, Changkun Shao, Qing-Hong Cao, Ming-xing Luo, Muhan Zhang, Hua Xing Zhu

cs.AI

Samenvatting

We introduceren PHYBench, een nieuwe, hoogwaardige benchmark ontworpen voor het evalueren van de redeneervaardigheden van grote taalmodellen (LLMs) in fysische contexten. PHYBench bestaat uit 500 zorgvuldig samengestelde natuurkundeproblemen gebaseerd op realistische fysische scenario's, ontworpen om het vermogen van modellen te beoordelen om realistische fysische processen te begrijpen en te redeneren. De benchmark bestrijkt mechanica, elektromagnetisme, thermodynamica, optica, moderne natuurkunde en geavanceerde natuurkunde, met moeilijkheidsgraden variërend van middelbare schooloefeningen tot universitaire problemen en uitdagingen uit de Natuurkunde Olympiade. Daarnaast introduceren we de Expression Edit Distance (EED) Score, een nieuwe evaluatiemetriek gebaseerd op de bewerkingsafstand tussen wiskundige uitdrukkingen, die effectief verschillen in redeneerprocessen en resultaten van modellen vastlegt, verdergaand dan traditionele binaire scoringsmethoden. We evalueren verschillende LLMs op PHYBench en vergelijken hun prestaties met die van menselijke experts. Onze resultaten laten zien dat zelfs state-of-the-art redeneermodellen aanzienlijk achterblijven bij menselijke experts, wat hun beperkingen en de noodzaak voor verbetering in complexe fysische redeneerscenario's benadrukt. Onze benchmarkresultaten en dataset zijn publiekelijk beschikbaar op https://phybench-official.github.io/phybench-demo/.

English

We introduce PHYBench, a novel, high-quality benchmark designed for evaluating reasoning capabilities of large language models (LLMs) in physical contexts. PHYBench consists of 500 meticulously curated physics problems based on real-world physical scenarios, designed to assess the ability of models to understand and reason about realistic physical processes. Covering mechanics, electromagnetism, thermodynamics, optics, modern physics, and advanced physics, the benchmark spans difficulty levels from high school exercises to undergraduate problems and Physics Olympiad challenges. Additionally, we propose the Expression Edit Distance (EED) Score, a novel evaluation metric based on the edit distance between mathematical expressions, which effectively captures differences in model reasoning processes and results beyond traditional binary scoring methods. We evaluate various LLMs on PHYBench and compare their performance with human experts. Our results reveal that even state-of-the-art reasoning models significantly lag behind human experts, highlighting their limitations and the need for improvement in complex physical reasoning scenarios. Our benchmark results and dataset are publicly available at https://phybench-official.github.io/phybench-demo/.