PHYBench: Ganzheitliche Bewertung der physikalischen Wahrnehmung und des logischen Denkens in großen Sprachmodellen

PHYBench: Holistic Evaluation of Physical Perception and Reasoning in Large Language Models

April 22, 2025

Autoren: Shi Qiu, Shaoyang Guo, Zhuo-Yang Song, Yunbo Sun, Zeyu Cai, Jiashen Wei, Tianyu Luo, Yixuan Yin, Haoxu Zhang, Yi Hu, Chenyang Wang, Chencheng Tang, Haoling Chang, Qi Liu, Ziheng Zhou, Tianyu Zhang, Jingtian Zhang, Zhangyi Liu, Minghao Li, Yuku Zhang, Boxuan Jing, Xianqi Yin, Yutong Ren, Zizhuo Fu, Weike Wang, Xudong Tian, Anqi Lv, Laifu Man, Jianxiang Li, Feiyu Tao, Qihua Sun, Zhou Liang, Yushu Mu, Zhongxuan Li, Jing-Jun Zhang, Shutao Zhang, Xiaotian Li, Xingqi Xia, Jiawei Lin, Zheyu Shen, Jiahang Chen, Qiuhao Xiong, Binran Wang, Fengyuan Wang, Ziyang Ni, Bohan Zhang, Fan Cui, Changkun Shao, Qing-Hong Cao, Ming-xing Luo, Muhan Zhang, Hua Xing Zhu

cs.AI

Zusammenfassung

Wir stellen PHYBench vor, einen neuartigen, hochwertigen Benchmark, der entwickelt wurde, um die Fähigkeiten großer Sprachmodelle (LLMs) in physikalischen Kontexten zu bewerten. PHYBench besteht aus 500 sorgfältig kuratierten Physikproblemen, die auf realen physikalischen Szenarien basieren und darauf abzielen, die Fähigkeit der Modelle zu bewerten, realistische physikalische Prozesse zu verstehen und darüber zu schlussfolgern. Der Benchmark deckt Mechanik, Elektromagnetismus, Thermodynamik, Optik, moderne Physik und fortgeschrittene Physik ab und umfasst Schwierigkeitsgrade von Schulübungen über universitäre Probleme bis hin zu Herausforderungen der Physik-Olympiade. Zusätzlich schlagen wir den Expression Edit Distance (EED) Score vor, eine neuartige Bewertungsmetrik, die auf der Editierdistanz zwischen mathematischen Ausdrücken basiert und effektiv Unterschiede in den Modellschlussfolgerungsprozessen und -ergebnissen erfasst, die über traditionelle binäre Bewertungsmethoden hinausgehen. Wir bewerten verschiedene LLMs auf PHYBench und vergleichen ihre Leistung mit der von menschlichen Experten. Unsere Ergebnisse zeigen, dass selbst die fortschrittlichsten Reasoning-Modelle deutlich hinter menschlichen Experten zurückbleiben, was ihre Grenzen und den Verbesserungsbedarf in komplexen physikalischen Reasoning-Szenarien verdeutlicht. Unsere Benchmark-Ergebnisse und Datensätze sind öffentlich unter https://phybench-official.github.io/phybench-demo/ verfügbar.

English

We introduce PHYBench, a novel, high-quality benchmark designed for evaluating reasoning capabilities of large language models (LLMs) in physical contexts. PHYBench consists of 500 meticulously curated physics problems based on real-world physical scenarios, designed to assess the ability of models to understand and reason about realistic physical processes. Covering mechanics, electromagnetism, thermodynamics, optics, modern physics, and advanced physics, the benchmark spans difficulty levels from high school exercises to undergraduate problems and Physics Olympiad challenges. Additionally, we propose the Expression Edit Distance (EED) Score, a novel evaluation metric based on the edit distance between mathematical expressions, which effectively captures differences in model reasoning processes and results beyond traditional binary scoring methods. We evaluate various LLMs on PHYBench and compare their performance with human experts. Our results reveal that even state-of-the-art reasoning models significantly lag behind human experts, highlighting their limitations and the need for improvement in complex physical reasoning scenarios. Our benchmark results and dataset are publicly available at https://phybench-official.github.io/phybench-demo/.