S1-Bench: Un Benchmark Semplice per Valutare la Capacità di Pensiero di Sistema 1 nei Modelli di Ragionamento su Grande Scala

S1-Bench: A Simple Benchmark for Evaluating System 1 Thinking Capability of Large Reasoning Models

April 14, 2025

Autori: Wenyuan Zhang, Shuaiyi Nie, Xinghua Zhang, Zefeng Zhang, Tingwen Liu

cs.AI

Abstract

Introduciamo S1-Bench, un nuovo benchmark progettato per valutare le prestazioni dei Modelli di Ragionamento su Grande Scala (LRMs) in compiti semplici che favoriscono il pensiero intuitivo del sistema 1 piuttosto che il ragionamento deliberativo del sistema 2. Sebbene gli LRMs abbiano ottenuto progressi significativi in compiti di ragionamento complesso attraverso catene di pensiero esplicite, la loro dipendenza da un pensiero analitico profondo potrebbe limitare le loro capacità di pensiero del sistema 1. Inoltre, attualmente manca un benchmark per valutare le prestazioni degli LRMs in compiti che richiedono tali capacità. Per colmare questa lacuna, S1-Bench presenta una serie di domande semplici, diversificate e naturalmente chiare in più domini e lingue, specificamente progettate per valutare le prestazioni degli LRMs in tali compiti. La nostra valutazione completa di 22 LRMs rivela una tendenza significativamente inferiore all'efficienza, con output mediamente 15,5 volte più lunghi rispetto a quelli dei tradizionali piccoli LLM. Inoltre, gli LRMs spesso identificano risposte corrette precocemente ma continuano con deliberazioni non necessarie, con alcuni modelli che producono persino numerosi errori. Questi risultati evidenziano i modelli di ragionamento rigidi degli attuali LRMs e sottolineano lo sviluppo sostanziale necessario per raggiungere capacità di pensiero duale bilanciate che possano adattarsi in modo appropriato alla complessità del compito.

English

We introduce S1-Bench, a novel benchmark designed to evaluate Large Reasoning Models' (LRMs) performance on simple tasks that favor intuitive system 1 thinking rather than deliberative system 2 reasoning. While LRMs have achieved significant breakthroughs in complex reasoning tasks through explicit chains of thought, their reliance on deep analytical thinking may limit their system 1 thinking capabilities. Moreover, a lack of benchmark currently exists to evaluate LRMs' performance in tasks that require such capabilities. To fill this gap, S1-Bench presents a set of simple, diverse, and naturally clear questions across multiple domains and languages, specifically designed to assess LRMs' performance in such tasks. Our comprehensive evaluation of 22 LRMs reveals significant lower efficiency tendencies, with outputs averaging 15.5 times longer than those of traditional small LLMs. Additionally, LRMs often identify correct answers early but continue unnecessary deliberation, with some models even producing numerous errors. These findings highlight the rigid reasoning patterns of current LRMs and underscore the substantial development needed to achieve balanced dual-system thinking capabilities that can adapt appropriately to task complexity.