Recitazione invece di Ragionamento: Come i Modelli Linguistici all'Avanguardia Possono Fallire su Problemi di Ragionamento di Livello Scuola Elementare?

Recitation over Reasoning: How Cutting-Edge Language Models Can Fail on Elementary School-Level Reasoning Problems?

April 1, 2025

Autori: Kai Yan, Yufei Xu, Zhengyin Du, Xuesong Yao, Zheyu Wang, Xiaowen Guo, Jiecao Chen

cs.AI

Abstract

La rapida escalation dai problemi di livello elementare a quelli di frontiera della difficoltà per i benchmark dei modelli linguistici (LLM) negli ultimi anni ha creato un miracolo per i ricercatori, portandoci a credere di essere a un passo dal superare l'intelligenza umana. Tuttavia, la straordinaria capacità di ragionamento dei LLM deriva davvero da una vera intelligenza secondo gli standard umani, o si tratta semplicemente di una ripetizione di soluzioni osservate durante l'addestramento su scala Internet? Per studiare questo problema, proponiamo RoR-Bench, un nuovo benchmark multimodale progettato per rilevare il comportamento di ripetizione dei LLM quando vengono posti problemi di ragionamento semplici ma con condizioni leggermente modificate, e conduciamo un'analisi empirica sul nostro benchmark. Sorprendentemente, abbiamo scoperto che i LLM all'avanguardia esistenti mostrano unanimemente un comportamento di ripetizione estremamente grave; cambiando una sola frase nella condizione, modelli di punta come OpenAI-o1 e DeepSeek-R1 possono subire una perdita di prestazioni del 60% su problemi aritmetici e di ragionamento di livello elementare. Tali risultati rappresentano un campanello d'allarme per la comunità dei LLM, costringendoci a rivalutare il vero livello di intelligenza dei modelli linguistici all'avanguardia.

English

The rapid escalation from elementary school-level to frontier problems of the difficulty for LLM benchmarks in recent years have weaved a miracle for researchers that we are only inches away from surpassing human intelligence. However, is the LLMs' remarkable reasoning ability indeed comes from true intelligence by human standards, or are they simply reciting solutions witnessed during training at an Internet level? To study this problem, we propose RoR-Bench, a novel, multi-modal benchmark for detecting LLM's recitation behavior when asked simple reasoning problems but with conditions subtly shifted, and conduct empirical analysis on our benchmark. Surprisingly, we found existing cutting-edge LLMs unanimously exhibits extremely severe recitation behavior; by changing one phrase in the condition, top models such as OpenAI-o1 and DeepSeek-R1 can suffer 60% performance loss on elementary school-level arithmetic and reasoning problems. Such findings are a wake-up call to the LLM community that compels us to re-evaluate the true intelligence level of cutting-edge LLMs.