Le LLM non pensano passo dopo passo nell'argomentazione implicita.

LLMs Do Not Think Step-by-step In Implicit Reasoning

November 24, 2024

Autori: Yijiong Yu

cs.AI

Abstract

È ben noto che la Catena di Pensiero può notevolmente migliorare le prestazioni dei LLM su compiti complessi. Tuttavia, poiché introduce anche velocità di inferenza più lente e costi computazionali più elevati, molti ricercatori hanno cercato di utilizzare la CoT implicita, che non richiede ai LLM di generare esplicitamente i passaggi intermedi. Tuttavia, esiste ancora un divario tra la loro efficacia e i tipici metodi espliciti di CoT. Ciò ci porta a dubitare se la CoT implicita sia davvero equivalente alla CoT esplicita. Pertanto, in questo studio, affrontiamo questa questione attraverso esperimenti. Esaminiamo le informazioni dei passaggi intermedi dagli stati nascosti del modello quando esegue la CoT implicita. I risultati indicano sorprendentemente che i LLM pensano a malapena ai passaggi intermedi, suggerendo che potrebbero fare affidamento sull'esperienza piuttosto che su un ragionamento rigoroso passo dopo passo. Inoltre, scopriamo che le capacità di ragionamento implicito dei LLM sono suscettibili e instabili, confermando la necessità di una CoT esplicita per supportare efficacemente compiti complessi.

English

It has been well-known that Chain-of-Thought can remarkably enhance LLMs' performance on complex tasks. However, because it also introduces slower inference speeds and higher computational costs, many researches have attempted to use implicit CoT, which does not need LLMs to explicitly generate the intermediate steps. But there is still gap between their efficacy and typical explicit CoT methods. This leaves us a doubt that, does implicit CoT really equal to explicit CoT? Therefore, in this study, we address this question through experiments. We probe the information of intermediate steps from the model's hidden states when it is performing implicit CoT. The results surprisingly indicate that LLMs hardly think about intermediate steps, suggesting they may just rely on experience rather than strict step-by-step reasoning. Moreover, we find LLMs' implicit reasoning capabilities are susceptible and unstable, reaffirming the necessity of explicit CoT to effectively support complex tasks.