Implizites Schließen in Transformern ist Schließen durch Abkürzungen.

Implicit Reasoning in Transformers is Reasoning through Shortcuts

March 10, 2025

Autoren: Tianhe Lin, Jian Xie, Siyu Yuan, Deqing Yang

cs.AI

Zusammenfassung

Test-Time-Compute entwickelt sich zu einem neuen Paradigma, um die komplexen, mehrstufigen Denkfähigkeiten von Sprachmodellen zu verbessern, wie der Erfolg von OpenAIs o1 und o3 sowie DeepSeek's R1 zeigt. Im Vergleich zum expliziten Denken beim Test-Time-Compute ist das implizite Denken inferenzeffizienter, da es weniger generierte Tokens erfordert. Doch warum entsteht die fortgeschrittene Denkfähigkeit nicht im impliziten Denkstil? In dieser Arbeit trainieren wir GPT-2 von Grund auf mit einem kuratierten Datensatz für mehrstufiges mathematisches Denken und führen analytische Experimente durch, um zu untersuchen, wie Sprachmodelle implizites Denken bei mehrstufigen Aufgaben bewältigen. Unsere Ergebnisse zeigen: 1) Sprachmodelle können schrittweises Denken durchführen und sowohl in domänenspezifischen als auch domänenübergreifenden Tests hohe Genauigkeit durch implizites Denken erreichen. Diese Fähigkeit entsteht jedoch nur, wenn sie mit Daten mit festen Mustern trainiert werden. 2) Umgekehrt neigen implizite Denkfähigkeiten, die durch das Training mit Daten ohne feste Muster entstehen, dazu, sich an ein spezifisches Muster zu überanpassen und scheitern bei der weiteren Generalisierung. Bemerkenswerterweise wird diese Einschränkung auch bei modernsten großen Sprachmodellen beobachtet. Diese Erkenntnisse deuten darauf hin, dass Sprachmodelle implizites Denken durch Shortcut-Learning erwerben, was eine starke Leistung bei Aufgaben mit ähnlichen Mustern ermöglicht, während die Generalisierung fehlt.

English

Test-time compute is emerging as a new paradigm for enhancing language models' complex multi-step reasoning capabilities, as demonstrated by the success of OpenAI's o1 and o3, as well as DeepSeek's R1. Compared to explicit reasoning in test-time compute, implicit reasoning is more inference-efficient, requiring fewer generated tokens. However, why does the advanced reasoning capability fail to emerge in the implicit reasoning style? In this work, we train GPT-2 from scratch on a curated multi-step mathematical reasoning dataset and conduct analytical experiments to investigate how language models perform implicit reasoning in multi-step tasks. Our findings reveal: 1) Language models can perform step-by-step reasoning and achieve high accuracy in both in-domain and out-of-domain tests via implicit reasoning. However, this capability only emerges when trained on fixed-pattern data. 2) Conversely, implicit reasoning abilities emerging from training on unfixed-pattern data tend to overfit a specific pattern and fail to generalize further. Notably, this limitation is also observed in state-of-the-art large language models. These findings suggest that language models acquire implicit reasoning through shortcut learning, enabling strong performance on tasks with similar patterns while lacking generalization.