Hör auf zu viel nachzudenken: Ein Überblick über effizientes Schließen bei großen Sprachmodellen

Stop Overthinking: A Survey on Efficient Reasoning for Large Language Models

March 20, 2025

Autoren: Yang Sui, Yu-Neng Chuang, Guanchu Wang, Jiamu Zhang, Tianyi Zhang, Jiayi Yuan, Hongyi Liu, Andrew Wen, Shaochen, Zhong, Hanjie Chen, Xia Hu

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) haben bemerkenswerte Fähigkeiten bei komplexen Aufgaben gezeigt. Jüngste Fortschritte in großen Denkmodellen (LRMs), wie OpenAI o1 und DeepSeek-R1, haben die Leistung in System-2-Denkdomänen wie Mathematik und Programmierung weiter verbessert, indem sie überwachtes Fein-Tuning (SFT) und Verstärkungslernen (RL) nutzten, um die Chain-of-Thought (CoT)-Denkprozesse zu verbessern. Allerdings führen längere CoT-Denksequenzen zwar zu einer verbesserten Leistung, bringen aber auch erheblichen Rechenaufwand mit sich, da sie ausführliche und redundante Ausgaben erzeugen, ein Phänomen, das als „Overthinking“ bekannt ist. In diesem Artikel präsentieren wir die erste strukturierte Übersicht, um den aktuellen Fortschritt bei der Erzielung effizienten Denkens in LLMs systematisch zu untersuchen und zu erforschen. Insgesamt, basierend auf den inhärenten Mechanismen von LLMs, kategorisieren wir bestehende Arbeiten in mehrere Schlüsselrichtungen: (1) modellbasiertes effizientes Denken, das die Optimierung von vollständigen Denkmodellen zu prägnanteren Denkmodellen oder das direkte Training effizienter Denkmodelle betrachtet; (2) ausgabebasiertes effizientes Denken, das darauf abzielt, Denkschritte und -länge während der Inferenz dynamisch zu reduzieren; (3) eingabebasiertes effizientes Denken, das die Denkeffizienz basierend auf Eigenschaften der Eingabeaufforderung wie Schwierigkeit oder Längensteuerung verbessern möchte. Zusätzlich führen wir die Verwendung effizienter Daten für das Training von Denkmodellen ein, untersuchen die Denkfähigkeiten kleiner Sprachmodelle und diskutieren Evaluierungsmethoden und Benchmarking.

English

Large Language Models (LLMs) have demonstrated remarkable capabilities in complex tasks. Recent advancements in Large Reasoning Models (LRMs), such as OpenAI o1 and DeepSeek-R1, have further improved performance in System-2 reasoning domains like mathematics and programming by harnessing supervised fine-tuning (SFT) and reinforcement learning (RL) techniques to enhance the Chain-of-Thought (CoT) reasoning. However, while longer CoT reasoning sequences improve performance, they also introduce significant computational overhead due to verbose and redundant outputs, known as the "overthinking phenomenon". In this paper, we provide the first structured survey to systematically investigate and explore the current progress toward achieving efficient reasoning in LLMs. Overall, relying on the inherent mechanism of LLMs, we categorize existing works into several key directions: (1) model-based efficient reasoning, which considers optimizing full-length reasoning models into more concise reasoning models or directly training efficient reasoning models; (2) reasoning output-based efficient reasoning, which aims to dynamically reduce reasoning steps and length during inference; (3) input prompts-based efficient reasoning, which seeks to enhance reasoning efficiency based on input prompt properties such as difficulty or length control. Additionally, we introduce the use of efficient data for training reasoning models, explore the reasoning capabilities of small language models, and discuss evaluation methods and benchmarking.