Een Vergelijkende Studie naar Redeneerpatronen van het o1 Model van OpenAI

A Comparative Study on Reasoning Patterns of OpenAI's o1 Model

October 17, 2024

Auteurs: Siwei Wu, Zhongyuan Peng, Xinrun Du, Tuney Zheng, Minghao Liu, Jialong Wu, Jiachen Ma, Yizhi Li, Jian Yang, Wangchunshu Zhou, Qunshu Lin, Junbo Zhao, Zhaoxiang Zhang, Wenhao Huang, Ge Zhang, Chenghua Lin, J. H. Liu

cs.AI

Samenvatting

Het mogelijk maken van Grote Taalmodellen (LLM's) om een breder scala aan complexe taken aan te kunnen (bijv. coderen, wiskunde) heeft veel aandacht getrokken van vele onderzoekers. Terwijl LLM's blijven evolueren, leidt enkel het verhogen van het aantal modelparameters tot afnemende prestatieverbeteringen en zware rekenkundige kosten. Onlangs heeft het o1-model van OpenAI aangetoond dat inferentiestrategieën (d.w.z. Testtijd Berekeningsmethoden) ook aanzienlijk de redeneervermogens van LLM's kunnen verbeteren. Echter, de mechanismen achter deze methoden zijn nog onontgonnen. In ons werk onderzoeken we de redeneerpatronen van o1 door o1 te vergelijken met bestaande Testtijd Berekeningsmethoden (BoN, Stapsgewijze BoN, Agent Workflow en Self-Refine) met behulp van OpenAI's GPT-4o als basis op algemene redeneer-benchmarks in drie domeinen (d.w.z. wiskunde, coderen, gezond verstand redeneren). Specifiek tonen onze experimenten aan dat het o1-model de beste prestatie heeft behaald op de meeste datasets. Wat betreft de methoden voor het zoeken van diverse antwoorden (bijv. BoN), vinden we dat de capaciteit van de beloningsmodellen en de zoekruimte beide de bovengrens van deze methoden beperken. Voor de methoden die het probleem opsplitsen in vele subproblemen heeft de Agent Workflow betere prestaties behaald dan Stapsgewijze BoN vanwege de domeinspecifieke systeemprompt voor het plannen van betere redeneerprocessen. Het is vermeldenswaard dat we zes redeneerpatronen van o1 hebben samengevat en een gedetailleerde analyse hebben gegeven van verschillende redeneer-benchmarks.

English

Enabling Large Language Models (LLMs) to handle a wider range of complex tasks (e.g., coding, math) has drawn great attention from many researchers. As LLMs continue to evolve, merely increasing the number of model parameters yields diminishing performance improvements and heavy computational costs. Recently, OpenAI's o1 model has shown that inference strategies (i.e., Test-time Compute methods) can also significantly enhance the reasoning capabilities of LLMs. However, the mechanisms behind these methods are still unexplored. In our work, to investigate the reasoning patterns of o1, we compare o1 with existing Test-time Compute methods (BoN, Step-wise BoN, Agent Workflow, and Self-Refine) by using OpenAI's GPT-4o as a backbone on general reasoning benchmarks in three domains (i.e., math, coding, commonsense reasoning). Specifically, first, our experiments show that the o1 model has achieved the best performance on most datasets. Second, as for the methods of searching diverse responses (e.g., BoN), we find the reward models' capability and the search space both limit the upper boundary of these methods. Third, as for the methods that break the problem into many sub-problems, the Agent Workflow has achieved better performance than Step-wise BoN due to the domain-specific system prompt for planning better reasoning processes. Fourth, it is worth mentioning that we have summarized six reasoning patterns of o1, and provided a detailed analysis on several reasoning benchmarks.