Marco-01: Naar Open Redeneermodellen voor Open Eindoplossingen

Marco-o1: Towards Open Reasoning Models for Open-Ended Solutions

November 21, 2024

Auteurs: Yu Zhao, Huifeng Yin, Bo Zeng, Hao Wang, Tianqi Shi, Chenyang Lyu, Longyue Wang, Weihua Luo, Kaifu Zhang

cs.AI

Samenvatting

Op dit moment heeft OpenAI o1 een golf van interesse in de studie van grote redenerende modellen (LRM) teweeggebracht. Voortbouwend op deze dynamiek richt Marco-o1 zich niet alleen op disciplines met standaardantwoorden, zoals wiskunde, natuurkunde en codering - die goed geschikt zijn voor reinforcement learning (RL) - maar legt ook meer nadruk op open-eindige oplossingen. We streven ernaar de vraag te beantwoorden: "Kan het o1-model effectief generaliseren naar bredere domeinen waar duidelijke normen ontbreken en beloningen moeilijk te kwantificeren zijn?" Marco-o1 wordt aangedreven door Chain-of-Thought (CoT) fine-tuning, Monte Carlo Tree Search (MCTS), reflectiemechanismen en innovatieve redeneerstrategieën - geoptimaliseerd voor complexe probleemoplossingstaken in de echte wereld.

English

Currently OpenAI o1 has sparked a surge of interest in the study of large reasoning models (LRM). Building on this momentum, Marco-o1 not only focuses on disciplines with standard answers, such as mathematics, physics, and coding -- which are well-suited for reinforcement learning (RL) -- but also places greater emphasis on open-ended resolutions. We aim to address the question: "Can the o1 model effectively generalize to broader domains where clear standards are absent and rewards are challenging to quantify?" Marco-o1 is powered by Chain-of-Thought (CoT) fine-tuning, Monte Carlo Tree Search (MCTS), reflection mechanisms, and innovative reasoning strategies -- optimized for complex real-world problem-solving tasks.