Grote taalmodellen die gestructureerd redeneren orchestreren bereiken het niveau van Kaggle Grandmaster.

Large Language Models Orchestrating Structured Reasoning Achieve Kaggle Grandmaster Level

November 5, 2024

Auteurs: Antoine Grosnit, Alexandre Maraval, James Doran, Giuseppe Paolo, Albert Thomas, Refinath Shahul Hameed Nabeezath Beevi, Jonas Gonzalez, Khyati Khandelwal, Ignacio Iacobacci, Abdelhakim Benechehab, Hamza Cherkaoui, Youssef Attia El-Hili, Kun Shao, Jianye Hao, Jun Yao, Balazs Kegl, Haitham Bou-Ammar, Jun Wang

cs.AI

Samenvatting

We introduceren Agent K v1.0, een end-to-end autonome data science agent ontworpen om diverse data science taken te automatiseren, optimaliseren en generaliseren. Volledig geautomatiseerd beheert Agent K v1.0 de gehele levenscyclus van data science door te leren van ervaring. Het maakt gebruik van een zeer flexibel gestructureerd redeneerkader om dynamisch geheugen te verwerken in een geneste structuur, waarbij effectief wordt geleerd van opgeslagen opgebouwde ervaring om complexe redeneertaken aan te pakken. Het optimaliseert het lange- en korte termijngeheugen door selectief belangrijke informatie op te slaan en op te halen, waardoor toekomstige beslissingen worden geleid op basis van omgevingsbeloningen. Deze iteratieve benadering stelt het in staat beslissingen te verfijnen zonder fijnafstemming of backpropagatie, wat leidt tot continue verbetering door ervaringsleren. We evalueren de mogelijkheden van onze agent met behulp van Kaggle-competities als casestudy. Volgens een volledig geautomatiseerd protocol adresseert Agent K v1.0 systematisch complexe en multimodale data science taken, waarbij Bayesian optimalisatie wordt toegepast voor hyperparameterafstemming en functie-engineering. Ons nieuwe evaluatiekader beoordeelt rigoureus de end-to-end mogelijkheden van Agent K v1.0 om inzendingen te genereren en te verzenden vanaf een Kaggle-competitie-URL. De resultaten tonen aan dat Agent K v1.0 een succespercentage van 92,5\% behaalt over taken, variërend van tabulaire, computer vision, NLP en multimodale domeinen. Bij benchmarking tegen 5.856 menselijke Kaggle-deelnemers door Elo-MMR-scores te berekenen voor elk, rangschikt Agent K v1.0 in de top 38\%, wat een algeheel vaardigheidsniveau aantoont dat vergelijkbaar is met gebruikers op expertniveau. Opmerkelijk is dat zijn Elo-MMR-score tussen het eerste en derde kwartiel van scores van menselijke Grandmasters valt. Bovendien geven onze resultaten aan dat Agent K v1.0 een prestatieniveau heeft bereikt dat equivalent is aan Kaggle Grandmaster, met een record van 6 gouden, 3 zilveren en 7 bronzen medailles, zoals gedefinieerd door het voortgangssysteem van Kaggle.

English

We introduce Agent K v1.0, an end-to-end autonomous data science agent designed to automate, optimise, and generalise across diverse data science tasks. Fully automated, Agent K v1.0 manages the entire data science life cycle by learning from experience. It leverages a highly flexible structured reasoning framework to enable it to dynamically process memory in a nested structure, effectively learning from accumulated experience stored to handle complex reasoning tasks. It optimises long- and short-term memory by selectively storing and retrieving key information, guiding future decisions based on environmental rewards. This iterative approach allows it to refine decisions without fine-tuning or backpropagation, achieving continuous improvement through experiential learning. We evaluate our agent's apabilities using Kaggle competitions as a case study. Following a fully automated protocol, Agent K v1.0 systematically addresses complex and multimodal data science tasks, employing Bayesian optimisation for hyperparameter tuning and feature engineering. Our new evaluation framework rigorously assesses Agent K v1.0's end-to-end capabilities to generate and send submissions starting from a Kaggle competition URL. Results demonstrate that Agent K v1.0 achieves a 92.5\% success rate across tasks, spanning tabular, computer vision, NLP, and multimodal domains. When benchmarking against 5,856 human Kaggle competitors by calculating Elo-MMR scores for each, Agent K v1.0 ranks in the top 38\%, demonstrating an overall skill level comparable to Expert-level users. Notably, its Elo-MMR score falls between the first and third quartiles of scores achieved by human Grandmasters. Furthermore, our results indicate that Agent K v1.0 has reached a performance level equivalent to Kaggle Grandmaster, with a record of 6 gold, 3 silver, and 7 bronze medals, as defined by Kaggle's progression system.