Grandi modelli linguistici orchestrando ragionamento strutturato raggiungono il livello di Grandmaster su Kaggle.

Large Language Models Orchestrating Structured Reasoning Achieve Kaggle Grandmaster Level

November 5, 2024

Autori: Antoine Grosnit, Alexandre Maraval, James Doran, Giuseppe Paolo, Albert Thomas, Refinath Shahul Hameed Nabeezath Beevi, Jonas Gonzalez, Khyati Khandelwal, Ignacio Iacobacci, Abdelhakim Benechehab, Hamza Cherkaoui, Youssef Attia El-Hili, Kun Shao, Jianye Hao, Jun Yao, Balazs Kegl, Haitham Bou-Ammar, Jun Wang

cs.AI

Abstract

Introduciamo l'Agente K v1.0, un agente autonomo end-to-end di data science progettato per automatizzare, ottimizzare e generalizzare su diverse attività di data science. Completamente automatizzato, l'Agente K v1.0 gestisce l'intero ciclo di vita della data science apprendendo dall'esperienza. Sfrutta un framework di ragionamento strutturato altamente flessibile che gli consente di elaborare dinamicamente la memoria in una struttura nidificata, imparando efficacemente dall'esperienza accumulata memorizzata per gestire compiti di ragionamento complessi. Ottimizza la memoria a lungo e breve termine memorizzando e recuperando selettivamente informazioni chiave, guidando le decisioni future basate su ricompense ambientali. Questo approccio iterativo gli consente di perfezionare le decisioni senza aggiustamenti fini o backpropagation, raggiungendo un miglioramento continuo attraverso l'apprendimento esperienziale. Valutiamo le capacità del nostro agente utilizzando le competizioni Kaggle come caso di studio. Seguendo un protocollo completamente automatizzato, l'Agente K v1.0 affronta sistematicamente compiti complessi e multimodali di data science, utilizzando l'ottimizzazione bayesiana per l'ottimizzazione degli iperparametri e l'ingegneria delle caratteristiche. Il nostro nuovo framework di valutazione valuta rigorosamente le capacità end-to-end dell'Agente K v1.0 per generare ed inviare sottoposizioni a partire da un URL di competizione Kaggle. I risultati dimostrano che l'Agente K v1.0 raggiunge un tasso di successo del 92,5\% su compiti che spaziano tra domini tabulari, computer vision, NLP e multimodali. Nel confronto con 5.856 concorrenti umani Kaggle calcolando i punteggi Elo-MMR per ciascuno, l'Agente K v1.0 si posiziona nel 38\% superiore, dimostrando un livello di competenza complessivo paragonabile agli utenti di livello Esperto. Inoltre, il suo punteggio Elo-MMR si colloca tra il primo e il terzo quartile dei punteggi ottenuti dai Grandmasters umani. Inoltre, i nostri risultati indicano che l'Agente K v1.0 ha raggiunto un livello di prestazioni equivalente a quello di un Kaggle Grandmaster, con un record di 6 medaglie d'oro, 3 d'argento e 7 di bronzo, come definito dal sistema di progressione di Kaggle.

English

We introduce Agent K v1.0, an end-to-end autonomous data science agent designed to automate, optimise, and generalise across diverse data science tasks. Fully automated, Agent K v1.0 manages the entire data science life cycle by learning from experience. It leverages a highly flexible structured reasoning framework to enable it to dynamically process memory in a nested structure, effectively learning from accumulated experience stored to handle complex reasoning tasks. It optimises long- and short-term memory by selectively storing and retrieving key information, guiding future decisions based on environmental rewards. This iterative approach allows it to refine decisions without fine-tuning or backpropagation, achieving continuous improvement through experiential learning. We evaluate our agent's apabilities using Kaggle competitions as a case study. Following a fully automated protocol, Agent K v1.0 systematically addresses complex and multimodal data science tasks, employing Bayesian optimisation for hyperparameter tuning and feature engineering. Our new evaluation framework rigorously assesses Agent K v1.0's end-to-end capabilities to generate and send submissions starting from a Kaggle competition URL. Results demonstrate that Agent K v1.0 achieves a 92.5\% success rate across tasks, spanning tabular, computer vision, NLP, and multimodal domains. When benchmarking against 5,856 human Kaggle competitors by calculating Elo-MMR scores for each, Agent K v1.0 ranks in the top 38\%, demonstrating an overall skill level comparable to Expert-level users. Notably, its Elo-MMR score falls between the first and third quartiles of scores achieved by human Grandmasters. Furthermore, our results indicate that Agent K v1.0 has reached a performance level equivalent to Kaggle Grandmaster, with a record of 6 gold, 3 silver, and 7 bronze medals, as defined by Kaggle's progression system.