Les grands modèles de langage orchestrant un raisonnement structuré atteignent le niveau de Grandmaster sur Kaggle.

Large Language Models Orchestrating Structured Reasoning Achieve Kaggle Grandmaster Level

November 5, 2024

Auteurs: Antoine Grosnit, Alexandre Maraval, James Doran, Giuseppe Paolo, Albert Thomas, Refinath Shahul Hameed Nabeezath Beevi, Jonas Gonzalez, Khyati Khandelwal, Ignacio Iacobacci, Abdelhakim Benechehab, Hamza Cherkaoui, Youssef Attia El-Hili, Kun Shao, Jianye Hao, Jun Yao, Balazs Kegl, Haitham Bou-Ammar, Jun Wang

cs.AI

Résumé

Nous présentons l'Agent K v1.0, un agent autonome de science des données de bout en bout conçu pour automatiser, optimiser et généraliser à travers diverses tâches de science des données. Entièrement automatisé, l'Agent K v1.0 gère l'ensemble du cycle de vie de la science des données en apprenant de l'expérience. Il exploite un cadre de raisonnement structuré hautement flexible pour lui permettre de traiter dynamiquement la mémoire dans une structure imbriquée, apprenant efficacement des expériences accumulées stockées pour gérer des tâches de raisonnement complexes. Il optimise la mémoire à long et court terme en stockant et en récupérant sélectivement des informations clés, guidant les décisions futures en fonction des récompenses environnementales. Cette approche itérative lui permet d'affiner les décisions sans ajustement fin ou rétropropagation, atteignant une amélioration continue grâce à l'apprentissage expérientiel. Nous évaluons les capacités de notre agent en utilisant les compétitions Kaggle comme étude de cas. Suivant un protocole entièrement automatisé, l'Agent K v1.0 aborde systématiquement des tâches complexes et multimodales de science des données, en utilisant l'optimisation bayésienne pour l'ajustement des hyperparamètres et l'ingénierie des fonctionnalités. Notre nouveau cadre d'évaluation évalue rigoureusement les capacités de bout en bout de l'Agent K v1.0 pour générer et envoyer des soumissions à partir d'une URL de compétition Kaggle. Les résultats démontrent que l'Agent K v1.0 atteint un taux de réussite de 92,5\% à travers les tâches, couvrant les domaines tabulaire, vision par ordinateur, NLP et multimodal. Lors de la comparaison avec 5 856 concurrents humains de Kaggle en calculant les scores Elo-MMR pour chacun, l'Agent K v1.0 se classe dans le top 38\%, démontrant un niveau de compétence global comparable à celui des utilisateurs de niveau Expert. Notamment, son score Elo-MMR se situe entre le premier et le troisième quartile des scores atteints par les Grands Maîtres humains. De plus, nos résultats indiquent que l'Agent K v1.0 a atteint un niveau de performance équivalent à celui de Grand Maître Kaggle, avec un record de 6 médailles d'or, 3 d'argent et 7 de bronze, tel que défini par le système de progression de Kaggle.

English

We introduce Agent K v1.0, an end-to-end autonomous data science agent designed to automate, optimise, and generalise across diverse data science tasks. Fully automated, Agent K v1.0 manages the entire data science life cycle by learning from experience. It leverages a highly flexible structured reasoning framework to enable it to dynamically process memory in a nested structure, effectively learning from accumulated experience stored to handle complex reasoning tasks. It optimises long- and short-term memory by selectively storing and retrieving key information, guiding future decisions based on environmental rewards. This iterative approach allows it to refine decisions without fine-tuning or backpropagation, achieving continuous improvement through experiential learning. We evaluate our agent's apabilities using Kaggle competitions as a case study. Following a fully automated protocol, Agent K v1.0 systematically addresses complex and multimodal data science tasks, employing Bayesian optimisation for hyperparameter tuning and feature engineering. Our new evaluation framework rigorously assesses Agent K v1.0's end-to-end capabilities to generate and send submissions starting from a Kaggle competition URL. Results demonstrate that Agent K v1.0 achieves a 92.5\% success rate across tasks, spanning tabular, computer vision, NLP, and multimodal domains. When benchmarking against 5,856 human Kaggle competitors by calculating Elo-MMR scores for each, Agent K v1.0 ranks in the top 38\%, demonstrating an overall skill level comparable to Expert-level users. Notably, its Elo-MMR score falls between the first and third quartiles of scores achieved by human Grandmasters. Furthermore, our results indicate that Agent K v1.0 has reached a performance level equivalent to Kaggle Grandmaster, with a record of 6 gold, 3 silver, and 7 bronze medals, as defined by Kaggle's progression system.