Große Sprachmodelle, die strukturiertes Denken orchestrieren, erreichen das Niveau eines Kaggle Grandmasters.

Large Language Models Orchestrating Structured Reasoning Achieve Kaggle Grandmaster Level

November 5, 2024

Autoren: Antoine Grosnit, Alexandre Maraval, James Doran, Giuseppe Paolo, Albert Thomas, Refinath Shahul Hameed Nabeezath Beevi, Jonas Gonzalez, Khyati Khandelwal, Ignacio Iacobacci, Abdelhakim Benechehab, Hamza Cherkaoui, Youssef Attia El-Hili, Kun Shao, Jianye Hao, Jun Yao, Balazs Kegl, Haitham Bou-Ammar, Jun Wang

cs.AI

Zusammenfassung

Wir stellen Agent K v1.0 vor, einen autonomes Data-Science-Agenten, der entwickelt wurde, um diverse Data-Science-Aufgaben zu automatisieren, zu optimieren und zu verallgemeinern. Vollautomatisch verwaltet Agent K v1.0 den gesamten Data-Science-Lebenszyklus, indem er aus Erfahrungen lernt. Er nutzt ein hochflexibles strukturiertes Schlussfolgerungsframework, um es ihm zu ermöglichen, Speicher in einer verschachtelten Struktur dynamisch zu verarbeiten, indem er effektiv aus gespeicherter Erfahrung lernt, um komplexe Schlussfolgerungsaufgaben zu bewältigen. Er optimiert Lang- und Kurzzeitgedächtnis, indem er selektiv Schlüsselinformationen speichert und abruft, um zukünftige Entscheidungen basierend auf Umgebungsbelohnungen zu lenken. Dieser iterative Ansatz ermöglicht es ihm, Entscheidungen ohne Feinabstimmung oder Backpropagation zu verfeinern und kontinuierliche Verbesserungen durch erfahrungsbezogenes Lernen zu erzielen. Wir evaluieren die Fähigkeiten unseres Agenten anhand von Kaggle-Wettbewerben als Fallstudie. Nach einem vollautomatischen Protokoll adressiert Agent K v1.0 systematisch komplexe und multimodale Data-Science-Aufgaben, indem er Bayes'sche Optimierung für die Hyperparameter-Abstimmung und Feature-Engineering einsetzt. Unser neues Evaluierungsframework bewertet rigoros die End-to-End-Fähigkeiten von Agent K v1.0, um Einreichungen ausgehend von einer Kaggle-Wettbewerbs-URL zu generieren und zu senden. Die Ergebnisse zeigen, dass Agent K v1.0 eine Erfolgsrate von 92,5\% über Aufgaben hinweg erreicht, die tabellarische, Computer-Vision-, NLP- und multimodale Bereiche umfassen. Beim Benchmarking gegen 5.856 menschliche Kaggle-Wettbewerber durch Berechnung von Elo-MMR-Werten für jeden, platziert sich Agent K v1.0 unter den Top 38\%, was ein insgesamt mit Experten vergleichbares Fähigkeitsniveau zeigt. Bemerkenswert ist, dass sein Elo-MMR-Wert zwischen dem ersten und dritten Quartil der von menschlichen Großmeistern erreichten Werte liegt. Darüber hinaus zeigen unsere Ergebnisse, dass Agent K v1.0 ein Leistungsniveau erreicht hat, das einem Kaggle-Großmeister entspricht, mit einem Rekord von 6 Gold-, 3 Silber- und 7 Bronzemedaillen, wie von Kaggle's Fortschrittssystem definiert.

English

We introduce Agent K v1.0, an end-to-end autonomous data science agent designed to automate, optimise, and generalise across diverse data science tasks. Fully automated, Agent K v1.0 manages the entire data science life cycle by learning from experience. It leverages a highly flexible structured reasoning framework to enable it to dynamically process memory in a nested structure, effectively learning from accumulated experience stored to handle complex reasoning tasks. It optimises long- and short-term memory by selectively storing and retrieving key information, guiding future decisions based on environmental rewards. This iterative approach allows it to refine decisions without fine-tuning or backpropagation, achieving continuous improvement through experiential learning. We evaluate our agent's apabilities using Kaggle competitions as a case study. Following a fully automated protocol, Agent K v1.0 systematically addresses complex and multimodal data science tasks, employing Bayesian optimisation for hyperparameter tuning and feature engineering. Our new evaluation framework rigorously assesses Agent K v1.0's end-to-end capabilities to generate and send submissions starting from a Kaggle competition URL. Results demonstrate that Agent K v1.0 achieves a 92.5\% success rate across tasks, spanning tabular, computer vision, NLP, and multimodal domains. When benchmarking against 5,856 human Kaggle competitors by calculating Elo-MMR scores for each, Agent K v1.0 ranks in the top 38\%, demonstrating an overall skill level comparable to Expert-level users. Notably, its Elo-MMR score falls between the first and third quartiles of scores achieved by human Grandmasters. Furthermore, our results indicate that Agent K v1.0 has reached a performance level equivalent to Kaggle Grandmaster, with a record of 6 gold, 3 silver, and 7 bronze medals, as defined by Kaggle's progression system.