AutoKaggle: Een Multi-Agent Framework voor Autonome Data Science Competities

AutoKaggle: A Multi-Agent Framework for Autonomous Data Science Competitions

October 27, 2024

Auteurs: Ziming Li, Qianbo Zang, David Ma, Jiawei Guo, Tuney Zheng, Minghao Liu, Xinyao Niu, Yue Wang, Jian Yang, Jiaheng Liu, Wanjun Zhong, Wangchunshu Zhou, Wenhao Huang, Ge Zhang

cs.AI

Samenvatting

Data science taken met tabulaire data brengen complexe uitdagingen met zich mee die geavanceerde probleemoplossingsbenaderingen vereisen. Wij stellen AutoKaggle voor, een krachtig en gebruiksvriendelijk framework dat datawetenschappers helpt bij het voltooien van dagelijkse datapipelines door middel van een collaboratief multi-agent systeem. AutoKaggle implementeert een iteratief ontwikkelingsproces dat code-uitvoering, debugging en uitgebreide unit testing combineert om codecorrectheid en logische consistentie te waarborgen. Het framework biedt zeer aanpasbare workflows, waardoor gebruikers kunnen ingrijpen in elke fase, waarbij geautomatiseerde intelligentie wordt geïntegreerd met menselijke expertise. Onze universele data science toolkit, bestaande uit gevalideerde functies voor datareiniging, feature engineering en modellering, vormt de basis van deze oplossing en verbetert de productiviteit door gemeenschappelijke taken te stroomlijnen. We hebben 8 Kaggle-competities geselecteerd om dataprocessingsworkflows in realistische toepassingsscenario's te simuleren. Evaluatieresultaten tonen aan dat AutoKaggle een validatiescore van 0.85 behaalt en een uitgebreide score van 0.82 in typische data science pipelines, waarbij volledig de effectiviteit en praktische toepasbaarheid bij het omgaan met complexe data science taken wordt aangetoond.

English

Data science tasks involving tabular data present complex challenges that require sophisticated problem-solving approaches. We propose AutoKaggle, a powerful and user-centric framework that assists data scientists in completing daily data pipelines through a collaborative multi-agent system. AutoKaggle implements an iterative development process that combines code execution, debugging, and comprehensive unit testing to ensure code correctness and logic consistency. The framework offers highly customizable workflows, allowing users to intervene at each phase, thus integrating automated intelligence with human expertise. Our universal data science toolkit, comprising validated functions for data cleaning, feature engineering, and modeling, forms the foundation of this solution, enhancing productivity by streamlining common tasks. We selected 8 Kaggle competitions to simulate data processing workflows in real-world application scenarios. Evaluation results demonstrate that AutoKaggle achieves a validation submission rate of 0.85 and a comprehensive score of 0.82 in typical data science pipelines, fully proving its effectiveness and practicality in handling complex data science tasks.