AutoKaggle : Un cadre multi-agent pour la science des données autonome dans les compétitions

AutoKaggle: A Multi-Agent Framework for Autonomous Data Science Competitions

October 27, 2024

Auteurs: Ziming Li, Qianbo Zang, David Ma, Jiawei Guo, Tuney Zheng, Minghao Liu, Xinyao Niu, Yue Wang, Jian Yang, Jiaheng Liu, Wanjun Zhong, Wangchunshu Zhou, Wenhao Huang, Ge Zhang

cs.AI

Résumé

Les tâches de science des données impliquant des données tabulaires présentent des défis complexes qui nécessitent des approches sophistiquées de résolution de problèmes. Nous proposons AutoKaggle, un cadre puissant et centré sur l'utilisateur qui assiste les data scientists dans l'achèvement des pipelines de données quotidiens grâce à un système multi-agent collaboratif. AutoKaggle met en œuvre un processus de développement itératif qui combine l'exécution de code, le débogage et des tests unitaires complets pour garantir la correction du code et la cohérence logique. Le cadre offre des flux de travail hautement personnalisables, permettant aux utilisateurs d'intervenir à chaque phase, intégrant ainsi l'intelligence automatisée avec l'expertise humaine. Notre boîte à outils universelle de science des données, comprenant des fonctions validées pour le nettoyage des données, l'ingénierie des fonctionnalités et la modélisation, constitue la base de cette solution, améliorant la productivité en rationalisant les tâches courantes. Nous avons sélectionné 8 compétitions Kaggle pour simuler des flux de traitement de données dans des scénarios d'application du monde réel. Les résultats d'évaluation démontrent qu'AutoKaggle atteint un taux de soumission de validation de 0,85 et un score global de 0,82 dans les pipelines typiques de science des données, prouvant pleinement son efficacité et sa praticité dans la gestion des tâches complexes de science des données.

English

Data science tasks involving tabular data present complex challenges that require sophisticated problem-solving approaches. We propose AutoKaggle, a powerful and user-centric framework that assists data scientists in completing daily data pipelines through a collaborative multi-agent system. AutoKaggle implements an iterative development process that combines code execution, debugging, and comprehensive unit testing to ensure code correctness and logic consistency. The framework offers highly customizable workflows, allowing users to intervene at each phase, thus integrating automated intelligence with human expertise. Our universal data science toolkit, comprising validated functions for data cleaning, feature engineering, and modeling, forms the foundation of this solution, enhancing productivity by streamlining common tasks. We selected 8 Kaggle competitions to simulate data processing workflows in real-world application scenarios. Evaluation results demonstrate that AutoKaggle achieves a validation submission rate of 0.85 and a comprehensive score of 0.82 in typical data science pipelines, fully proving its effectiveness and practicality in handling complex data science tasks.