AutoKaggle: Ein Multi-Agenten-Framework für autonome Datenscience-Wettbewerbe.

AutoKaggle: A Multi-Agent Framework for Autonomous Data Science Competitions

October 27, 2024

Autoren: Ziming Li, Qianbo Zang, David Ma, Jiawei Guo, Tuney Zheng, Minghao Liu, Xinyao Niu, Yue Wang, Jian Yang, Jiaheng Liu, Wanjun Zhong, Wangchunshu Zhou, Wenhao Huang, Ge Zhang

cs.AI

Zusammenfassung

Datenwissenschaftliche Aufgaben, die tabellarische Daten beinhalten, stellen komplexe Herausforderungen dar, die ausgefeilte Problemlösungsansätze erfordern. Wir schlagen AutoKaggle vor, ein leistungsstarkes und benutzerzentriertes Framework, das Datenwissenschaftler dabei unterstützt, tägliche Datenpipelines mithilfe eines kollaborativen Multi-Agenten-Systems abzuschließen. AutoKaggle implementiert einen iterativen Entwicklungsprozess, der Codeausführung, Debugging und umfassende Unit-Tests kombiniert, um Codekorrektheit und logische Konsistenz sicherzustellen. Das Framework bietet hochgradig anpassbare Workflows, die es den Benutzern ermöglichen, in jeder Phase einzugreifen und so automatisierte Intelligenz mit menschlicher Expertise zu integrieren. Unser universelles Datenwissenschaftstoolkit, bestehend aus validierten Funktionen für Datenbereinigung, Merkmalsextraktion und Modellierung, bildet das Fundament dieser Lösung und steigert die Produktivität durch die Vereinfachung gängiger Aufgaben. Wir haben 8 Kaggle-Wettbewerbe ausgewählt, um Datenverarbeitungs-Workflows in Szenarien der realen Welt zu simulieren. Die Evaluierungsergebnisse zeigen, dass AutoKaggle eine Validierungseinreichungsrate von 0,85 und eine umfassende Punktzahl von 0,82 in typischen Datenwissenschaftspipelines erreicht, was seine Wirksamkeit und Praktikabilität bei der Bewältigung komplexer datenwissenschaftlicher Aufgaben vollständig belegt.

English

Data science tasks involving tabular data present complex challenges that require sophisticated problem-solving approaches. We propose AutoKaggle, a powerful and user-centric framework that assists data scientists in completing daily data pipelines through a collaborative multi-agent system. AutoKaggle implements an iterative development process that combines code execution, debugging, and comprehensive unit testing to ensure code correctness and logic consistency. The framework offers highly customizable workflows, allowing users to intervene at each phase, thus integrating automated intelligence with human expertise. Our universal data science toolkit, comprising validated functions for data cleaning, feature engineering, and modeling, forms the foundation of this solution, enhancing productivity by streamlining common tasks. We selected 8 Kaggle competitions to simulate data processing workflows in real-world application scenarios. Evaluation results demonstrate that AutoKaggle achieves a validation submission rate of 0.85 and a comprehensive score of 0.82 in typical data science pipelines, fully proving its effectiveness and practicality in handling complex data science tasks.