Können Modelle uns dabei helfen, bessere Modelle zu erstellen? Evaluierung von LLMs als Datenwissenschaftler.

Can Models Help Us Create Better Models? Evaluating LLMs as Data Scientists

October 30, 2024

Autoren: Michał Pietruszka, Łukasz Borchmann, Aleksander Jędrosz, Paweł Morawiecki

cs.AI

Zusammenfassung

Wir präsentieren einen Leistungsvergleich für große Sprachmodelle, die entwickelt wurden, um eine der wissensintensivsten Aufgaben in der Datenwissenschaft zu bewältigen: das Schreiben von Feature-Engineering-Code, der neben einem tiefen Verständnis des zugrunde liegenden Problems und der Datenstruktur auch Fachkenntnisse erfordert. Das Modell erhält eine Datensatzbeschreibung als Eingabe und wird gebeten, den entsprechenden Code zur Transformation zu generieren. Die Bewertung erfolgt anhand der Verbesserung, die durch ein XGBoost-Modell erzielt wird, das auf dem modifizierten Datensatz im Vergleich zu den Originaldaten angepasst wurde. Durch eine umfassende Evaluation von modernsten Modellen und den Vergleich mit etablierten Leistungsvergleichen zeigen wir, dass das FeatEng unseres Vorschlags die breiten Fähigkeiten von LLMs kostengünstig und effizient bewerten kann, im Gegensatz zu den bestehenden Methoden.

English

We present a benchmark for large language models designed to tackle one of the most knowledge-intensive tasks in data science: writing feature engineering code, which requires domain knowledge in addition to a deep understanding of the underlying problem and data structure. The model is provided with a dataset description in a prompt and asked to generate code transforming it. The evaluation score is derived from the improvement achieved by an XGBoost model fit on the modified dataset compared to the original data. By an extensive evaluation of state-of-the-art models and comparison to well-established benchmarks, we demonstrate that the FeatEng of our proposal can cheaply and efficiently assess the broad capabilities of LLMs, in contrast to the existing methods.