BoxingGym: Valutazione dei Progressi nel Design Sperimentale Automatico e Scoperta di Modelli

BoxingGym: Benchmarking Progress in Automated Experimental Design and Model Discovery

January 2, 2025

Autori: Kanishk Gandhi, Michael Y. Li, Lyle Goodyear, Louise Li, Aditi Bhaskar, Mohammed Zaman, Noah D. Goodman

cs.AI

Abstract

Comprendere il mondo e spiegarlo con teorie scientifiche è un obiettivo centrale della ricerca sull'intelligenza artificiale. Proporre teorie, progettare esperimenti per testarle e poi revisionarle in base ai dati sono fondamentali per la scoperta scientifica. Nonostante il significativo potenziale degli agenti scientifici basati su LLM, non esistono benchmark che testino sistematicamente la capacità di LLM di proporre modelli scientifici, raccogliere dati sperimentali e revisionarli alla luce di nuovi dati. Introduciamo BoxingGym, un benchmark con 10 ambienti per valutare sistematicamente sia il design sperimentale (ad es. raccogliere dati per testare una teoria scientifica) che la scoperta del modello (ad es. proporre e revisionare teorie scientifiche). Per consentire una valutazione tracciabile e quantitativa, implementiamo ciascun ambiente come un modello generativo probabilistico con cui un agente scientifico può condurre esperimenti interattivi. Questi modelli probabilistici provengono da vari domini scientifici del mondo reale, che vanno dalla psicologia all'ecologia. Per valutare quantitativamente la capacità di un agente scientifico di raccogliere dati sperimentali informativi, calcoliamo il guadagno di informazione atteso (EIG), una quantità informativa che misura quanto un esperimento riduca l'incertezza sui parametri di un modello generativo. Una buona teoria scientifica è una spiegazione concisa e predittiva. Pertanto, per valutare quantitativamente la scoperta del modello, chiediamo a un agente scientifico di spiegare il proprio modello e poi valutiamo se questa spiegazione consente a un altro agente scientifico di fare previsioni affidabili su quell'ambiente. Oltre a questa valutazione basata sulla spiegazione, calcoliamo metriche standard di valutazione del modello come gli errori di previsione. Riscontriamo che attuali LLM, come GPT-4o, faticano sia con il design sperimentale che con la scoperta del modello. Troviamo che l'aggiunta di un modello statistico esplicito all'agente basato su LLM non migliora in modo affidabile questi risultati.

English

Understanding the world and explaining it with scientific theories is a central aspiration of artificial intelligence research. Proposing theories, designing experiments to test them, and then revising them based on data are fundamental to scientific discovery. Despite the significant promise of LLM-based scientific agents, no benchmarks systematically test LLM's ability to propose scientific models, collect experimental data, and revise them in light of new data. We introduce BoxingGym, a benchmark with 10 environments for systematically evaluating both experimental design (e.g. collecting data to test a scientific theory) and model discovery (e.g. proposing and revising scientific theories). To enable tractable and quantitative evaluation, we implement each environment as a generative probabilistic model with which a scientific agent can run interactive experiments. These probabilistic models are drawn from various real-world scientific domains ranging from psychology to ecology. To quantitatively evaluate a scientific agent's ability to collect informative experimental data, we compute the expected information gain (EIG), an information-theoretic quantity which measures how much an experiment reduces uncertainty about the parameters of a generative model. A good scientific theory is a concise and predictive explanation. Therefore, to quantitatively evaluate model discovery, we ask a scientific agent to explain their model and then assess whether this explanation enables another scientific agent to make reliable predictions about this environment. In addition to this explanation-based evaluation, we compute standard model evaluation metrics such as prediction errors. We find that current LLMs, such as GPT-4o, struggle with both experimental design and model discovery. We find that augmenting the LLM-based agent with an explicit statistical model does not reliably improve these results.