Laboratorio degli Agenti: Utilizzo degli Agenti LLM come Assistenti di Ricerca

Agent Laboratory: Using LLM Agents as Research Assistants

January 8, 2025

Autori: Samuel Schmidgall, Yusheng Su, Ze Wang, Ximeng Sun, Jialian Wu, Xiaodong Yu, Jiang Liu, Zicheng Liu, Emad Barsoum

cs.AI

Abstract

Storicamente, la scoperta scientifica è stata un processo lungo e costoso, richiedendo un notevole impegno di tempo e risorse dall'idea iniziale ai risultati finali. Per accelerare la scoperta scientifica, ridurre i costi della ricerca e migliorare la qualità della ricerca, presentiamo Agent Laboratory, un framework autonomo basato su LLM in grado di completare l'intero processo di ricerca. Questo framework accetta un'idea di ricerca fornita dall'essere umano e procede attraverso tre fasi--revisione della letteratura, sperimentazione e scrittura del report per produrre risultati di ricerca completi, inclusi un repository di codice e un report di ricerca, consentendo agli utenti di fornire feedback e orientamento in ogni fase. Implementiamo Agent Laboratory con vari LLM all'avanguardia e invitiamo diversi ricercatori a valutarne la qualità partecipando a un sondaggio, fornendo feedback umano per guidare il processo di ricerca e quindi valutare il paper finale. Abbiamo riscontrato che: (1) Agent Laboratory guidato da o1-preview genera i migliori risultati di ricerca; (2) Il codice di machine learning generato è in grado di raggiungere prestazioni all'avanguardia rispetto ai metodi esistenti; (3) Il coinvolgimento umano, fornendo feedback in ogni fase, migliora significativamente la qualità complessiva della ricerca; (4) Agent Laboratory riduce significativamente le spese di ricerca, ottenendo una diminuzione dell'84% rispetto ai metodi di ricerca autonomi precedenti. Speriamo che Agent Laboratory consenta ai ricercatori di dedicare maggiori sforzi all'ideazione creativa piuttosto che alla scrittura e codifica a basso livello, accelerando in definitiva la scoperta scientifica.

English

Historically, scientific discovery has been a lengthy and costly process, demanding substantial time and resources from initial conception to final results. To accelerate scientific discovery, reduce research costs, and improve research quality, we introduce Agent Laboratory, an autonomous LLM-based framework capable of completing the entire research process. This framework accepts a human-provided research idea and progresses through three stages--literature review, experimentation, and report writing to produce comprehensive research outputs, including a code repository and a research report, while enabling users to provide feedback and guidance at each stage. We deploy Agent Laboratory with various state-of-the-art LLMs and invite multiple researchers to assess its quality by participating in a survey, providing human feedback to guide the research process, and then evaluate the final paper. We found that: (1) Agent Laboratory driven by o1-preview generates the best research outcomes; (2) The generated machine learning code is able to achieve state-of-the-art performance compared to existing methods; (3) Human involvement, providing feedback at each stage, significantly improves the overall quality of research; (4) Agent Laboratory significantly reduces research expenses, achieving an 84% decrease compared to previous autonomous research methods. We hope Agent Laboratory enables researchers to allocate more effort toward creative ideation rather than low-level coding and writing, ultimately accelerating scientific discovery.