AgentRxiv: Verso una Ricerca Autonoma Collaborativa

AgentRxiv: Towards Collaborative Autonomous Research

March 23, 2025

Autori: Samuel Schmidgall, Michael Moor

cs.AI

Abstract

Il progresso nella scoperta scientifica raramente è il risultato di un singolo momento "Eureka", ma piuttosto il prodotto di centinaia di scienziati che lavorano insieme in modo incrementale verso un obiettivo comune. Sebbene i flussi di lavoro esistenti degli agenti siano in grado di produrre ricerche in modo autonomo, lo fanno in isolamento, senza la capacità di migliorare continuamente i risultati delle ricerche precedenti. Per affrontare queste sfide, introduciamo AgentRxiv, un framework che consente ai laboratori di agenti LLM di caricare e recuperare report da un server di preprint condiviso, al fine di collaborare, condividere intuizioni e costruire in modo iterativo sulle ricerche altrui. Assegniamo ai laboratori di agenti il compito di sviluppare nuove tecniche di ragionamento e prompting e scopriamo che gli agenti con accesso alle loro ricerche precedenti ottengono miglioramenti delle prestazioni superiori rispetto agli agenti che operano in isolamento (un miglioramento relativo dell'11,4% rispetto alla baseline su MATH-500). Troviamo che la strategia con le migliori prestazioni si generalizza a benchmark in altri domini (migliorando in media del 3,3%). Molti laboratori di agenti che condividono ricerche attraverso AgentRxiv sono in grado di lavorare insieme verso un obiettivo comune, progredendo più rapidamente rispetto ai laboratori isolati, raggiungendo una precisione complessiva più elevata (un miglioramento relativo del 13,7% rispetto alla baseline su MATH-500). Questi risultati suggeriscono che gli agenti autonomi potrebbero svolgere un ruolo nella progettazione di futuri sistemi di IA insieme agli esseri umani. Speriamo che AgentRxiv consenta agli agenti di collaborare verso obiettivi di ricerca e permetta ai ricercatori di accelerare la scoperta.

English

Progress in scientific discovery is rarely the result of a single "Eureka" moment, but is rather the product of hundreds of scientists incrementally working together toward a common goal. While existing agent workflows are capable of producing research autonomously, they do so in isolation, without the ability to continuously improve upon prior research results. To address these challenges, we introduce AgentRxiv-a framework that lets LLM agent laboratories upload and retrieve reports from a shared preprint server in order to collaborate, share insights, and iteratively build on each other's research. We task agent laboratories to develop new reasoning and prompting techniques and find that agents with access to their prior research achieve higher performance improvements compared to agents operating in isolation (11.4% relative improvement over baseline on MATH-500). We find that the best performing strategy generalizes to benchmarks in other domains (improving on average by 3.3%). Multiple agent laboratories sharing research through AgentRxiv are able to work together towards a common goal, progressing more rapidly than isolated laboratories, achieving higher overall accuracy (13.7% relative improvement over baseline on MATH-500). These findings suggest that autonomous agents may play a role in designing future AI systems alongside humans. We hope that AgentRxiv allows agents to collaborate toward research goals and enables researchers to accelerate discovery.