AgentRxiv: Auf dem Weg zu kollaborativer autonomer Forschung

AgentRxiv: Towards Collaborative Autonomous Research

March 23, 2025

Autoren: Samuel Schmidgall, Michael Moor

cs.AI

Zusammenfassung

Fortschritte in der wissenschaftlichen Entdeckung sind selten das Ergebnis eines einzigen „Heureka“-Moments, sondern vielmehr das Produkt der Zusammenarbeit Hunderter Wissenschaftler, die schrittweise auf ein gemeinsames Ziel hinarbeiten. Während bestehende Agenten-Workflows in der Lage sind, autonom Forschung zu betreiben, tun sie dies isoliert, ohne die Möglichkeit, frühere Forschungsergebnisse kontinuierlich zu verbessern. Um diese Herausforderungen zu bewältigen, stellen wir AgentRxiv vor – ein Framework, das LLM-Agentenlaboren ermöglicht, Berichte auf einem gemeinsamen Preprint-Server hochzuladen und abzurufen, um zusammenzuarbeiten, Erkenntnisse auszutauschen und iterativ auf der Forschung der anderen aufzubauen. Wir beauftragen Agentenlabore, neue Reasoning- und Prompting-Techniken zu entwickeln, und stellen fest, dass Agenten mit Zugriff auf ihre frühere Forschung höhere Leistungssteigerungen erzielen im Vergleich zu isoliert arbeitenden Agenten (11,4 % relative Verbesserung gegenüber dem Baseline auf MATH-500). Wir beobachten, dass die beste Strategie auch auf Benchmarks in anderen Domänen verallgemeinerbar ist (durchschnittliche Verbesserung um 3,3 %). Mehrere Agentenlabore, die über AgentRxiv Forschung teilen, können gemeinsam auf ein Ziel hinarbeiten und schneller Fortschritte erzielen als isolierte Labore, wobei sie eine höhere Gesamtgenauigkeit erreichen (13,7 % relative Verbesserung gegenüber dem Baseline auf MATH-500). Diese Ergebnisse deuten darauf hin, dass autonome Agenten eine Rolle bei der Gestaltung zukünftiger KI-Systeme neben Menschen spielen könnten. Wir hoffen, dass AgentRxiv es Agenten ermöglicht, auf Forschungsziele hin zusammenzuarbeiten, und Forschern hilft, Entdeckungen zu beschleunigen.

English

Progress in scientific discovery is rarely the result of a single "Eureka" moment, but is rather the product of hundreds of scientists incrementally working together toward a common goal. While existing agent workflows are capable of producing research autonomously, they do so in isolation, without the ability to continuously improve upon prior research results. To address these challenges, we introduce AgentRxiv-a framework that lets LLM agent laboratories upload and retrieve reports from a shared preprint server in order to collaborate, share insights, and iteratively build on each other's research. We task agent laboratories to develop new reasoning and prompting techniques and find that agents with access to their prior research achieve higher performance improvements compared to agents operating in isolation (11.4% relative improvement over baseline on MATH-500). We find that the best performing strategy generalizes to benchmarks in other domains (improving on average by 3.3%). Multiple agent laboratories sharing research through AgentRxiv are able to work together towards a common goal, progressing more rapidly than isolated laboratories, achieving higher overall accuracy (13.7% relative improvement over baseline on MATH-500). These findings suggest that autonomous agents may play a role in designing future AI systems alongside humans. We hope that AgentRxiv allows agents to collaborate toward research goals and enables researchers to accelerate discovery.