エージェント研究室：LLM エージェントを研究アシスタントとして利用する

Agent Laboratory: Using LLM Agents as Research Assistants

January 8, 2025

著者: Samuel Schmidgall, Yusheng Su, Ze Wang, Ximeng Sun, Jialian Wu, Xiaodong Yu, Jiang Liu, Zicheng Liu, Emad Barsoum

cs.AI

要旨

科学的な発見は歴史的には長くて費用のかかるプロセスであり、最初の構想から最終結果まで多大な時間とリソースを要求してきました。科学的な発見を加速し、研究コストを削減し、研究の品質を向上させるために、私たちはエージェントラボラトリーを導入します。これは、完全な研究プロセスを完了できる自律型LLMベースのフレームワークです。このフレームワークは、人間が提供した研究アイデアを受け入れ、文献レビュー、実験、報告書作成の3つの段階を進行し、コードリポジトリと研究報告書を含む包括的な研究成果を生み出します。また、ユーザーが各段階でフィードバックとガイダンスを提供できるようにします。私たちはAgent Laboratoryをさまざまな最先端のLLMと展開し、複数の研究者に参加してもらい、調査によってその品質を評価してもらいます。そして、ヒューマンフィードバックを提供して研究プロセスを導き、最終的な論文を評価します。以下の結果が得られました：(1) o1-previewによって駆動されるAgent Laboratoryが最良の研究成果を生み出すこと、(2) 生成された機械学習コードが既存の方法と比較して最先端の性能を達成できること、(3) 各段階でフィードバックを提供するヒューマンの関与が研究全体の品質を大幅に向上させること、(4) Agent Laboratoryが従来の自律型研究方法と比較して研究費用を84%削減することができること。私たちは、Agent Laboratoryが研究者が低レベルのコーディングや執筆よりも創造的な構想により多くの労力を割り当てることを可能にし、最終的に科学的な発見を加速させることを期待しています。

English

Historically, scientific discovery has been a lengthy and costly process, demanding substantial time and resources from initial conception to final results. To accelerate scientific discovery, reduce research costs, and improve research quality, we introduce Agent Laboratory, an autonomous LLM-based framework capable of completing the entire research process. This framework accepts a human-provided research idea and progresses through three stages--literature review, experimentation, and report writing to produce comprehensive research outputs, including a code repository and a research report, while enabling users to provide feedback and guidance at each stage. We deploy Agent Laboratory with various state-of-the-art LLMs and invite multiple researchers to assess its quality by participating in a survey, providing human feedback to guide the research process, and then evaluate the final paper. We found that: (1) Agent Laboratory driven by o1-preview generates the best research outcomes; (2) The generated machine learning code is able to achieve state-of-the-art performance compared to existing methods; (3) Human involvement, providing feedback at each stage, significantly improves the overall quality of research; (4) Agent Laboratory significantly reduces research expenses, achieving an 84% decrease compared to previous autonomous research methods. We hope Agent Laboratory enables researchers to allocate more effort toward creative ideation rather than low-level coding and writing, ultimately accelerating scientific discovery.