에이전트 연구소: LLM 에이전트를 연구 보조로 활용하기

Agent Laboratory: Using LLM Agents as Research Assistants

January 8, 2025

저자: Samuel Schmidgall, Yusheng Su, Ze Wang, Ximeng Sun, Jialian Wu, Xiaodong Yu, Jiang Liu, Zicheng Liu, Emad Barsoum

cs.AI

초록

과학적 발견은 역사적으로 오랜 시간과 막대한 비용이 필요한 과정이었습니다. 초기 아이디어에서 최종 결과물까지 상당한 시간과 자원을 요구했습니다. 과학적 발견을 가속화하고 연구 비용을 줄이며 연구 품질을 향상시키기 위해, 우리는 Agent Laboratory를 소개합니다. 이는 자율 LLM 기반 프레임워크로, 전체 연구 과정을 완료할 수 있는 능력을 갖추고 있습니다. 이 프레임워크는 사용자가 제공한 연구 아이디어를 수용하고 문헌 검토, 실험, 보고서 작성 세 단계를 거쳐 코드 저장소와 연구 보고서를 포함한 포괄적인 연구 결과물을 생산하며, 사용자가 각 단계에서 피드백과 지도를 제공할 수 있도록 합니다. 우리는 다양한 최첨단 LLM을 사용하여 Agent Laboratory를 배포하고 여러 연구자들을 초대하여 설문 조사에 참여하고, 연구 과정을 안내하기 위해 인간 피드백을 제공하고, 마지막으로 최종 논문을 평가하도록 합니다. 우리는 다음을 발견했습니다: (1) o1-preview에 의해 주도되는 Agent Laboratory가 가장 우수한 연구 결과를 생성합니다; (2) 생성된 기계 학습 코드는 기존 방법과 비교하여 최첨단 성능을 달성할 수 있습니다; (3) 각 단계에서 피드백을 제공하는 인간의 참여가 연구의 전반적인 품질을 크게 향상시킵니다; (4) Agent Laboratory는 이전 자율 연구 방법과 비교하여 연구 비용을 크게 줄여 84%의 감소를 달성합니다. 우리는 Agent Laboratory가 연구자들이 낮은 수준의 코딩과 작성보다는 창의적인 아이디어에 더 많은 노력을 할 수 있도록 하여, 최종적으로 과학적 발견을 가속화하는 데 기여할 것을 기대합니다.

English

Historically, scientific discovery has been a lengthy and costly process, demanding substantial time and resources from initial conception to final results. To accelerate scientific discovery, reduce research costs, and improve research quality, we introduce Agent Laboratory, an autonomous LLM-based framework capable of completing the entire research process. This framework accepts a human-provided research idea and progresses through three stages--literature review, experimentation, and report writing to produce comprehensive research outputs, including a code repository and a research report, while enabling users to provide feedback and guidance at each stage. We deploy Agent Laboratory with various state-of-the-art LLMs and invite multiple researchers to assess its quality by participating in a survey, providing human feedback to guide the research process, and then evaluate the final paper. We found that: (1) Agent Laboratory driven by o1-preview generates the best research outcomes; (2) The generated machine learning code is able to achieve state-of-the-art performance compared to existing methods; (3) Human involvement, providing feedback at each stage, significantly improves the overall quality of research; (4) Agent Laboratory significantly reduces research expenses, achieving an 84% decrease compared to previous autonomous research methods. We hope Agent Laboratory enables researchers to allocate more effort toward creative ideation rather than low-level coding and writing, ultimately accelerating scientific discovery.