Laboratório de Agentes: Utilizando Agentes LLM como Assistentes de Pesquisa

Agent Laboratory: Using LLM Agents as Research Assistants

January 8, 2025

Autores: Samuel Schmidgall, Yusheng Su, Ze Wang, Ximeng Sun, Jialian Wu, Xiaodong Yu, Jiang Liu, Zicheng Liu, Emad Barsoum

cs.AI

Resumo

Historicamente, a descoberta científica tem sido um processo longo e custoso, exigindo tempo e recursos substanciais desde a concepção inicial até os resultados finais. Para acelerar a descoberta científica, reduzir os custos de pesquisa e melhorar a qualidade da pesquisa, apresentamos o Laboratório de Agentes, um framework autônomo baseado em LLM capaz de concluir todo o processo de pesquisa. Este framework aceita uma ideia de pesquisa fornecida pelo humano e avança por três etapas - revisão de literatura, experimentação e escrita de relatório - para produzir resultados de pesquisa abrangentes, incluindo um repositório de código e um relatório de pesquisa, permitindo aos usuários fornecer feedback e orientação em cada etapa. Implementamos o Laboratório de Agentes com vários LLMs de ponta e convidamos diversos pesquisadores para avaliar sua qualidade participando de uma pesquisa, fornecendo feedback humano para orientar o processo de pesquisa e, em seguida, avaliar o artigo final. Descobrimos que: (1) O Laboratório de Agentes impulsionado por o1-preview gera os melhores resultados de pesquisa; (2) O código de aprendizado de máquina gerado consegue alcançar desempenho de ponta em comparação com métodos existentes; (3) O envolvimento humano, fornecendo feedback em cada etapa, melhora significativamente a qualidade geral da pesquisa; (4) O Laboratório de Agentes reduz significativamente os gastos com pesquisa, alcançando uma redução de 84% em comparação com métodos de pesquisa autônomos anteriores. Esperamos que o Laboratório de Agentes permita aos pesquisadores dedicar mais esforço à criação de ideias criativas em vez de programação e escrita de baixo nível, acelerando, em última instância, a descoberta científica.

English

Historically, scientific discovery has been a lengthy and costly process, demanding substantial time and resources from initial conception to final results. To accelerate scientific discovery, reduce research costs, and improve research quality, we introduce Agent Laboratory, an autonomous LLM-based framework capable of completing the entire research process. This framework accepts a human-provided research idea and progresses through three stages--literature review, experimentation, and report writing to produce comprehensive research outputs, including a code repository and a research report, while enabling users to provide feedback and guidance at each stage. We deploy Agent Laboratory with various state-of-the-art LLMs and invite multiple researchers to assess its quality by participating in a survey, providing human feedback to guide the research process, and then evaluate the final paper. We found that: (1) Agent Laboratory driven by o1-preview generates the best research outcomes; (2) The generated machine learning code is able to achieve state-of-the-art performance compared to existing methods; (3) Human involvement, providing feedback at each stage, significantly improves the overall quality of research; (4) Agent Laboratory significantly reduces research expenses, achieving an 84% decrease compared to previous autonomous research methods. We hope Agent Laboratory enables researchers to allocate more effort toward creative ideation rather than low-level coding and writing, ultimately accelerating scientific discovery.