ResearchTown: Simulador da Comunidade de Pesquisa Humana

ResearchTown: Simulator of Human Research Community

December 23, 2024

Autores: Haofei Yu, Zhaochen Hong, Zirui Cheng, Kunlun Zhu, Keyang Xuan, Jinwei Yao, Tao Feng, Jiaxuan You

cs.AI

Resumo

Os Modelos de Linguagem de Grande Escala (LLMs) têm demonstrado um potencial notável em domínios científicos, no entanto, uma questão fundamental permanece sem resposta: Podemos simular comunidades de pesquisa humanas com LLMs? Abordar essa questão pode aprofundar nossa compreensão dos processos por trás da geração de ideias e inspirar a descoberta automática de insights científicos inovadores. Neste trabalho, propomos ResearchTown, um framework multiagente para simulação de comunidades de pesquisa. Dentro desse framework, a comunidade de pesquisa humana é simplificada e modelada como um grafo agente-dados, onde pesquisadores e artigos são representados como nós do tipo agente e tipo de dados, respectivamente, e conectados com base em suas relações de colaboração. Também introduzimos TextGNN, um framework de inferência baseado em texto que modela várias atividades de pesquisa (por exemplo, leitura de artigos, escrita de artigos e escrita de revisões) como formas especiais de um processo unificado de passagem de mensagens no grafo agente-dados. Para avaliar a qualidade da simulação de pesquisa, apresentamos ResearchBench, um benchmark que utiliza uma tarefa de previsão de mascaramento de nós para avaliação escalável e objetiva com base em similaridade. Nossos experimentos revelam três descobertas-chave: (1) ResearchTown pode fornecer uma simulação realista de atividades de pesquisa colaborativa, incluindo a escrita de artigos e revisões; (2) ResearchTown pode manter uma simulação robusta com múltiplos pesquisadores e artigos diversos; (3) ResearchTown pode gerar ideias de pesquisa interdisciplinares que potencialmente inspiram novas direções de pesquisa.

English

Large Language Models (LLMs) have demonstrated remarkable potential in scientific domains, yet a fundamental question remains unanswered: Can we simulate human research communities with LLMs? Addressing this question can deepen our understanding of the processes behind idea brainstorming and inspire the automatic discovery of novel scientific insights. In this work, we propose ResearchTown, a multi-agent framework for research community simulation. Within this framework, the human research community is simplified and modeled as an agent-data graph, where researchers and papers are represented as agent-type and data-type nodes, respectively, and connected based on their collaboration relationships. We also introduce TextGNN, a text-based inference framework that models various research activities (e.g., paper reading, paper writing, and review writing) as special forms of a unified message-passing process on the agent-data graph. To evaluate the quality of the research simulation, we present ResearchBench, a benchmark that uses a node-masking prediction task for scalable and objective assessment based on similarity. Our experiments reveal three key findings: (1) ResearchTown can provide a realistic simulation of collaborative research activities, including paper writing and review writing; (2) ResearchTown can maintain robust simulation with multiple researchers and diverse papers; (3) ResearchTown can generate interdisciplinary research ideas that potentially inspire novel research directions.