ResearchTown: Simulatore della Comunità di Ricerca Umana

ResearchTown: Simulator of Human Research Community

December 23, 2024

Autori: Haofei Yu, Zhaochen Hong, Zirui Cheng, Kunlun Zhu, Keyang Xuan, Jinwei Yao, Tao Feng, Jiaxuan You

cs.AI

Abstract

I Large Language Models (LLM) hanno dimostrato un notevole potenziale nei domini scientifici, tuttavia una domanda fondamentale rimane senza risposta: Possiamo simulare comunità di ricerca umane con LLM? Affrontare questa domanda può approfondire la nostra comprensione dei processi di brainstorming delle idee e ispirare la scoperta automatica di nuove intuizioni scientifiche. In questo lavoro, proponiamo ResearchTown, un framework multi-agente per la simulazione di comunità di ricerca. All'interno di questo framework, la comunità di ricerca umana è semplificata e modellata come un grafo agente-dati, dove i ricercatori e i paper sono rappresentati rispettivamente come nodi di tipo agente e tipo di dati, e collegati in base alle loro relazioni di collaborazione. Introduciamo inoltre TextGNN, un framework di inferenza basato su testo che modella varie attività di ricerca (ad esempio, lettura di paper, scrittura di paper e scrittura di recensioni) come forme speciali di un processo unificato di passaggio di messaggi sul grafo agente-dati. Per valutare la qualità della simulazione della ricerca, presentiamo ResearchBench, un benchmark che utilizza un compito di previsione di mascheramento dei nodi per una valutazione scalabile e obiettiva basata sulla similarità. I nostri esperimenti rivelano tre risultati chiave: (1) ResearchTown può fornire una simulazione realistica delle attività di ricerca collaborative, inclusa la scrittura di paper e la scrittura di recensioni; (2) ResearchTown può mantenere una simulazione robusta con diversi ricercatori e paper diversi; (3) ResearchTown può generare idee di ricerca interdisciplinari che potenzialmente ispirano nuove direzioni di ricerca.

English

Large Language Models (LLMs) have demonstrated remarkable potential in scientific domains, yet a fundamental question remains unanswered: Can we simulate human research communities with LLMs? Addressing this question can deepen our understanding of the processes behind idea brainstorming and inspire the automatic discovery of novel scientific insights. In this work, we propose ResearchTown, a multi-agent framework for research community simulation. Within this framework, the human research community is simplified and modeled as an agent-data graph, where researchers and papers are represented as agent-type and data-type nodes, respectively, and connected based on their collaboration relationships. We also introduce TextGNN, a text-based inference framework that models various research activities (e.g., paper reading, paper writing, and review writing) as special forms of a unified message-passing process on the agent-data graph. To evaluate the quality of the research simulation, we present ResearchBench, a benchmark that uses a node-masking prediction task for scalable and objective assessment based on similarity. Our experiments reveal three key findings: (1) ResearchTown can provide a realistic simulation of collaborative research activities, including paper writing and review writing; (2) ResearchTown can maintain robust simulation with multiple researchers and diverse papers; (3) ResearchTown can generate interdisciplinary research ideas that potentially inspire novel research directions.