研究都市：人間研究コミュニティのシミュレータ

ResearchTown: Simulator of Human Research Community

December 23, 2024

著者: Haofei Yu, Zhaochen Hong, Zirui Cheng, Kunlun Zhu, Keyang Xuan, Jinwei Yao, Tao Feng, Jiaxuan You

cs.AI

要旨

大規模言語モデル（LLMs）は科学分野で顕著な潜在能力を示していますが、根本的な疑問が未解決のままです。LLMsで人間の研究コミュニティをシミュレートすることは可能なのでしょうか？この問いに取り組むことは、アイデアのブレインストーミングの背後にあるプロセスを理解し、新しい科学的洞察を自動的に発見するインスピレーションを与える可能性があります。本研究では、ResearchTownという研究コミュニティシミュレーションのためのマルチエージェントフレームワークを提案します。このフレームワークでは、人間の研究コミュニティはエージェントデータグラフとして単純化され、研究者と論文はそれぞれエージェントタイプとデータタイプのノードとして表され、協力関係に基づいて接続されます。また、TextGNNというテキストベースの推論フレームワークを導入し、研究活動（例：論文の読み込み、論文の執筆、レビューの執筆など）をエージェントデータグラフ上の統一されたメッセージパッシングプロセスの特別な形態としてモデル化します。研究シミュレーションの品質を評価するために、ノードマスキング予測タスクを使用したスケーラブルで客観的な評価に基づくベンチマークであるResearchBenchを提案します。実験から、以下の3つの主要な結果が明らかになりました：（1）ResearchTownは、論文執筆やレビュー執筆などの共同研究活動をリアルにシミュレートできること；（2）ResearchTownは、複数の研究者と多様な論文による堅牢なシミュレーションを維持できること；（3）ResearchTownは、新しい研究方向をインスピレーションとして提供する可能性のある学際的な研究アイデアを生み出すことができることが示されました。

English

Large Language Models (LLMs) have demonstrated remarkable potential in scientific domains, yet a fundamental question remains unanswered: Can we simulate human research communities with LLMs? Addressing this question can deepen our understanding of the processes behind idea brainstorming and inspire the automatic discovery of novel scientific insights. In this work, we propose ResearchTown, a multi-agent framework for research community simulation. Within this framework, the human research community is simplified and modeled as an agent-data graph, where researchers and papers are represented as agent-type and data-type nodes, respectively, and connected based on their collaboration relationships. We also introduce TextGNN, a text-based inference framework that models various research activities (e.g., paper reading, paper writing, and review writing) as special forms of a unified message-passing process on the agent-data graph. To evaluate the quality of the research simulation, we present ResearchBench, a benchmark that uses a node-masking prediction task for scalable and objective assessment based on similarity. Our experiments reveal three key findings: (1) ResearchTown can provide a realistic simulation of collaborative research activities, including paper writing and review writing; (2) ResearchTown can maintain robust simulation with multiple researchers and diverse papers; (3) ResearchTown can generate interdisciplinary research ideas that potentially inspire novel research directions.