연구도시: 인간 연구 커뮤니티 시뮬레이터

초록

대규모 언어 모델(Large Language Models, LLMs)은 과학 분야에서 놀라운 잠재력을 보여주었지만, 한 가지 기본적인 질문이 아직 답이 필요하다: LLMs로 인간 연구 커뮤니티를 시뮬레이션할 수 있을까? 이 질문에 대답함으로써 아이디어 브레인스토밍 과정 뒤에 있는 프로세스를 깊이 있게 이해하고 새로운 과학적 통찰을 자동으로 발견하는 영감을 줄 수 있다. 본 연구에서는 연구 커뮤니티 시뮬레이션을 위한 다중 에이전트 프레임워크인 ResearchTown을 제안한다. 이 프레임워크 내에서 인간 연구 커뮤니티는 에이전트-데이터 그래프로 단순화되어 모델링되며, 연구자와 논문은 각각 에이전트 유형과 데이터 유형 노드로 표현되며 협업 관계에 따라 연결된다. 또한 텍스트 기반 추론 프레임워크인 TextGNN을 소개하며, 연구 활동(예: 논문 읽기, 논문 쓰기, 리뷰 쓰기)을 에이전트-데이터 그래프 상의 통합된 메시지 전달 프로세스의 특수 형태로 모델링한다. 연구 시뮬레이션의 품질을 평가하기 위해 유사성을 기반으로 한 확장 가능하고 객관적인 평가를 위한 노드 마스킹 예측 작업을 사용하는 벤치마크인 ResearchBench를 제시한다. 실험 결과 세 가지 주요 발견을 보여준다: (1) ResearchTown은 논문 쓰기 및 리뷰 쓰기를 포함한 협업 연구 활동을 현실적으로 시뮬레이션할 수 있다; (2) ResearchTown은 다수의 연구자와 다양한 논문으로 견고한 시뮬레이션을 유지할 수 있다; (3) ResearchTown은 새로운 연구 방향을 영감 주는 다학제적 연구 아이디어를 생성할 수 있다.

English

Large Language Models (LLMs) have demonstrated remarkable potential in scientific domains, yet a fundamental question remains unanswered: Can we simulate human research communities with LLMs? Addressing this question can deepen our understanding of the processes behind idea brainstorming and inspire the automatic discovery of novel scientific insights. In this work, we propose ResearchTown, a multi-agent framework for research community simulation. Within this framework, the human research community is simplified and modeled as an agent-data graph, where researchers and papers are represented as agent-type and data-type nodes, respectively, and connected based on their collaboration relationships. We also introduce TextGNN, a text-based inference framework that models various research activities (e.g., paper reading, paper writing, and review writing) as special forms of a unified message-passing process on the agent-data graph. To evaluate the quality of the research simulation, we present ResearchBench, a benchmark that uses a node-masking prediction task for scalable and objective assessment based on similarity. Our experiments reveal three key findings: (1) ResearchTown can provide a realistic simulation of collaborative research activities, including paper writing and review writing; (2) ResearchTown can maintain robust simulation with multiple researchers and diverse papers; (3) ResearchTown can generate interdisciplinary research ideas that potentially inspire novel research directions.

연구도시: 인간 연구 커뮤니티 시뮬레이터

ResearchTown: Simulator of Human Research Community

초록

Support