돌핀: 생각, 실천 및 피드백을 통한 폐쇄 루프 열린 자동 연구

Dolphin: Closed-loop Open-ended Auto-research through Thinking, Practice, and Feedback

January 7, 2025

저자: Jiakang Yuan, Xiangchao Yan, Botian Shi, Tao Chen, Wanli Ouyang, Bo Zhang, Lei Bai, Yu Qiao, Bowen Zhou

cs.AI

초록

과학 연구 패러다임은 인공 지능(AI)의 발전으로 깊은 변화를 겪고 있습니다. 최근 연구들은 다양한 AI 보조 연구 방법이 데이터 분석을 개선하고 계산을 가속화하며 새로운 아이디어 생성을 촉진함으로써 연구 효율성을 크게 향상시킬 수 있다는 것을 입증하고 있습니다. 궁극적인 목표인 자동 과학 연구로 나아가기 위해 본 논문에서는 Dolphin을 제안합니다. Dolphin은 인간 과학 연구 전 과정을 구축하기 위한 최초의 폐쇄 루프 오픈엔드 자동 연구 프레임워크입니다. Dolphin은 연구 아이디어를 생성하고 실험을 수행하며 실험 결과로부터 피드백을 받아 더 높은 품질의 아이디어를 생성할 수 있습니다. 구체적으로, Dolphin은 먼저 주제 및 작업 속성에 따라 순위가 매겨진 관련 논문을 기반으로 새로운 아이디어를 생성합니다. 그런 다음 코드는 예외-추적-가이드 로컬 코드 구조를 사용하여 자동으로 생성되고 디버깅됩니다. 마지막으로 Dolphin은 각 아이디어의 결과를 자동으로 분석하고 결과를 다음 라운드의 아이디어 생성에 피드백합니다. 다양한 주제의 벤치마크 데이터셋에서 실험을 수행한 결과, Dolphin은 지속적으로 새로운 아이디어를 생성하고 루프에서 실험을 완료할 수 있음을 보여줍니다. Dolphin은 2D 이미지 분류 및 3D 포인트 분류와 같은 일부 작업에서 최첨단 기술과 비교 가능한 방법을 자동으로 제안할 수 있다는 점을 강조합니다.

English

The scientific research paradigm is undergoing a profound transformation owing to the development of Artificial Intelligence (AI). Recent works demonstrate that various AI-assisted research methods can largely improve research efficiency by improving data analysis, accelerating computation, and fostering novel idea generation. To further move towards the ultimate goal (i.e., automatic scientific research), in this paper, we propose Dolphin, the first closed-loop open-ended auto-research framework to further build the entire process of human scientific research. Dolphin can generate research ideas, perform experiments, and get feedback from experimental results to generate higher-quality ideas. More specifically, Dolphin first generates novel ideas based on relevant papers which are ranked by the topic and task attributes. Then, the codes are automatically generated and debugged with the exception-traceback-guided local code structure. Finally, Dolphin automatically analyzes the results of each idea and feeds the results back to the next round of idea generation. Experiments are conducted on the benchmark datasets of different topics and results show that Dolphin can generate novel ideas continuously and complete the experiment in a loop. We highlight that Dolphin can automatically propose methods that are comparable to the state-of-the-art in some tasks such as 2D image classification and 3D point classification.