イルカ：思考、実践、フィードバックを通じたクローズドループオープンエンドの自己研究

Dolphin: Closed-loop Open-ended Auto-research through Thinking, Practice, and Feedback

January 7, 2025

著者: Jiakang Yuan, Xiangchao Yan, Botian Shi, Tao Chen, Wanli Ouyang, Bo Zhang, Lei Bai, Yu Qiao, Bowen Zhou

cs.AI

要旨

科学研究のパラダイムは、人工知能（AI）の発展によって根本的な変革を遂げつつあります。最近の研究では、様々なAI支援研究手法がデータ解析の改善、計算の加速、新しいアイデアの創出によって研究効率を大幅に向上させることを示しています。究極の目標である自動科学研究に一歩近づくために、本論文では、人間の科学研究の全プロセスをさらに構築するための最初のクローズドループオープンエンドの自動研究フレームワークであるDolphinを提案します。Dolphinは研究アイデアを生成し、実験を行い、実験結果からフィードバックを受けてより高品質なアイデアを生成します。具体的には、Dolphinは、トピックとタスク属性によってランク付けされた関連論文に基づいて新しいアイデアを生成します。その後、コードは例外トレースバックによってガイドされたローカルコード構造で自動的に生成およびデバッグされます。最後に、Dolphinは各アイデアの結果を自動的に分析し、その結果を次のラウンドのアイデア生成にフィードバックします。さまざまなトピックのベンチマークデータセットで実験を行い、その結果、Dolphinは新しいアイデアを継続的に生成し、ループ内で実験を完了できることが示されました。Dolphinは、2D画像分類や3Dポイント分類などの一部のタスクにおいて、最先端の手法に匹敵する方法を自動的に提案できることを強調します。

English

The scientific research paradigm is undergoing a profound transformation owing to the development of Artificial Intelligence (AI). Recent works demonstrate that various AI-assisted research methods can largely improve research efficiency by improving data analysis, accelerating computation, and fostering novel idea generation. To further move towards the ultimate goal (i.e., automatic scientific research), in this paper, we propose Dolphin, the first closed-loop open-ended auto-research framework to further build the entire process of human scientific research. Dolphin can generate research ideas, perform experiments, and get feedback from experimental results to generate higher-quality ideas. More specifically, Dolphin first generates novel ideas based on relevant papers which are ranked by the topic and task attributes. Then, the codes are automatically generated and debugged with the exception-traceback-guided local code structure. Finally, Dolphin automatically analyzes the results of each idea and feeds the results back to the next round of idea generation. Experiments are conducted on the benchmark datasets of different topics and results show that Dolphin can generate novel ideas continuously and complete the experiment in a loop. We highlight that Dolphin can automatically propose methods that are comparable to the state-of-the-art in some tasks such as 2D image classification and 3D point classification.