Delfino: Ricerca automatica a ciclo chiuso e aperto tramite pensiero, pratica e feedback.

Dolphin: Closed-loop Open-ended Auto-research through Thinking, Practice, and Feedback

January 7, 2025

Autori: Jiakang Yuan, Xiangchao Yan, Botian Shi, Tao Chen, Wanli Ouyang, Bo Zhang, Lei Bai, Yu Qiao, Bowen Zhou

cs.AI

Abstract

Il paradigma della ricerca scientifica sta subendo una profonda trasformazione grazie allo sviluppo dell'Intelligenza Artificiale (IA). Lavori recenti dimostrano che vari metodi di ricerca assistiti dall'IA possono migliorare notevolmente l'efficienza della ricerca attraverso un miglioramento dell'analisi dei dati, un'accelerazione dei calcoli e la promozione della generazione di nuove idee. Per avanzare ulteriormente verso l'obiettivo ultimo (cioè la ricerca scientifica automatica), in questo articolo proponiamo Dolphin, il primo framework di ricerca automatica open-ended a ciclo chiuso per costruire ulteriormente l'intero processo della ricerca scientifica umana. Dolphin può generare idee di ricerca, condurre esperimenti e ricevere feedback dai risultati sperimentali per generare idee di maggiore qualità. Più specificamente, Dolphin genera inizialmente idee innovative basate su articoli pertinenti classificati per argomento e attributi di compito. Successivamente, i codici vengono generati automaticamente e debuggati con una struttura di codice locale guidata da eccezioni e traceback. Infine, Dolphin analizza automaticamente i risultati di ciascuna idea e li restituisce per la generazione di idee del round successivo. Sono stati condotti esperimenti su dataset di benchmark di diversi argomenti e i risultati mostrano che Dolphin può generare idee innovative in modo continuo e completare l'esperimento in un ciclo. Sottolineiamo che Dolphin può proporre automaticamente metodi comparabili allo stato dell'arte in alcuni compiti come la classificazione di immagini 2D e la classificazione di punti 3D.

English

The scientific research paradigm is undergoing a profound transformation owing to the development of Artificial Intelligence (AI). Recent works demonstrate that various AI-assisted research methods can largely improve research efficiency by improving data analysis, accelerating computation, and fostering novel idea generation. To further move towards the ultimate goal (i.e., automatic scientific research), in this paper, we propose Dolphin, the first closed-loop open-ended auto-research framework to further build the entire process of human scientific research. Dolphin can generate research ideas, perform experiments, and get feedback from experimental results to generate higher-quality ideas. More specifically, Dolphin first generates novel ideas based on relevant papers which are ranked by the topic and task attributes. Then, the codes are automatically generated and debugged with the exception-traceback-guided local code structure. Finally, Dolphin automatically analyzes the results of each idea and feeds the results back to the next round of idea generation. Experiments are conducted on the benchmark datasets of different topics and results show that Dolphin can generate novel ideas continuously and complete the experiment in a loop. We highlight that Dolphin can automatically propose methods that are comparable to the state-of-the-art in some tasks such as 2D image classification and 3D point classification.