Dolphin: Pesquisa Automática de Loop Fechado e Aberto por meio de Pensamento, Prática e Feedback

Dolphin: Closed-loop Open-ended Auto-research through Thinking, Practice, and Feedback

January 7, 2025

Autores: Jiakang Yuan, Xiangchao Yan, Botian Shi, Tao Chen, Wanli Ouyang, Bo Zhang, Lei Bai, Yu Qiao, Bowen Zhou

cs.AI

Resumo

O paradigma da pesquisa científica está passando por uma transformação profunda devido ao desenvolvimento da Inteligência Artificial (IA). Trabalhos recentes demonstram que vários métodos de pesquisa assistidos por IA podem melhorar significativamente a eficiência da pesquisa, aprimorando a análise de dados, acelerando a computação e fomentando a geração de novas ideias. Para avançar em direção ao objetivo final (ou seja, pesquisa científica automática), neste artigo, propomos o Dolphin, o primeiro framework de pesquisa automática de circuito fechado e aberto para construir ainda mais todo o processo da pesquisa científica humana. O Dolphin pode gerar ideias de pesquisa, realizar experimentos e obter feedback dos resultados experimentais para gerar ideias de maior qualidade. Mais especificamente, o Dolphin primeiro gera ideias inovadoras com base em artigos relevantes classificados pelos atributos de tópico e tarefa. Em seguida, os códigos são gerados automaticamente e depurados com a estrutura de código local guiada por exceção-rastreamento. Por fim, o Dolphin analisa automaticamente os resultados de cada ideia e alimenta os resultados de volta para a próxima rodada de geração de ideias. Experimentos são realizados em conjuntos de dados de referência de diferentes tópicos e os resultados mostram que o Dolphin pode gerar ideias inovadoras continuamente e concluir o experimento em um ciclo. Destacamos que o Dolphin pode propor automaticamente métodos comparáveis ao estado-da-arte em algumas tarefas, como classificação de imagens 2D e classificação de pontos 3D.

English

The scientific research paradigm is undergoing a profound transformation owing to the development of Artificial Intelligence (AI). Recent works demonstrate that various AI-assisted research methods can largely improve research efficiency by improving data analysis, accelerating computation, and fostering novel idea generation. To further move towards the ultimate goal (i.e., automatic scientific research), in this paper, we propose Dolphin, the first closed-loop open-ended auto-research framework to further build the entire process of human scientific research. Dolphin can generate research ideas, perform experiments, and get feedback from experimental results to generate higher-quality ideas. More specifically, Dolphin first generates novel ideas based on relevant papers which are ranked by the topic and task attributes. Then, the codes are automatically generated and debugged with the exception-traceback-guided local code structure. Finally, Dolphin automatically analyzes the results of each idea and feeds the results back to the next round of idea generation. Experiments are conducted on the benchmark datasets of different topics and results show that Dolphin can generate novel ideas continuously and complete the experiment in a loop. We highlight that Dolphin can automatically propose methods that are comparable to the state-of-the-art in some tasks such as 2D image classification and 3D point classification.