ChemAgent: Biblioteca de Autoatualização em Modelos de Linguagem Grandes Melhora o Raciocínio Químico

ChemAgent: Self-updating Library in Large Language Models Improves Chemical Reasoning

January 11, 2025

Autores: Xiangru Tang, Tianyu Hu, Muyang Ye, Yanjun Shao, Xunjian Yin, Siru Ouyang, Wangchunshu Zhou, Pan Lu, Zhuosheng Zhang, Yilun Zhao, Arman Cohan, Mark Gerstein

cs.AI

Resumo

O raciocínio químico geralmente envolve processos complexos e multi-etapas que exigem cálculos precisos, onde até mesmo erros pequenos podem levar a falhas em cascata. Além disso, os grandes modelos de linguagem (LLMs) encontram dificuldades em lidar com fórmulas específicas do domínio, executar etapas de raciocínio com precisão e integrar código de forma eficaz ao lidar com tarefas de raciocínio químico. Para enfrentar esses desafios, apresentamos o ChemAgent, um novo framework projetado para melhorar o desempenho dos LLMs por meio de uma biblioteca dinâmica e autoatualizável. Essa biblioteca é desenvolvida decompondo tarefas químicas em sub-tarefas e compilando essas sub-tarefas em uma coleção estruturada que pode ser referenciada para consultas futuras. Em seguida, ao ser apresentado com um novo problema, o ChemAgent recupera e aprimora informações pertinentes da biblioteca, que chamamos de memória, facilitando a decomposição eficaz da tarefa e a geração de soluções. Nosso método projeta três tipos de memória e um componente de raciocínio aprimorado pela biblioteca, permitindo que os LLMs melhorem ao longo do tempo por meio da experiência. Resultados experimentais em quatro conjuntos de dados de raciocínio químico do SciBench demonstram que o ChemAgent alcança ganhos de desempenho de até 46% (GPT-4), superando significativamente métodos existentes. Nossas descobertas sugerem um potencial substancial para futuras aplicações, incluindo tarefas como descoberta de medicamentos e ciência de materiais. Nosso código pode ser encontrado em https://github.com/gersteinlab/chemagent

English

Chemical reasoning usually involves complex, multi-step processes that demand precise calculations, where even minor errors can lead to cascading failures. Furthermore, large language models (LLMs) encounter difficulties handling domain-specific formulas, executing reasoning steps accurately, and integrating code effectively when tackling chemical reasoning tasks. To address these challenges, we present ChemAgent, a novel framework designed to improve the performance of LLMs through a dynamic, self-updating library. This library is developed by decomposing chemical tasks into sub-tasks and compiling these sub-tasks into a structured collection that can be referenced for future queries. Then, when presented with a new problem, ChemAgent retrieves and refines pertinent information from the library, which we call memory, facilitating effective task decomposition and the generation of solutions. Our method designs three types of memory and a library-enhanced reasoning component, enabling LLMs to improve over time through experience. Experimental results on four chemical reasoning datasets from SciBench demonstrate that ChemAgent achieves performance gains of up to 46% (GPT-4), significantly outperforming existing methods. Our findings suggest substantial potential for future applications, including tasks such as drug discovery and materials science. Our code can be found at https://github.com/gersteinlab/chemagent