ChemAgent: Una libreria auto-aggiornante nei grandi modelli linguistici migliora il ragionamento chimico.

ChemAgent: Self-updating Library in Large Language Models Improves Chemical Reasoning

January 11, 2025

Autori: Xiangru Tang, Tianyu Hu, Muyang Ye, Yanjun Shao, Xunjian Yin, Siru Ouyang, Wangchunshu Zhou, Pan Lu, Zhuosheng Zhang, Yilun Zhao, Arman Cohan, Mark Gerstein

cs.AI

Abstract

Il ragionamento chimico di solito implica processi complessi a più fasi che richiedono calcoli precisi, dove anche errori minimi possono portare a fallimenti a cascata. Inoltre, i grandi modelli linguistici (LLM) incontrano difficoltà nel gestire formule specifiche del dominio, eseguire passaggi di ragionamento con precisione e integrare efficacemente il codice quando affrontano compiti di ragionamento chimico. Per affrontare queste sfide, presentiamo ChemAgent, un nuovo framework progettato per migliorare le prestazioni dei LLM attraverso una libreria dinamica e auto-aggiornante. Questa libreria è sviluppata decomponendo compiti chimici in sotto-compiti e compilando questi sotto-compiti in una raccolta strutturata che può essere consultata per future query. Quindi, quando presentato con un nuovo problema, ChemAgent recupera e affina informazioni pertinenti dalla libreria, che chiamiamo memoria, facilitando la decomposizione efficace del compito e la generazione di soluzioni. Il nostro metodo progetta tre tipi di memoria e un componente di ragionamento potenziato dalla libreria, consentendo ai LLM di migliorare nel tempo attraverso l'esperienza. I risultati sperimentali su quattro set di dati di ragionamento chimico da SciBench dimostrano che ChemAgent raggiunge guadagni di prestazioni fino al 46% (GPT-4), superando significativamente i metodi esistenti. Le nostre scoperte suggeriscono un notevole potenziale per future applicazioni, inclusi compiti come la scoperta di farmaci e la scienza dei materiali. Il nostro codice è disponibile su https://github.com/gersteinlab/chemagent

English

Chemical reasoning usually involves complex, multi-step processes that demand precise calculations, where even minor errors can lead to cascading failures. Furthermore, large language models (LLMs) encounter difficulties handling domain-specific formulas, executing reasoning steps accurately, and integrating code effectively when tackling chemical reasoning tasks. To address these challenges, we present ChemAgent, a novel framework designed to improve the performance of LLMs through a dynamic, self-updating library. This library is developed by decomposing chemical tasks into sub-tasks and compiling these sub-tasks into a structured collection that can be referenced for future queries. Then, when presented with a new problem, ChemAgent retrieves and refines pertinent information from the library, which we call memory, facilitating effective task decomposition and the generation of solutions. Our method designs three types of memory and a library-enhanced reasoning component, enabling LLMs to improve over time through experience. Experimental results on four chemical reasoning datasets from SciBench demonstrate that ChemAgent achieves performance gains of up to 46% (GPT-4), significantly outperforming existing methods. Our findings suggest substantial potential for future applications, including tasks such as drug discovery and materials science. Our code can be found at https://github.com/gersteinlab/chemagent