ChemAgent: Selbstaktualisierende Bibliothek in großen Sprachmodellen verbessert chemisches Denken.

ChemAgent: Self-updating Library in Large Language Models Improves Chemical Reasoning

January 11, 2025

Autoren: Xiangru Tang, Tianyu Hu, Muyang Ye, Yanjun Shao, Xunjian Yin, Siru Ouyang, Wangchunshu Zhou, Pan Lu, Zhuosheng Zhang, Yilun Zhao, Arman Cohan, Mark Gerstein

cs.AI

Zusammenfassung

Chemisches Denken beinhaltet in der Regel komplexe, mehrstufige Prozesse, die präzise Berechnungen erfordern, bei denen schon geringfügige Fehler zu sich kaskadierenden Fehlern führen können. Darüber hinaus stoßen große Sprachmodelle (LLMs) auf Schwierigkeiten beim Umgang mit domänenspezifischen Formeln, der präzisen Ausführung von Denkschritten und der effektiven Integration von Code bei der Bewältigung chemischer Denkaufgaben. Um diesen Herausforderungen zu begegnen, präsentieren wir ChemAgent, ein neuartiges Framework, das entwickelt wurde, um die Leistung von LLMs durch eine dynamische, selbstaktualisierende Bibliothek zu verbessern. Diese Bibliothek wird erstellt, indem chemische Aufgaben in Teilaufgaben zerlegt und diese Teilaufgaben zu einer strukturierten Sammlung zusammengestellt werden, auf die für zukünftige Abfragen verwiesen werden kann. Wenn also ein neues Problem auftritt, ruft ChemAgent relevante Informationen aus der Bibliothek ab und verfeinert diese, was wir als Gedächtnis bezeichnen, um eine effektive Aufgabenzerlegung und Lösungsgenerierung zu ermöglichen. Unsere Methode entwirft drei Arten von Gedächtnissen und einen durch die Bibliothek verbesserten Denkmechanismus, der es LLMs ermöglicht, im Laufe der Zeit durch Erfahrung zu lernen. Experimentelle Ergebnisse anhand von vier chemischen Denkaufgaben-Datensätzen aus SciBench zeigen, dass ChemAgent Leistungssteigerungen von bis zu 46% (GPT-4) erzielt und bestehende Methoden signifikant übertrifft. Unsere Ergebnisse deuten auf erhebliches Potenzial für zukünftige Anwendungen hin, einschließlich Aufgaben wie Arzneimittelforschung und Materialwissenschaft. Unser Code ist unter https://github.com/gersteinlab/chemagent verfügbar.

English

Chemical reasoning usually involves complex, multi-step processes that demand precise calculations, where even minor errors can lead to cascading failures. Furthermore, large language models (LLMs) encounter difficulties handling domain-specific formulas, executing reasoning steps accurately, and integrating code effectively when tackling chemical reasoning tasks. To address these challenges, we present ChemAgent, a novel framework designed to improve the performance of LLMs through a dynamic, self-updating library. This library is developed by decomposing chemical tasks into sub-tasks and compiling these sub-tasks into a structured collection that can be referenced for future queries. Then, when presented with a new problem, ChemAgent retrieves and refines pertinent information from the library, which we call memory, facilitating effective task decomposition and the generation of solutions. Our method designs three types of memory and a library-enhanced reasoning component, enabling LLMs to improve over time through experience. Experimental results on four chemical reasoning datasets from SciBench demonstrate that ChemAgent achieves performance gains of up to 46% (GPT-4), significantly outperforming existing methods. Our findings suggest substantial potential for future applications, including tasks such as drug discovery and materials science. Our code can be found at https://github.com/gersteinlab/chemagent