ChemAgent: 대형 언어 모델에서 화학 추론을 개선하는 자체 업데이트 라이브러리

ChemAgent: Self-updating Library in Large Language Models Improves Chemical Reasoning

January 11, 2025

저자: Xiangru Tang, Tianyu Hu, Muyang Ye, Yanjun Shao, Xunjian Yin, Siru Ouyang, Wangchunshu Zhou, Pan Lu, Zhuosheng Zhang, Yilun Zhao, Arman Cohan, Mark Gerstein

cs.AI

초록

화학 추론은 일반적으로 정확한 계산을 필요로 하는 복잡하고 다단계의 과정을 포함하며, 작은 오류조차도 연쇄적인 실패로 이어질 수 있습니다. 게다가, 대형 언어 모델(Large Language Models, LLMs)은 화학 추론 작업에 대처할 때 도메인 특정 공식을 처리하고 추론 단계를 정확하게 실행하며 코드를 효과적으로 통합하는 데 어려움을 겪습니다. 이러한 도전에 대응하기 위해, 우리는 LLMs의 성능을 향상시키기 위해 설계된 혁신적인 프레임워크인 ChemAgent를 제안합니다. 이 라이브러리는 화학 작업을 하위 작업으로 분해하고 이러한 하위 작업을 구조화된 컬렉션으로 편집하여 향후 쿼리에 참조할 수 있는 형태로 만듭니다. 그런 다음, 새로운 문제가 제시되면 ChemAgent는 라이브러리에서 관련 정보를 검색하고 정제하여 우리가 기억이라고 부르는 것을 통해 효과적인 작업 분해와 솔루션 생성을 용이하게 합니다. 저희 방법은 세 가지 유형의 기억과 라이브러리 강화 추론 구성 요소를 설계하여 LLMs가 경험을 통해 시간이 지남에 따라 향상되도록 합니다. SciBench의 네 가지 화학 추론 데이터셋에 대한 실험 결과는 ChemAgent가 최대 46% (GPT-4)의 성능 향상을 달성하며 기존 방법을 크게 능가한다는 것을 보여줍니다. 우리의 연구 결과는 앞으로의 응용 가능성, 특히 약물 발견 및 재료 과학과 같은 작업에 상당한 잠재력을 제시합니다. 저희의 코드는 https://github.com/gersteinlab/chemagent에서 확인할 수 있습니다.

English

Chemical reasoning usually involves complex, multi-step processes that demand precise calculations, where even minor errors can lead to cascading failures. Furthermore, large language models (LLMs) encounter difficulties handling domain-specific formulas, executing reasoning steps accurately, and integrating code effectively when tackling chemical reasoning tasks. To address these challenges, we present ChemAgent, a novel framework designed to improve the performance of LLMs through a dynamic, self-updating library. This library is developed by decomposing chemical tasks into sub-tasks and compiling these sub-tasks into a structured collection that can be referenced for future queries. Then, when presented with a new problem, ChemAgent retrieves and refines pertinent information from the library, which we call memory, facilitating effective task decomposition and the generation of solutions. Our method designs three types of memory and a library-enhanced reasoning component, enabling LLMs to improve over time through experience. Experimental results on four chemical reasoning datasets from SciBench demonstrate that ChemAgent achieves performance gains of up to 46% (GPT-4), significantly outperforming existing methods. Our findings suggest substantial potential for future applications, including tasks such as drug discovery and materials science. Our code can be found at https://github.com/gersteinlab/chemagent