ChemAgent：大規模言語モデルにおける自己更新ライブラリが化学的推論を向上させる

ChemAgent: Self-updating Library in Large Language Models Improves Chemical Reasoning

January 11, 2025

著者: Xiangru Tang, Tianyu Hu, Muyang Ye, Yanjun Shao, Xunjian Yin, Siru Ouyang, Wangchunshu Zhou, Pan Lu, Zhuosheng Zhang, Yilun Zhao, Arman Cohan, Mark Gerstein

cs.AI

要旨

化学的な推論は通常、正確な計算を必要とする複雑で多段階のプロセスを含み、わずかなエラーでも連鎖的な失敗を引き起こす可能性があります。さらに、大規模言語モデル（LLMs）は、化学的な推論タスクに取り組む際に、特定のドメインの式を処理し、推論ステップを正確に実行し、コードを効果的に統合することに難しさを抱えています。これらの課題に対処するため、私たちはChemAgentを提案します。これは、LLMsのパフォーマンスを向上させるために設計された革新的なフレームワークです。このライブラリは、化学的なタスクをサブタスクに分解し、これらのサブタスクを将来のクエリのために参照できるように構造化されたコレクションにコンパイルすることで開発されます。そして、新しい問題が提示されると、ChemAgentはライブラリから関連情報を取得し、磨き上げることで、効果的なタスクの分解と解決策の生成を容易にするためのメモリと呼ばれるものを促進します。私たちの手法は、3種類のメモリとライブラリ強化推論コンポーネントを設計し、LLMsが経験を通じて時間とともに改善できるようにします。SciBenchからの4つの化学的推論データセットに対する実験結果は、ChemAgentが最大46％（GPT-4）のパフォーマンス向上を達成し、既存の手法を大幅に上回ることを示しています。私たちの調査結果は、薬物発見や材料科学などのタスクを含む将来の応用に大きな可能性を示唆しています。私たちのコードは、https://github.com/gersteinlab/chemagent で入手できます。

English

Chemical reasoning usually involves complex, multi-step processes that demand precise calculations, where even minor errors can lead to cascading failures. Furthermore, large language models (LLMs) encounter difficulties handling domain-specific formulas, executing reasoning steps accurately, and integrating code effectively when tackling chemical reasoning tasks. To address these challenges, we present ChemAgent, a novel framework designed to improve the performance of LLMs through a dynamic, self-updating library. This library is developed by decomposing chemical tasks into sub-tasks and compiling these sub-tasks into a structured collection that can be referenced for future queries. Then, when presented with a new problem, ChemAgent retrieves and refines pertinent information from the library, which we call memory, facilitating effective task decomposition and the generation of solutions. Our method designs three types of memory and a library-enhanced reasoning component, enabling LLMs to improve over time through experience. Experimental results on four chemical reasoning datasets from SciBench demonstrate that ChemAgent achieves performance gains of up to 46% (GPT-4), significantly outperforming existing methods. Our findings suggest substantial potential for future applications, including tasks such as drug discovery and materials science. Our code can be found at https://github.com/gersteinlab/chemagent