LLaMo : Assistant de Graphes Moléculaires basé sur un Grand Modèle de Langage

LLaMo: Large Language Model-based Molecular Graph Assistant

October 31, 2024

Auteurs: Jinyoung Park, Minseong Bae, Dohwan Ko, Hyunwoo J. Kim

cs.AI

Résumé

Les grands modèles de langage (LLM) ont démontré des capacités remarquables de généralisation et de suivi d'instructions avec un réglage des instructions. Les progrès réalisés dans les LLM et le réglage des instructions ont conduit au développement de grands modèles de vision-langage (LVLM). Cependant, la compétence des LLM et du réglage des instructions a été moins explorée dans le domaine moléculaire. Ainsi, nous proposons LLaMo : un assistant de graphe moléculaire basé sur un grand modèle de langage, qui est un modèle de langage de graphe moléculaire large entraîné de bout en bout. Pour combler l'écart entre les modalités de langage et de graphe, nous présentons le projecteur de graphe multi-niveaux qui transforme les représentations de graphe en jetons de graphe en abstrayant les représentations de sortie de chaque couche de GNN et les représentations de motif avec le mécanisme d'attention croisée. Nous introduisons également des données d'instructions de graphe moléculaire générées par machine pour régler les instructions du grand modèle de langage de graphe moléculaire pour la compréhension générale des molécules et du langage. Nos expériences approfondies démontrent que LLaMo présente les meilleures performances sur diverses tâches, telles que la génération de descriptions moléculaires, la prédiction de propriétés et la prédiction de noms IUPAC. Le code de LLaMo est disponible sur https://github.com/mlvlab/LLaMo.

English

Large Language Models (LLMs) have demonstrated remarkable generalization and instruction-following capabilities with instruction tuning. The advancements in LLMs and instruction tuning have led to the development of Large Vision-Language Models (LVLMs). However, the competency of the LLMs and instruction tuning have been less explored in the molecular domain. Thus, we propose LLaMo: Large Language Model-based Molecular graph assistant, which is an end-to-end trained large molecular graph-language model. To bridge the discrepancy between the language and graph modalities, we present the multi-level graph projector that transforms graph representations into graph tokens by abstracting the output representations of each GNN layer and motif representations with the cross-attention mechanism. We also introduce machine-generated molecular graph instruction data to instruction-tune the large molecular graph-language model for general-purpose molecule and language understanding. Our extensive experiments demonstrate that LLaMo shows the best performance on diverse tasks, such as molecular description generation, property prediction, and IUPAC name prediction. The code of LLaMo is available at https://github.com/mlvlab/LLaMo.