LLaMo: Assistente di Grafi Molecolari basato su Grandi Modelli Linguistici

LLaMo: Large Language Model-based Molecular Graph Assistant

October 31, 2024

Autori: Jinyoung Park, Minseong Bae, Dohwan Ko, Hyunwoo J. Kim

cs.AI

Abstract

I Large Language Models (LLM) hanno dimostrato notevoli capacità di generalizzazione e di seguire istruzioni con l'ottimizzazione delle istruzioni. Gli avanzamenti nei LLM e nell'ottimizzazione delle istruzioni hanno portato allo sviluppo di Large Vision-Language Models (LVLM). Tuttavia, la competenza dei LLM e dell'ottimizzazione delle istruzioni è stata meno esplorata nel dominio molecolare. Pertanto, proponiamo LLaMo: Large Language Model-based Molecular graph assistant, che è un modello linguaggio-grafo molecolare di grandi dimensioni addestrato end-to-end. Per colmare la discrepanza tra le modalità linguaggio e grafo, presentiamo il proiettore di grafo multi-livello che trasforma le rappresentazioni grafiche in token grafici astratti le rappresentazioni di output di ciascuno strato di GNN e le rappresentazioni di motivi con il meccanismo di cross-attenzione. Introduciamo inoltre dati di istruzioni grafiche molecolari generate automaticamente per ottimizzare le istruzioni del grande modello linguaggio-grafo molecolare per la comprensione generale del linguaggio e delle molecole. I nostri ampi esperimenti dimostrano che LLaMo mostra le migliori prestazioni su diverse attività, come la generazione di descrizioni molecolari, la previsione delle proprietà e la previsione dei nomi IUPAC. Il codice di LLaMo è disponibile su https://github.com/mlvlab/LLaMo.

English

Large Language Models (LLMs) have demonstrated remarkable generalization and instruction-following capabilities with instruction tuning. The advancements in LLMs and instruction tuning have led to the development of Large Vision-Language Models (LVLMs). However, the competency of the LLMs and instruction tuning have been less explored in the molecular domain. Thus, we propose LLaMo: Large Language Model-based Molecular graph assistant, which is an end-to-end trained large molecular graph-language model. To bridge the discrepancy between the language and graph modalities, we present the multi-level graph projector that transforms graph representations into graph tokens by abstracting the output representations of each GNN layer and motif representations with the cross-attention mechanism. We also introduce machine-generated molecular graph instruction data to instruction-tune the large molecular graph-language model for general-purpose molecule and language understanding. Our extensive experiments demonstrate that LLaMo shows the best performance on diverse tasks, such as molecular description generation, property prediction, and IUPAC name prediction. The code of LLaMo is available at https://github.com/mlvlab/LLaMo.