LLaMo: Groot taalmodelgebaseerd moleculair grafiekhulpmiddel

LLaMo: Large Language Model-based Molecular Graph Assistant

October 31, 2024

Auteurs: Jinyoung Park, Minseong Bae, Dohwan Ko, Hyunwoo J. Kim

cs.AI

Samenvatting

Grote Taalmodellen (LLM's) hebben opmerkelijke generalisatie- en instructievolgcapaciteiten aangetoond met instructieafstemming. De vooruitgang in LLM's en instructieafstemming heeft geleid tot de ontwikkeling van Grote Visie-Taalmodellen (LVLM's). Echter is de bekwaamheid van de LLM's en instructieafstemming minder onderzocht in het moleculaire domein. Daarom stellen we LLaMo voor: Groot Taalmodel-gebaseerde Moleculaire grafiekassistent, dat een end-to-end getraind groot moleculair grafiek-taalmodel is. Om de discrepantie tussen de taal- en grafiekmodaliteiten te overbruggen, presenteren we de meerlaagse grafiekprojector die grafiekrepresentaties omzet in grafiektokens door de uitvoerrepresentaties van elke GNN-laag en motiefrepresentaties te abstraheren met het kruislingse-aandachtmechanisme. We introduceren ook machinaal gegenereerde moleculaire grafiekinstructiedata om het grote moleculaire grafiek-taalmodel te instrueren voor algemene moleculaire en taalbegrip. Onze uitgebreide experimenten tonen aan dat LLaMo de beste prestaties laat zien op diverse taken, zoals moleculaire beschrijvingsgeneratie, eigenschapvoorspelling en IUPAC-naamvoorspelling. De code van LLaMo is beschikbaar op https://github.com/mlvlab/LLaMo.

English

Large Language Models (LLMs) have demonstrated remarkable generalization and instruction-following capabilities with instruction tuning. The advancements in LLMs and instruction tuning have led to the development of Large Vision-Language Models (LVLMs). However, the competency of the LLMs and instruction tuning have been less explored in the molecular domain. Thus, we propose LLaMo: Large Language Model-based Molecular graph assistant, which is an end-to-end trained large molecular graph-language model. To bridge the discrepancy between the language and graph modalities, we present the multi-level graph projector that transforms graph representations into graph tokens by abstracting the output representations of each GNN layer and motif representations with the cross-attention mechanism. We also introduce machine-generated molecular graph instruction data to instruction-tune the large molecular graph-language model for general-purpose molecule and language understanding. Our extensive experiments demonstrate that LLaMo shows the best performance on diverse tasks, such as molecular description generation, property prediction, and IUPAC name prediction. The code of LLaMo is available at https://github.com/mlvlab/LLaMo.