Trasformatore Pre-Allenato Generativo di Grafi

Graph Generative Pre-trained Transformer

January 2, 2025

Autori: Xiaohui Chen, Yinkai Wang, Jiaxing He, Yuanqi Du, Soha Hassoun, Xiaolin Xu, Li-Ping Liu

cs.AI

Abstract

La generazione di grafi è un compito critico in numerosi ambiti, tra cui il design molecolare e l'analisi delle reti sociali, grazie alla sua capacità di modellare relazioni complesse e dati strutturati. Mentre la maggior parte dei moderni modelli generativi di grafi utilizzano rappresentazioni tramite matrice di adiacenza, questo lavoro riconsidera un approccio alternativo che rappresenta i grafi come sequenze di insiemi di nodi e insiemi di archi. Sosteniamo questo approccio per la sua codifica efficiente dei grafi e proponiamo una nuova rappresentazione. Basandoci su questa rappresentazione, introduciamo il Transformer Pre-addestrato Generativo di Grafi (G2PT), un modello auto-regressivo che apprende strutture di grafi tramite previsione del token successivo. Per sfruttare ulteriormente le capacità di G2PT come modello fondamentale ad uso generale, esploriamo strategie di fine-tuning per due applicazioni derivate: generazione orientata agli obiettivi e previsione delle proprietà del grafo. Conduciamo ampi esperimenti su più set di dati. I risultati indicano che G2PT raggiunge prestazioni generative superiori sia su grafi generici che su set di dati molecolari. Inoltre, G2PT mostra una forte adattabilità e versatilità in compiti derivati dal design molecolare alla previsione delle proprietà.

English

Graph generation is a critical task in numerous domains, including molecular design and social network analysis, due to its ability to model complex relationships and structured data. While most modern graph generative models utilize adjacency matrix representations, this work revisits an alternative approach that represents graphs as sequences of node set and edge set. We advocate for this approach due to its efficient encoding of graphs and propose a novel representation. Based on this representation, we introduce the Graph Generative Pre-trained Transformer (G2PT), an auto-regressive model that learns graph structures via next-token prediction. To further exploit G2PT's capabilities as a general-purpose foundation model, we explore fine-tuning strategies for two downstream applications: goal-oriented generation and graph property prediction. We conduct extensive experiments across multiple datasets. Results indicate that G2PT achieves superior generative performance on both generic graph and molecule datasets. Furthermore, G2PT exhibits strong adaptability and versatility in downstream tasks from molecular design to property prediction.