Transformador Pré-Treinado Generativo de Gráficos

Graph Generative Pre-trained Transformer

January 2, 2025

Autores: Xiaohui Chen, Yinkai Wang, Jiaxing He, Yuanqi Du, Soha Hassoun, Xiaolin Xu, Li-Ping Liu

cs.AI

Resumo

A geração de grafos é uma tarefa crítica em inúmeros domínios, incluindo design molecular e análise de redes sociais, devido à sua capacidade de modelar relações complexas e dados estruturados. Enquanto a maioria dos modelos gerativos de grafos modernos utiliza representações de matriz de adjacência, este trabalho revisita uma abordagem alternativa que representa grafos como sequências de conjuntos de nós e conjuntos de arestas. Defendemos essa abordagem devido à sua codificação eficiente de grafos e propomos uma representação inovadora. Com base nessa representação, introduzimos o Transformador Pré-treinado Generativo de Grafos (G2PT), um modelo auto-regressivo que aprende estruturas de grafos por meio da previsão do próximo token. Para explorar ainda mais as capacidades do G2PT como um modelo base de propósito geral, investigamos estratégias de ajuste fino para duas aplicações subsequentes: geração orientada por objetivo e previsão de propriedades de grafos. Realizamos experimentos extensivos em vários conjuntos de dados. Os resultados indicam que o G2PT alcança um desempenho generativo superior em conjuntos de dados de grafos genéricos e de moléculas. Além disso, o G2PT demonstra uma forte adaptabilidade e versatilidade em tarefas subsequentes, desde design molecular até previsão de propriedades.

English

Graph generation is a critical task in numerous domains, including molecular design and social network analysis, due to its ability to model complex relationships and structured data. While most modern graph generative models utilize adjacency matrix representations, this work revisits an alternative approach that represents graphs as sequences of node set and edge set. We advocate for this approach due to its efficient encoding of graphs and propose a novel representation. Based on this representation, we introduce the Graph Generative Pre-trained Transformer (G2PT), an auto-regressive model that learns graph structures via next-token prediction. To further exploit G2PT's capabilities as a general-purpose foundation model, we explore fine-tuning strategies for two downstream applications: goal-oriented generation and graph property prediction. We conduct extensive experiments across multiple datasets. Results indicate that G2PT achieves superior generative performance on both generic graph and molecule datasets. Furthermore, G2PT exhibits strong adaptability and versatility in downstream tasks from molecular design to property prediction.