グラフ生成事前学習トランスフォーマー

Graph Generative Pre-trained Transformer

January 2, 2025

著者: Xiaohui Chen, Yinkai Wang, Jiaxing He, Yuanqi Du, Soha Hassoun, Xiaolin Xu, Li-Ping Liu

cs.AI

要旨

グラフ生成は、分子設計やソーシャルネットワーク分析など、さまざまな領域で重要なタスクであり、複雑な関係や構造化されたデータをモデル化する能力を持つためです。ほとんどの現代のグラフ生成モデルは隣接行列表現を使用していますが、この研究では、グラフをノード集合とエッジ集合のシーケンスとして表現する代替手法を再検討します。私たちは、この手法の効率的なグラフ符号化に賛成し、新しい表現を提案します。この表現に基づいて、グラフ生成事前学習トランスフォーマー（G2PT）を導入します。これは、次のトークン予測を通じてグラフ構造を学習する自己回帰モデルです。汎用基盤モデルとしてのG2PTの能力をさらに活用するために、目標指向生成とグラフ特性予測の2つの下流アプリケーションのためのファインチューニング戦略を探求します。複数のデータセットを対象とした包括的な実験を実施します。結果は、G2PTが一般的なグラフや分子データセットの両方で優れた生成パフォーマンスを達成していることを示しています。さらに、G2PTは、分子設計から特性予測までの下流タスクでの適応性と汎用性に優れています。

English

Graph generation is a critical task in numerous domains, including molecular design and social network analysis, due to its ability to model complex relationships and structured data. While most modern graph generative models utilize adjacency matrix representations, this work revisits an alternative approach that represents graphs as sequences of node set and edge set. We advocate for this approach due to its efficient encoding of graphs and propose a novel representation. Based on this representation, we introduce the Graph Generative Pre-trained Transformer (G2PT), an auto-regressive model that learns graph structures via next-token prediction. To further exploit G2PT's capabilities as a general-purpose foundation model, we explore fine-tuning strategies for two downstream applications: goal-oriented generation and graph property prediction. We conduct extensive experiments across multiple datasets. Results indicate that G2PT achieves superior generative performance on both generic graph and molecule datasets. Furthermore, G2PT exhibits strong adaptability and versatility in downstream tasks from molecular design to property prediction.