Attenzione isomorfa consapevole del grafo per dinamiche adattive nei trasformatori

Graph-Aware Isomorphic Attention for Adaptive Dynamics in Transformers

January 4, 2025

Autori: Markus J. Buehler

cs.AI

Abstract

Presentiamo un approccio per modificare le architetture dei Transformer integrando il ragionamento relazionale consapevole dei grafi nel meccanismo di attenzione, unendo concetti delle reti neurali a grafo e della modellazione del linguaggio. Basandoci sulla connessione intrinseca tra l'attenzione e la teoria dei grafi, riformuliamo il meccanismo di attenzione del Transformer come un'operazione a grafo e proponiamo l'Attenzione Isomorfa Consapevole del Grafo. Questo metodo sfrutta strategie avanzate di modellazione dei grafi, inclusi i Graph Isomorphism Networks (GIN) e il Principal Neighborhood Aggregation (PNA), per arricchire la rappresentazione delle strutture relazionali. Il nostro approccio cattura dipendenze complesse e generalizza tra compiti, come dimostrato da un ridotto divario di generalizzazione e un miglioramento delle prestazioni di apprendimento. Inoltre, espandiamo il concetto di attenzione consapevole del grafo per introdurre la GIN-Attenzione Sparsa, un approccio di messa a punto fine che utilizza GIN sparsi. Interpretando le matrici di attenzione come grafi di adiacenza sparsi, questa tecnica migliora l'adattabilità dei modelli fondamentali preaddestrati con un minimo dispendio computazionale, dotandoli di capacità consapevoli del grafo. La messa a punto fine della GIN-Attenzione Sparsa ottiene una dinamica di addestramento migliorata e una migliore generalizzazione rispetto a metodi alternativi come l'adattamento a basso rango (LoRA). Discutiamo delle strutture latenti simili a grafi all'interno dei meccanismi di attenzione tradizionali, offrendo un nuovo punto di vista attraverso il quale i Transformer possono essere compresi. Evolvendo i Transformer come modelli GIN gerarchici per il ragionamento relazionale. Questa prospettiva suggerisce implicazioni profonde per lo sviluppo di modelli fondamentali, consentendo la progettazione di architetture che si adattano dinamicamente alle dipendenze locali e globali. Applicazioni in bioinformatica, scienza dei materiali, modellazione del linguaggio e oltre potrebbero beneficiare di questa sintesi tra modellazione dati relazionali e sequenziali, aprendo la strada a strategie di modellazione interpretabili e generalizzabili.

English

We present an approach to modifying Transformer architectures by integrating graph-aware relational reasoning into the attention mechanism, merging concepts from graph neural networks and language modeling. Building on the inherent connection between attention and graph theory, we reformulate the Transformer's attention mechanism as a graph operation and propose Graph-Aware Isomorphic Attention. This method leverages advanced graph modeling strategies, including Graph Isomorphism Networks (GIN) and Principal Neighborhood Aggregation (PNA), to enrich the representation of relational structures. Our approach captures complex dependencies and generalizes across tasks, as evidenced by a reduced generalization gap and improved learning performance. Additionally, we expand the concept of graph-aware attention to introduce Sparse GIN-Attention, a fine-tuning approach that employs sparse GINs. By interpreting attention matrices as sparse adjacency graphs, this technique enhances the adaptability of pre-trained foundational models with minimal computational overhead, endowing them with graph-aware capabilities. Sparse GIN-Attention fine-tuning achieves improved training dynamics and better generalization compared to alternative methods like low-rank adaption (LoRA). We discuss latent graph-like structures within traditional attention mechanisms, offering a new lens through which Transformers can be understood. By evolving Transformers as hierarchical GIN models for relational reasoning. This perspective suggests profound implications for foundational model development, enabling the design of architectures that dynamically adapt to both local and global dependencies. Applications in bioinformatics, materials science, language modeling, and beyond could benefit from this synthesis of relational and sequential data modeling, setting the stage for interpretable and generalizable modeling strategies.