Atenção Isomórfica Consciente do Grafo para Dinâmicas Adaptativas em Transformers

Graph-Aware Isomorphic Attention for Adaptive Dynamics in Transformers

January 4, 2025

Autores: Markus J. Buehler

cs.AI

Resumo

Apresentamos uma abordagem para modificar arquiteturas Transformer integrando raciocínio relacional consciente de grafos ao mecanismo de atenção, combinando conceitos de redes neurais de grafos e modelagem de linguagem. Aproveitando a conexão inerente entre atenção e teoria dos grafos, reformulamos o mecanismo de atenção do Transformer como uma operação de grafo e propomos a Atenção Isomórfica Consciente de Grafos. Este método utiliza estratégias avançadas de modelagem de grafos, incluindo Redes de Isomorfismo de Grafos (GIN) e Agregação de Vizinhança Principal (PNA), para enriquecer a representação de estruturas relacionais. Nossa abordagem captura dependências complexas e generaliza entre tarefas, como evidenciado por uma redução na lacuna de generalização e melhoria no desempenho de aprendizado. Além disso, expandimos o conceito de atenção consciente de grafos para introduzir a Atenção GIN-Esparsa, uma abordagem de ajuste fino que utiliza GINs esparsos. Ao interpretar matrizes de atenção como grafos de adjacência esparsos, essa técnica aprimora a adaptabilidade de modelos fundamentais pré-treinados com sobrecarga computacional mínima, dotando-os de capacidades conscientes de grafos. O ajuste fino da Atenção GIN-Esparsa alcança dinâmicas de treinamento aprimoradas e melhor generalização em comparação com métodos alternativos como adaptação de baixa classificação (LoRA). Discutimos estruturas latentes semelhantes a grafos dentro de mecanismos de atenção tradicionais, oferecendo uma nova perspectiva através da qual os Transformers podem ser compreendidos. Ao evoluir Transformers como modelos GIN hierárquicos para raciocínio relacional. Essa perspectiva sugere implicações profundas para o desenvolvimento de modelos fundamentais, permitindo o projeto de arquiteturas que se adaptam dinamicamente a dependências locais e globais. Aplicações em bioinformática, ciência de materiais, modelagem de linguagem e além poderiam se beneficiar dessa síntese de modelagem de dados relacionais e sequenciais, preparando o terreno para estratégias de modelagem interpretáveis e generalizáveis.

English

We present an approach to modifying Transformer architectures by integrating graph-aware relational reasoning into the attention mechanism, merging concepts from graph neural networks and language modeling. Building on the inherent connection between attention and graph theory, we reformulate the Transformer's attention mechanism as a graph operation and propose Graph-Aware Isomorphic Attention. This method leverages advanced graph modeling strategies, including Graph Isomorphism Networks (GIN) and Principal Neighborhood Aggregation (PNA), to enrich the representation of relational structures. Our approach captures complex dependencies and generalizes across tasks, as evidenced by a reduced generalization gap and improved learning performance. Additionally, we expand the concept of graph-aware attention to introduce Sparse GIN-Attention, a fine-tuning approach that employs sparse GINs. By interpreting attention matrices as sparse adjacency graphs, this technique enhances the adaptability of pre-trained foundational models with minimal computational overhead, endowing them with graph-aware capabilities. Sparse GIN-Attention fine-tuning achieves improved training dynamics and better generalization compared to alternative methods like low-rank adaption (LoRA). We discuss latent graph-like structures within traditional attention mechanisms, offering a new lens through which Transformers can be understood. By evolving Transformers as hierarchical GIN models for relational reasoning. This perspective suggests profound implications for foundational model development, enabling the design of architectures that dynamically adapt to both local and global dependencies. Applications in bioinformatics, materials science, language modeling, and beyond could benefit from this synthesis of relational and sequential data modeling, setting the stage for interpretable and generalizable modeling strategies.