Activations de Composition Polynomiale : Libérer la Dynamique des Grands Modèles de Langage

Polynomial Composition Activations: Unleashing the Dynamics of Large Language Models

November 6, 2024

Auteurs: Zhijian Zhuo, Ya Wang, Yutao Zeng, Xiaoqing Li, Xun Zhou, Jinwen Ma

cs.AI

Résumé

Les transformers ont trouvé de nombreuses applications dans divers domaines en raison de leurs puissantes capacités d'ajustement. Ce succès peut être partiellement attribué à leur non-linéarité inhérente. Ainsi, en plus de la fonction ReLU utilisée dans l'architecture originale du transformer, les chercheurs ont exploré des modules alternatifs tels que GeLU et SwishGLU pour améliorer la non-linéarité et ainsi augmenter la capacité de représentation. Dans cet article, nous proposons une nouvelle catégorie d'activations de composition polynomiale (PolyCom), conçue pour optimiser la dynamique des transformers. Théoriquement, nous fournissons une analyse mathématique complète de PolyCom, mettant en évidence son expressivité et son efficacité améliorées par rapport à d'autres fonctions d'activation. Notamment, nous démontrons que les réseaux incorporant PolyCom atteignent le taux d'approximation optimal, indiquant que les réseaux PolyCom nécessitent un nombre minimal de paramètres pour approximer des fonctions lisses générales dans les espaces de Sobolev. Nous menons des expériences empiriques sur les configurations de pré-entraînement des grands modèles de langage (LLM), comprenant à la fois des architectures denses et clairsemées. En remplaçant les fonctions d'activation conventionnelles par PolyCom, nous permettons aux LLM de capturer des interactions d'ordre supérieur au sein des données, améliorant ainsi les mesures de performance en termes de précision et de taux de convergence. Des résultats expérimentaux approfondis démontrent l'efficacité de notre méthode, montrant des améliorations substantielles par rapport à d'autres fonctions d'activation. Le code est disponible sur https://github.com/BryceZhuo/PolyCom.

English

Transformers have found extensive applications across various domains due to the powerful fitting capabilities. This success can be partially attributed to their inherent nonlinearity. Thus, in addition to the ReLU function employed in the original transformer architecture, researchers have explored alternative modules such as GeLU and SwishGLU to enhance nonlinearity and thereby augment representational capacity. In this paper, we propose a novel category of polynomial composition activations (PolyCom), designed to optimize the dynamics of transformers. Theoretically, we provide a comprehensive mathematical analysis of PolyCom, highlighting its enhanced expressivity and efficacy relative to other activation functions. Notably, we demonstrate that networks incorporating PolyCom achieve the optimal approximation rate, indicating that PolyCom networks require minimal parameters to approximate general smooth functions in Sobolev spaces. We conduct empirical experiments on the pre-training configurations of large language models (LLMs), including both dense and sparse architectures. By substituting conventional activation functions with PolyCom, we enable LLMs to capture higher-order interactions within the data, thus improving performance metrics in terms of accuracy and convergence rates. Extensive experimental results demonstrate the effectiveness of our method, showing substantial improvements over other activation functions. Code is available at https://github.com/BryceZhuo/PolyCom.