Polynomiale Compositie Activaties: Het Ontketenen van de Dynamiek van Grote Taalmodellen

Polynomial Composition Activations: Unleashing the Dynamics of Large Language Models

November 6, 2024

Auteurs: Zhijian Zhuo, Ya Wang, Yutao Zeng, Xiaoqing Li, Xun Zhou, Jinwen Ma

cs.AI

Samenvatting

Transformers hebben uitgebreide toepassingen gevonden in verschillende domeinen vanwege hun krachtige aanpassingsvermogen. Dit succes kan gedeeltelijk worden toegeschreven aan hun inherente niet-lineariteit. Daarom hebben onderzoekers, naast de ReLU-functie die wordt gebruikt in de oorspronkelijke transformer-architectuur, alternatieve modules zoals GeLU en SwishGLU verkend om de niet-lineariteit te verbeteren en daarmee de representatiecapaciteit te vergroten. In dit artikel stellen we een nieuwe categorie van polynomiale samenstellingsactivaties (PolyCom) voor, ontworpen om de dynamiek van transformers te optimaliseren. Theoretisch bieden we een uitgebreide wiskundige analyse van PolyCom, waarbij de verbeterde expressiviteit en effectiviteit ten opzichte van andere activatiefuncties worden benadrukt. Opmerkelijk is dat we aantonen dat netwerken met PolyCom de optimale benaderingssnelheid bereiken, wat aangeeft dat PolyCom-netwerken minimale parameters nodig hebben om algemene gladde functies in Sobolev-ruimten te benaderen. We voeren empirische experimenten uit op de pre-training configuraties van grote taalmodellen (LLMs), inclusief zowel dichte als schaarse architecturen. Door conventionele activatiefuncties te vervangen door PolyCom, stellen we LLMs in staat om interacties van hogere orde binnen de gegevens vast te leggen, waardoor prestatie-indicatoren op het gebied van nauwkeurigheid en convergentiesnelheden verbeteren. Uitgebreide experimentele resultaten tonen de effectiviteit van onze methode aan, met aanzienlijke verbeteringen ten opzichte van andere activatiefuncties. De code is beschikbaar op https://github.com/BryceZhuo/PolyCom.

English

Transformers have found extensive applications across various domains due to the powerful fitting capabilities. This success can be partially attributed to their inherent nonlinearity. Thus, in addition to the ReLU function employed in the original transformer architecture, researchers have explored alternative modules such as GeLU and SwishGLU to enhance nonlinearity and thereby augment representational capacity. In this paper, we propose a novel category of polynomial composition activations (PolyCom), designed to optimize the dynamics of transformers. Theoretically, we provide a comprehensive mathematical analysis of PolyCom, highlighting its enhanced expressivity and efficacy relative to other activation functions. Notably, we demonstrate that networks incorporating PolyCom achieve the optimal approximation rate, indicating that PolyCom networks require minimal parameters to approximate general smooth functions in Sobolev spaces. We conduct empirical experiments on the pre-training configurations of large language models (LLMs), including both dense and sparse architectures. By substituting conventional activation functions with PolyCom, we enable LLMs to capture higher-order interactions within the data, thus improving performance metrics in terms of accuracy and convergence rates. Extensive experimental results demonstrate the effectiveness of our method, showing substantial improvements over other activation functions. Code is available at https://github.com/BryceZhuo/PolyCom.