Polynomiale Kompositionsaktivierungen: Die Dynamik großer Sprachmodelle entfesseln

Polynomial Composition Activations: Unleashing the Dynamics of Large Language Models

November 6, 2024

Autoren: Zhijian Zhuo, Ya Wang, Yutao Zeng, Xiaoqing Li, Xun Zhou, Jinwen Ma

cs.AI

Zusammenfassung

Transformer haben aufgrund ihrer leistungsstarken Anpassungsfähigkeiten in verschiedenen Bereichen umfangreiche Anwendungen gefunden. Dieser Erfolg kann teilweise auf ihre inhärente Nichtlinearität zurückgeführt werden. Daher haben Forscher neben der in der Original-Transformer-Architektur verwendeten ReLU-Funktion alternative Module wie GeLU und SwishGLU erforscht, um die Nichtlinearität zu verbessern und damit die Repräsentationskapazität zu erhöhen. In diesem Papier schlagen wir eine neue Kategorie von polynomialen Kompositionsaktivierungen (PolyCom) vor, die entwickelt wurden, um die Dynamik von Transformern zu optimieren. Theoretisch bieten wir eine umfassende mathematische Analyse von PolyCom an, die ihre verbesserte Ausdrucksstärke und Wirksamkeit im Vergleich zu anderen Aktivierungsfunktionen hervorhebt. Bemerkenswert ist, dass wir zeigen, dass Netzwerke, die PolyCom einbeziehen, die optimale Approximationsrate erreichen, was darauf hindeutet, dass PolyCom-Netzwerke minimale Parameter benötigen, um allgemeine glatte Funktionen in Sobolev-Räumen zu approximieren. Wir führen empirische Experimente an den Vorkonfigurationen großer Sprachmodelle (LLMs) durch, einschließlich dichter und dünn besetzter Architekturen. Durch den Austausch herkömmlicher Aktivierungsfunktionen durch PolyCom ermöglichen wir es LLMs, Wechselwirkungen höherer Ordnung innerhalb der Daten zu erfassen, was sich in Bezug auf Genauigkeit und Konvergenzraten positiv auf die Leistungsmetriken auswirkt. Umfangreiche experimentelle Ergebnisse zeigen die Wirksamkeit unserer Methode und zeigen signifikante Verbesserungen gegenüber anderen Aktivierungsfunktionen. Der Code ist verfügbar unter https://github.com/BryceZhuo/PolyCom.

English

Transformers have found extensive applications across various domains due to the powerful fitting capabilities. This success can be partially attributed to their inherent nonlinearity. Thus, in addition to the ReLU function employed in the original transformer architecture, researchers have explored alternative modules such as GeLU and SwishGLU to enhance nonlinearity and thereby augment representational capacity. In this paper, we propose a novel category of polynomial composition activations (PolyCom), designed to optimize the dynamics of transformers. Theoretically, we provide a comprehensive mathematical analysis of PolyCom, highlighting its enhanced expressivity and efficacy relative to other activation functions. Notably, we demonstrate that networks incorporating PolyCom achieve the optimal approximation rate, indicating that PolyCom networks require minimal parameters to approximate general smooth functions in Sobolev spaces. We conduct empirical experiments on the pre-training configurations of large language models (LLMs), including both dense and sparse architectures. By substituting conventional activation functions with PolyCom, we enable LLMs to capture higher-order interactions within the data, thus improving performance metrics in terms of accuracy and convergence rates. Extensive experimental results demonstrate the effectiveness of our method, showing substantial improvements over other activation functions. Code is available at https://github.com/BryceZhuo/PolyCom.