Transformer ohne Normalisierung

Transformers without Normalization

March 13, 2025

Autoren: Jiachen Zhu, Xinlei Chen, Kaiming He, Yann LeCun, Zhuang Liu

cs.AI

Zusammenfassung

Normalisierungsschichten sind in modernen neuronalen Netzwerken allgegenwärtig und wurden lange Zeit als unverzichtbar angesehen. Diese Arbeit zeigt, dass Transformer ohne Normalisierung mit einer bemerkenswert einfachen Technik die gleiche oder sogar bessere Leistung erzielen können. Wir stellen Dynamic Tanh (DyT) vor, eine elementweise Operation DyT(x) = tanh(alpha x), als direkten Ersatz für Normalisierungsschichten in Transformern. DyT ist von der Beobachtung inspiriert, dass die Schichtnormalisierung in Transformern oft tanh-ähnliche, S-förmige Eingabe-Ausgabe-Abbildungen erzeugt. Durch die Integration von DyT können Transformer ohne Normalisierung die Leistung ihrer normalisierten Gegenstücke erreichen oder übertreffen, meist ohne Hyperparameter-Tuning. Wir validieren die Wirksamkeit von Transformern mit DyT in verschiedenen Anwendungsbereichen, von der Erkennung bis zur Generierung, von überwachtem bis zu selbstüberwachtem Lernen und von der Computer Vision bis zu Sprachmodellen. Diese Ergebnisse stellen das konventionelle Verständnis infrage, dass Normalisierungsschichten in modernen neuronalen Netzwerken unverzichtbar sind, und bieten neue Einblicke in ihre Rolle in tiefen Netzwerken.

English

Normalization layers are ubiquitous in modern neural networks and have long been considered essential. This work demonstrates that Transformers without normalization can achieve the same or better performance using a remarkably simple technique. We introduce Dynamic Tanh (DyT), an element-wise operation DyT(x) = tanh(alpha x), as a drop-in replacement for normalization layers in Transformers. DyT is inspired by the observation that layer normalization in Transformers often produces tanh-like, S-shaped input-output mappings. By incorporating DyT, Transformers without normalization can match or exceed the performance of their normalized counterparts, mostly without hyperparameter tuning. We validate the effectiveness of Transformers with DyT across diverse settings, ranging from recognition to generation, supervised to self-supervised learning, and computer vision to language models. These findings challenge the conventional understanding that normalization layers are indispensable in modern neural networks, and offer new insights into their role in deep networks.