HybridNorm: К стабильному и эффективному обучению трансформеров через гибридную нормализацию

HybridNorm: Towards Stable and Efficient Transformer Training via Hybrid Normalization

March 6, 2025

Авторы: Zhijian Zhuo, Yutao Zeng, Ya Wang, Sijun Zhang, Jian Yang, Xiaoqing Li, Xun Zhou, Jinwen Ma

cs.AI

Аннотация

Трансформеры стали де-факто архитектурой для широкого спектра задач машинного обучения, особенно в крупных языковых моделях (LLM). Несмотря на их выдающуюся производительность, остаются проблемы в обучении глубоких трансформерных сетей, особенно в отношении расположения нормализации слоев. Хотя структуры Pre-Norm облегчают обучение благодаря более выраженному пути идентичности, они часто демонстрируют менее оптимальную производительность по сравнению с Post-Norm. В данной статье мы предлагаем HybridNorm — простую, но эффективную гибридную стратегию нормализации, которая объединяет преимущества подходов Pre-Norm и Post-Norm. В частности, HybridNorm использует нормализацию QKV в механизме внимания и Post-Norm в полносвязной сети (FFN) каждого блока трансформера. Этот дизайн не только стабилизирует обучение, но и повышает производительность, особенно в контексте LLM. Комплексные эксперименты как в плотных, так и в разреженных архитектурах показывают, что HybridNorm последовательно превосходит подходы Pre-Norm и Post-Norm, достигая передовых результатов на различных бенчмарках. Эти результаты подчеркивают потенциал HybridNorm как более стабильной и эффективной техники для улучшения обучения и производительности глубоких трансформерных моделей. Код доступен по адресу https://github.com/BryceZhuo/HybridNorm.

English

Transformers have become the de facto architecture for a wide range of machine learning tasks, particularly in large language models (LLMs). Despite their remarkable performance, challenges remain in training deep transformer networks, especially regarding the location of layer normalization. While Pre-Norm structures facilitate easier training due to their more prominent identity path, they often yield suboptimal performance compared to Post-Norm. In this paper, we propose HybridNorm, a straightforward yet effective hybrid normalization strategy that integrates the advantages of both Pre-Norm and Post-Norm approaches. Specifically, HybridNorm employs QKV normalization within the attention mechanism and Post-Norm in the feed-forward network (FFN) of each transformer block. This design not only stabilizes training but also enhances performance, particularly in the context of LLMs. Comprehensive experiments in both dense and sparse architectures show that HybridNorm consistently outperforms both Pre-Norm and Post-Norm approaches, achieving state-of-the-art results across various benchmarks. These findings highlight the potential of HybridNorm as a more stable and effective technique for improving the training and performance of deep transformer models. %Code will be made publicly available. Code is available at https://github.com/BryceZhuo/HybridNorm.