Frac-Connections: Fraktionale Erweiterung von Hyper-Connections

Frac-Connections: Fractional Extension of Hyper-Connections

March 18, 2025

Autoren: Defa Zhu, Hongzhi Huang, Jundong Zhou, Zihao Huang, Yutao Zeng, Banggu Wu, Qiyang Min, Xun Zhou

cs.AI

Zusammenfassung

Residual Connections sind zentral für moderne Deep-Learning-Architekturen, da sie das Training sehr tiefer Netzwerke ermöglichen, indem sie das Verschwinden von Gradienten abschwächen. Hyper-Connections haben kürzlich Residual Connections verallgemeinert, indem sie mehrere Verbindungsstärken auf verschiedenen Tiefen eingeführt haben, wodurch der Seesaw-Effekt zwischen Gradientenverschwinden und Repräsentationskollaps adressiert wird. Allerdings erhöhen Hyper-Connections die Speicherzugriffskosten, indem sie die Breite der verborgenen Zustände erweitern. In diesem Artikel schlagen wir Frac-Connections vor, einen neuartigen Ansatz, der verborgene Zustände in mehrere Teile aufteilt, anstatt ihre Breite zu erweitern. Frac-Connections behalten teilweise die Vorteile von Hyper-Connections bei, reduzieren jedoch den Speicherverbrauch. Um ihre Wirksamkeit zu validieren, führen wir umfangreiche Experimente zu Sprachaufgaben durch, wobei das größte ein 7B-MoE-Modell ist, das mit bis zu 3T Tokens trainiert wurde. Die Ergebnisse zeigen, dass Frac-Connections Residual Connections deutlich übertreffen.

English

Residual connections are central to modern deep learning architectures, enabling the training of very deep networks by mitigating gradient vanishing. Hyper-Connections recently generalized residual connections by introducing multiple connection strengths at different depths, thereby addressing the seesaw effect between gradient vanishing and representation collapse. However, Hyper-Connections increase memory access costs by expanding the width of hidden states. In this paper, we propose Frac-Connections, a novel approach that divides hidden states into multiple parts rather than expanding their width. Frac-Connections retain partial benefits of Hyper-Connections while reducing memory consumption. To validate their effectiveness, we conduct large-scale experiments on language tasks, with the largest being a 7B MoE model trained on up to 3T tokens, demonstrating that Frac-Connections significantly outperform residual connections.