Réseau de mémoire ultra-clairsemé

Ultra-Sparse Memory Network

November 19, 2024

Auteurs: Zihao Huang, Qiyang Min, Hongzhi Huang, Defa Zhu, Yutao Zeng, Ran Guo, Xun Zhou

cs.AI

Résumé

Il est largement reconnu que les performances des modèles Transformer sont exponentiellement liées à leur nombre de paramètres et à leur complexité computationnelle. Alors que des approches telles que le Mélange d'Experts (MoE) séparent le nombre de paramètres de la complexité computationnelle, elles rencontrent toujours des défis en termes d'inférence en raison des coûts élevés d'accès à la mémoire. Ce travail présente UltraMem, qui intègre une couche de mémoire ultra-éparse à grande échelle pour répondre à ces limitations. Notre approche réduit significativement la latence d'inférence tout en maintenant les performances du modèle. Nous étudions également les lois d'échelle de cette nouvelle architecture, démontrant qu'elle présente non seulement des propriétés d'échelle favorables mais surpasse également les modèles traditionnels. Dans nos expériences, nous entraînons des réseaux avec jusqu'à 20 millions de emplacements mémoire. Les résultats montrent que notre méthode atteint une vitesse d'inférence et des performances du modèle de pointe dans le cadre d'un budget computationnel donné.

English

It is widely acknowledged that the performance of Transformer models is exponentially related to their number of parameters and computational complexity. While approaches like Mixture of Experts (MoE) decouple parameter count from computational complexity, they still face challenges in inference due to high memory access costs. This work introduces UltraMem, incorporating large-scale, ultra-sparse memory layer to address these limitations. Our approach significantly reduces inference latency while maintaining model performance. We also investigate the scaling laws of this new architecture, demonstrating that it not only exhibits favorable scaling properties but outperforms traditional models. In our experiments, we train networks with up to 20 million memory slots. The results show that our method achieves state-of-the-art inference speed and model performance within a given computational budget.