Rete di Memoria Ultra-Scarsa

Ultra-Sparse Memory Network

November 19, 2024

Autori: Zihao Huang, Qiyang Min, Hongzhi Huang, Defa Zhu, Yutao Zeng, Ran Guo, Xun Zhou

cs.AI

Abstract

È ampiamente riconosciuto che le prestazioni dei modelli Transformer sono correlati in modo esponenziale al loro numero di parametri e complessità computazionale. Mentre approcci come Mixture of Experts (MoE) separano il conteggio dei parametri dalla complessità computazionale, affrontano comunque sfide nell'inferenza a causa dei costi elevati di accesso alla memoria. Questo lavoro introduce UltraMem, che incorpora uno strato di memoria ultra-sparsa su larga scala per affrontare tali limitazioni. Il nostro approccio riduce significativamente la latenza dell'inferenza pur mantenendo le prestazioni del modello. Esaminiamo anche le leggi di scalabilità di questa nuova architettura, dimostrando che non solo presenta proprietà di scalabilità favorevoli ma supera i modelli tradizionali. Nei nostri esperimenti, addestriamo reti con fino a 20 milioni di slot di memoria. I risultati mostrano che il nostro metodo raggiunge velocità di inferenza all'avanguardia e prestazioni del modello entro un determinato budget computazionale.

English

It is widely acknowledged that the performance of Transformer models is exponentially related to their number of parameters and computational complexity. While approaches like Mixture of Experts (MoE) decouple parameter count from computational complexity, they still face challenges in inference due to high memory access costs. This work introduces UltraMem, incorporating large-scale, ultra-sparse memory layer to address these limitations. Our approach significantly reduces inference latency while maintaining model performance. We also investigate the scaling laws of this new architecture, demonstrating that it not only exhibits favorable scaling properties but outperforms traditional models. In our experiments, we train networks with up to 20 million memory slots. The results show that our method achieves state-of-the-art inference speed and model performance within a given computational budget.