Evaluatie van Grote Taalmodellen via Matrix Nucleaire Norm

Large Language Model Evaluation via Matrix Nuclear-Norm

October 14, 2024

Auteurs: Yahan Li, Tingyu Xia, Yi Chang, Yuan Wu

cs.AI

Samenvatting

Naarmate grote taalmodellen (LLM's) blijven evolueren, zijn efficiënte evaluatiemethoden essentieel om hun vermogen om informatie te comprimeren en redundantie te verminderen te beoordelen. Hoewel traditionele methoden zoals Matrix Entropie waardevolle inzichten bieden, zijn ze rekenkundig intensief voor grootschalige modellen vanwege hun \( O(n^3) \) tijdscomplexiteit met Singular Value Decomposition (SVD). Om dit probleem te verminderen, introduceren we de Matrix Nucleaire Norm, die niet alleen dient als een maatstaf om de datacompressievaardigheid van LLM te kwantificeren, maar ook een convexe benadering van de matrixrang biedt om zowel voorspellende onderscheidendheid als diversiteit vast te leggen. Door de \( L_{1,2}-norm \) te gebruiken om de nucleaire norm verder te benaderen, kunnen we effectief de informatiecomprimeermogelijkheden van het model beoordelen. Deze benadering verlaagt de tijdscomplexiteit naar \( O(n^2) \) en elimineert de noodzaak voor SVD-berekeningen. Als gevolg hiervan behaalt de Matrix Nucleaire Norm snelheden die 8 tot 24 keer sneller zijn dan Matrix Entropie voor het CEREBRAS-GPT-model naarmate de groottes toenemen van 111M tot 6.7B. Dit prestatieverschil wordt duidelijker bij grotere modellen, zoals bevestigd in tests met andere modellen zoals Pythia. Bovendien bevestigen evaluaties op benchmarks en modelreacties dat onze voorgestelde Matrix Nucleaire Norm een betrouwbaar, schaalbaar en efficiënt hulpmiddel is voor het beoordelen van de prestaties van LLM's, waarbij een balans wordt gevonden tussen nauwkeurigheid en rekenkundige efficiëntie. De code is beschikbaar op https://github.com/MLGroupJLU/MatrixNuclearNorm.

English

As large language models (LLMs) continue to evolve, efficient evaluation metrics are vital for assessing their ability to compress information and reduce redundancy. While traditional metrics like Matrix Entropy offer valuable insights, they are computationally intensive for large-scale models due to their \( O(n^3) \) time complexity with Singular Value Decomposition (SVD). To mitigate this issue, we introduce the Matrix Nuclear-Norm, which not only serves as a metric to quantify the data compression proficiency of LLM but also provides a convex approximation of matrix rank to capture both predictive discriminability and diversity. By employing the \( L_{1,2}-norm \) to further approximate the nuclear norm, we can effectively assess the model's information compression capabilities. This approach reduces the time complexity to \( O(n^2) \) and eliminates the need for SVD computation. Consequently, the Matrix Nuclear-Norm achieves speeds 8 to 24 times faster than Matrix Entropy for the CEREBRAS-GPT model as sizes increase from 111M to 6.7B. This performance gap becomes more pronounced with larger models, as validated in tests with other models like Pythia. Additionally, evaluations on benchmarks and model responses confirm that our proposed Matrix Nuclear-Norm is a reliable, scalable, and efficient tool for assessing LLMs' performance, striking a balance between accuracy and computational efficiency. The code is available at https://github.com/MLGroupJLU/MatrixNuclearNorm.