Une enquête sur les petits modèles de langage

A Survey of Small Language Models

October 25, 2024

Auteurs: Chien Van Nguyen, Xuan Shen, Ryan Aponte, Yu Xia, Samyadeep Basu, Zhengmian Hu, Jian Chen, Mihir Parmar, Sasidhar Kunapuli, Joe Barrow, Junda Wu, Ashish Singh, Yu Wang, Jiuxiang Gu, Franck Dernoncourt, Nesreen K. Ahmed, Nedim Lipka, Ruiyi Zhang, Xiang Chen, Tong Yu, Sungchul Kim, Hanieh Deilamsalehy, Namyong Park, Mike Rimer, Zhehao Zhang, Huanrui Yang, Ryan A. Rossi, Thien Huu Nguyen

cs.AI

Résumé

Les petits modèles de langage (SLM) sont devenus de plus en plus importants en raison de leur efficacité et de leurs performances pour effectuer diverses tâches linguistiques avec des ressources computationnelles minimales, ce qui les rend idéaux pour divers environnements, y compris sur des appareils, des appareils mobiles, des appareils périphériques, entre autres. Dans cet article, nous présentons une enquête approfondie sur les SLM, en mettant l'accent sur leurs architectures, leurs techniques d'entraînement et leurs techniques de compression de modèle. Nous proposons une nouvelle taxonomie pour classer les méthodes utilisées pour optimiser les SLM, y compris la compression de modèle, l'élagage et les techniques de quantification. Nous résumons les ensembles de données de référence utiles pour évaluer les SLM ainsi que les métriques d'évaluation couramment utilisées. De plus, nous mettons en lumière les principaux défis ouverts qui restent à relever. Notre enquête vise à servir de ressource précieuse pour les chercheurs et les praticiens intéressés par le développement et le déploiement de petits modèles de langage efficaces.

English

Small Language Models (SLMs) have become increasingly important due to their efficiency and performance to perform various language tasks with minimal computational resources, making them ideal for various settings including on-device, mobile, edge devices, among many others. In this article, we present a comprehensive survey on SLMs, focusing on their architectures, training techniques, and model compression techniques. We propose a novel taxonomy for categorizing the methods used to optimize SLMs, including model compression, pruning, and quantization techniques. We summarize the benchmark datasets that are useful for benchmarking SLMs along with the evaluation metrics commonly used. Additionally, we highlight key open challenges that remain to be addressed. Our survey aims to serve as a valuable resource for researchers and practitioners interested in developing and deploying small yet efficient language models.