Un'indagine sui Piccoli Modelli Linguistici

A Survey of Small Language Models

October 25, 2024

Autori: Chien Van Nguyen, Xuan Shen, Ryan Aponte, Yu Xia, Samyadeep Basu, Zhengmian Hu, Jian Chen, Mihir Parmar, Sasidhar Kunapuli, Joe Barrow, Junda Wu, Ashish Singh, Yu Wang, Jiuxiang Gu, Franck Dernoncourt, Nesreen K. Ahmed, Nedim Lipka, Ruiyi Zhang, Xiang Chen, Tong Yu, Sungchul Kim, Hanieh Deilamsalehy, Namyong Park, Mike Rimer, Zhehao Zhang, Huanrui Yang, Ryan A. Rossi, Thien Huu Nguyen

cs.AI

Abstract

I modelli di linguaggio ridotti (SLM) sono diventati sempre più importanti a causa della loro efficienza e prestazioni nel svolgere varie attività linguistiche con risorse computazionali minime, rendendoli ideali per diverse situazioni, tra cui dispositivi mobili, edge computing, tra molti altri. In questo articolo, presentiamo un'ampia panoramica sugli SLM, concentrandoci sulle loro architetture, tecniche di addestramento e tecniche di compressione del modello. Proponiamo una nuova tassonomia per classificare i metodi utilizzati per ottimizzare gli SLM, inclusi la compressione del modello, il pruning e le tecniche di quantizzazione. Riassumiamo i set di dati di riferimento utili per il benchmark degli SLM insieme alle metriche di valutazione comunemente utilizzate. Inoltre, evidenziamo le principali sfide aperte che devono ancora essere affrontate. La nostra panoramica mira a essere una risorsa preziosa per ricercatori e professionisti interessati allo sviluppo e alla distribuzione di modelli di linguaggio ridotti ma efficienti.

English

Small Language Models (SLMs) have become increasingly important due to their efficiency and performance to perform various language tasks with minimal computational resources, making them ideal for various settings including on-device, mobile, edge devices, among many others. In this article, we present a comprehensive survey on SLMs, focusing on their architectures, training techniques, and model compression techniques. We propose a novel taxonomy for categorizing the methods used to optimize SLMs, including model compression, pruning, and quantization techniques. We summarize the benchmark datasets that are useful for benchmarking SLMs along with the evaluation metrics commonly used. Additionally, we highlight key open challenges that remain to be addressed. Our survey aims to serve as a valuable resource for researchers and practitioners interested in developing and deploying small yet efficient language models.