Eine Untersuchung von kleinen Sprachmodellen.

A Survey of Small Language Models

October 25, 2024

Autoren: Chien Van Nguyen, Xuan Shen, Ryan Aponte, Yu Xia, Samyadeep Basu, Zhengmian Hu, Jian Chen, Mihir Parmar, Sasidhar Kunapuli, Joe Barrow, Junda Wu, Ashish Singh, Yu Wang, Jiuxiang Gu, Franck Dernoncourt, Nesreen K. Ahmed, Nedim Lipka, Ruiyi Zhang, Xiang Chen, Tong Yu, Sungchul Kim, Hanieh Deilamsalehy, Namyong Park, Mike Rimer, Zhehao Zhang, Huanrui Yang, Ryan A. Rossi, Thien Huu Nguyen

cs.AI

Zusammenfassung

Kleine Sprachmodelle (SLMs) sind aufgrund ihrer Effizienz und Leistungsfähigkeit bei der Durchführung verschiedener Sprachaufgaben mit minimalen Rechenressourcen zunehmend wichtig geworden, was sie ideal für verschiedene Anwendungen wie On-Device, mobile, Edge-Geräte und viele andere macht. In diesem Artikel präsentieren wir eine umfassende Übersicht über SLMs, wobei wir uns auf ihre Architekturen, Trainingsmethoden und Modellkomprimierungstechniken konzentrieren. Wir schlagen eine neue Taxonomie zur Kategorisierung der Methoden vor, die zur Optimierung von SLMs verwendet werden, einschließlich Modellkomprimierung, Pruning und Quantisierungstechniken. Wir fassen die Benchmark-Datensätze zusammen, die nützlich sind, um SLMs zu benchmarken, zusammen mit den üblicherweise verwendeten Bewertungsmetriken. Darüber hinaus heben wir wichtige offene Herausforderungen hervor, die noch angegangen werden müssen. Unsere Übersicht soll als wertvolle Ressource für Forscher und Praktiker dienen, die daran interessiert sind, kleine, aber effiziente Sprachmodelle zu entwickeln und einzusetzen.

English

Small Language Models (SLMs) have become increasingly important due to their efficiency and performance to perform various language tasks with minimal computational resources, making them ideal for various settings including on-device, mobile, edge devices, among many others. In this article, we present a comprehensive survey on SLMs, focusing on their architectures, training techniques, and model compression techniques. We propose a novel taxonomy for categorizing the methods used to optimize SLMs, including model compression, pruning, and quantization techniques. We summarize the benchmark datasets that are useful for benchmarking SLMs along with the evaluation metrics commonly used. Additionally, we highlight key open challenges that remain to be addressed. Our survey aims to serve as a valuable resource for researchers and practitioners interested in developing and deploying small yet efficient language models.