Een Overzicht van Kleine Taalmodellen

A Survey of Small Language Models

October 25, 2024

Auteurs: Chien Van Nguyen, Xuan Shen, Ryan Aponte, Yu Xia, Samyadeep Basu, Zhengmian Hu, Jian Chen, Mihir Parmar, Sasidhar Kunapuli, Joe Barrow, Junda Wu, Ashish Singh, Yu Wang, Jiuxiang Gu, Franck Dernoncourt, Nesreen K. Ahmed, Nedim Lipka, Ruiyi Zhang, Xiang Chen, Tong Yu, Sungchul Kim, Hanieh Deilamsalehy, Namyong Park, Mike Rimer, Zhehao Zhang, Huanrui Yang, Ryan A. Rossi, Thien Huu Nguyen

cs.AI

Samenvatting

Kleine Taalmodellen (SLM's) zijn steeds belangrijker geworden vanwege hun efficiëntie en prestaties bij het uitvoeren van verschillende taaltaken met minimale rekenbronnen, waardoor ze ideaal zijn voor verschillende omgevingen, waaronder on-device, mobiele en edge-apparaten, onder vele andere. In dit artikel presenteren we een uitgebreid overzicht van SLM's, met de focus op hun architecturen, trainingsmethoden en modelcompressietechnieken. We stellen een nieuwe taxonomie voor om de gebruikte methoden voor het optimaliseren van SLM's te categoriseren, inclusief modelcompressie, snoeien en kwantiseringstechnieken. We vatten de benchmark-datasets samen die nuttig zijn voor het benchmarken van SLM's, samen met de veelgebruikte evaluatiemetrics. Daarnaast benadrukken we belangrijke open uitdagingen die nog moeten worden aangepakt. Ons overzicht heeft tot doel een waardevolle bron te zijn voor onderzoekers en beoefenaars die geïnteresseerd zijn in het ontwikkelen en implementeren van kleine maar efficiënte taalmodellen.

English

Small Language Models (SLMs) have become increasingly important due to their efficiency and performance to perform various language tasks with minimal computational resources, making them ideal for various settings including on-device, mobile, edge devices, among many others. In this article, we present a comprehensive survey on SLMs, focusing on their architectures, training techniques, and model compression techniques. We propose a novel taxonomy for categorizing the methods used to optimize SLMs, including model compression, pruning, and quantization techniques. We summarize the benchmark datasets that are useful for benchmarking SLMs along with the evaluation metrics commonly used. Additionally, we highlight key open challenges that remain to be addressed. Our survey aims to serve as a valuable resource for researchers and practitioners interested in developing and deploying small yet efficient language models.