소형 언어 모델 조사

초록

작은 언어 모델(SLMs)은 최소한의 계산 자원을 사용하여 다양한 언어 작업을 수행하는 효율성과 성능으로 인해 점점 더 중요해지고 있으며, 디바이스 내, 모바일, 엣지 디바이스 등 다양한 환경에서 이상적입니다. 본 논문에서는 SLMs에 대한 포괄적인 조사를 제시하며, 그 구조, 훈련 기술, 그리고 모델 압축 기술에 초점을 맞춥니다. 우리는 SLMs를 최적화하는 데 사용되는 방법을 분류하기 위한 새로운 분류법을 제안하며, 모델 압축, 가지치기, 양자화 기술을 포함합니다. 우리는 SLMs를 평가하기 위해 유용한 벤치마킹 데이터셋을 요약하고, 일반적으로 사용되는 평가 지표를 함께 제시합니다. 더불어, 아직 해결되지 않은 주요 과제를 강조합니다. 우리의 조사는 작고 효율적인 언어 모델을 개발하고 배포하는 데 관심 있는 연구자와 실무자들에게 유용한 자원으로 기여하고자 합니다.

English

Small Language Models (SLMs) have become increasingly important due to their efficiency and performance to perform various language tasks with minimal computational resources, making them ideal for various settings including on-device, mobile, edge devices, among many others. In this article, we present a comprehensive survey on SLMs, focusing on their architectures, training techniques, and model compression techniques. We propose a novel taxonomy for categorizing the methods used to optimize SLMs, including model compression, pruning, and quantization techniques. We summarize the benchmark datasets that are useful for benchmarking SLMs along with the evaluation metrics commonly used. Additionally, we highlight key open challenges that remain to be addressed. Our survey aims to serve as a valuable resource for researchers and practitioners interested in developing and deploying small yet efficient language models.

소형 언어 모델 조사

A Survey of Small Language Models

초록

Summary

Support