SlimLM: 장치 내 문서 지원을 위한 효율적인 소형 언어 모델

초록

작은 언어 모델(SLMs)은 모바일 배포에 유망성을 보이지만, 스마트폰에서의 실제 성능 및 응용은 아직 탐구되지 않았습니다. 저희는 모바일 기기에서 문서 지원 작업을 위해 최적화된 일련의 SLM인 SlimLM을 제안합니다. 삼성 갤럭시 S24에서의 포괄적인 실험을 통해 모델 크기(125M에서 7B 매개변수로 변화), 문맥 길이 및 효율적인 장치 내 처리를 위한 추론 시간 사이의 최적의 균형을 확인합니다. SlimLM은 SlimPajama-627B에서 사전 훈련을 받고, 요약, 질문 응답 및 제안 작업을 위한 저희가 구축한 DocAssist 데이터셋에서 세밀하게 조정됩니다. 가장 작은 모델은 S24에서 효율적인 성능을 보여주며, 더 큰 변형은 모바일 제약 내에서 향상된 기능을 제공합니다. 저희는 기존 SLMs와 SlimLM을 비교하여 유사하거나 우수한 성능을 보여주며, 장치 내 언어 모델에 대한 미래 연구를 위한 기준을 제시합니다. 또한 SLM 배포에 대한 실용적인 통찰을 제공하는 안드로이드 애플리케이션을 제공합니다. 저희의 연구 결과는 고급 언어 모델을 고급 스마트폰에서 실행하는 능력을 명확히 하며, 서버 비용을 줄이고 장치 내 처리를 통해 개인 정보 보호를 강화할 수 있는 가치 있는 통찰을 제공합니다.

English

While small language models (SLMs) show promises for mobile deployment, their real-world performance and applications on smartphones remains underexplored. We present SlimLM, a series of SLMs optimized for document assistance tasks on mobile devices. Through extensive experiments on a Samsung Galaxy S24, we identify the optimal trade-offs between model size (ranging from 125M to 7B parameters), context length, and inference time for efficient on-device processing. SlimLM is pre-trained on SlimPajama-627B and fine-tuned on DocAssist, our constructed dataset for summarization, question answering and suggestion tasks. Our smallest model demonstrates efficient performance on S24, while larger variants offer enhanced capabilities within mobile constraints. We evaluate SlimLM against existing SLMs, showing comparable or superior performance and offering a benchmark for future research in on-device language models. We also provide an Android application, offering practical insights into SLM deployment. Our findings provide valuable insights and illuminate the capabilities of running advanced language models on high-end smartphones, potentially reducing server costs and enhancing privacy through on-device processing.

SlimLM: 장치 내 문서 지원을 위한 효율적인 소형 언어 모델

SlimLM: An Efficient Small Language Model for On-Device Document Assistance

초록

Summary

Support