SlimLM: Un Modello Linguistico Piccolo ed Efficiente per l'Assistenza ai Documenti su Dispositivo

SlimLM: An Efficient Small Language Model for On-Device Document Assistance

November 15, 2024

Autori: Thang M. Pham, Phat T. Nguyen, Seunghyun Yoon, Viet Dac Lai, Franck Dernoncourt, Trung Bui

cs.AI

Abstract

Sebbene i modelli linguistici di piccole dimensioni (SLM) mostrino promesse per la distribuzione su dispositivi mobili, le loro prestazioni e applicazioni nel mondo reale sugli smartphone rimangono poco esplorate. Presentiamo SlimLM, una serie di SLM ottimizzati per compiti di assistenza documentale su dispositivi mobili. Attraverso estesi esperimenti su un Samsung Galaxy S24, identifichiamo i compromessi ottimali tra dimensioni del modello (variano da 125M a 7B parametri), lunghezza del contesto e tempo di inferenza per un efficiente processamento on-device. SlimLM è pre-addestrato su SlimPajama-627B e affinato su DocAssist, il nostro dataset costruito per compiti di riassunto, risposta alle domande e suggerimenti. Il nostro modello più piccolo dimostra prestazioni efficienti su S24, mentre varianti più grandi offrono capacità migliorate all'interno dei vincoli mobili. Valutiamo SlimLM rispetto ai SLM esistenti, mostrando prestazioni comparabili o superiori e offrendo un punto di riferimento per futura ricerca sui modelli linguistici on-device. Forniamo inoltre un'applicazione Android, offrendo approfondimenti pratici sulla distribuzione di SLM. Le nostre scoperte forniscono preziosi spunti e illuminano le capacità di esecuzione di modelli linguistici avanzati su smartphone di fascia alta, potenzialmente riducendo i costi del server e migliorando la privacy attraverso il processamento on-device.

English

While small language models (SLMs) show promises for mobile deployment, their real-world performance and applications on smartphones remains underexplored. We present SlimLM, a series of SLMs optimized for document assistance tasks on mobile devices. Through extensive experiments on a Samsung Galaxy S24, we identify the optimal trade-offs between model size (ranging from 125M to 7B parameters), context length, and inference time for efficient on-device processing. SlimLM is pre-trained on SlimPajama-627B and fine-tuned on DocAssist, our constructed dataset for summarization, question answering and suggestion tasks. Our smallest model demonstrates efficient performance on S24, while larger variants offer enhanced capabilities within mobile constraints. We evaluate SlimLM against existing SLMs, showing comparable or superior performance and offering a benchmark for future research in on-device language models. We also provide an Android application, offering practical insights into SLM deployment. Our findings provide valuable insights and illuminate the capabilities of running advanced language models on high-end smartphones, potentially reducing server costs and enhancing privacy through on-device processing.