SlimLM: Een Efficiënt Klein Taalmodel voor Documentondersteuning op Apparaten

SlimLM: An Efficient Small Language Model for On-Device Document Assistance

November 15, 2024

Auteurs: Thang M. Pham, Phat T. Nguyen, Seunghyun Yoon, Viet Dac Lai, Franck Dernoncourt, Trung Bui

cs.AI

Samenvatting

Hoewel kleine taalmodellen (SLM's) veelbelovend zijn voor mobiele implementatie, blijft hun prestatie en toepassingen in de echte wereld op smartphones onderbelicht. We presenteren SlimLM, een reeks SLM's geoptimaliseerd voor documentondersteuningstaken op mobiele apparaten. Door uitgebreide experimenten op een Samsung Galaxy S24 identificeren we de optimale afwegingen tussen modelgrootte (variërend van 125M tot 7B parameters), contextlengte en inferentietijd voor efficiënte verwerking op het apparaat. SlimLM is vooraf getraind op SlimPajama-627B en fijnafgestemd op DocAssist, ons samengestelde dataset voor samenvatting, vraagbeantwoording en suggestietaken. Ons kleinste model toont efficiënte prestaties op de S24, terwijl grotere varianten verbeterde mogelijkheden bieden binnen de beperkingen van mobiele apparaten. We evalueren SlimLM ten opzichte van bestaande SLM's, waarbij vergelijkbare of superieure prestaties worden getoond en een benchmark wordt geboden voor toekomstig onderzoek naar taalmodellen op apparaten. We bieden ook een Android-applicatie aan, die praktische inzichten biedt in de implementatie van SLM's. Onze bevindingen bieden waardevolle inzichten en belichten de mogelijkheden van het uitvoeren van geavanceerde taalmodellen op high-end smartphones, wat mogelijk serverkosten kan verlagen en privacy kan verbeteren door verwerking op het apparaat.

English

While small language models (SLMs) show promises for mobile deployment, their real-world performance and applications on smartphones remains underexplored. We present SlimLM, a series of SLMs optimized for document assistance tasks on mobile devices. Through extensive experiments on a Samsung Galaxy S24, we identify the optimal trade-offs between model size (ranging from 125M to 7B parameters), context length, and inference time for efficient on-device processing. SlimLM is pre-trained on SlimPajama-627B and fine-tuned on DocAssist, our constructed dataset for summarization, question answering and suggestion tasks. Our smallest model demonstrates efficient performance on S24, while larger variants offer enhanced capabilities within mobile constraints. We evaluate SlimLM against existing SLMs, showing comparable or superior performance and offering a benchmark for future research in on-device language models. We also provide an Android application, offering practical insights into SLM deployment. Our findings provide valuable insights and illuminate the capabilities of running advanced language models on high-end smartphones, potentially reducing server costs and enhancing privacy through on-device processing.