SlimLM: Ein effizientes kleines Sprachmodell für die Dokumentenunterstützung auf Geräten.

SlimLM: An Efficient Small Language Model for On-Device Document Assistance

November 15, 2024

Autoren: Thang M. Pham, Phat T. Nguyen, Seunghyun Yoon, Viet Dac Lai, Franck Dernoncourt, Trung Bui

cs.AI

Zusammenfassung

Obwohl kleine Sprachmodelle (SLMs) vielversprechend für den Einsatz auf mobilen Geräten sind, bleibt ihre Leistung und Anwendung in der realen Welt auf Smartphones weitgehend unerforscht. Wir präsentieren SlimLM, eine Reihe von SLMs, die für Dokumentenunterstützungsaufgaben auf mobilen Geräten optimiert sind. Durch umfangreiche Experimente auf einem Samsung Galaxy S24 identifizieren wir die optimalen Kompromisse zwischen Modellgröße (im Bereich von 125M bis 7B Parametern), Kontextlänge und Inferenzzeit für eine effiziente Verarbeitung auf dem Gerät. SlimLM wird auf SlimPajama-627B vorab trainiert und auf DocAssist, unserem erstellten Datensatz für Zusammenfassungs-, Fragestellungs- und Vorschlungsaufgaben, feinabgestimmt. Unser kleinstes Modell zeigt eine effiziente Leistung auf dem S24, während größere Varianten erweiterte Fähigkeiten innerhalb der mobilen Einschränkungen bieten. Wir bewerten SlimLM im Vergleich zu bestehenden SLMs, zeigen vergleichbare oder überlegene Leistungen und bieten einen Maßstab für zukünftige Forschung an Sprachmodellen auf Geräten. Wir stellen auch eine Android-Anwendung zur Verfügung, die praktische Einblicke in die Bereitstellung von SLMs bietet. Unsere Ergebnisse liefern wertvolle Erkenntnisse und beleuchten die Möglichkeiten des Betriebs fortschrittlicher Sprachmodelle auf High-End-Smartphones, was potenziell die Serverkosten reduziert und die Privatsphäre durch die Verarbeitung auf dem Gerät verbessert.

English

While small language models (SLMs) show promises for mobile deployment, their real-world performance and applications on smartphones remains underexplored. We present SlimLM, a series of SLMs optimized for document assistance tasks on mobile devices. Through extensive experiments on a Samsung Galaxy S24, we identify the optimal trade-offs between model size (ranging from 125M to 7B parameters), context length, and inference time for efficient on-device processing. SlimLM is pre-trained on SlimPajama-627B and fine-tuned on DocAssist, our constructed dataset for summarization, question answering and suggestion tasks. Our smallest model demonstrates efficient performance on S24, while larger variants offer enhanced capabilities within mobile constraints. We evaluate SlimLM against existing SLMs, showing comparable or superior performance and offering a benchmark for future research in on-device language models. We also provide an Android application, offering practical insights into SLM deployment. Our findings provide valuable insights and illuminate the capabilities of running advanced language models on high-end smartphones, potentially reducing server costs and enhancing privacy through on-device processing.