SlimLM : Un modèle de langue petit et efficace pour l'assistance à la documentation sur l'appareil

SlimLM: An Efficient Small Language Model for On-Device Document Assistance

November 15, 2024

Auteurs: Thang M. Pham, Phat T. Nguyen, Seunghyun Yoon, Viet Dac Lai, Franck Dernoncourt, Trung Bui

cs.AI

Résumé

Alors que les petits modèles de langage (SLM) montrent des promesses pour le déploiement sur mobile, leur performance et leurs applications dans le monde réel sur les smartphones restent peu explorées. Nous présentons SlimLM, une série de SLM optimisés pour les tâches d'assistance documentaire sur les appareils mobiles. À travers des expériences approfondies sur un Samsung Galaxy S24, nous identifions les compromis optimaux entre la taille du modèle (allant de 125M à 7B paramètres), la longueur du contexte et le temps d'inférence pour un traitement efficace sur l'appareil. SlimLM est pré-entraîné sur SlimPajama-627B et affiné sur DocAssist, notre ensemble de données construit pour les tâches de résumé, de réponse aux questions et de suggestion. Notre plus petit modèle démontre des performances efficaces sur le S24, tandis que des variantes plus grandes offrent des capacités améliorées dans les contraintes mobiles. Nous évaluons SlimLM par rapport aux SLM existants, montrant des performances comparables ou supérieures et offrant une référence pour les futures recherches sur les modèles de langage sur appareil. Nous fournissons également une application Android, offrant des perspectives pratiques sur le déploiement des SLM. Nos résultats fournissent des informations précieuses et mettent en lumière les capacités de l'exécution de modèles de langage avancés sur des smartphones haut de gamme, réduisant potentiellement les coûts des serveurs et améliorant la confidentialité grâce au traitement sur l'appareil.

English

While small language models (SLMs) show promises for mobile deployment, their real-world performance and applications on smartphones remains underexplored. We present SlimLM, a series of SLMs optimized for document assistance tasks on mobile devices. Through extensive experiments on a Samsung Galaxy S24, we identify the optimal trade-offs between model size (ranging from 125M to 7B parameters), context length, and inference time for efficient on-device processing. SlimLM is pre-trained on SlimPajama-627B and fine-tuned on DocAssist, our constructed dataset for summarization, question answering and suggestion tasks. Our smallest model demonstrates efficient performance on S24, while larger variants offer enhanced capabilities within mobile constraints. We evaluate SlimLM against existing SLMs, showing comparable or superior performance and offering a benchmark for future research in on-device language models. We also provide an Android application, offering practical insights into SLM deployment. Our findings provide valuable insights and illuminate the capabilities of running advanced language models on high-end smartphones, potentially reducing server costs and enhancing privacy through on-device processing.