SHAKTI : Un petit modèle de langage de 2,5 milliards de paramètres optimisé pour l'IA embarquée et les environnements à faibles ressources.

SHAKTI: A 2.5 Billion Parameter Small Language Model Optimized for Edge AI and Low-Resource Environments

October 15, 2024

Auteurs: Syed Abdul Gaffar Shakhadri, Kruthika KR, Rakshit Aralimatti

cs.AI

Résumé

Nous présentons Shakti, un modèle de langage de 2,5 milliards de paramètres spécifiquement optimisé pour les environnements contraints en ressources tels que les appareils périphériques, y compris les smartphones, les dispositifs portables et les systèmes IoT. Shakti associe NLP haute performance avec une efficacité et une précision optimisées, le rendant idéal pour les applications d'IA en temps réel où les ressources de calcul et la mémoire sont limitées. Avec le support des langues vernaculaires et des tâches spécifiques au domaine, Shakti excelle dans des industries telles que la santé, la finance et le service client. Les évaluations de référence démontrent que Shakti se comporte de manière compétitive par rapport aux modèles plus grands tout en maintenant une faible latence et une efficacité sur l'appareil, le positionnant comme une solution de premier plan pour l'IA périphérique.

English

We introduce Shakti, a 2.5 billion parameter language model specifically optimized for resource-constrained environments such as edge devices, including smartphones, wearables, and IoT systems. Shakti combines high-performance NLP with optimized efficiency and precision, making it ideal for real-time AI applications where computational resources and memory are limited. With support for vernacular languages and domain-specific tasks, Shakti excels in industries such as healthcare, finance, and customer service. Benchmark evaluations demonstrate that Shakti performs competitively against larger models while maintaining low latency and on-device efficiency, positioning it as a leading solution for edge AI.