SHAKTI: Een 2,5 miljard parameters tellend klein taalmodel geoptimaliseerd voor Edge AI en omgevingen met beperkte middelen.

SHAKTI: A 2.5 Billion Parameter Small Language Model Optimized for Edge AI and Low-Resource Environments

October 15, 2024

Auteurs: Syed Abdul Gaffar Shakhadri, Kruthika KR, Rakshit Aralimatti

cs.AI

Samenvatting

Wij introduceren Shakti, een taalmodel met 2,5 miljard parameters dat specifiek is geoptimaliseerd voor omgevingen met beperkte middelen, zoals randapparatuur, waaronder smartphones, draagbare apparaten en IoT-systemen. Shakti combineert hoogwaardige NLP met geoptimaliseerde efficiëntie en precisie, waardoor het ideaal is voor AI-toepassingen in realtime waar rekenkracht en geheugen beperkt zijn. Met ondersteuning voor volkstalen en domeinspecifieke taken blinkt Shakti uit in sectoren zoals gezondheidszorg, financiën en klantenservice. Benchmarkevaluaties tonen aan dat Shakti concurrerend presteert ten opzichte van grotere modellen, met behoud van lage latentie en efficiëntie op het apparaat, waardoor het zich positioneert als een toonaangevende oplossing voor edge AI.

English

We introduce Shakti, a 2.5 billion parameter language model specifically optimized for resource-constrained environments such as edge devices, including smartphones, wearables, and IoT systems. Shakti combines high-performance NLP with optimized efficiency and precision, making it ideal for real-time AI applications where computational resources and memory are limited. With support for vernacular languages and domain-specific tasks, Shakti excels in industries such as healthcare, finance, and customer service. Benchmark evaluations demonstrate that Shakti performs competitively against larger models while maintaining low latency and on-device efficiency, positioning it as a leading solution for edge AI.