SHAKTI: 엣지 AI 및 저자원 환경에 최적화된 25억 개 파라미터의 소형 언어 모델

SHAKTI: A 2.5 Billion Parameter Small Language Model Optimized for Edge AI and Low-Resource Environments

October 15, 2024
저자: Syed Abdul Gaffar Shakhadri, Kruthika KR, Rakshit Aralimatti
cs.AI

초록

우리는 Shakti를 소개합니다. Shakti는 25억 개의 매개변수를 가진 언어 모델로, 특히 스마트폰, 웨어러블 기기 및 사물 인터넷 시스템과 같은 자원 제한 환경을 위해 최적화되었습니다. Shakti는 고성능 자연어 처리(NLP)를 최적화된 효율성과 정밀성과 결합하여, 계산 자원과 메모리가 제한된 실시간 AI 응용 프로그램에 이상적입니다. Shakti는 방언 언어 및 도메인별 작업을 지원하여, 의료, 금융 및 고객 서비스와 같은 산업에서 뛰어난 성과를 보입니다. 벤치마크 평가에 따르면, Shakti는 더 큰 모델과 경쟁력을 유지하면서도 낮은 지연 시간과 장치 내 효율성을 유지하여, 엣지 AI 분야에서 선도적인 솔루션으로 자리 잡고 있습니다.
English
We introduce Shakti, a 2.5 billion parameter language model specifically optimized for resource-constrained environments such as edge devices, including smartphones, wearables, and IoT systems. Shakti combines high-performance NLP with optimized efficiency and precision, making it ideal for real-time AI applications where computational resources and memory are limited. With support for vernacular languages and domain-specific tasks, Shakti excels in industries such as healthcare, finance, and customer service. Benchmark evaluations demonstrate that Shakti performs competitively against larger models while maintaining low latency and on-device efficiency, positioning it as a leading solution for edge AI.

Summary

AI-Generated Summary

PDF63November 16, 2024