SHAKTI: 엣지 AI 및 저자원 환경에 최적화된 25억 개 파라미터의 소형 언어 모델
SHAKTI: A 2.5 Billion Parameter Small Language Model Optimized for Edge AI and Low-Resource Environments
October 15, 2024
저자: Syed Abdul Gaffar Shakhadri, Kruthika KR, Rakshit Aralimatti
cs.AI
초록
우리는 Shakti를 소개합니다. Shakti는 25억 개의 매개변수를 가진 언어 모델로, 특히 스마트폰, 웨어러블 기기 및 사물 인터넷 시스템과 같은 자원 제한 환경을 위해 최적화되었습니다. Shakti는 고성능 자연어 처리(NLP)를 최적화된 효율성과 정밀성과 결합하여, 계산 자원과 메모리가 제한된 실시간 AI 응용 프로그램에 이상적입니다. Shakti는 방언 언어 및 도메인별 작업을 지원하여, 의료, 금융 및 고객 서비스와 같은 산업에서 뛰어난 성과를 보입니다. 벤치마크 평가에 따르면, Shakti는 더 큰 모델과 경쟁력을 유지하면서도 낮은 지연 시간과 장치 내 효율성을 유지하여, 엣지 AI 분야에서 선도적인 솔루션으로 자리 잡고 있습니다.
English
We introduce Shakti, a 2.5 billion parameter language model specifically
optimized for resource-constrained environments such as edge devices, including
smartphones, wearables, and IoT systems. Shakti combines high-performance NLP
with optimized efficiency and precision, making it ideal for real-time AI
applications where computational resources and memory are limited. With support
for vernacular languages and domain-specific tasks, Shakti excels in industries
such as healthcare, finance, and customer service. Benchmark evaluations
demonstrate that Shakti performs competitively against larger models while
maintaining low latency and on-device efficiency, positioning it as a leading
solution for edge AI.Summary
AI-Generated Summary