Тонкая настройка небольших языковых моделей для предметно-ориентированного ИИ: перспектива Edge AI

Fine-Tuning Small Language Models for Domain-Specific AI: An Edge AI Perspective

March 3, 2025

Авторы: Rakshit Aralimatti, Syed Abdul Gaffar Shakhadri, Kruthika KR, Kartik Basavaraj Angadi

cs.AI

Аннотация

Развертывание крупномасштабных языковых моделей на устройствах с ограниченными ресурсами сталкивается с рядом присущих проблем, таких как высокие вычислительные требования, энергопотребление и потенциальные риски для конфиденциальности данных. В данной статье представлены малые языковые модели Shakti (Shakti Small Language Models, SLMs) — Shakti-100M, Shakti-250M и Shakti-500M, которые напрямую решают эти ограничения. Благодаря сочетанию эффективных архитектур, методов квантования и принципов ответственного ИИ, серия Shakti обеспечивает интеллектуальные возможности на устройствах, включая смартфоны, умные бытовые приборы, системы Интернета вещей и другие. Мы предоставляем всесторонний анализ их философии проектирования, процессов обучения и производительности на тестах как общего назначения (например, MMLU, Hellaswag), так и специализированных областей (здравоохранение, финансы и право). Наши результаты демонстрируют, что компактные модели, при тщательной разработке и тонкой настройке, могут соответствовать и часто превосходить ожидания в реальных сценариях edge-AI.

English

Deploying large scale language models on edge devices faces inherent challenges such as high computational demands, energy consumption, and potential data privacy risks. This paper introduces the Shakti Small Language Models (SLMs) Shakti-100M, Shakti-250M, and Shakti-500M which target these constraints headon. By combining efficient architectures, quantization techniques, and responsible AI principles, the Shakti series enables on-device intelligence for smartphones, smart appliances, IoT systems, and beyond. We provide comprehensive insights into their design philosophy, training pipelines, and benchmark performance on both general tasks (e.g., MMLU, Hellaswag) and specialized domains (healthcare, finance, and legal). Our findings illustrate that compact models, when carefully engineered and fine-tuned, can meet and often exceed expectations in real-world edge-AI scenarios.