트랜스포머 제곱: 자기 적응형 LLMs

초록

자가적응형 대형 언어 모델(LLM)은 종종 계산적으로 비용이 많이 들고 다양한 작업을 처리하는 능력이 정적인 전통적인 세밀 조정 방법이 제기하는 문제를 해결하기 위해 고안되었습니다. 본 논문에서는 \implname을 소개합니다. 이는 신속하게 보이지 않는 작업에 대해 LLM을 실시간으로 적응시키는 혁신적인 자가적응 프레임워크로, 가중치 행렬의 단일 구성요소만 선택적으로 조정함으로써 작동합니다. \implname은 추론 중에 두 단계 메커니즘을 사용합니다. 먼저 디스패치 시스템이 작업 특성을 식별하고, 그런 다음 강화 학습을 사용하여 훈련된 작업별 "전문가" 벡터가 동적으로 혼합되어 들어오는 프롬프트에 대한 목표 지향적 행동을 얻습니다. 본 방법은 LoRA와 같은 보편적인 접근 방식보다 매개 변수가 적고 효율성이 더 높습니다. \implname은 시각-언어 작업을 포함한 다양한 LLM 아키텍처 및 모달리티에서 다재다능함을 보여줍니다. \implname은 LLM의 적응성과 작업별 성능을 향상시키는 확장 가능하고 효율적인 솔루션을 제공하여, 진정으로 동적이고 자기 조직화되는 AI 시스템을 위한 길을 열어줍니다.

English

Self-adaptive large language models (LLMs) aim to solve the challenges posed by traditional fine-tuning methods, which are often computationally intensive and static in their ability to handle diverse tasks. We introduce \implname, a novel self-adaptation framework that adapts LLMs for unseen tasks in real-time by selectively adjusting only the singular components of their weight matrices. During inference, \implname employs a two-pass mechanism: first, a dispatch system identifies the task properties, and then task-specific "expert" vectors, trained using reinforcement learning, are dynamically mixed to obtain targeted behavior for the incoming prompt. Our method outperforms ubiquitous approaches such as LoRA, with fewer parameters and greater efficiency. \implname demonstrates versatility across different LLM architectures and modalities, including vision-language tasks. \implname represents a significant leap forward, offering a scalable, efficient solution for enhancing the adaptability and task-specific performance of LLMs, paving the way for truly dynamic, self-organizing AI systems.

트랜스포머 제곱: 자기 적응형 LLMs

Transformer^2: Self-adaptive LLMs

초록

Summary

Support