Transformer^2: LLMs Autoadaptativos

Transformer^2: Self-adaptive LLMs

January 9, 2025

Autores: Qi Sun, Edoardo Cetin, Yujin Tang

cs.AI

Resumo

Os modelos de linguagem grandes autoadaptáveis (LLMs) têm como objetivo resolver os desafios apresentados pelos métodos tradicionais de ajuste fino, que frequentemente são intensivos computacionalmente e estáticos em sua capacidade de lidar com diversas tarefas. Apresentamos \implname, um novo framework de autoadaptação que adapta LLMs para tarefas não vistas em tempo real, ajustando seletivamente apenas os componentes singulares de suas matrizes de pesos. Durante a inferência, \implname emprega um mecanismo de duas etapas: primeiro, um sistema de despacho identifica as propriedades da tarefa e, em seguida, vetores "especialistas" específicos da tarefa, treinados usando aprendizado por reforço, são misturados dinamicamente para obter um comportamento direcionado para o prompt recebido. Nosso método supera abordagens ubíquas como LoRA, com menos parâmetros e maior eficiência. \implname demonstra versatilidade em diferentes arquiteturas e modalidades de LLMs, incluindo tarefas de visão e linguagem. \implname representa um avanço significativo, oferecendo uma solução escalável e eficiente para aprimorar a adaptabilidade e o desempenho específico da tarefa de LLMs, abrindo caminho para sistemas de IA verdadeiramente dinâmicos e auto-organizáveis.

English

Self-adaptive large language models (LLMs) aim to solve the challenges posed by traditional fine-tuning methods, which are often computationally intensive and static in their ability to handle diverse tasks. We introduce \implname, a novel self-adaptation framework that adapts LLMs for unseen tasks in real-time by selectively adjusting only the singular components of their weight matrices. During inference, \implname employs a two-pass mechanism: first, a dispatch system identifies the task properties, and then task-specific "expert" vectors, trained using reinforcement learning, are dynamically mixed to obtain targeted behavior for the incoming prompt. Our method outperforms ubiquitous approaches such as LoRA, with fewer parameters and greater efficiency. \implname demonstrates versatility across different LLM architectures and modalities, including vision-language tasks. \implname represents a significant leap forward, offering a scalable, efficient solution for enhancing the adaptability and task-specific performance of LLMs, paving the way for truly dynamic, self-organizing AI systems.