Transformer^2: LLM auto-adattativi

Transformer^2: Self-adaptive LLMs

January 9, 2025
Autori: Qi Sun, Edoardo Cetin, Yujin Tang
cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) auto-adattativi mirano a risolvere le sfide poste dai tradizionali metodi di fine-tuning, che spesso sono intensivi dal punto di vista computazionale e statici nella loro capacità di gestire diverse attività. Introduciamo \implname, un nuovo framework di auto-adattamento che adatta i LLM per compiti non previsti in tempo reale regolando selettivamente solo i singoli componenti delle loro matrici dei pesi. Durante l'inferenza, \implname utilizza un meccanismo a due passaggi: innanzitutto, un sistema di invio identifica le proprietà del compito, e poi vettori "esperti" specifici del compito, addestrati utilizzando il reinforcement learning, vengono mescolati dinamicamente per ottenere un comportamento mirato per il prompt in arrivo. Il nostro metodo supera approcci ubiqui come LoRA, con meno parametri e maggiore efficienza. \implname dimostra versatilità attraverso diverse architetture e modalità di LLM, inclusi compiti visione-linguaggio. \implname rappresenta un significativo passo avanti, offrendo una soluzione scalabile ed efficiente per migliorare l'adattabilità e le prestazioni specifiche del compito dei LLM, aprendo la strada a sistemi AI veramente dinamici e auto-organizzanti.
English
Self-adaptive large language models (LLMs) aim to solve the challenges posed by traditional fine-tuning methods, which are often computationally intensive and static in their ability to handle diverse tasks. We introduce \implname, a novel self-adaptation framework that adapts LLMs for unseen tasks in real-time by selectively adjusting only the singular components of their weight matrices. During inference, \implname employs a two-pass mechanism: first, a dispatch system identifies the task properties, and then task-specific "expert" vectors, trained using reinforcement learning, are dynamically mixed to obtain targeted behavior for the incoming prompt. Our method outperforms ubiquitous approaches such as LoRA, with fewer parameters and greater efficiency. \implname demonstrates versatility across different LLM architectures and modalities, including vision-language tasks. \implname represents a significant leap forward, offering a scalable, efficient solution for enhancing the adaptability and task-specific performance of LLMs, paving the way for truly dynamic, self-organizing AI systems.

Summary

AI-Generated Summary

PDF466January 14, 2025