Decoupling degli Angoli e della Forza nell'Adattamento a Basso Rango

Decoupling Angles and Strength in Low-rank Adaptation

March 23, 2025

Autori: Massimo Bini, Leander Girrbach, Zeynep Akata

cs.AI

Abstract

I metodi di Parameter-Efficient FineTuning (PEFT) hanno recentemente guadagnato una popolarità significativa grazie alla diffusa disponibilità di modelli preaddestrati su larga scala. Questi metodi consentono un rapido adattamento a task downstream con un costo computazionale minimo. Tuttavia, i popolari metodi di finetuning come LoRA mostrano una robustezza limitata quando si tratta di scelte di iperparametri o regimi di addestramento prolungati, impedendo prestazioni ottimali out-of-the-box. Al contrario, approcci vincolati, come ETHER, offrono una maggiore robustezza ma sono limitati ad adattamenti di rango estremamente basso e trasformazioni a forza fissa, riducendo il loro potere espressivo di adattamento. In questo lavoro, proponiamo Decoupled Low-rank Adaptation (DeLoRA), un nuovo metodo di finetuning che normalizza e scala matrici a basso rango apprendibili. Vincolando la distanza della trasformazione, DeLoRA disaccoppia efficacemente l'apprendimento angolare dalla forza di adattamento, migliorando la robustezza senza compromettere le prestazioni. Attraverso valutazioni su generazione di immagini guidata da soggetti, comprensione del linguaggio naturale e instruction tuning, dimostriamo che DeLoRA eguaglia o supera le prestazioni dei metodi PEFT concorrenti, mostrando al contempo una robustezza maggiore. Il codice è disponibile all'indirizzo https://github.com/ExplainableML/DeLoRA.

English

Parameter-Efficient FineTuning (PEFT) methods have recently gained significant popularity thanks to the widespread availability of large-scale pretrained models. These methods allow for quick adaptation to downstream tasks with minimal computational cost. However, popular finetuning methods such as LoRA exhibit limited robustness when it comes to hyperparameter choices or extended training regimes, preventing optimal out-of-the-box performance. In contrast, bounded approaches, such as ETHER, provide greater robustness but are limited to extremely low-rank adaptations and fixed-strength transformations, reducing their adaptation expressive power. In this work, we propose Decoupled Low-rank Adaptation (DeLoRA), a novel finetuning method that normalizes and scales learnable low-rank matrices. By bounding the distance of the transformation, DeLoRA effectively decouples the angular learning from the adaptation strength, enhancing robustness without compromising performance. Through evaluations on subject-driven image generation, natural language understanding, and instruction tuning, we show that DeLoRA matches or surpasses performance of competing PEFT methods, while exhibiting stronger robustness. Code is available at https://github.com/ExplainableML/DeLoRA.