LoLDU: Lage-rang Aanpassing via Lagere-Diag-Boven Ontbinding voor Parameter-Efficiënte Fijnafstemming

LoLDU: Low-Rank Adaptation via Lower-Diag-Upper Decomposition for Parameter-Efficient Fine-Tuning

October 17, 2024

Auteurs: Yiming Shi, Jiwei Wei, Yujia Wu, Ran Ran, Chengwei Sun, Shiyuan He, Yang Yang

cs.AI

Samenvatting

De snelle groei van het modelbereik heeft aanzienlijke rekenbronnen vereist voor fijnafstemming. Bestaande benaderingen zoals Low-Rank Adaptation (LoRA) hebben geprobeerd het probleem van het omgaan met de grote bijgewerkte parameters bij volledige fijnafstemming aan te pakken. LoRA maakt echter gebruik van willekeurige initialisatie en optimalisatie van lage-rang matrices om bijgewerkte gewichten te benaderen, wat kan leiden tot suboptimale convergentie en een nauwkeurigheidskloof in vergelijking met volledige fijnafstemming. Om deze problemen aan te pakken, stellen we LoLDU voor, een Parameter-Efficiënte Fijnafstemming (PEFT) benadering die het aantal trainbare parameters met 2600 keer vermindert in vergelijking met reguliere PEFT-methoden, terwijl vergelijkbare prestaties worden behouden. LoLDU maakt gebruik van Lower-Diag-Upper Decomposition (LDU) om lage-rang matrices te initialiseren voor snellere convergentie en orthogonaliteit. We richten ons op het optimaliseren van de diagonaalmatrix voor schalingstransformaties. Voor zover wij weten, heeft LoLDU de minste parameters van alle PEFT-benaderingen. We hebben uitgebreide experimenten uitgevoerd over 4 datasets voor instructie-opvolging, 6 datasets voor natuurlijke taalbegrip (NLU), 8 datasets voor beeldclassificatie en beeldgeneratiedatasets met meerdere modeltypen (LLaMA2, RoBERTa, ViT en Stable Diffusion), waarbij we een uitgebreide en gedetailleerde analyse hebben gegeven. Onze open-source code is beschikbaar op https://github.com/SKDDJ/LoLDU{https://github.com/SKDDJ/LoLDU}.

English

The rapid growth of model scale has necessitated substantial computational resources for fine-tuning. Existing approach such as Low-Rank Adaptation (LoRA) has sought to address the problem of handling the large updated parameters in full fine-tuning. However, LoRA utilize random initialization and optimization of low-rank matrices to approximate updated weights, which can result in suboptimal convergence and an accuracy gap compared to full fine-tuning. To address these issues, we propose LoLDU, a Parameter-Efficient Fine-Tuning (PEFT) approach that significantly reduces trainable parameters by 2600 times compared to regular PEFT methods while maintaining comparable performance. LoLDU leverages Lower-Diag-Upper Decomposition (LDU) to initialize low-rank matrices for faster convergence and orthogonality. We focus on optimizing the diagonal matrix for scaling transformations. To the best of our knowledge, LoLDU has the fewest parameters among all PEFT approaches. We conducted extensive experiments across 4 instruction-following datasets, 6 natural language understanding (NLU) datasets, 8 image classification datasets, and image generation datasets with multiple model types (LLaMA2, RoBERTa, ViT, and Stable Diffusion), providing a comprehensive and detailed analysis. Our open-source code can be accessed at https://github.com/SKDDJ/LoLDU{https://github.com/SKDDJ/LoLDU}.