SALT: Singulärwertanpassung mit niedrigrangiger Transformation

Zusammenfassung

Die komplexe Natur der medizinischen Bildsegmentierung erfordert Modelle, die speziell dafür entwickelt sind, detaillierte, domänenspezifische Merkmale zu erfassen. Große Foundation-Modelle bieten erhebliche Flexibilität, doch die Kosten für das Fine-Tuning dieser Modelle bleiben eine bedeutende Hürde. Parameter-Efficient Fine-Tuning (PEFT)-Methoden wie Low-Rank Adaptation (LoRA) aktualisieren Modellgewichte effizient mit niedrigrangigen Matrizen, können jedoch unter Underfitting leiden, wenn der gewählte Rang nicht ausreicht, um domänenspezifische Nuancen zu erfassen. Im Gegensatz dazu bieten vollrangige Methoden basierend auf der Singulärwertzerlegung (SVD) umfassende Aktualisierungen durch die Modifikation aller Singulärwerte, doch ihnen fehlt oft Flexibilität und sie zeigen variable Leistungen über verschiedene Datensätze hinweg. Wir schlagen SALT (Singular Value Adaptation with Low-Rank Transformation) vor, eine Methode, die die einflussreichsten Singulärwerte selektiv anpasst, indem trainierbare Skalierungs- und Verschiebungsparameter verwendet werden, während dies durch eine niedrigrangige Aktualisierung für den verbleibenden Unterraum ergänzt wird. Dieser hybride Ansatz vereint die Vorteile von LoRA und SVD und ermöglicht eine effektive Anpassung, ohne auf eine Erhöhung der Modellgröße oder -tiefe angewiesen zu sein. Evaluiert auf fünf anspruchsvollen medizinischen Datensätzen, die von nur 20 bis zu 1000 Proben reichen, übertrifft SALT den Stand der Technik in PEFT (LoRA und SVD) um 2 % bis 5 % im Dice-Koeffizienten mit nur 3,9 % trainierbaren Parametern und zeigt eine robuste Anpassung selbst in ressourcenarmen Umgebungen. Der Code für SALT ist verfügbar unter: https://github.com/BioMedIA-MBZUAI/SALT.

English

The complex nature of medical image segmentation calls for models that are specifically designed to capture detailed, domain-specific features. Large foundation models offer considerable flexibility, yet the cost of fine-tuning these models remains a significant barrier. Parameter-Efficient Fine-Tuning (PEFT) methods, such as Low-Rank Adaptation (LoRA), efficiently update model weights with low-rank matrices but may suffer from underfitting when the chosen rank is insufficient to capture domain-specific nuances. Conversely, full-rank Singular Value Decomposition (SVD) based methods provide comprehensive updates by modifying all singular values, yet they often lack flexibility and exhibit variable performance across datasets. We propose SALT (Singular Value Adaptation with Low-Rank Transformation), a method that selectively adapts the most influential singular values using trainable scale and shift parameters while complementing this with a low-rank update for the remaining subspace. This hybrid approach harnesses the advantages of both LoRA and SVD, enabling effective adaptation without relying on increasing model size or depth. Evaluated on 5 challenging medical datasets, ranging from as few as 20 samples to 1000, SALT outperforms state-of-the-art PEFT (LoRA and SVD) by 2% to 5% in Dice with only 3.9% trainable parameters, demonstrating robust adaptation even in low-resource settings. The code for SALT is available at: https://github.com/BioMedIA-MBZUAI/SALT

SALT: Singulärwertanpassung mit niedrigrangiger Transformation

SALT: Singular Value Adaptation with Low-Rank Transformation

Zusammenfassung

Summary

Support