Semantische Bibliotheksanpassung: LoRA-Retrieval und -Fusion für Open-Vocabulary-Semantische Segmentierung

Semantic Library Adaptation: LoRA Retrieval and Fusion for Open-Vocabulary Semantic Segmentation

March 27, 2025

Autoren: Reza Qorbani, Gianluca Villani, Theodoros Panagiotakopoulos, Marc Botet Colomer, Linus Härenstam-Nielsen, Mattia Segu, Pier Luigi Dovesi, Jussi Karlgren, Daniel Cremers, Federico Tombari, Matteo Poggi

cs.AI

Zusammenfassung

Open-vocabulary semantische Segmentierungsmodelle verbinden visuelle und textuelle Informationen, um Pixel aus einem undefinierten Satz von Klassen mithilfe von textuellen Abfragen zu beschriften, was vielseitige Leistung auf neuen Datensätzen ermöglicht. Große Unterschiede zwischen Trainings- und Testdomänen verschlechtern jedoch ihre Leistung, was eine Feinabstimmung für effektive Anwendungen in der realen Welt erfordert. Wir stellen Semantic Library Adaptation (SemLA) vor, ein neuartiges Framework für trainingsfreie, testzeitliche Domänenanpassung. SemLA nutzt eine Bibliothek von LoRA-basierten Adaptern, die mit CLIP-Embeddings indiziert sind, und führt dynamisch die relevantesten Adapter basierend auf der Nähe zur Zieldomäne im Embedding-Raum zusammen. Dieser Ansatz konstruiert ein ad-hoc-Modell, das speziell auf jede Eingabe zugeschnitten ist, ohne zusätzliches Training. Unsere Methode skaliert effizient, verbessert die Erklärbarkeit durch die Nachverfolgung von Adapterbeiträgen und schützt die Datenprivatheit inhärent, was sie ideal für sensible Anwendungen macht. Umfassende Experimente auf einem 20-Domänen-Benchmark, der über 10 Standarddatensätze aufgebaut ist, demonstrieren die überlegene Anpassungsfähigkeit und Leistung von SemLA in verschiedenen Umgebungen und setzen einen neuen Standard in der Domänenanpassung für die Open-vocabulary semantische Segmentierung.

English

Open-vocabulary semantic segmentation models associate vision and text to label pixels from an undefined set of classes using textual queries, providing versatile performance on novel datasets. However, large shifts between training and test domains degrade their performance, requiring fine-tuning for effective real-world applications. We introduce Semantic Library Adaptation (SemLA), a novel framework for training-free, test-time domain adaptation. SemLA leverages a library of LoRA-based adapters indexed with CLIP embeddings, dynamically merging the most relevant adapters based on proximity to the target domain in the embedding space. This approach constructs an ad-hoc model tailored to each specific input without additional training. Our method scales efficiently, enhances explainability by tracking adapter contributions, and inherently protects data privacy, making it ideal for sensitive applications. Comprehensive experiments on a 20-domain benchmark built over 10 standard datasets demonstrate SemLA's superior adaptability and performance across diverse settings, establishing a new standard in domain adaptation for open-vocabulary semantic segmentation.