Mamba come ponte: dove i modelli di base per la visione incontrano i modelli linguistico-visivi per la segmentazione semantica generalizzata al dominio

Mamba as a Bridge: Where Vision Foundation Models Meet Vision Language Models for Domain-Generalized Semantic Segmentation

April 4, 2025

Autori: Xin Zhang, Robby T. Tan

cs.AI

Abstract

I Vision Foundation Models (VFMs) e i Vision-Language Models (VLMs) hanno guadagnato popolarità nella Segmentazione Semantica Generalizzata a Dominio (DGSS) grazie alle loro forti capacità di generalizzazione. Tuttavia, i metodi DGSS esistenti spesso si affidano esclusivamente a VFMs o VLMs, trascurando i loro punti di forza complementari. I VFMs (ad esempio, DINOv2) eccellono nel catturare caratteristiche a grana fine, mentre i VLMs (ad esempio, CLIP) forniscono un allineamento robusto con il testo ma faticano con una granularità grossolana. Nonostante i loro punti di forza complementari, integrare efficacemente VFMs e VLMs con meccanismi di attenzione è impegnativo, poiché l'aumento dei token di patch complica la modellazione di sequenze lunghe. Per affrontare questo problema, proponiamo MFuser, un nuovo framework di fusione basato su Mamba che combina in modo efficiente i punti di forza di VFMs e VLMs mantenendo una scalabilità lineare nella lunghezza delle sequenze. MFuser è composto da due componenti chiave: MVFuser, che funge da co-adattatore per ottimizzare congiuntamente i due modelli catturando sia le dinamiche sequenziali che spaziali; e MTEnhancer, un modulo ibrido attenzione-Mamba che affina gli embedding di testo incorporando priorità di immagine. Il nostro approccio raggiunge una precisa località delle caratteristiche e un forte allineamento del testo senza comportare un significativo sovraccarico computazionale. Esperimenti estensivi dimostrano che MFuser supera significativamente i metodi DGSS all'avanguardia, raggiungendo 68.20 mIoU su benchmark sintetico-reale e 71.87 mIoU su benchmark reale-reale. Il codice è disponibile all'indirizzo https://github.com/devinxzhang/MFuser.

English

Vision Foundation Models (VFMs) and Vision-Language Models (VLMs) have gained traction in Domain Generalized Semantic Segmentation (DGSS) due to their strong generalization capabilities. However, existing DGSS methods often rely exclusively on either VFMs or VLMs, overlooking their complementary strengths. VFMs (e.g., DINOv2) excel at capturing fine-grained features, while VLMs (e.g., CLIP) provide robust text alignment but struggle with coarse granularity. Despite their complementary strengths, effectively integrating VFMs and VLMs with attention mechanisms is challenging, as the increased patch tokens complicate long-sequence modeling. To address this, we propose MFuser, a novel Mamba-based fusion framework that efficiently combines the strengths of VFMs and VLMs while maintaining linear scalability in sequence length. MFuser consists of two key components: MVFuser, which acts as a co-adapter to jointly fine-tune the two models by capturing both sequential and spatial dynamics; and MTEnhancer, a hybrid attention-Mamba module that refines text embeddings by incorporating image priors. Our approach achieves precise feature locality and strong text alignment without incurring significant computational overhead. Extensive experiments demonstrate that MFuser significantly outperforms state-of-the-art DGSS methods, achieving 68.20 mIoU on synthetic-to-real and 71.87 mIoU on real-to-real benchmarks. The code is available at https://github.com/devinxzhang/MFuser.