DynamicVis: Un Modello Visivo Fondamentale Efficiente e Generale per la Comprensione delle Immagini da Telerilevamento

DynamicVis: An Efficient and General Visual Foundation Model for Remote Sensing Image Understanding

March 20, 2025

Autori: Keyan Chen, Chenyang Liu, Bowen Chen, Wenyuan Li, Zhengxia Zou, Zhenwei Shi

cs.AI

Abstract

Il progresso della tecnologia di telerilevamento ha migliorato la risoluzione spaziale delle immagini satellitari, facilitando rappresentazioni visive più dettagliate per interpretazioni diversificate. Tuttavia, i metodi esistenti mostrano capacità di generalizzazione limitate tra applicazioni varie. Sebbene alcuni modelli di base contemporanei dimostrino potenziale, sono ostacolati da un'adattabilità insufficiente tra compiti diversi e principalmente elaborano immagini a bassa risoluzione di dimensioni limitate, non riuscendo così a sfruttare appieno i dati ad alta risoluzione o a sfruttare la semantica completa di scene ampie. In modo cruciale, le immagini di telerilevamento differiscono fondamentalmente dalle immagini naturali, poiché i principali obiettivi in primo piano (ad esempio, oggetti marittimi, strutture artificiali) spesso occupano proporzioni spaziali minime (~1%) e presentano distribuzioni sparse. Modellare in modo efficiente conoscenze generalizzabili tra compiti da token 2D lunghi (~100.000) rappresenta una sfida significativa, ma rimane fondamentale per la comprensione delle immagini di telerilevamento. Ispirati dai meccanismi di attenzione selettiva intrinseci al sistema visivo umano, proponiamo DynamicVis, un modello di base di percezione visiva dinamica per immagini di telerilevamento. Il framework integra una nuova architettura di percezione regionale dinamica basata sul modello di stato selettivo, che bilancia strategicamente l'estrazione di dettagli localizzati con l'integrazione contestuale globale, consentendo una codifica computazionalmente efficiente di dati su larga scala mantenendo la scalabilità architetturale. Per migliorare il trasferimento di conoscenze tra compiti, introduciamo un paradigma di apprendimento multi-istanza che utilizza rappresentazioni di meta-embedding, addestrato su annotazioni a livello di regione su scala milioni. Le valutazioni su nove compiti downstream dimostrano la versatilità del modello. DynamicVis raggiunge una modellizzazione delle caratteristiche multi-livello con un'efficienza eccezionale, elaborando pixel (2048x2048) con una latenza di 97 ms (6% rispetto a ViT) e una memoria GPU di 833 MB (3% rispetto a ViT).

English

The advancement of remote sensing technology has improved the spatial resolution of satellite imagery, facilitating more detailed visual representations for diverse interpretations. However, existing methods exhibit limited generalization capabilities across varied applications. While some contemporary foundation models demonstrate potential, they are hindered by insufficient cross-task adaptability and primarily process low-resolution imagery of restricted sizes, thus failing to fully exploit high-resolution data or leverage comprehensive large-scene semantics. Crucially, remote sensing imagery differs fundamentally from natural images, as key foreground targets (eg., maritime objects, artificial structures) often occupy minimal spatial proportions (~1%) and exhibit sparse distributions. Efficiently modeling cross-task generalizable knowledge from lengthy 2D tokens (~100,000) poses a significant challenge yet remains critical for remote sensing image understanding. Motivated by the selective attention mechanisms inherent to the human visual system, we propose DynamicVis, a dynamic visual perception foundation model for remote sensing imagery. The framework integrates a novel dynamic region perception backbone based on the selective state space model, which strategically balances localized detail extraction with global contextual integration, enabling computationally efficient encoding of large-scale data while maintaining architectural scalability. To enhance cross-task knowledge transferring, we introduce a multi-instance learning paradigm utilizing meta-embedding representations, trained on million-scale region-level annotations. Evaluations across nine downstream tasks demonstrate the model's versatility. DynamicVis achieves multi-level feature modeling with exceptional efficiency, processing (2048x2048) pixels with 97 ms latency (6% of ViT's) and 833 MB GPU memory (3% of ViT's).