AnySat: Un modello di osservazione terrestre per qualsiasi risoluzione, scala e modalità

AnySat: An Earth Observation Model for Any Resolutions, Scales, and Modalities

December 18, 2024

Autori: Guillaume Astruc, Nicolas Gonthier, Clement Mallet, Loic Landrieu

cs.AI

Abstract

I modelli geospaziali devono adattarsi alla diversità dei dati di osservazione della Terra in termini di risoluzioni, scale e modalità. Tuttavia, gli approcci esistenti si aspettano configurazioni di input fisse, il che limita la loro applicabilità pratica. Proponiamo AnySat, un modello multimodale basato sull'architettura predittiva a incastro congiunto (JEPA) e su codificatori spaziali adattivi alla risoluzione, che ci permettono di addestrare un singolo modello su dati altamente eterogenei in modo auto-supervisionato. Per dimostrare i vantaggi di questo approccio unificato, compiliamo GeoPlex, una collezione di 5 set di dati multimodali con caratteristiche variabili e 11 sensori distinti. Successivamente addestriamo un singolo modello potente su questi set di dati diversi contemporaneamente. Una volta ottimizzato, otteniamo risultati migliori o vicini allo stato dell'arte sui set di dati di GeoPlex e su altri 4 per 5 compiti di monitoraggio ambientale: mappatura della copertura terrestre, identificazione delle specie arboree, classificazione dei tipi di colture, rilevamento dei cambiamenti e segmentazione delle inondazioni. Il codice e i modelli sono disponibili su https://github.com/gastruc/AnySat.

English

Geospatial models must adapt to the diversity of Earth observation data in terms of resolutions, scales, and modalities. However, existing approaches expect fixed input configurations, which limits their practical applicability. We propose AnySat, a multimodal model based on joint embedding predictive architecture (JEPA) and resolution-adaptive spatial encoders, allowing us to train a single model on highly heterogeneous data in a self-supervised manner. To demonstrate the advantages of this unified approach, we compile GeoPlex, a collection of 5 multimodal datasets with varying characteristics and 11 distinct sensors. We then train a single powerful model on these diverse datasets simultaneously. Once fine-tuned, we achieve better or near state-of-the-art results on the datasets of GeoPlex and 4 additional ones for 5 environment monitoring tasks: land cover mapping, tree species identification, crop type classification, change detection, and flood segmentation. The code and models are available at https://github.com/gastruc/AnySat.