AnySat: Um Modelo de Observação da Terra para Quaisquer Resoluções, Escalas e Modalidades

AnySat: An Earth Observation Model for Any Resolutions, Scales, and Modalities

December 18, 2024

Autores: Guillaume Astruc, Nicolas Gonthier, Clement Mallet, Loic Landrieu

cs.AI

Resumo

Os modelos geoespaciais devem se adaptar à diversidade dos dados de observação da Terra em termos de resoluções, escalas e modalidades. No entanto, abordagens existentes esperam configurações de entrada fixas, o que limita sua aplicabilidade prática. Propomos o AnySat, um modelo multimodal baseado na arquitetura preditiva de incorporação conjunta (JEPA) e codificadores espaciais adaptativos à resolução, permitindo-nos treinar um único modelo em dados altamente heterogêneos de forma auto-supervisionada. Para demonstrar as vantagens deste enfoque unificado, compilamos o GeoPlex, uma coleção de 5 conjuntos de dados multimodais com características variadas e 11 sensores distintos. Em seguida, treinamos um único modelo poderoso nestes conjuntos de dados diversos simultaneamente. Uma vez ajustado, alcançamos resultados melhores ou próximos do estado da arte nos conjuntos de dados do GeoPlex e em mais 4 para 5 tarefas de monitoramento ambiental: mapeamento de cobertura terrestre, identificação de espécies de árvores, classificação de tipos de culturas, detecção de mudanças e segmentação de inundações. O código e os modelos estão disponíveis em https://github.com/gastruc/AnySat.

English

Geospatial models must adapt to the diversity of Earth observation data in terms of resolutions, scales, and modalities. However, existing approaches expect fixed input configurations, which limits their practical applicability. We propose AnySat, a multimodal model based on joint embedding predictive architecture (JEPA) and resolution-adaptive spatial encoders, allowing us to train a single model on highly heterogeneous data in a self-supervised manner. To demonstrate the advantages of this unified approach, we compile GeoPlex, a collection of 5 multimodal datasets with varying characteristics and 11 distinct sensors. We then train a single powerful model on these diverse datasets simultaneously. Once fine-tuned, we achieve better or near state-of-the-art results on the datasets of GeoPlex and 4 additional ones for 5 environment monitoring tasks: land cover mapping, tree species identification, crop type classification, change detection, and flood segmentation. The code and models are available at https://github.com/gastruc/AnySat.