AnySat: 모든 해상도, 척도 및 모드에 대한 지구 관측 모델

초록

지리 공간 모델은 해상도, 규모 및 모드에 대한 지구 관측 데이터의 다양성에 적응해야 합니다. 그러나 기존의 방법론은 고정된 입력 구성을 예상하여 실제 적용 가능성을 제한합니다. 우리는 JEPA(공동 임베딩 예측 아키텍처)와 해상도 적응형 공간 인코더를 기반으로 한 다중 모달 모델인 AnySat을 제안합니다. 이를 통해 우리는 다양한 데이터에 대해 단일 모델을 자기 지도 학습 방식으로 훈련할 수 있습니다. 이 통합된 접근법의 장점을 입증하기 위해, 우리는 다양한 특성을 가진 5개의 다중 모달 데이터셋과 11개의 다른 센서로 이루어진 GeoPlex를 편집합니다. 그런 다음 이 다양한 데이터셋에 대해 단일 강력한 모델을 동시에 훈련시킵니다. 세밀하게 조정한 후, 우리는 GeoPlex의 데이터셋과 추가 4개의 데이터셋에서 5가지 환경 모니터링 작업(지표 매핑, 나무 종 식별, 작물 유형 분류, 변화 감지 및 홍수 분할)에 대해 더 나은 또는 거의 최첨단 결과를 달성합니다. 코드 및 모델은 https://github.com/gastruc/AnySat에서 제공됩니다.

English

Geospatial models must adapt to the diversity of Earth observation data in terms of resolutions, scales, and modalities. However, existing approaches expect fixed input configurations, which limits their practical applicability. We propose AnySat, a multimodal model based on joint embedding predictive architecture (JEPA) and resolution-adaptive spatial encoders, allowing us to train a single model on highly heterogeneous data in a self-supervised manner. To demonstrate the advantages of this unified approach, we compile GeoPlex, a collection of 5 multimodal datasets with varying characteristics and 11 distinct sensors. We then train a single powerful model on these diverse datasets simultaneously. Once fine-tuned, we achieve better or near state-of-the-art results on the datasets of GeoPlex and 4 additional ones for 5 environment monitoring tasks: land cover mapping, tree species identification, crop type classification, change detection, and flood segmentation. The code and models are available at https://github.com/gastruc/AnySat.

AnySat: 모든 해상도, 척도 및 모드에 대한 지구 관측 모델

AnySat: An Earth Observation Model for Any Resolutions, Scales, and Modalities

초록

Support