AnySat: あらゆる解像度、スケール、モダリティに対応した地球観測モデル

AnySat: An Earth Observation Model for Any Resolutions, Scales, and Modalities

December 18, 2024

著者: Guillaume Astruc, Nicolas Gonthier, Clement Mallet, Loic Landrieu

cs.AI

要旨

地理空間モデルは、解像度、スケール、およびモダリティの点で地球観測データの多様性に適応する必要があります。しかし、既存のアプローチは固定された入力構成を想定しており、そのため実用性が制限されています。私たちは、AnySatという、共埋め込み予測アーキテクチャ（JEPA）と解像度適応型空間エンコーダに基づくマルチモーダルモデルを提案します。これにより、高度に異質なデータに対して半教師付き学習の形式で単一のモデルを訓練することが可能となります。この統一アプローチの利点を示すために、異なる特性を持つ5つのマルチモーダルデータセットと11種類のセンサを含むGeoPlexを編纂します。その後、これら多様なデータセットに対して単一の強力なモデルを同時に訓練します。微調整後、GeoPlexのデータセットおよび5つの環境モニタリングタスク（土地被覆マッピング、樹木種の識別、作物タイプの分類、変化検出、および洪水セグメンテーション）において、より良いまたは最新の結果を達成します。コードとモデルはhttps://github.com/gastruc/AnySat で入手可能です。

English

Geospatial models must adapt to the diversity of Earth observation data in terms of resolutions, scales, and modalities. However, existing approaches expect fixed input configurations, which limits their practical applicability. We propose AnySat, a multimodal model based on joint embedding predictive architecture (JEPA) and resolution-adaptive spatial encoders, allowing us to train a single model on highly heterogeneous data in a self-supervised manner. To demonstrate the advantages of this unified approach, we compile GeoPlex, a collection of 5 multimodal datasets with varying characteristics and 11 distinct sensors. We then train a single powerful model on these diverse datasets simultaneously. Once fine-tuned, we achieve better or near state-of-the-art results on the datasets of GeoPlex and 4 additional ones for 5 environment monitoring tasks: land cover mapping, tree species identification, crop type classification, change detection, and flood segmentation. The code and models are available at https://github.com/gastruc/AnySat.