Auf dem Weg zu einem einheitlichen Copernicus-Foundation-Modell für die Erdbeobachtung

Towards a Unified Copernicus Foundation Model for Earth Vision

March 14, 2025

Autoren: Yi Wang, Zhitong Xiong, Chenying Liu, Adam J. Stewart, Thomas Dujardin, Nikolaos Ioannis Bountos, Angelos Zavras, Franziska Gerken, Ioannis Papoutsis, Laura Leal-Taixé, Xiao Xiang Zhu

cs.AI

Zusammenfassung

Fortschritte bei Foundation-Modellen für die Erdbeobachtung (EO) haben das Potenzial großer Satellitendaten freigesetzt, um generische Repräsentationen aus dem Weltraum zu lernen, was einer Vielzahl von nachgelagerten Anwendungen zugutekommt, die für unseren Planeten von entscheidender Bedeutung sind. Die meisten bestehenden Bemühungen beschränken sich jedoch auf feste Spektralsensoren, konzentrieren sich ausschließlich auf die Erdoberfläche und übersehen wertvolle Metadaten, die über die Bilddaten hinausgehen. In dieser Arbeit machen wir einen Schritt in Richtung der nächsten Generation von EO-Foundation-Modellen mit drei Schlüsselkomponenten: 1) Copernicus-Pretrain, ein umfangreicher Pretraining-Datensatz, der 18,7 Millionen ausgerichtete Bilder aller wichtigen Copernicus-Sentinel-Missionen integriert, die von der Erdoberfläche bis zur Atmosphäre reichen; 2) Copernicus-FM, ein einheitliches Foundation-Modell, das in der Lage ist, jede spektrale oder nicht-spektrale Sensormodalität mithilfe erweiterter dynamischer Hypernetzwerke und flexibler Metadatenkodierung zu verarbeiten; und 3) Copernicus-Bench, ein systematischer Evaluationsbenchmark mit 15 hierarchischen nachgelagerten Aufgaben, die von der Vorverarbeitung bis zu spezialisierten Anwendungen für jede Sentinel-Mission reichen. Unser Datensatz, Modell und Benchmark verbessern die Skalierbarkeit, Vielseitigkeit und multimodale Anpassungsfähigkeit von EO-Foundation-Modellen erheblich und schaffen gleichzeitig neue Möglichkeiten, die Erdbeobachtung mit der Wetter- und Klimaforschung zu verbinden. Codes, Datensätze und Modelle sind unter https://github.com/zhu-xlab/Copernicus-FM verfügbar.

English

Advances in Earth observation (EO) foundation models have unlocked the potential of big satellite data to learn generic representations from space, benefiting a wide range of downstream applications crucial to our planet. However, most existing efforts remain limited to fixed spectral sensors, focus solely on the Earth's surface, and overlook valuable metadata beyond imagery. In this work, we take a step towards next-generation EO foundation models with three key components: 1) Copernicus-Pretrain, a massive-scale pretraining dataset that integrates 18.7M aligned images from all major Copernicus Sentinel missions, spanning from the Earth's surface to its atmosphere; 2) Copernicus-FM, a unified foundation model capable of processing any spectral or non-spectral sensor modality using extended dynamic hypernetworks and flexible metadata encoding; and 3) Copernicus-Bench, a systematic evaluation benchmark with 15 hierarchical downstream tasks ranging from preprocessing to specialized applications for each Sentinel mission. Our dataset, model, and benchmark greatly improve the scalability, versatility, and multimodal adaptability of EO foundation models, while also creating new opportunities to connect EO, weather, and climate research. Codes, datasets and models are available at https://github.com/zhu-xlab/Copernicus-FM.