MatchAnything: Universelles Cross-Modalitäts-Bildabgleichen mit groß angelegtem Vortraining

MatchAnything: Universal Cross-Modality Image Matching with Large-Scale Pre-Training

January 13, 2025

Autoren: Xingyi He, Hao Yu, Sida Peng, Dongli Tan, Zehong Shen, Hujun Bao, Xiaowei Zhou

cs.AI

Zusammenfassung

Die Bildübereinstimmung, die darauf abzielt, entsprechende Pixelpositionen zwischen Bildern zu identifizieren, ist in einer Vielzahl wissenschaftlicher Disziplinen entscheidend und unterstützt die Bildregistrierung, Fusion und Analyse. In den letzten Jahren haben bildbasierte Übereinstimmungsalgorithmen, die auf Deep Learning basieren, Menschen dramatisch übertroffen, indem sie schnell und präzise große Mengen von Übereinstimmungen finden. Bei der Bearbeitung von Bildern, die unter verschiedenen Bildgebungsmodalitäten aufgenommen wurden und zu erheblichen Erscheinungsänderungen führen, verschlechtert sich die Leistung dieser Algorithmen jedoch oft aufgrund des Mangels an annotierten Trainingsdaten für die Kreuzmodalität. Diese Einschränkung behindert Anwendungen in verschiedenen Bereichen, die auf mehrere Bildmodalitäten angewiesen sind, um ergänzende Informationen zu erhalten. Um diese Herausforderung anzugehen, schlagen wir ein groß angelegtes Vortrainierungs-Framework vor, das synthetische Trainungssignale für die Kreuzmodalität verwendet und vielfältige Daten aus verschiedenen Quellen integriert, um Modelle zu trainieren, um grundlegende Strukturen in Bildern zu erkennen und abzugleichen. Diese Fähigkeit ist auf reale, unerkannte Kreuzmodalitäts-Bildübereinstimmungsaufgaben übertragbar. Unsere Haupterkenntnis ist, dass das mit unserem Framework trainierte Übereinstimmungsmodell eine bemerkenswerte Verallgemeinerbarkeit über mehr als acht unerkannte Kreuzmodalitäts-Registrierungsaufgaben hinweg mit demselben Netzwerkgewicht erreicht, wobei es vorhandene Methoden deutlich übertrifft, ob sie für die Verallgemeinerung konzipiert sind oder für spezifische Aufgaben maßgeschneidert wurden. Dieser Fortschritt verbessert signifikant die Anwendbarkeit von Bildübereinstimmungstechnologien in verschiedenen wissenschaftlichen Disziplinen und ebnet den Weg für neue Anwendungen in der Multi-Modalitäts-Analyse von menschlicher und künstlicher Intelligenz und darüber hinaus.

English

Image matching, which aims to identify corresponding pixel locations between images, is crucial in a wide range of scientific disciplines, aiding in image registration, fusion, and analysis. In recent years, deep learning-based image matching algorithms have dramatically outperformed humans in rapidly and accurately finding large amounts of correspondences. However, when dealing with images captured under different imaging modalities that result in significant appearance changes, the performance of these algorithms often deteriorates due to the scarcity of annotated cross-modal training data. This limitation hinders applications in various fields that rely on multiple image modalities to obtain complementary information. To address this challenge, we propose a large-scale pre-training framework that utilizes synthetic cross-modal training signals, incorporating diverse data from various sources, to train models to recognize and match fundamental structures across images. This capability is transferable to real-world, unseen cross-modality image matching tasks. Our key finding is that the matching model trained with our framework achieves remarkable generalizability across more than eight unseen cross-modality registration tasks using the same network weight, substantially outperforming existing methods, whether designed for generalization or tailored for specific tasks. This advancement significantly enhances the applicability of image matching technologies across various scientific disciplines and paves the way for new applications in multi-modality human and artificial intelligence analysis and beyond.