MatchAnything: Correspondência Universal de Imagens entre Modalidades Cruzadas com Pré-Treinamento em Grande Escala

MatchAnything: Universal Cross-Modality Image Matching with Large-Scale Pre-Training

January 13, 2025

Autores: Xingyi He, Hao Yu, Sida Peng, Dongli Tan, Zehong Shen, Hujun Bao, Xiaowei Zhou

cs.AI

Resumo

A correspondência de imagens, que tem como objetivo identificar locais de pixels correspondentes entre imagens, é crucial em uma ampla gama de disciplinas científicas, auxiliando no registro, fusão e análise de imagens. Nos últimos anos, os algoritmos de correspondência de imagens baseados em aprendizado profundo superaram drasticamente os humanos na rápida e precisa identificação de grandes quantidades de correspondências. No entanto, ao lidar com imagens capturadas sob diferentes modalidades de imagem que resultam em mudanças significativas de aparência, o desempenho desses algoritmos frequentemente se deteriora devido à escassez de dados de treinamento anotados entre modalidades. Essa limitação prejudica aplicações em diversos campos que dependem de múltiplas modalidades de imagem para obter informações complementares. Para enfrentar esse desafio, propomos um framework de pré-treinamento em larga escala que utiliza sinais de treinamento sintéticos entre modalidades, incorporando dados diversos de várias fontes, para treinar modelos a reconhecer e corresponder estruturas fundamentais entre imagens. Essa capacidade é transferível para tarefas de correspondência de imagens entre modalidades reais e não vistas. Nossa descoberta chave é que o modelo de correspondência treinado com nosso framework alcança uma notável generalização em mais de oito tarefas de registro entre modalidades não vistas usando o mesmo peso de rede, superando substancialmente os métodos existentes, seja projetados para generalização ou adaptados para tarefas específicas. Esse avanço melhora significativamente a aplicabilidade das tecnologias de correspondência de imagens em diversas disciplinas científicas e abre caminho para novas aplicações na análise de inteligência humana e artificial multimodal e além.

English

Image matching, which aims to identify corresponding pixel locations between images, is crucial in a wide range of scientific disciplines, aiding in image registration, fusion, and analysis. In recent years, deep learning-based image matching algorithms have dramatically outperformed humans in rapidly and accurately finding large amounts of correspondences. However, when dealing with images captured under different imaging modalities that result in significant appearance changes, the performance of these algorithms often deteriorates due to the scarcity of annotated cross-modal training data. This limitation hinders applications in various fields that rely on multiple image modalities to obtain complementary information. To address this challenge, we propose a large-scale pre-training framework that utilizes synthetic cross-modal training signals, incorporating diverse data from various sources, to train models to recognize and match fundamental structures across images. This capability is transferable to real-world, unseen cross-modality image matching tasks. Our key finding is that the matching model trained with our framework achieves remarkable generalizability across more than eight unseen cross-modality registration tasks using the same network weight, substantially outperforming existing methods, whether designed for generalization or tailored for specific tasks. This advancement significantly enhances the applicability of image matching technologies across various scientific disciplines and paves the way for new applications in multi-modality human and artificial intelligence analysis and beyond.