MatchAnything: Универсальное кросс-модальное сопоставление изображений с масштабным предварительным обучением.

MatchAnything: Universal Cross-Modality Image Matching with Large-Scale Pre-Training

January 13, 2025

Авторы: Xingyi He, Hao Yu, Sida Peng, Dongli Tan, Zehong Shen, Hujun Bao, Xiaowei Zhou

cs.AI

Аннотация

Сопоставление изображений, целью которого является определение соответствующих пиксельных позиций между изображениями, является важным во многих научных дисциплинах, помогая в регистрации, слиянии и анализе изображений. В последние годы алгоритмы сопоставления изображений на основе глубокого обучения значительно превзошли людей в быстром и точном нахождении большого количества соответствий. Однако при работе с изображениями, полученными при различных модальностях изображения, что приводит к значительным изменениям внешнего вида, производительность этих алгоритмов часто ухудшается из-за недостатка аннотированных данных для кросс-модального обучения. Это ограничение затрудняет применение в различных областях, которые зависят от нескольких модальностей изображений для получения дополнительной информации. Для решения этой проблемы мы предлагаем крупномасштабную предварительную обучающую структуру, которая использует синтетические кросс-модальные сигналы обучения, интегрируя разнообразные данные из различных источников, чтобы обучить модели распознавать и сопоставлять фундаментальные структуры на изображениях. Эта способность является переносимой на задачи реального мира, неизвестные для кросс-модального сопоставления изображений. Нашим ключевым открытием является то, что модель сопоставления, обученная с использованием нашей структуры, достигает замечательной обобщаемости на более чем восьми невидимых задачах регистрации кросс-модальности, используя тот же набор весов сети, значительно превосходя существующие методы, будь то разработанные для обобщения или нацеленные на конкретные задачи. Этот прогресс значительно улучшает применимость технологий сопоставления изображений в различных научных дисциплинах и прокладывает путь для новых приложений в анализе человека и искусственного интеллекта с использованием нескольких модальностей и за их пределами.

English

Image matching, which aims to identify corresponding pixel locations between images, is crucial in a wide range of scientific disciplines, aiding in image registration, fusion, and analysis. In recent years, deep learning-based image matching algorithms have dramatically outperformed humans in rapidly and accurately finding large amounts of correspondences. However, when dealing with images captured under different imaging modalities that result in significant appearance changes, the performance of these algorithms often deteriorates due to the scarcity of annotated cross-modal training data. This limitation hinders applications in various fields that rely on multiple image modalities to obtain complementary information. To address this challenge, we propose a large-scale pre-training framework that utilizes synthetic cross-modal training signals, incorporating diverse data from various sources, to train models to recognize and match fundamental structures across images. This capability is transferable to real-world, unseen cross-modality image matching tasks. Our key finding is that the matching model trained with our framework achieves remarkable generalizability across more than eight unseen cross-modality registration tasks using the same network weight, substantially outperforming existing methods, whether designed for generalization or tailored for specific tasks. This advancement significantly enhances the applicability of image matching technologies across various scientific disciplines and paves the way for new applications in multi-modality human and artificial intelligence analysis and beyond.