MatchAnything: Universal Cross-Modality Image Matching with Large-Scale Pre-Training

要約

画像間の対応するピクセル位置を特定することを目的とした画像マッチングは、画像の位置合わせ、融合、分析を支援する幅広い科学分野で重要です。
近年、ディープラーニングベースの画像マッチングアルゴリズムは、大量の対応関係を迅速かつ正確に見つけるという点で人間を劇的に上回りました。
ただし、異なる画像モダリティで撮影され、外観に大きな変化が生じる画像を処理する場合、注釈付きのクロスモーダル トレーニング データが不足しているため、これらのアルゴリズムのパフォーマンスが低下することがよくあります。
この制限により、補完的な情報を取得するために複数の画像モダリティに依存するさまざまな分野でのアプリケーションが妨げられます。
この課題に対処するために、さまざまなソースからの多様なデータを組み込んだ合成クロスモーダル トレーニング信号を利用して、画像全体の基本構造を認識して照合するようにモデルをトレーニングする大規模な事前トレーニング フレームワークを提案します。
この機能は、現実世界の目に見えないクロスモダリティ画像マッチング タスクに応用できます。
私たちの重要な発見は、私たちのフレームワークでトレーニングされたマッチングモデルが、同じネットワーク重みを使用する 8 つ以上の未確認のクロスモダリティ登録タスクにわたって顕著な一般化可能性を達成し、一般化向けに設計されたか特定のタスク向けに調整されたかにかかわらず、既存の手法を大幅に上回るパフォーマンスを達成していることです。
この進歩により、さまざまな科学分野にわたる画像マッチング技術の適用可能性が大幅に向上し、人間および人工知能のマルチモダリティ分析やそれを超えた新しいアプリケーションへの道が開かれます。

要約(オリジナル)

Image matching, which aims to identify corresponding pixel locations between images, is crucial in a wide range of scientific disciplines, aiding in image registration, fusion, and analysis. In recent years, deep learning-based image matching algorithms have dramatically outperformed humans in rapidly and accurately finding large amounts of correspondences. However, when dealing with images captured under different imaging modalities that result in significant appearance changes, the performance of these algorithms often deteriorates due to the scarcity of annotated cross-modal training data. This limitation hinders applications in various fields that rely on multiple image modalities to obtain complementary information. To address this challenge, we propose a large-scale pre-training framework that utilizes synthetic cross-modal training signals, incorporating diverse data from various sources, to train models to recognize and match fundamental structures across images. This capability is transferable to real-world, unseen cross-modality image matching tasks. Our key finding is that the matching model trained with our framework achieves remarkable generalizability across more than eight unseen cross-modality registration tasks using the same network weight, substantially outperforming existing methods, whether designed for generalization or tailored for specific tasks. This advancement significantly enhances the applicability of image matching technologies across various scientific disciplines and paves the way for new applications in multi-modality human and artificial intelligence analysis and beyond.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google