TopicFM: Robust and Interpretable Topic-Assisted Feature Matching

要約

この研究では、大きなシーンのバリエーションやテクスチャのないシーンなど、困難なケースでの画像マッチングの問題に対処します。
このような状況に対するロバスト性を得るために、以前のほとんどの研究では、グラフ ニューラル ネットワークまたはトランスフォーマーを介してシーンのグローバル コンテキストをエンコードしようとしました。
ただし、これらのコンテキストは、構造上の形状やセマンティック インスタンスなどの高レベルのコンテキスト情報を明示的に表すものではありません。
したがって、エンコードされた機能は、困難なシーンではまだ十分に識別できません。
トピックモデリング戦略を適用して画像内の高レベルのコンテキストをエンコードする新しい画像マッチング方法を提案します。
提案された方法は、トピックと呼ばれる潜在的なセマンティック インスタンスをトレーニングします。
画像をトピックの多項分布として明示的にモデル化し、確率的特徴マッチングを実行します。
このアプローチは、画像間の同じセマンティック領域に焦点を当てることで、マッチングの堅牢性を向上させます。
さらに、推論されたトピックは、結果を照合するための解釈可能性を提供し、私たちの方法を説明可能にします。
屋外および屋内のデータセットに関する広範な実験は、特に困難な場合に、私たちの方法が他の最先端の方法よりも優れていることを示しています。
コードは https://github.com/TruongKhang/TopicFM で入手できます。

要約(オリジナル)

This study addresses an image-matching problem in challenging cases, such as large scene variations or textureless scenes. To gain robustness to such situations, most previous studies have attempted to encode the global contexts of a scene via graph neural networks or transformers. However, these contexts do not explicitly represent high-level contextual information, such as structural shapes or semantic instances; therefore, the encoded features are still not sufficiently discriminative in challenging scenes. We propose a novel image-matching method that applies a topic-modeling strategy to encode high-level contexts in images. The proposed method trains latent semantic instances called topics. It explicitly models an image as a multinomial distribution of topics, and then performs probabilistic feature matching. This approach improves the robustness of matching by focusing on the same semantic areas between the images. In addition, the inferred topics provide interpretability for matching the results, making our method explainable. Extensive experiments on outdoor and indoor datasets show that our method outperforms other state-of-the-art methods, particularly in challenging cases. The code is available at https://github.com/TruongKhang/TopicFM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google