CorrAdaptor: Adaptive Local Context Learning for Correspondence Pruning

要約

コンピューター ビジョンとロボット工学の分野では、動きから構造を抽出したり、位置特定とマッピングを同時に行うなどの高度なタスクを可能にするために、正確なピクセル レベルの対応が不可欠です。
最近の対応枝刈り手法は、通常、k 最近傍を通じて局所的な一貫性を学習することに重点を置いているため、対応ごとに堅牢なコンテキストを取得することが困難になります。
我々は、明示的および暗黙的なローカル グラフ学習を通じてローカル コンテキストを適応的に調整できるデュアル ブランチ構造を導入する新しいアーキテクチャである CorrAdaptor を提案します。
具体的には、明示的ブランチは初期近傍識別用に調整された KNN ベースのグラフを使用しますが、暗黙的ブランチは学習可能な行列を活用して近傍をソフトに割り当て、ローカル コンテキストの範囲を適応的に拡張することで、複雑な画像の変動に対するモデルの堅牢性と適応性を大幅に強化します。
さらに、モーションの一貫性をネットワークに統合するモーション インジェクション モジュールを設計して、異常値の影響を抑制し、ローカル コンテキスト学習を洗練させ、その結果、パフォーマンスが大幅に向上します。
広範な通信ベースのタスクに関する実験結果は、当社の CorrAdaptor が質的および量的の両方で最先端のパフォーマンスを達成していることを示しています。
コードと事前トレーニングされたモデルは https://github.com/TaoWangzj/CorrAdaptor で入手できます。

要約(オリジナル)

In the fields of computer vision and robotics, accurate pixel-level correspondences are essential for enabling advanced tasks such as structure-from-motion and simultaneous localization and mapping. Recent correspondence pruning methods usually focus on learning local consistency through k-nearest neighbors, which makes it difficult to capture robust context for each correspondence. We propose CorrAdaptor, a novel architecture that introduces a dual-branch structure capable of adaptively adjusting local contexts through both explicit and implicit local graph learning. Specifically, the explicit branch uses KNN-based graphs tailored for initial neighborhood identification, while the implicit branch leverages a learnable matrix to softly assign neighbors and adaptively expand the local context scope, significantly enhancing the model’s robustness and adaptability to complex image variations. Moreover, we design a motion injection module to integrate motion consistency into the network to suppress the impact of outliers and refine local context learning, resulting in substantial performance improvements. The experimental results on extensive correspondence-based tasks indicate that our CorrAdaptor achieves state-of-the-art performance both qualitatively and quantitatively. The code and pre-trained models are available at https://github.com/TaoWangzj/CorrAdaptor.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google