CoMatcher: Multi-View Collaborative Feature Matching

要約

このペーパーでは、複雑なシナリオでの信頼できるトラック構造のためのマルチビューコラボレーションマッチング戦略を提案します。
画像セットに適用されるペアワイズマッチングパラダイムは、選択された独立したペアが重要な閉塞または極端な視点の変化を示す場合、しばしばあいまいな推定につながることが多いことを観察します。
この課題は、主に、限られた2ビュー観測に基づいて複雑な3D構造を解釈することにおける固有の不確実性に由来します。3Dから2Dへの投影は大きな情報損失につながるためです。
これに対処するために、（i）さまざまなビューから補完的なコンテキストキューを活用して、全体的な3Dシーンの理解を形成し、（ii）信頼できるグローバルソリューションを推測するためにクロスビュープロジェクションの一貫性を利用して、異なるビューからの補完的なコンテキストキューを活用するComatcherを紹介します。
Comatcherに基づいて、大規模なマッチングタスクのクロスビュー関係を完全に活用するグループワイズフレームワークを開発します。
さまざまな複雑なシナリオでの広範な実験は、主流の2ビューマッチングパラダイムに対する方法の優位性を示しています。

要約(オリジナル)

This paper proposes a multi-view collaborative matching strategy for reliable track construction in complex scenarios. We observe that the pairwise matching paradigms applied to image set matching often result in ambiguous estimation when the selected independent pairs exhibit significant occlusions or extreme viewpoint changes. This challenge primarily stems from the inherent uncertainty in interpreting intricate 3D structures based on limited two-view observations, as the 3D-to-2D projection leads to significant information loss. To address this, we introduce CoMatcher, a deep multi-view matcher to (i) leverage complementary context cues from different views to form a holistic 3D scene understanding and (ii) utilize cross-view projection consistency to infer a reliable global solution. Building on CoMatcher, we develop a groupwise framework that fully exploits cross-view relationships for large-scale matching tasks. Extensive experiments on various complex scenarios demonstrate the superiority of our method over the mainstream two-view matching paradigm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google