Learning Intra-view and Cross-view Geometric Knowledge for Stereo Matching

要約

幾何学的な知識はステレオ マッチング タスクに有益であることが示されています。
しかし、幾何学的な洞察をステレオ マッチング アルゴリズムに統合するというこれまでの試みは、主に単一画像からの幾何学的な知識に焦点を当てており、オクルージョンやマッチングの一意性などの重要なクロスビュー要素は見落とされてきました。
このギャップに対処するために、ビュー内およびビュー間の幾何学的知識の両方を同化するように特別に作成された、新しいビュー内およびビュー間幾何知識学習ネットワーク (ICGNet) を提案します。
ICGNet は、関心点の力を利用して、ビュー内の幾何学的な理解のためのチャネルとして機能します。
同時に、これらの点間の対応関係を利用して、ビュー間の幾何学的関係を把握します。
この二重の組み込みにより、提案された ICGNet は学習プロセスでビュー内およびビュー間の幾何学的知識の両方を活用できるようになり、視差を推定する能力が大幅に向上します。
私たちの広範な実験により、現代の主要なモデルに対する ICGNet の優位性が実証されました。

要約(オリジナル)

Geometric knowledge has been shown to be beneficial for the stereo matching task. However, prior attempts to integrate geometric insights into stereo matching algorithms have largely focused on geometric knowledge from single images while crucial cross-view factors such as occlusion and matching uniqueness have been overlooked. To address this gap, we propose a novel Intra-view and Cross-view Geometric knowledge learning Network (ICGNet), specifically crafted to assimilate both intra-view and cross-view geometric knowledge. ICGNet harnesses the power of interest points to serve as a channel for intra-view geometric understanding. Simultaneously, it employs the correspondences among these points to capture cross-view geometric relationships. This dual incorporation empowers the proposed ICGNet to leverage both intra-view and cross-view geometric knowledge in its learning process, substantially improving its ability to estimate disparities. Our extensive experiments demonstrate the superiority of the ICGNet over contemporary leading models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google