CGI-Stereo: Accurate and Real-Time Stereo Matching via Context and Geometry Interaction

要約

この論文では、CGI-Stereo を提案します。CGI-Stereo は、リアルタイム パフォーマンス、競争力のある精度、および強力な汎化能力を同時に達成できる新しいニューラル ネットワーク アーキテクチャです。
当社の CGI-Stereo のコアは Context and Geometry Fusion (CGF) ブロックであり、より効果的なコスト集計のためにコンテキストとジオメトリ情報を適応的に融合し、さらに効果的なコンテキスト特徴抽出を導くために特徴学習にフィードバックを提供します。
提案された CGF は、PSMNet、GwcNet、ACVNet など、多くの既存のステレオ マッチング ネットワークに簡単に組み込むことができます。
結果として得られるネットワークは、精度が大幅に向上していることを示しています。
特に、当社の CGF を ACVNet に組み込んだモデルは、KITTI 2012 および 2015 のリーダーボードで、公開されているすべての方法の中で $1^{st}$ にランクされています。
さらに、アテンション フィーチャ ボリューム (AFV) という名前の有益で簡潔なコスト ボリュームを提案します。これは、相関ボリュームをアテンション ウェイトとして利用して、フィーチャ ボリュームをフィルタリングします。
CGF と AFV に基づいて、提案された CGI-Stereo は、KITTI ベンチマークで公開されている他のすべてのリアルタイム手法よりも優れており、他のリアルタイム手法よりも優れた一般化能力を示しています。
コードは https://github.com/gangweiX/CGI-Stereo で入手できます。

要約(オリジナル)

In this paper, we propose CGI-Stereo, a novel neural network architecture that can concurrently achieve real-time performance, competitive accuracy, and strong generalization ability. The core of our CGI-Stereo is a Context and Geometry Fusion (CGF) block which adaptively fuses context and geometry information for more effective cost aggregation and meanwhile provides feedback to feature learning to guide more effective contextual feature extraction. The proposed CGF can be easily embedded into many existing stereo matching networks, such as PSMNet, GwcNet and ACVNet. The resulting networks show a significant improvement in accuracy. Specially, the model which incorporates our CGF with ACVNet ranks $1^{st}$ on the KITTI 2012 and 2015 leaderboards among all the published methods. We further propose an informative and concise cost volume, named Attention Feature Volume (AFV), which exploits a correlation volume as attention weights to filter a feature volume. Based on CGF and AFV, the proposed CGI-Stereo outperforms all other published real-time methods on KITTI benchmarks and shows better generalization ability than other real-time methods. Code is available at https://github.com/gangweiX/CGI-Stereo.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google