PCW-Net: Pyramid Combination and Warping Cost Volume for Stereo Matching

要約

既存の深層学習ベースのステレオ マッチング方法は、ターゲット データセットで最適なパフォーマンスを達成することに重点を置いており、他のデータセットの一般化が不十分であるか、ドメインに依存する機能を抑制してクロスドメインの一般化を処理することに重点を置いています。これにより、パフォーマンスが大幅に犠牲になります。
これらの問題に取り組むために、さまざまなベンチマークでのクロスドメイン一般化とステレオマッチング精度の両方で優れたパフォーマンスを達成するために、Pyramid Combination and Warping コストボリュームベースのネットワークである PCW-Net を提案します。
特に、当社の PCW-Net は 2 つの目的のために設計されています。
まず、ピラミッドの上位レベルでコンビネーション ボリュームを構築し、コスト ボリューム フュージョン モジュールを開発して、それらを統合して初期視差推定を行います。
マルチスケールの受容野は、マルチスケールの組み合わせボリュームを融合することでカバーできるため、ドメイン不変の特徴を抽出できます。
次に、視差の調整のために、ピラミッドの最後のレベルでワーピング ボリュームを構築します。
提案されたワーピングボリュームは、最初の視差検索範囲からきめの細かい検索範囲まで残基検索範囲を狭めることができます。これにより、ネットワークが制約のない残基検索空間で正しい残基を見つけることの難しさを劇的に軽減できます。
合成データセットでトレーニングし、目に見えない実際のデータセットに一般化する場合、私たちの方法は強力なクロスドメイン一般化を示し、既存の最先端技術を大幅に上回ります。
実際のデータセットを微調整した後、2022 年 3 月 7 日の時点で、公開されているすべてのメソッドの中で、KITTI 2012 で 1 位、KITTI 2015 で 2 位、Argoverse で 1 位にランクされています。コードは https://github で入手できます。
com/gallenszl/PCWNet.

要約(オリジナル)

Existing deep learning based stereo matching methods either focus on achieving optimal performances on the target dataset while with poor generalization for other datasets or focus on handling the cross-domain generalization by suppressing the domain sensitive features which results in a significant sacrifice on the performance. To tackle these problems, we propose PCW-Net, a Pyramid Combination and Warping cost volume-based network to achieve good performance on both cross-domain generalization and stereo matching accuracy on various benchmarks. In particular, our PCW-Net is designed for two purposes. First, we construct combination volumes on the upper levels of the pyramid and develop a cost volume fusion module to integrate them for initial disparity estimation. Multi-scale receptive fields can be covered by fusing multi-scale combination volumes, thus, domain-invariant features can be extracted. Second, we construct the warping volume at the last level of the pyramid for disparity refinement. The proposed warping volume can narrow down the residue searching range from the initial disparity searching range to a fine-grained one, which can dramatically alleviate the difficulty of the network to find the correct residue in an unconstrained residue searching space. When training on synthetic datasets and generalizing to unseen real datasets, our method shows strong cross-domain generalization and outperforms existing state-of-the-arts with a large margin. After fine-tuning on the real datasets, our method ranks first on KITTI 2012, second on KITTI 2015, and first on the Argoverse among all published methods as of 7, March 2022. The code will be available at https://github.com/gallenszl/PCWNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google