Uncertainty Guided Adaptive Warping for Robust and Efficient Stereo Matching

要約

相関ベースのステレオマッチングにより、2つの特徴マップ間のコストボリュームを追求し、優れたパフォーマンスを実現しました。
残念ながら、固定モデルを使用した現在の手法はさまざまなデータセットで均一に機能せず、現実世界への適用性が大幅に制限されています。
この問題に取り組むために、この論文では、ロバストなステレオマッチングのための相関を動的に計算する新しい観点を提案します。
新しい Uncertainty Guided Adaptive Correlation (UGAC) モジュールが導入され、同じモデルをさまざまなシナリオに堅牢に適応させます。
具体的には、分散ベースの不確実性推定を使用して、ワーピング操作中にサンプリング領域を適応的に調整します。
さらに、位置固有の重みを学習できるように、学習可能なパラメーターを使用して従来のノンパラメトリック ワーピングを改善します。
UGAC モジュールを使用してリカレント ネットワークを強化することで、ステレオ マッチングをより堅牢かつ効果的に利用できることを示します。
広範な実験により、再トレーニング手順を行わずに、ETH3D、KITTI、およびミドルベリーのデータセットに対して同じ固定モデルを使用した場合、私たちの方法がこれらのデータセットに対して最先端のパフォーマンスを達成できることが実証されました。
リアルタイム アプリケーションをターゲットにするために、UGAC に基づいた軽量モデルをさらに設計しました。これは、わずか 0.6 M のパラメーターで KITTI ベンチマークよりも他の方法よりも優れたパフォーマンスを発揮します。

要約(オリジナル)

Correlation based stereo matching has achieved outstanding performance, which pursues cost volume between two feature maps. Unfortunately, current methods with a fixed model do not work uniformly well across various datasets, greatly limiting their real-world applicability. To tackle this issue, this paper proposes a new perspective to dynamically calculate correlation for robust stereo matching. A novel Uncertainty Guided Adaptive Correlation (UGAC) module is introduced to robustly adapt the same model for different scenarios. Specifically, a variance-based uncertainty estimation is employed to adaptively adjust the sampling area during warping operation. Additionally, we improve the traditional non-parametric warping with learnable parameters, such that the position-specific weights can be learned. We show that by empowering the recurrent network with the UGAC module, stereo matching can be exploited more robustly and effectively. Extensive experiments demonstrate that our method achieves state-of-the-art performance over the ETH3D, KITTI, and Middlebury datasets when employing the same fixed model over these datasets without any retraining procedure. To target real-time applications, we further design a lightweight model based on UGAC, which also outperforms other methods over KITTI benchmarks with only 0.6 M parameters.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google