Modeling Stereo-Confidence Out of the End-to-End Stereo-Matching Network via Disparity Plane Sweep

要約

我々は、さまざまなステレオマッチングネットワークの外部で測定できる新しいステレオ信頼性を提案し、特に安全性が重要なシステムにおいて、学習ベースのアプローチにコストボリュームの代替入力モダリティの選択肢を提供します。
視差定義と視差面スイープの基本的な概念に基づいて、提案されたステレオ信頼性手法は、ステレオ画像ペアのシフトは視差マップの対応する量のシフトで更新されるべきであるという考えに基づいて構築されています。
この考えに基づいて、提案されたステレオ信頼性方法は 3 つに要約できます。
1) 視差平面スイープを使用すると、コスト ボリュームが構築されるのと同様に、複数の視差マップが取得され、3 次元ボリューム (予測視差ボリューム) として扱われます。
2) これらの視差マップの 1 つがアンカーとして機能し、あらゆる空間点で望ましい (または理想的な) 視差プロファイルを定義できるようになります。
3) 望ましい視差プロファイルと予測された視差プロファイルを比較することにより、信頼性測定のために左右の画像間の一致あいまいさのレベルを定量化できます。
さまざまなステレオマッチングネットワークとデータセットを使用した広範な実験結果は、提案されたステレオ信頼度方法がそれ自体で競争力のあるパフォーマンスを示すだけでなく、学習ベースのステレオ信頼度方法の入力モダリティとして使用された場合に一貫したパフォーマンスの向上を示すことを示しています。

要約(オリジナル)

We propose a novel stereo-confidence that can be measured externally to various stereo-matching networks, offering an alternative input modality choice of the cost volume for learning-based approaches, especially in safety-critical systems. Grounded in the foundational concepts of disparity definition and the disparity plane sweep, the proposed stereo-confidence method is built upon the idea that any shift in a stereo-image pair should be updated in a corresponding amount shift in the disparity map. Based on this idea, the proposed stereo-confidence method can be summarized in three folds. 1) Using the disparity plane sweep, multiple disparity maps can be obtained and treated as a 3-D volume (predicted disparity volume), like the cost volume is constructed. 2) One of these disparity maps serves as an anchor, allowing us to define a desirable (or ideal) disparity profile at every spatial point. 3) By comparing the desirable and predicted disparity profiles, we can quantify the level of matching ambiguity between left and right images for confidence measurement. Extensive experimental results using various stereo-matching networks and datasets demonstrate that the proposed stereo-confidence method not only shows competitive performance on its own but also consistent performance improvements when it is used as an input modality for learning-based stereo-confidence methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google