Pseudo-Stereo Inputs: A Solution to the Occlusion Challenge in Self-Supervised Stereo Matching

要約

自己教師付きステレオマッチングは、高価なラベル付きデータから独立しているため、応用や研究に大きな期待が持てる。しかし、測光損失関数に基づく直接的な自己教師付きステレオマッチングパラダイムは、オクルージョンの課題による性能問題に一貫して苦戦してきた。オクルージョンの問題の核心は、オクルージョンされたピクセルの位置が、入力ステレオ画像によって定義されたエピポーラ探索方向と常に一致するという事実にある。本研究では、オクルージョンの核となる課題に対処するために、シンプルでありながら非常に効果的な擬似ステレオ入力戦略を提案する。この戦略は入力画像とフィードバック画像を切り離し、ネットワークにオクルージョン物体の両側から確率的に情報をサンプリングさせる。その結果、前述の固定オクルージョン領域における持続的な情報不足が緩和される。これに基づいて、我々はさらに、この戦略から生じるフィードバックの衝突とオーバーフィッティングの問題に対処する。これらの構成要素を統合することで、本手法は既存の手法と比較して安定かつ大幅な性能向上を達成する。性能を評価するために定量的実験を行った。さらに定性的な実験により、オクルード領域でも正確な視差推論が可能であることを示す。これらの結果は、測光損失に基づく直接的な自己教師付きステレオマッチングの分野において、従来の手法よりも大きく進歩したことを示している。提案する擬似ステレオ入力戦略は、その単純さと有効性から、直接自己教師付きステレオマッチングの新しいパラダイムとなる可能性を秘めている。コードはhttps://github.com/qrzyang/Pseudo-Stereo。

要約(オリジナル)

Self-supervised stereo matching holds great promise for application and research due to its independence from expensive labeled data. However, direct self-supervised stereo matching paradigms based on photometric loss functions have consistently struggled with performance issues due to the occlusion challenge. The crux of the occlusion challenge lies in the fact that the positions of occluded pixels consistently align with the epipolar search direction defined by the input stereo images, leading to persistent information loss and erroneous feedback at fixed locations during self-supervised training. In this work, we propose a simple yet highly effective pseudo-stereo inputs strategy to address the core occlusion challenge. This strategy decouples the input and feedback images, compelling the network to probabilistically sample information from both sides of the occluding objects. As a result, the persistent lack of information in the aforementioned fixed occlusion areas is mitigated. Building upon this, we further address feedback conflicts and overfitting issues arising from the strategy. By integrating these components, our method achieves stable and significant performance improvements compared to existing methods. Quantitative experiments are conducted to evaluate the performance. Qualitative experiments further demonstrate accurate disparity inference even at occluded regions. These results demonstrate a significant advancement over previous methods in the field of direct self-supervised stereo matching based on photometric loss. The proposed pseudo-stereo inputs strategy, due to its simplicity and effectiveness, has the potential to serve as a new paradigm for direct self-supervised stereo matching. Code is available at https://github.com/qrzyang/Pseudo-Stereo.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL