SC-DepthV3: Robust Self-supervised Monocular Depth Estimation for Dynamic Scenes

要約

自己教師付き単眼式奥行き推定は、静的なシーンにおいて素晴らしい結果を示している。しかし，動的な物体領域やオクルージョンでは，多視点整合性の仮定に反して学習が行われる．その結果、既存の手法は動的なシーンにおいて精度が低く、また、物体境界は通常他の学習ビューで隠されているため、推定された奥行きマップはぼやけてしまう。本論文では、このような課題を解決するために、SC-DepthV3を提案する。具体的には、擬似奥行きと呼ばれる単一画像の奥行き事前分布を生成するための外部事前学習済み単眼式奥行き推定モデルを導入し、それに基づいて自己教師付き学習を促進するための新しい損失を提案する。その結果、ダイナミックなシーンの単眼動画像から学習した場合でも、シャープで正確な奥行きマップを予測することができる。我々は、6つの困難なデータセットにおいて、我々の手法が従来の手法よりも著しく優れた性能を持つことを実証し、提案する項の詳細なアブレーションスタディを提供する。ソースコードとデータは、https://github.com/JiawangBian/sc_depth_pl で公開される予定です。

要約(オリジナル)

Self-supervised monocular depth estimation has shown impressive results in static scenes. It relies on the multi-view consistency assumption for training networks, however, that is violated in dynamic object regions and occlusions. Consequently, existing methods show poor accuracy in dynamic scenes, and the estimated depth map is blurred at object boundaries because they are usually occluded in other training views. In this paper, we propose SC-DepthV3 for addressing the challenges. Specifically, we introduce an external pretrained monocular depth estimation model for generating single-image depth prior, namely pseudo-depth, based on which we propose novel losses to boost self-supervised training. As a result, our model can predict sharp and accurate depth maps, even when training from monocular videos of highly-dynamic scenes. We demonstrate the significantly superior performance of our method over previous methods on six challenging datasets, and we provide detailed ablation studies for the proposed terms. Source code and data will be released at https://github.com/JiawangBian/sc_depth_pl

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL