SPIdepth: Strengthened Pose Information for Self-supervised Monocular Depth Estimation

要約

自己教師付き単眼深度推定は、自律走行やロボット工学への応用で大きな注目を集めている。最近の手法では、動きから奥行きを推測するためにセルフクエリーレイヤー（SQL）のような技術を活用することで、飛躍的な進歩を遂げているが、ポーズ情報の強化の可能性を見落とすことが多い。本論文では、深度推定を改善するためにポーズネットワークを強化することを優先する新しいアプローチであるSPIdepthを紹介する。SPIdepthは、SQLによって築かれた基礎の上に構築され、きめ細かいシーン構造をキャプチャする際のポーズ情報の重要性を強調している。ポーズネットワークの能力を強化することで、SPIdepthはシーン理解と深度推定において目覚ましい進歩を達成する。KITTI、Cityscapes、Make3Dなどのベンチマークデータセットでの実験結果は、SPIdepthの最先端の性能を示しており、従来の手法を大幅に上回っています。特に、SPIdepthは自己教師付きKITTIベンチマークでトップです。さらに、SPIdepthはKITTIで最も低いAbsRel (0.029)、SqRel (0.069)、RMSE (1.394)を達成し、最先端の結果を確立しました。Cityscapesでは、SPIdepthはSQLdepthと比較して、モーションマスクを使用しない場合でも、AbsRelで21.7%、SqRelで36.8%、RMSEで16.5%の改善を示しています。Make3Dでは、ゼロショットでのSPIdepthは他のすべてのモデルよりも優れています。驚くべきことに、SPIdepthは推論に単一の画像のみを使用してこれらの結果を達成し、推論にビデオシーケンスを使用する方法をも凌駕しており、実世界のアプリケーションにおける有効性と効率性を実証しています。我々のアプローチは、自己教師付き単眼深度推定における大きな飛躍を意味し、実世界のアプリケーションにおいてシーン理解を進めるためにポーズ情報を強化することの重要性を強調している。コードと訓練済みモデルは、https://github.com/Lavreniuk/SPIdepth で公開されている。

要約(オリジナル)

Self-supervised monocular depth estimation has garnered considerable attention for its applications in autonomous driving and robotics. While recent methods have made strides in leveraging techniques like the Self Query Layer (SQL) to infer depth from motion, they often overlook the potential of strengthening pose information. In this paper, we introduce SPIdepth, a novel approach that prioritizes enhancing the pose network for improved depth estimation. Building upon the foundation laid by SQL, SPIdepth emphasizes the importance of pose information in capturing fine-grained scene structures. By enhancing the pose network’s capabilities, SPIdepth achieves remarkable advancements in scene understanding and depth estimation. Experimental results on benchmark datasets such as KITTI, Cityscapes, and Make3D showcase SPIdepth’s state-of-the-art performance, surpassing previous methods by significant margins. Specifically, SPIdepth tops the self-supervised KITTI benchmark. Additionally, SPIdepth achieves the lowest AbsRel (0.029), SqRel (0.069), and RMSE (1.394) on KITTI, establishing new state-of-the-art results. On Cityscapes, SPIdepth shows improvements over SQLdepth of 21.7% in AbsRel, 36.8% in SqRel, and 16.5% in RMSE, even without using motion masks. On Make3D, SPIdepth in zero-shot outperforms all other models. Remarkably, SPIdepth achieves these results using only a single image for inference, surpassing even methods that utilize video sequences for inference, thus demonstrating its efficacy and efficiency in real-world applications. Our approach represents a significant leap forward in self-supervised monocular depth estimation, underscoring the importance of strengthening pose information for advancing scene understanding in real-world applications. The code and pre-trained models are publicly available at https://github.com/Lavreniuk/SPIdepth.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL