Monocular Depth Estimation through Virtual-world Supervision and Real-world SfM Self-Supervision

要約

深さ情報は、自動運転と運転支援における機内での知覚に不可欠です。
単眼深度推定（MDE）は、外観と深度をさらにキャリブレーションせずにピクセル単位で直接対応できるため、非常に魅力的です。
最良のMDEモデルは、監視ありの方法でトレーニングされた畳み込みニューラルネットワーク（CNN）に基づいています。つまり、ピクセル単位のグラウンドトゥルース（GT）を想定しています。
通常、このGTは、トレーニング時に、キャリブレーションされたマルチモーダルセンサースイートを介して取得されます。
ただし、トレーニング時に単眼システムのみを使用する方が安価でスケーラブルです。
これは、運動からの構造（SfM）の原理に依存して自己監視を生成することで可能になります。
それにもかかわらず、カモフラージュされたオブジェクト、可視性の変化、静的カメラの間隔、テクスチャのない領域、およびスケールのあいまいさの問題は、そのような自己監視の有用性を低下させます。
本論文では、仮想世界監視（MonoDEVS）と実世界SfM自己監視による単眼深度推定を実行します。
正確なセマンティックと深度の監視で仮想世界の画像を活用し、仮想と現実のドメインのギャップに対処することで、SfMの自己監視の制限を補います。
私たちのMonoDEVSNetは、単眼およびステレオシーケンスでトレーニングされた以前のMDECNNよりも優れています。

要約(オリジナル)

Depth information is essential for on-board perception in autonomous driving and driver assistance. Monocular depth estimation (MDE) is very appealing since it allows for appearance and depth being on direct pixelwise correspondence without further calibration. Best MDE models are based on Convolutional Neural Networks (CNNs) trained in a supervised manner, i.e., assuming pixelwise ground truth (GT). Usually, this GT is acquired at training time through a calibrated multi-modal suite of sensors. However, also using only a monocular system at training time is cheaper and more scalable. This is possible by relying on structure-from-motion (SfM) principles to generate self-supervision. Nevertheless, problems of camouflaged objects, visibility changes, static-camera intervals, textureless areas, and scale ambiguity, diminish the usefulness of such self-supervision. In this paper, we perform monocular depth estimation by virtual-world supervision (MonoDEVS) and real-world SfM self-supervision. We compensate the SfM self-supervision limitations by leveraging virtual-world images with accurate semantic and depth supervision and addressing the virtual-to-real domain gap. Our MonoDEVSNet outperforms previous MDE CNNs trained on monocular and even stereo sequences.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google