Self-supervised Egomotion and Depth Learning via Bi-directional Coarse-to-Fine Scale Recovery

要約

自我と深さの自己教師あり学習は、最近大きな注目を集めています。
これらの学習モデルは、ネットワークをトレーニングするために高精度のグラウンド トゥルース ラベルを必要としない一方で、自動運転とロボットのナビゲーションと認識タスクをサポートするポーズ マップと深度マップを提供できます。
ただし、単眼ビジョンに基づく方法は、ポーズ スケールのあいまいさの問題があり、物理的に意味のある軌跡を生成できず、現実世界での適用が制限されます。
単眼画像から絶対メトリックスケールでエゴモーションと深さを推定することを学習できる、新しい自己学習ディープニューラルネットワークフレームワークを提案します。
粗い深度スケールは、測光損失の一貫性を保証する事前トレーニング済みのモデルに対して点群データを比較することで復元されます。
スケールのあいまいさの問題は、粗いポーズと深さを共同で調整する新しい 2 段階の粗いスケールから細かいスケールへの回復戦略を導入することによって解決されます。
私たちのモデルは、暗い場所、つまり夜間の運転でも、グローバル スケール メトリックでポーズと深度の推定を正常に生成します。
公開データセットでの評価は、私たちのモデルが代表的な従来型および学習ベースの VO と VIO の両方よりも優れていることを示しています。
VINS-mono、ORB-SLAM、SC-Learner、UnVIO。

要約(オリジナル)

Self-supervised learning of egomotion and depth has recently attracted great attentions. These learning models can provide pose and depth maps to support navigation and perception task for autonomous driving and robots, while they do not require high-precision ground-truth labels to train the networks. However, monocular vision based methods suffer from pose scale-ambiguity problem, so that can not generate physical meaningful trajectory, and thus their applications are limited in real-world. We propose a novel self-learning deep neural network framework that can learn to estimate egomotion and depths with absolute metric scale from monocular images. Coarse depth scale is recovered via comparing point cloud data against a pretrained model that ensures the consistency of photometric loss. The scale-ambiguity problem is solved by introducing a novel two-stages coarse-to-fine scale recovery strategy that jointly refines coarse poses and depths. Our model successfully produces pose and depth estimates in global scale-metric, even in low-light condition, i.e. driving at night. The evaluation on the public datasets demonstrates that our model outperforms both representative traditional and learning based VOs and VIOs, e.g. VINS-mono, ORB-SLAM, SC-Learner, and UnVIO.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google