DeepFusion: Real-Time Dense 3D Reconstruction for Monocular SLAM using Single-View Depth and Gradient Predictions

要約

スパース単眼同時位置特定およびマッピング（SLAM）システムによって作成されたキーポイントベースのマップはカメラの追跡に役立ちますが、多くのロボットタスクでは高密度の3D再構成が必要になる場合があります。
デプスカメラを含むソリューションは、範囲と屋内スペースに限定されており、フレーム間の測光誤差を最小限に抑えることに基づく高密度再構成システムは、通常、制約が不十分であり、スケールのあいまいさに悩まされています。
これらの問題に対処するために、畳み込みニューラルネットワーク（CNN）の出力を活用して、メトリックスケールを含むキーフレームの完全に高密度の深度マップを生成する3D再構成システムを提案します。
私たちのシステムであるDeepFusionは、GPU上でリアルタイムの高密度再構成を生成することができます。
これは、ネットワークによって生成された学習済みの不確実性を使用して、セミデンスマルチビューステレオアルゴリズムの出力をCNNの深度および勾配予測と確率的に融合します。
ネットワークはキーフレームごとに1回だけ実行する必要がありますが、新しい幾何学的制約を常に利用できるように、新しいフレームごとに深度マップを最適化することができます。
合成データセットと実世界のデータセットでのパフォーマンスに基づいて、DeepFusionが少なくとも他の同等のシステムと同様に実行できることを示します。

要約(オリジナル)

While the keypoint-based maps created by sparse monocular simultaneous localisation and mapping (SLAM) systems are useful for camera tracking, dense 3D reconstructions may be desired for many robotic tasks. Solutions involving depth cameras are limited in range and to indoor spaces, and dense reconstruction systems based on minimising the photometric error between frames are typically poorly constrained and suffer from scale ambiguity. To address these issues, we propose a 3D reconstruction system that leverages the output of a convolutional neural network (CNN) to produce fully dense depth maps for keyframes that include metric scale. Our system, DeepFusion, is capable of producing real-time dense reconstructions on a GPU. It fuses the output of a semi-dense multiview stereo algorithm with the depth and gradient predictions of a CNN in a probabilistic fashion, using learned uncertainties produced by the network. While the network only needs to be run once per keyframe, we are able to optimise for the depth map with each new frame so as to constantly make use of new geometric constraints. Based on its performance on synthetic and real-world datasets, we demonstrate that DeepFusion is capable of performing at least as well as other comparable systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google