Depth Completion with Multiple Balanced Bases and Confidence for Dense Monocular SLAM

要約

単眼カメラに基づく密なスラムは、特にモバイルデバイスで実行される場合、AR/VRの分野で実際に膨大なアプリケーション値を持っています。
この論文では、携帯電話でも密なマッピングをオンラインで実行できるように、マルチベース深度表現を使用して、軽量の深さ完了ネットワークをまばらなスラムシステムに統合する新しい方法を提案します。
具体的には、従来のスパーススラムシステムの特性に合わせて調整されたBBC-NETと呼ばれる特異的に最適化されたマルチベース深度完了ネットワークを提示します。
BBC-NETは、既製のキーポイントベースのスラムシステムによって生成されるまばらなポイントを備えた単眼画像から、複数のバランスの取れたベースと信頼マップを予測できます。
最終的な深さは、対応する重みを調整することで最適化できる予測される深度塩基の線形組み合わせです。
重量を従来のスラムの最適化にシームレスに組み込み、効率と堅牢性を確保するために、一連の深さ重量係数を設計するため、ネットワークを用途の多いプラグインモジュールにし、さまざまな既存のスパーススラムシステムへの容易な統合を促進し、バンドル調整によりグローバルな深さの一貫性を大幅に向上させます。
メソッドの移植性を検証するために、BBC-NETを2つの代表的なSLAMシステムに統合します。
さまざまなデータセットでの実験結果は、提案された方法が最先端の方法よりも単眼密度マッピングでより良いパフォーマンスを達成することを示しています。
携帯電話で実行されているオンラインデモを提供します。これは、実際のシナリオで提案された方法の効率とマッピングの品質を検証します。

要約(オリジナル)

Dense SLAM based on monocular cameras does indeed have immense application value in the field of AR/VR, especially when it is performed on a mobile device. In this paper, we propose a novel method that integrates a light-weight depth completion network into a sparse SLAM system using a multi-basis depth representation, so that dense mapping can be performed online even on a mobile phone. Specifically, we present a specifically optimized multi-basis depth completion network, called BBC-Net, tailored to the characteristics of traditional sparse SLAM systems. BBC-Net can predict multiple balanced bases and a confidence map from a monocular image with sparse points generated by off-the-shelf keypoint-based SLAM systems. The final depth is a linear combination of predicted depth bases that can be optimized by tuning the corresponding weights. To seamlessly incorporate the weights into traditional SLAM optimization and ensure efficiency and robustness, we design a set of depth weight factors, which makes our network a versatile plug-in module, facilitating easy integration into various existing sparse SLAM systems and significantly enhancing global depth consistency through bundle adjustment. To verify the portability of our method, we integrate BBC-Net into two representative SLAM systems. The experimental results on various datasets show that the proposed method achieves better performance in monocular dense mapping than the state-of-the-art methods. We provide an online demo running on a mobile phone, which verifies the efficiency and mapping quality of the proposed method in real-world scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google