NIS-SLAM: Neural Implicit Semantic RGB-D SLAM for 3D Consistent Scene Understanding

要約

近年、ニューラル暗黙的表現のパラダイムは、同時位置特定とマッピング (SLAM) の分野で大きな注目を集めています。
ただし、シーンの理解に関しては、既存のアプローチには顕著なギャップが存在します。
この論文では、効率的なニューラル暗黙的セマンティック RGB-D SLAM システムである NIS-SLAM を紹介します。これは、事前トレーニングされた 2D セグメンテーション ネットワークを活用して、一貫したセマンティック表現を学習します。
具体的には、高忠実度の表面再構成と空間的に一貫したシーンの理解のために、高周波多重解像度四面体ベースの特徴と暗黙的なシーン表現としての低周波位置エンコーディングを組み合わせます。
さらに、複数のビューからの 2D セグメンテーション結果の不一致に対処するために、以前の非キーフレームからの意味確率をキーフレームに統合して、一貫した意味学習を実現する融合戦略を提案します。
さらに、信頼性ベースのピクセル サンプリングとプログレッシブ最適化重み関数を実装して、堅牢なカメラ トラッキングを実現します。
さまざまなデータセットに関する広範な実験結果は、他の既存のニューラル高密度暗黙的 RGB-D SLAM アプローチと比較した場合、私たちのシステムのパフォーマンスが優れているか、より競争力があることを示しています。
最後に、私たちのアプローチが拡張現実アプリケーションでも使用できることも示します。
プロジェクト ページ: \href{https://zju3dv.github.io/nis_slam}{https://zju3dv.github.io/nis\_slam}。

要約(オリジナル)

In recent years, the paradigm of neural implicit representations has gained substantial attention in the field of Simultaneous Localization and Mapping (SLAM). However, a notable gap exists in the existing approaches when it comes to scene understanding. In this paper, we introduce NIS-SLAM, an efficient neural implicit semantic RGB-D SLAM system, that leverages a pre-trained 2D segmentation network to learn consistent semantic representations. Specifically, for high-fidelity surface reconstruction and spatial consistent scene understanding, we combine high-frequency multi-resolution tetrahedron-based features and low-frequency positional encoding as the implicit scene representations. Besides, to address the inconsistency of 2D segmentation results from multiple views, we propose a fusion strategy that integrates the semantic probabilities from previous non-keyframes into keyframes to achieve consistent semantic learning. Furthermore, we implement a confidence-based pixel sampling and progressive optimization weight function for robust camera tracking. Extensive experimental results on various datasets show the better or more competitive performance of our system when compared to other existing neural dense implicit RGB-D SLAM approaches. Finally, we also show that our approach can be used in augmented reality applications. Project page: \href{https://zju3dv.github.io/nis_slam}{https://zju3dv.github.io/nis\_slam}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google